使用TF-IDF算法计算网站页面相似度分布

18 January 2020 3:27

TF-IDF（英语：term frequency–inverse document frequency）是一种用于信息检索与文本挖掘的常用加权技术。

TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。

字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，互联网上的搜索引擎还会使用基于链接分析的评级方法，以确定文件在搜索结果中出现的顺序。

计算原理 ¶

通过sitemap获取全站公开url，使用chrome无头浏览器抓取每个页面截图及其html源文件，然后抽取html中的可视文本，拿到每个页面文本后将页面内容分词后抽象为一个向量，互相计算每个页面向量之间的相似度（夹角）