基于tf- idf算法

基于tf- idf算法
的文档相似度计算
tf-idf(term frequency-inverse document frequency，词频-逆文档频率)法是一种常用的文本特征提取算法，常用于文本信息检索、文档分类等研究领域。

简单来说，tf-idf的目的是计算出某个文本比其他文本的相对重要性。

假设文档集合D包含m 个文本，那么算法计算每个文本中包含的某个关键词在文档集合中的重要性，从而判断文档间的相似性，进而可以判断出某个文档有多大程度的不同于其他文档。

计算一个文档与另一个文档间的相似度通常采用加权余弦相似度。

因为tf-idf算法可以用来计算出关键词的重要性，根据加权余弦准则，将关键词权重作为单词的权重，便可以计算出文档相似度。

加权余弦相似度的计算方式如下：
Sim(X, Y) = Σi(αi * βi) / sqrt(Σiαi^2 * Σiβi^2)
其中，αi和βi分别表示文档X和文档Y的特征值，也就是用tf-idf算法计算出的权重。