向量空间模型文档相似度计算实现(c#)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Text.RegularExpressions;
namespace Felomeng.VSMSimilarity
{
class SVMModle
{
///
/// 降维词表
///
private List
///
/// 构造函数：使用降维表
///
/// 降维词表
public SVMModle(List
{
this.reducingKeys = reducingKeys;
}
///
/// 构造函数：不使用降维表
///
public SVMModle()
{
}
///
/// 相似度计算
///
/// 文档１（分好词的，分词符为非汉字字符）
/// 文档２（分好词的，分词符为非汉字字符）
///
public double Similarity(string text1, string text2)
{
double similarity = 0.0, numerator = 0.0, denominator1 = 0.0, denominator2 = 0.0;
int temp1, temp2;
Dictionary
Dictionary
if ((dictionary1.Count < 1) || (dictionary2.Count < 1))//如果任一篇文章中不含有汉字
{
return 0.0;
}
Dictionary
foreach (string key in keys1)
{
dictionary1.TryGetValue(key, out temp1);
if (!dictionary2.TryGetValue(key, out temp2))
{
temp2 = 0;
}
dictionary2.Remove(key);
numerator += temp1 * temp2;
denominator1 += temp1 * temp1;
denominator2 += temp2 * temp2;
}
Dictionary
foreach (string key in keys2)
{
dictionary2.TryGetValue(key, out temp2);
denominator2 += temp2 * temp2;
}
similarity = numerator / (Math.Sqrt(denominator1 * denominator2));
return similarity;
}
///
/// 相似度计算
///
/// 第一篇文档的词频词典
/// 第二篇文档的词频词典
///
public double Similarity(Dictionary
{
double similarity = 0.0, numerator = 0.0, denominator1 = 0.0, denominator2 = 0.0;
int temp1, temp2;
Dictionary
Dictionary
if ((dictionary1.Count < 1) || (dictionary2.Count < 1))//如果任一篇文章中不含有汉字
{
return 0.0;
}
Dictionary
foreach (string key in keys1)
{
dictionary1.TryGetValue(key, out temp1);
if (!dictionary2.TryGetValue(key, out temp2))
{
temp2 = 0;
}
dictionary2.Remove(key);
numerator += temp1 * temp2;
denominator1 += temp1 * temp1;
denominator2 += temp2 * temp2;
}