概率潜在语义模型综述
基于概率潜在语义分析的中文文本分类研究
不 同概 念被 划 归为 同 一 个类 别 ， 一 种是 两 篇 文 另
档 的某 特征 项分 别为 两个词但 表 达 了同一 概念被
划 归 为不 同的类别 ． 因此 ， 现“ 发 暗含” 在应 用文本
词 语之 间潜 在 的语 义关 系是 提高分 类系统性 能 的
一
存 储 的电子 文档 的数 目急剧 增 长 ， 特别 是 随 着 互
潜 在 的概 率 语 义 空 间 ， 将 文 档 和词 映 射 到 同一 个 语 义 空 间 ． 文 将 概 率 潜 在 语 义 分 析 模 型 用 于 中 文 文 本 分 并 该 类 ， 方 面 较 好 地处 理 了 自然 语 言 中的 同 义 、 义 问 题 ； 一 方 面 通 过 计 算 概 率 潜 在 语 义 空 间 中 向量 的 距 离 来 一 多 另 获得 文档 间 的类 别 信 息 从 而 达 到 文 本分 类 的 目的 ． 验 结 果 表 明 ， 分类 器具 有 良好 的 分类 性 能 ． 实 该
关 键词 ： 文文 本 分 类 ； 率 潜 在 语 义分 析 ； 义 空 间 中 概 语
中 图分 类 号 ： ３ １ ＴＰ ９ 文献标识码 ： Ａ
０ 引 言
近十年 来 ， 于 人 工智 能 的 自动文 本 分 类 技 基 术获 得 了长 足 的发 展 ， 主 要 是 因 为 以数 字 形 式 这
Ｌ Ａ）引， Ｓ 认 为 词 语 在 文 本 中 的使 用 模 式 内 Ｓ ￣ Ｌ Ａ 存在 着潜 在 的语义 结 构 ， 同义 词 之 间应 该具 有 基
简单 地说 ， 自动 文本 分 类 就 是 在 给定 的分 类
体 系下 ， 根据文 本 的 内 容 自动地 确 定 文 本关 联 的
概率模型知识点总结
概率模型知识点总结概率模型是一种用来描述随机现象的模型，通常用来预测或计算某个事件发生的概率。
在统计学和机器学习领域，概率模型被广泛应用于数据分析、模式识别、预测和决策等领域。
本文将从概率基础、贝叶斯网络、隐马尔可夫模型等方面对概率模型进行详细介绍和总结。
一、概率基础1. 概率的定义概率是描述随机事件发生可能性的数学概念。
在统计学中，概率通常用P(A)来表示，表示事件A发生的可能性。
概率的范围是0≤P(A)≤1，即事件发生的概率介于0和1之间。
2. 条件概率条件概率是指在已知事件B发生的条件下，事件A发生的概率，用P(A|B)表示。
条件概率的计算公式为：P(A|B) = P(A∩B) / P(B)。
3. 贝叶斯定理贝叶斯定理是指在已知事件B发生的条件下，事件A发生的概率，用P(A|B)表示。
贝叶斯定理的公式为：P(A|B) = P(B|A) * P(A) / P(B)。
4. 随机变量随机变量是指在试验中可能出现并且有可能取得不同值的量。
随机变量分为离散型随机变量和连续型随机变量两种。
5. 概率分布概率分布是描述随机变量取值概率的分布情况。
常见的概率分布包括伯努利分布、二项分布、泊松分布、均匀分布、正态分布等。
二、贝叶斯网络1. 贝叶斯网络的概念贝叶斯网络是一种用图模型表示随机变量间依赖关系的概率模型。
贝叶斯网络由有向无环图(DAG)和条件概率分布组成。
2. 贝叶斯网络的表示贝叶斯网络由节点和有向边组成，节点表示随机变量，有向边表示变量之间的依赖关系。
每个节点都有一个条件概率分布，表示给定父节点的情况下，节点的取值概率。
3. 贝叶斯网络的推理贝叶斯网络可以用来进行概率推理，即在已知部分变量的情况下，推断其他变量的取值概率。
常见的推理方法包括变量消除、动态规划等。
4. 贝叶斯网络的应用贝叶斯网络被广泛应用于机器学习、模式识别、数据挖掘等领域，常见的应用包括故障诊断、风险评估、信息检索、智能决策等。
三、隐马尔可夫模型1. 隐马尔可夫模型的概念隐马尔可夫模型是一种用于建模时序数据的统计模型，它假设观察数据和状态之间存在概率关系。
基于概率潜在语义分析的词汇情感倾向判别
基于概率潜在语义分析的词汇情感倾向判别最近几年，深度学习技术的发展对人工智能的发展产生了深远的影响。
在自然语言处理（NLP）领域，许多有关情感分析的文献研究正在大量涌现。
“基于概率潜在语义分析的词汇情感倾向判别”（PLSA）是一种在半监督学习任务中高效分析情感的有力方法，它可以在较低的计算成本和时间内，对输入文本进行情感分析。
PLSA方法可以根据文本内容分析情感倾向性，以及文本中提及的主题词来识别文本情感倾向性。
在PLSA方法中，算法会为每个词设定一个向量，该向量的每一维度表示该词的潜在语义，即对文本情感倾向的分析。
该方法需要训练大量的文本数据，通过统计分析，以建立潜在语义分析模型。
潜在语义分析模型是一个概率模型，它可以利用文本中的主题词来分析文本情感倾向。
该模型基于不同情感类别，如正面情感和负面情感，故而可以实现对半监督学习任务中文本情感的分析。
PLSA方法在情感分析领域越来越受到重视，因为它具有良好的准确性和可拓展性，在一定程度上可以克服传统分类器的性能畸变问题。
此外，PLSA方法使得半监督情感分析任务降至最低，从而极大地减轻了标注语料库的负担。
在实际应用中，PLSA方法有助于提高情感分析和社交网络分析等领域的服务质量。
PLSA方法也可以应用于文本情感倾向性识别任务中。
文本情感倾向性识别是一个很有挑战性的NLP任务，要求识别文本中情感倾向性的褒贬情感，并辅助参与者实现其它相关的情感计算任务。
例如，文本情感倾向性识别可以用于侦测社会舆论情绪变化，从而帮助企业做出更精准的决策。
在文本情感倾向性识别任务中，PLSA方法的优势是能够综合多种信息，如词语、句子结构和文本结构，而不局限于单个特征，从而更有效地识别文本情感倾向。
它能够计算文本中词语的潜在语义，从而判断出文本中覆盖的主题，甚至可以提取出背景复杂环境中的情感倾向状态，从而准确地描述文本所表达的情感。
然而，即使PLSA方法在情感分析领域具有较高的准确性，但也存在一定的局限性。
概率潜在语义模型综述
概率潜在语义模型综述信息检索本质上是语义检索, 而传统信息检索系统都是基于独立词索引, 因此检索效果并不理想. 概率潜在语义索引是一种新型的信息检索模型, 它在潜在语义索引模型思想的基础上, 通过EM迭代算法将词向量和文档向量投影到一个低维空间, 消减了词和文档之间的语义模糊度, 使得文档之间的语义关系更为明晰。
论述了概率潜在语义索引的理论基础, 探讨了隐含语义索引在信息处理处理中的应用。
标签：信息检索；潜在语义索引；SVD分解；概率潜在语义索引1 简介传统的信息检索模型可归为三类：布尔模型、向量空间模型和概率模型。
它们都分别把文本和查询表示为索引词的集合，尽管使用了不同的方法，但本质上均为某种形式的索引词的匹配，而没有进一步做语义上的分析。
自然语言中存在大量的同义词、多义词，这分别对传统检索模型的召回率和准确率有不利的影响。
检索系统要求用户提供足够多精确、无歧义的关键词才有可能得到所需要的信息，这大大增加了系统使用的难度。
为了进行更自然更人性化的查询，检索系统必须能够处理自然语言中的同义、多义现象，进行语义上的分析。
潜在语义分析(LSA)是一种发现潜在语义并分析文档、词和语义三者之间关系的方法。
其主要思想是通过统计分析来发现文档中词与词之间存在的某种潜在的语义结构，并且使用这些潜在的语义结构来表示词和文本。
虽然潜在语义分析在信息检索领域取得了令人满意的效果，但是它存在几个缺陷：首先由于潜在语义分析过程中奇异值分解的物理意义不够明确，较难控制词义聚类的效果；此外这个算法的空间和时间复杂度太大，在目前的计算机硬件条件下很难实际适应实际应用。
针对潜在语义分析的这些缺陷，Hoffmann 提出了一种新的方法－概率潜在语义分析(PLSA)，该方法使用概率模型来表示“文档—潜在语义—关键词”三者之间的关系，文档和关键词都可以映射到同一个语义空间，这样，文档和文档以及文档和关键词之间的相似度都可以通过计算语义空间上的夹角而得以量化。
第18章 概率潜在语义分析
• 概率潜在语义分析受潜在语义分析的启发，前者基于概率模型，后者基于非 概率模型
基本想法
• 给定一个文本集合，每个文本讨论若干个话题，每个话题由若干 个单词表示。
• 对文本集合进行概率潜在语义分析，就能够发现每个文本的话题， 以及每个话题的单词。
• 话题是不能从数据中直接观察到的，是潜在的。
基本想法
• 文本集合转换为文本-单词共现数据，具体表现为单词-文本矩阵
• 文本数据基于如下的概率模型产生（共现模型）：
• 首先有话题的概率分布，然后有话题给定条件下文本的条件概率分布，以及话题给 定条件下单词的条件概率分布。
• 概率潜在语义分析就是发现由隐变量表示的话题，即潜在语义。
• 随机变量w取值于单词集合 • 随机变量d取值于文本集合 • 随机变量z取值于话题集合
生成模型
• 概率分布P(d)、条件概率分布P(zld)、条件概率分布P(w|z)皆属 于多项分布
• P(d)：生成文本d的概率 • P(zId)：文本d生成话题z的概率 • P(wIz)：话题z生成单词w的概率
• 直观上，语义相近的单词、语义相近的文本会被聚到相同的“软的类别”中，而话 题所表示的就是这样的软的类别。
基本想法
• 假设有3个潜在的话题，图中三个框各自表示一个话题。
生成模型
• 假设有单词集合 • 文本（指标）集合 • 话题集合
，其中M是单词个数 ，其中N是文本个数 ，其中 K是预先设定的话题个数
第十八章 概率潜在语义分析
概率潜在语义分析
• 概率潜在语义分析（probabilistic latent semantic analysis, PLSA)， 是一种利用概率生成模 型对文本集合进行话题分析的无监督学习方法。
plsa模型的原理
plsa模型的原理plsa模型原理概述：概率潜在语义分析（Probabilistic Latent Semantic Analysis，简称PLSA）是一种基于概率图模型的文本主题模型。
它被广泛应用于文本挖掘、信息检索和推荐系统等领域，可以帮助我们从大量的文本数据中抽取出主题信息，从而实现文本分类、关键词提取等任务。
PLSA模型的基本原理如下：1. 文档-词矩阵：在PLSA模型中，将文本数据表示为一个文档-词矩阵。
文档-词矩阵的每一行表示一个文档，每一列表示一个词，矩阵中的每个元素表示对应文档中对应词的出现次数或权重。
2. 生成过程：PLSA模型假设每个文档都由多个主题组成，每个主题都对应一组特定的词。
生成一个文档的过程如下：首先从主题分布中抽取一个主题，然后从该主题对应的词分布中抽取一个词，重复这个过程直到生成整个文档。
3. 参数估计：PLSA模型的目标是通过最大化生成观测数据的概率，估计模型的参数。
参数估计可以通过EM算法来实现。
在E步，计算隐变量的后验概率；在M步，通过最大化对数似然函数来更新参数。
4. 主题-词分布：在PLSA模型中，每个主题都对应一个词分布，表示在该主题下每个词出现的概率。
主题-词分布可以通过模型的参数估计得到，可以用于关键词提取、主题识别等任务。
5. 文档-主题分布：在PLSA模型中，每个文档都有一个主题分布，表示该文档中每个主题的概率。
文档-主题分布可以通过模型的参数估计得到，可以用于文本分类、主题推荐等任务。
6. 模型评估：在训练完PLSA模型后，需要对模型进行评估。
常用的评估指标有对数似然函数、困惑度等。
这些指标可以用于比较不同模型的性能，并选择最优模型。
总结：PLSA模型通过建立文档-词矩阵，并通过概率图模型进行参数估计，从而实现对文本数据的主题抽取和分析。
该模型在文本挖掘、信息检索和推荐系统等领域有广泛应用。
通过理解和应用PLSA模型，我们可以更好地利用文本数据，进行文本分类、关键词提取和主题推荐等任务，提高信息处理的效率和准确性。
概率潜在语义检索模型中中文索引技术的比较研究
２ 概 率潜在语义分析
２ １ 模 型的描 述 ．
给定一个文档集合 Ｄ＝｛ ｄ， ， ｄ ， … ｄ ｝和一
个词集合 Ｗ ＝｛ ｗ ， ｗ ｝以及一个文档和词 Ｗ ， …， 的共现频率矩阵 Ｎ＝（ ｉ．，（ 。 ｉ表示词 ｗ 在 ｎ ）， ｄ， ） ．ｎ Ｗ ｉ 文档 ｄ 中出现的频率 。使用 Ｚ＝｛ ， ， Ｚ ｝ ｉ ｚ Ｚ …， 表 示潜在语义的集合 ， Ｋ为人工指定 的一个常数 。概 率潜在语义分析假设“ 文档一词” 对之间是条件独
分布概率 ， 也可以解 释为词对潜在语义 的贡献度 ，
通过 对 Ｐ ｗｉ 排序 可 以得 到 潜在 语 义 的一 个直 （ ） ｌ Ｚ
的影响， 使用更大 的词 表并 不一定 能提高检索效
观的词的表示。Ｐ ＺＩｉ表示文档 中的潜在语义 （ ｄ）
收到本文时间 ：０６年 １ ３ ２０ １月 ０日
型中， 由于 “ 档 一查 询 ” 文 的相 似 性 计 算 是 在 潜 在
语义的向量空间进行的， 不同的索引模型将如何影
响检 索效 果 ， 文将 对此 集 中讨 论 。 本
基于词和二元 的索引则具有最好的准确率。与基 于词 的索引不 同的是 ， 元索 引不会 受到未 登 录词 二 的困扰 ， 但是却 需要 消耗 过多 的存 储 空问 ¨ Ｊ 。
本 文 采 用 了 已经 较 为成 熟 的基 于 一元 语 法 的 分 词算 法对 中文 文档 进 行 分 词 。Ｎ元 语 法 是 一 种
成熟的语言模型 ， 它假设一个单词 出现的概率只与
系如 图 １所 示 ：
文档 词
３ 索引技术
３ １ 基 于分词 的索 引 ． 在过 去二 十年 的时 间里 ， 究者 对不 同的分 词 研 算 法 进行 了大量 的实 验 ， 没有结 论 表明哪 一种方 法
概率潜在语义分析的KNN文本分类算法
概率潜在语义分析的KNN文本分类算法戚后林;顾磊【期刊名称】《计算机技术与发展》【年(卷),期】2017(027)007【摘要】Traditional KNN Text Classification (TC) algorithm just implements a simple concept matching during calculation of the similarity between texts without taking the semantic information of the text in training and test set into account.Thus it is possible to lose semantic meaning in the process of text classification with KNN classifier as well as inaccurate categorization results.Against this problem,a KNN text classification algorithm based on probabilistic latent topic model has been proposed,which establishes probabilistic topic models of text-theme,theme-lexical item for training set texts beforehand to map the semantic information to low dimensional space of theme and dictates text similarity with probability distributions of text-theme and theme-lexical.The semantic information of low dimensional text can be classified with the proposed KNN algorithm.The experimental results show that in training of large training dataset and unclassified dataset,the proposed algorithm can conduct semantic classification of text with KNN classifier and enhance the accuracy and recall rate as well as F1 measure in KNN classification.%传统的KNN文本算法在计算文本之间的相似度时,只是做简单的概念匹配,没有考虑到训练集与测试集文本中词项携带的语义信息,因此在利用KNN分类器进行文本分类过程中有可能导致语义丢失,分类结果不准确.针对这种情况,提出了一种基于概率潜在主题模型的KNN文本分类算法.该算法预先使用概率主题模型对训练集文本进行文本-主题、主题-词项建模,将文本携带的语义信息映射到主题上的低维空间,把文本相似度用文本-主题、主题-词项的概率分布表示,对低维文本的语义信息利用KNN算法进行文本分类.实验结果表明,在训练较大的训练数据集和待分类数据集上,所提算法能够利用KNN分类器进行文本的语义分类,且能提高KNN分类的准确率和召回率以及F1值.【总页数】5页(P57-61)【作者】戚后林;顾磊【作者单位】南京邮电大学计算机学院,江苏南京 210003;南京邮电大学计算机学院,江苏南京 210003【正文语种】中文【中图分类】TP301.6【相关文献】1.基于文本和类别信息的KNN文本分类算法 [J], 艾英山;张德贤2.变精度粗糙集的加权KNN文本分类算法 [J], 刘发升;董清龙;李文静3.基于TextRank的KNN文本分类算法研究 [J], 景永霞; 苟和平; 孙为4.基于加权局部线性KNN的文本分类算法 [J], 齐斌;邹红霞;王宇5.改进词向量和kNN的中文文本分类算法 [J], 丁正生;马春洁因版权原因，仅展示原文概要，查看原文内容请购买。
基于论文和专利数据的研究前沿挖掘研究——以智能网联汽车领域为例
（北京林业大学经济管理学院，北京100081）摘 要：［目的／意义］对比论文数据和专利数据的特征指标，识别热点、新兴、潜在和消亡研究前沿主题。
［方法／过程］利用LDA主题模型，对智能汽车领域相关的论文数据和专利数据进行主题提取，计算两个数据源下各主题的强度和主题新颖度并进行对比分析。
［结果／结论］本文识别出路径规划技术等热点研究前沿6个、智能计算等新兴研究前沿2个、安全认证技术等潜在研究前沿6个、车载平台等消亡研究前沿6个。
本文在前沿识别方法上进行了创新，有效识别出领域内研究前沿并进行分类，为相关机构和研究人员提供借鉴。
关键词：研究前沿主题识别LDA主题模型智能网联汽车中图分类号： G306；G353.1 文献标识码：A0引言科技创新能力作为综合国力竞争的决定性因素，在当今社会发挥巨大作用。
研究前沿是科学技术创新中最新、最具有潜力和前瞻性的研究方向。
[1]因此，准确识别研究前沿，可为国家明确科技战略重点、前瞻性部署科技创新主要方向提供支持，实现有限资源的最佳配置。
科技论文是科学工作者理论研究进展和成果的产出形式，专利则体现出从理论研究走向实践、走向商业化的程度，将论文、专利数据相结合，可以在基础研究层面和应用研究层面上探测科学技术发展的前沿趋势，有效提升预测结果的准确性。
智能网联汽车是未来全球汽车产业发展的必然趋势，具有可观的商业利润和巨大的应用前景，是新一轮世界新兴产业发展变革的战略制高点。
我国对这片蓝海给予高度重视：2018年12月，工业和信息化部发布《车联网（智能网联汽车）产业发展行动计划》，指出要加快智能网联汽车产业发展。
2019年9月，中共中央、国务院印发的《交通强国建设纲要》强调要加强智能网联汽车（智能汽车、自动驾驶、车路协同）研发，形成自主可控完整的产业链。
[2]2020年2月，《智能汽车创新发展战略》正式发布，为我国智能网联汽车的未来发展指明了方向。
在科学研究意义上，论文反映基础研究，专利反映应用研究。
自然语言处理预测句子概率n元语言模型
自然语言处理预测句子概率n元语言模型近年来，随着人工智能技术的快速发展和深入应用，自然语言处理成为了人工智能领域中备受关注的一个重要方向。
而在自然语言处理的诸多技术中，预测句子概率的n元语言模型无疑是一个重要且基础的模型。
1. 什么是自然语言处理预测句子概率n元语言模型？自然语言处理预测句子概率n元语言模型是一种用来估计一个句子在语言中出现的概率的模型。
在这个模型中，n代表了预测时考虑的前n-1个词，因此我们可以将n元语言模型看做是一个利用前n-1个词来预测第n个词出现概率的模型。
在这个模型中，我们主要关注的是句子中词与词之间的联系和顺序。
在自然语言处理中，预测句子概率的n元语言模型可以被广泛应用于机器翻译、语音识别、信息检索等多个领域。
2. n元语言模型的基本原理在n元语言模型中，我们主要通过统计语料库中出现的各个词和它们之间的联系，来估计句子中每个词的出现概率。
通过这种方式，我们可以建立起一个词与词之间联系和概率的模型，从而可以更准确地预测句子中各个词的出现顺序和概率。
n元语言模型也可以根据已有的语料库进行学习和训练，从而不断地优化模型，使其更加准确和可靠。
3. 自然语言处理预测句子概率n元语言模型的应用自然语言处理预测句子概率n元语言模型在自然语言处理领域中有着广泛的应用。
它在机器翻译中起到了至关重要的作用。
通过建立句子中词与词之间的联系和概率模型，我们可以更准确地进行翻译，使得翻译结果更加准确和流畅。
在语音识别中，n元语言模型也可以帮助进行语音的识别和理解，从而提高语音识别的准确率和效率。
n元语言模型还可以在信息检索、文本生成等多个领域中发挥重要作用。
4. 我对自然语言处理预测句子概率n元语言模型的理解在我看来，自然语言处理预测句子概率n元语言模型是一种非常有意义且实用的模型。
通过这种模型，我们可以更好地理解句子中词与词之间的联系和顺序，从而更好地进行自然语言处理。
我认为n元语言模型是自然语言处理中的一个基础和重要的环节，它为我们提供了一个更直观和有效的方法来处理自然语言，并且在实际应用中也有着广泛的应用前景。
《统计学习方法》笔记--概率潜在语义分析
《统计学习⽅法》笔记--概率潜在语义分析概率潜在语义分析(probabilistic latent semantic analysis，PLSA)是⼀种利⽤概率⽣成模型对⽂本集合进⾏话题分析的⽆监督学习⽅法。
跟潜在语义分析相似，⽽其特点是基于概率模型，⽤隐变量表⽰话题；整个模型表⽰⽂本⽣成话题，话题⽣成单词，从⽽得到单词-⽂本共现数据的过程。
概率潜在语义分析模型有⽣成模型，以及等价的共现模型。
假定n个⽂本的集合，⽂本中所有单词的集合；设定K个话题，他们为集合，多项概率分布P(d)表⽰⽣成⽂本d的概率,多项条件概率分布P(z|d)表⽰⽂本d⽣成话题z的概率,多项条件概率分布P(w|z)表⽰话题z⽣成单词w 的概率。
⽣成模型⽣成模式通过以下步骤⽣成⽂本-单词共现数据：（1）依据概率分布P(d)，从⽂本集合中随机选取⼀个⽂本d，共⽣成N个⽂本；针对每个⽂本，执⾏下⼀步操作，（2）在⽂本d给定条件下，依据条件概率分布P(z|d)，从话题集合中随机选取⼀个话题z，共⽣成L个话题，（3）在话题z给定条件下，依据概率分布P(w|z)，从单词集合中随机选取⼀个单词w。
⽣成模型属于概率有向图模型，可以⽤以下的图表⽰，图1-1 概率潜在语义分析的⽣成模型从数据⽣成过程可推出⽂本-单词共现数据T的⽣成概率为所有单词-⽂本对（w，d）的⽣成概率乘积，⽽每个单词-⽂本对（w，d）的⽣成概率由以下公式决定：共现模型同样，⽂本-单词共现数据T的⽣成概率为所有单词-⽂本对（w，d）的⽣成概率乘积：但每个单词-⽂本对（w，d）的⽣成概率由以下公式决定：共现模型假设在话题z给定的条件下，单词w与⽂本d是条件独⽴的，即图1-2 概率潜在语义模型的共现模型虽然⽣成模型与共现模型在概率公式的意义上是等价的，但拥有不同的性质。
⽣成模型刻画⽂本-单词共现数据⽣成的过程，且单词变量w与⽂本变量d是不对称的，⽽共现模型描述⽂本-单词共现数据的拥有过模式，单词变量w与⽂本变量d是对称的。
自然语言处理中的词向量模型
自然语言处理中的词向量模型自然语言处理（Natural Language Processing，NLP）是人工智能（Artificial Intelligence，AI）领域中的一个重要研究分支，其研究目的是使计算机理解和处理自然语言，实现人机之间的有效交流。
在NLP中，词向量模型是一个重要的研究方向，其目的是将文本信息转换为向量形式，在向量空间中进行处理和分析，以实现特定的NLP应用和功能。
一、词向量模型简介词向量模型是一种将词汇表中的每个单词映射到一个向量空间中的技术。
常见的词向量模型有基于统计的模型和基于神经网络的模型。
其中，基于统计的模型主要包括潜在语义分析（Latent Semantic Analysis，LSA）、概率潜在语义分析（Probabilistic Latent Semantic Analysis, PLSA）和隐式狄利克雷分配（Latent Dirichlet Allocation，LDA）等。
基于神经网络的模型主要包括嵌入式层（Embedded Layer）、循环神经网络（Recursive Neural Network，RNN）和卷积神经网络（Convolutional Neural Network，CNN）等。
二、词向量模型的应用词向量模型在NLP中有着广泛的应用。
其中，最主要的应用包括文本分类和情感分析等。
1. 文本分类文本分类是将一篇文档或一个句子分配到特定的预定义类别中的任务。
例如，将一篇新闻文章分配为政治、科技或体育类别等。
在文本分类中，词向量模型可以帮助将单词映射到向量空间中，并且计算每个类别的向量表示，以便对测试文本进行分类。
常见的文本分类算法包括朴素贝叶斯（Naive Bayes）、支持向量机（Support Vector Machine，SVM）和逻辑回归（Logistic Regression）等。
2. 情感分析情感分析是通过对文本内容的分析，确定人们在撰写或阅读一篇文章、观看一份视频或使用某个产品时的情感状态。
主题模型（概率潜语义分析PLSA、隐含狄利克雷分布LDA）
主题模型（概率潜语义分析PLSA、隐含狄利克雷分布LDA）⼀、pLSA模型1、朴素贝叶斯的分析（1）可以胜任许多⽂本分类问题。
（2）⽆法解决语料中⼀词多义和多词⼀义的问题——它更像是词法分析，⽽⾮语义分析。
（3）如果使⽤词向量作为⽂档的特征，⼀词多义和多词⼀义会造成计算⽂档间相似度的不准确性。
（4）可以通过增加“主题”的⽅式，⼀定程度的解决上述问题：⼀个词可能被映射到多个主题中（⼀词多义），多个词可能被映射到某个主题的概率很⾼（多词⼀义）2.pLSA模型基于概率统计的pLSA模型(probabilistic latentsemantic analysis, 概率隐语义分析)，增加了主题模型，形成简单的贝叶斯⽹络，可以使⽤EM算法学习模型参数。
（1）D代表⽂档，Z代表主题(隐含类别)，W代表单词；P(d i )表⽰⽂档d i 的出现概率， P(z k |d i )表⽰⽂档d i 中主题z k 的出现概率， P(w j |z k )表⽰给定主题z k 出现单词w j 的概率。
（2）每个主题在所有词项上服从多项分布，每个⽂档在所有主题上服从多项分布。
（3）整个⽂档的⽣成过程是这样的：以P(d i )的概率选中⽂档d i ；以P(z k |d i )的概率选中主题z k ；以P(w j |z k )的概率产⽣⼀个单词w j观察数据为(d i ,w j )对，主题z k 是隐含变量。
(d i ,w j )的联合分布为⽽对应了两组多项分布，⽽计算每个⽂档的主题分布，就是该模型的任务⽬标。
(4)极⼤似然估计：w j 在d i 中出现的次数n(di,wj)(5)使⽤逐次逼近的办法：假定P(z k |d i )、P(w j |z k )已知，求隐含变量z k 的后验概率；在(d i ,w j ,z k )已知的前提下，求关于参数P(z k |d i )、P(w j |z k )的似然函数期望的极⼤值，得到最优解P(z k |d i )、P(w j |z k ) ，带⼊上⼀步，从⽽循环迭代；隐含变量z k 的后验概率；在(d i ,w j ,z k )已知的前提下，求关于参数P(z k |d i )、P(w j |z k ) 的似然函数期望的极⼤值，得到最优解P(z k |d i )、P(w j |z k ) ，带⼊上⼀步，从⽽循环迭代；(6)分析似然函数期望在(d i ,w j ,z k )已知的前提. 在(d i ,w j ,z k )已知的前提下，求关于参数P(z k |d i )、P(w j |z k ) 的似然函数期望的极⼤值，得到最优解P(z k |d i )、P(w j |z k ) ，带⼊上⼀步，从⽽循环迭代分析似然函数期望:(7)完成⽬标函数的建⽴关于参数P(z k |d i )、P(w j |z k ) 的函数E，并且，带有概率加和为1的约束条件：显然，这是只有等式约束的求极值问题，使⽤Lagrange乘⼦法解决。
概率潜在语义分析
间的外积表明在 Ｐ Ｓ Ｌ Ａ中是条件独立的， ｉ Ｋ个因子与侧面 （） ｉ
（ｉ 在 Ｌ Ａ中的混合特性代替了 ｉ 的就是找到数据映射 ，这 种数据 映射在词汇层次之外也能很 模型 中的混合成分相对应 ，ｉ） Ｐ Ｓ 好地提供信息， 并且揭露相关实体间的联系。 由于 Ｌ Ａ的一 奇异值 。Ｐ Ｓ Ｓ Ｌ Ａ与 Ｌ Ａ关键 的不 同在于利用 目标函数来决定 Ｓ
Ｌ ｋ１ 的 二 次 ． 纯 形 。 持 续 次 单纯 形 中 ， 合 权 重 Ｐ ｚＩ ≤ －Ａ有很大 的益处 ： 忽略数值稳定
性的潜在问题， Ｖ Ｓ Ｄ能够被准确地计算， Ｍ 算法是一种 只能 Ｅ
尽管如此 ， ｄ 唯 一 地 确 定 一 个 点 。 尽 管 所 介 绍 的 潜在 变 量 的不 连 续 性 ， 保证找到概似 函数 的局部极大值的迭代渐进算法。 ） Ｅ 但连续 的潜在 空间被包含在所有 多项式分布的空间中。对于 在所有试验 中， Ｍ 的计算时间没有 明显地 比在 同现数组中的
了一种更有 原则性 的， 并且在 统计方面有巩 固基础 的方法。为 了避免过适应 ， 我们 通过缓增 Ｅ 算法提 出一 Ｍ
种广泛适用 的最大概似泛化模 型。在 大量的实验 当中， 我们 的方法在原有 的潜在语 义分析的基础 上做 了大量
和 持 续 改进 。
关键词 ：信息检 索 同现数据 中图分类号 ：（２ １ ３ ０
让我们 简捷地讨论一些关于这个观点的例子 ，进一步揭
ＬＡ Ｓ 我们 已经 为了强调这个观 点并且证 实与 Ｌ Ａ的相关性 ， Ｓ 在矩 阵符 示在词汇内容方面 Ｐ Ｓ 比 Ｌ Ａ更加优越的地方。 斟协论坛 ・２ １ ０ ０年第 ５期【 ）— — 下
—
—
生 成 了一 个 带 有 在 聚 类 上 的 ｌ６ 个 文本 摘 要 的数 据 集 ， 且 于直接取决于复杂度的性能标准的应用 中。因此在文本学 习 ５８ 并
基于概率潜在语义分析模型的自动答案选择
Ａｕ ｏ ａ ｉ ｓ ｒＳ ｌ ｃ ｉ ｎ Ｂａ ｅ ｎ ｔ ｍ ｔｃＡｎ ｗｅ ｅｅ ｔ０ ｓ ｄ ０
Ｐｒ ｂ ｂ ｌ ｔｃＬａ ｅ ｔ ｅ ａ ｔｃＡｎ ｌ ｓｓＭ ｏ ｅ ｏ ａ ｉ ｓｉ ｔ ｎ ｍ ｎ ｉ ａ ｙ ｉ ｄ ｌ ｉ Ｓ
２ Ｃ ｌｇ ｆ ｏ ｕｅ ｃｅｃ ｎ ｅｈ ｏｏｙ Ｚ ＠ａｇＵｎｖ ｒｉ ， ａ ｇｈ ｕ３０ ２ ， ｉａ ． ｏｌ ｅ ｍｐ ｔｒ ｉ ｅａｄＴ ｃｎ ｌｇ， ｈ ｎ ｉｅｓｙ Ｈ ｚ ｏ ０ ７ Ｃｈｎ ； ｅ ｏＣ Ｓ ｎ ｔ ｎ １
３ Ｃｏｌｇ ｆｎｏ ａ ｏ ｅｈ ｏｏｙ Ｚ ｅｉ ｇＶ ｃｔ ｎ ｌ ｏｌ ｅ ｆ ｏ ． ｌ ｅｏ ｆｒ ｔ ｎＴ ｃｎ ｌｇ ， ｈｊ ｏ ａｏ ａ ｌｇ ｍｍｅｃ， ｎ ｚ ｏ ０ ３ Ｃ ｉａ ｅ Ｉ ｍ ｉ ｎ ａ ｉ Ｃ ｅ ｏＣ ｒｅ Ｈａｇｈ ｕ３ ０ ５ ， ｈｎ ） １
第 ３ 卷 第 １ 期 ７ ４
、０ｌ ７ ， ＿ ３
・
计
算
机
工
程
２ １ 年 ７月 ０１
Ｊ ｌ ２ １ ｕ ｙ ０１
ＮＯ．４ １
Ｃｏ ｍｐｕ ｅ ｇｉ ｅ ｉ ｔｒＥｎ ｎｅ ｒｎｇ
软 件技 术 与数 据库 ・
文章墙号：ｌ０＿ ４８ｏ１４＿ ７ ３ 文献标识码： ０ ３２（ １１＿０ ２ ）．０ Ａ
中田 分类号： Ｐ９ Ｔ３３
基 于概 率潜在语 义分析模 型 的 自动答案选择
张 成 ，曲明成 倪 ， 宁 ，仇 光 卜 ， 佳俊 。
（．中国残联信息 中心 ，北京 １０３ ；２ 浙江大学计算机科学与技术学院 ，杭州 ３０２ ； １ ００４ ． １０７
【国家自然科学基金】_情感词_基金支持热词逐年推荐_【万方软件创新助手】_20140730
推荐指数 3 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2011年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
2011年
2012年 科研热词 推荐指数 序号 科研热词 词面孔任务 2 1 情感词 极性判别 2 2 微博 效价冲突效应 2 3 评价词 性别差异 2 4 观点句 语料库构建 1 5 表情符号 词汇情感倾向 1 6 表情情感词典 词典解释 1 7 舆情 翻译方法 1 8 维吾尔语 维吾尔语 1 9 知网 直推式学习 1 10 特征降维 模糊层次分析法 1 11 特征模板 情感语料 1 12 热点事件 情感词语 1 13 模糊情感本体 情感词识别 1 14 模糊处理 情感分类 1 15 标签预测 情感倾向度 1 16 标签传播算法 态度挖掘 1 17 条件随机场模型 强度 1 18 文本分类 基准词 1 19 支持向量机 中文信息处理 1 20 情绪词 word-face paradigm, attective 1 valence interterence, 21 情感词扩展 gender dillerence. 22 情感极性分析 23 情感向量空间模型 24 情感分类 25 情感分析 26 情感分布语言模型 27 情感倾向性 28 归类 29 属性搭配 30 属性 31 否定成分 32 句子情感 33 协作学习 34 半监督学习 35 半监督 36 倾向分析 37 依存分析 38 二部图 39 中文信息处理 40 simrank 41 crf
推荐指数 3 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
基于概率潜在语义分析模型的分类融合图像标注
92 •电子技术与软件工程 Electronic Technology & Software Engineering图像与多媒体技术• Image & Multimedia Technology【关键词】图像自动标注 词袋 支持向量机 概率潜语义分析 分类1 引言图像自动标注就是计算机系统根据已经标注的图像和标签的关系，去预测未标注图像的标签并标注图像。
但由于存在语义鸿沟，视觉特征相似的图像很可能在语义上是不相关的。
为了获得语义相关的检索结果，同时避免大量的手工标注，图像自动标注成为目前关键的具有挑战性的课题。
Duygulu 等[3]将对象识别模型描述为机器翻译，在这个模型中，图像被分割成区域，这些区域使用各种特征被分类为区域类型；然后使用基于EM 的方法来学习与图像一起提供的区域类型和关键字之间的映射。
李志欣等[5]在PLSA 模型和PLSA-WORDS 模型的基础上提出了PLSA-FUSION 标注方法，该方法分别从文本模态和视觉模态中学习两组潜在主题,然后把这两种潜在主题融合成一个潜在主题空间，有较好的性能，但特征数据在量化过程中仍会丢失重要信息。
邱泽宇等[6]结合区域之间的位置关系及其标签之间的共生关系辅助标注图像，提出两种模型对标签共生关系建模辅助修正标签集，标注效果和性能有了较好的改善。
Wu 等 [7]提出了一种称为弱标签的半监督深度学习方法，一个新的弱加权两两排序损失被有效地用来处理弱标记的图像，而三重相似性丢失被用来处理未标记的图像。
由于支持向量机(Support Vector Machine, SVM)是基于学习理论产生的，支持向量机通常具有很好的分类性能，可以用来解决局部极值问题和高维问题。
用SVM 解决多分类问题基于概率潜在语义分析模型的分类融合图像标注文/吕海峰 蔡明的方式是训练多个分类器，使每一类都可以通过SVM 分类器与其它类分开。
在图像标注问题中，可以将图像的类别看成是语义标签，进而把该问题转换成图像分类问题。
【计算机应用】_概率潜在语义分析_期刊发文热词逐年推荐_20140728
科研热词 视觉词汇 概率潜在语义分析 局部不变特征 场景分类 分块潜在语义
推荐指数 1 1 1 1 1
2010年 序号 1 2 3 4 5 6 7 8
科研热词 概率潜在语义分析 自适应策略 网页分类 知识管理 知识树 潜在语义空间 广义粒子群 属性约简
ቤተ መጻሕፍቲ ባይዱ
推荐指数 2 1 1 1 1 1 1 1
2011年 序号 1 2 3 4
科研热词 潜在语义分析 概率潜在语义分析 文本聚类 参数初始化
推荐指数 1 1 1 1
2012年 序号 1 2 3 4 5 6 7
科研热词 词袋模型 潜在主题 概率潜在语义分析算法 概率潜在语义分析 医学影像分类 web聚类 k-medoids算法
推荐指数 1 1 1 1 1 1 1
2013年 序号 1 2 3 4 5 6 7 8 9 10
2013年 科研热词 推荐指数 项目特征 1 项目推荐 1 语义标签 1 潜在变量 1 概率潜在语义索引 1 概率潜在语义 1 最大期望算法 1 大众分类 1 回火期望最大化算法 1 凝聚式层次k中心点聚类 1
基于概率潜在语义分析的Blog个性化查询扩展研究
基于概率潜在语义分析的Blog个性化查询扩展研究
崔琳;谈成访;吴孝银
【期刊名称】《安阳师范学院学报》
【年(卷),期】2013(000)002
【摘要】随着Web2.0技术的日益成熟和Blog技术的发展,Blog页面的数量呈指数级上升,只靠基于关键字匹配的Blog搜索引擎已满足不了用户的需要.传统Blog 搜索引擎的搜索效率达不到用户个性化要求,受概率潜在语义分析技术研究的启发,将概率潜在语义分析模型用于Blog日志查询,根据用户的兴趣和个性化特点进行检索,返回与用户需求相关的查询结果.实验结果表明,相对于传统的向量空间模型和潜在语义分析模型,基于概率潜在语义分析模型的Blog日志查询在平均精度和召回率上得到了显著提高.
【总页数】4页(P39-42)
【作者】崔琳;谈成访;吴孝银
【作者单位】宿州学院信息工程学院,安徽宿州234000;宿州学院信息工程学院,安徽宿州234000;宿州学院信息工程学院,安徽宿州234000
【正文语种】中文
【中图分类】TP391.1
【相关文献】
1.基于个性化词典的搜索引擎查询扩展模型 [J], 李力沛;罗颖
2.基于环境信息的移动搜索个性化查询扩展 [J], 王忠民;霍艺伟;邓万宇
3.基于多语义关系的个性化查询扩展方法 [J], 伍璇;周栋
4.基于个性化词典的搜索引擎查询扩展模型 [J], 李力沛;罗颖;
5.基于用户兴趣模型的个性化跨语言查询扩展研究 [J], 兰慧红
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
概率潜在语义模型综述
信息检索本质上是语义检索, 而传统信息检索系统都是基于独立词索引, 因此检索效果并不理想. 概率潜在语义索引是一种新型的信息检索模型, 它在潜在语义索引模型思想的基础上, 通过EM迭代算法将词向量和文档向量投影到一个低维空间, 消减了词和文档之间的语义模糊度, 使得文档之间的语义关系更为明晰。
论述了概率潜在语义索引的理论基础, 探讨了隐含语义索引在信息处理处理中的应用。
标签：信息检索；潜在语义索引；SVD分解；概率潜在语义索引
1 简介
传统的信息检索模型可归为三类：布尔模型、向量空间模型和概率模型。
它们都分别把文本和查询表示为索引词的集合，尽管使用了不同的方法，但本质上均为某种形式的索引词的匹配，而没有进一步做语义上的分析。
自然语言中存在大量的同义词、多义词，这分别对传统检索模型的召回率和准确率有不利的影响。
检索系统要求用户提供足够多精确、无歧义的关键词才有可能得到所需要的信息，这大大增加了系统使用的难度。
为了进行更自然更人性化的查询，检索系统必须能够处理自然语言中的同义、多义现象，进行语义上的分析。
潜在语义分析(LSA)是一种发现潜在语义并分析文档、词和语义三者之间关系的方法。
其主要思想是通过统计分析来发现文档中词与词之间存在的某种潜在的语义结构，并且使用这些潜在的语义结构来表示词和文本。
虽然潜在语义分析在信息检索领域取得了令人满意的效果，但是它存在几个缺陷：首先由于潜在语义分析过程中奇异值分解的物理意义不够明确，较难控制词义聚类的效果；此外这个算法的空间和时间复杂度太大，在目前的计算机硬件条件下很难实际适应实际应用。
针对潜在语义分析的这些缺陷，Hoffmann 提出了一种新的方法－概率潜在语义分析(PLSA)，该方法使用概率模型来表示“文档—潜在语义—关键词”三者之间的关系，文档和关键词都可以映射到同一个语义空间，这样，文档和文档以及文档和关键词之间的相似度都可以通过计算语义空间上的夹角而得以量化。
2 潜在语义索引（LSI）
潜在语义索引(Latent Semantic Indexing) 是S. T. Dumais)等人提出的。
其基本思想是文本中的词与词之间存在某种联系,即存在某种潜在的语义结构,因此采用统计的方法来寻找该语义结构,并且用语义结构来表示词和文本。
这样的结果可以达到消除词之间的相关性,化简文本向量的目的。
潜在语义索引的算法基于矩阵的奇异值分解
选择适当的K 值,将S0中删除相应的行和列得到S,删除T0、D0的相应的行和列分别得到T、D,运算得到新的矩阵A = TSD T,用它去近似原始矩阵,这
个秩为K 的新矩阵在最小平方意义上最接近原始矩阵。
即:
潜在语义索引与其它相关模型相比其好处在于一是可调节的表示能力;二是项和文本在同一空间内的确定性表示;三是对于大型数据集合的计算简便性,对于
某些单模式分析模型的计算复杂度达到O(N4) 或O (N5),而潜在语义索引为O (N2K3),其中N为矩阵行数加列数。
SVD 分解的重要意义在于将项和文本映射在同一个K维的语义空间内, 这样较之传统的单模式因子分析,它的基础不再是同一类型的两个事物的相似矩阵,而是任意的矩阵,其结果是将项和文本表示为K 个因子的形式, 而且保持了原始的大部分信息。
SVD 分解并不是为了描述这些潜在的语义结构,而是利用潜在语义结构来表示项和文本,克服单纯项表示时产生的同义、多义以及“斜交”现象。
利用SVD 分解不仅能够分析传统的项与项或者文本与文本的之间的相似关系,而且更关键的是能够分析项和文本的关系。
在新的语义空间分析计算项与项或者文本与文本的之间的相似系数,比直接利用原始的特征向量进行点内积运算,具有良好的效果。
因为它是基于语义层,而前者是基于词汇层。
3 概率潜在语义索引（PLSI）
虽然潜在语义模型在传统的信息检索模型的基础上加入了语义的概念，并在很多领域取得了令人满意的实验结果。
但是由于LSI 自身的物理意义不够明确，所以较难控制词义聚类的效果。
此外这个算法的空间和时间复杂度太大，在目前的硬件条件下很难实际应用。
1999 年，Hofmann 提出了统计隐含语义标引（PLSI）的概念，在理论和算法上都有所突破。
3.1 概率潜在语义索引模型描述
（1）构造“文档—词”索引矩阵。
如图1所示，构造文档—词的索引矩M(Word,Document )，其中的文档按照类型排序。
矩阵M中元素的初始值c(d,w)设为单词w在文档d 中出现的次数。
然后，需要进行归一化的操作，主要基于以下两个原因：第一，每篇文章中词的个数多少不同，因此一个词在短文章中出现一次的价值，显然应该大于在长文章中出现一次的价值；第二，一个很少出现的词，一旦出现在文档中，其价值应该大于普遍出现的词。
事实上，类似于“the, 我们，的，of”之类的词几乎在任何文档中都会出现，因此其价值应该是趋向于零的。
其中，c(d,w)是矩阵M 初始值，b 是系数，Count(w)是词w 在所有文档中出现的总次数，Length(d)是文档d 中所有非停用词数。
(2)构造语义空间，确定映射初始值。
构造k维的语义空间Z，并且依据(1)中的粗分类结果给出语义空间的先验
概率p(z)。
具体的操作如下：设有n 篇文档，文档共分为t 种类型，其中第1 篇到第i 篇是同一类型的，那么有：
其中，’’表示取整操作，k 值的选取依赖于经验，如果太小则无法把各类分开，如果太大则太敏感，容易引入噪声；在一般应用中可取20到100。
有了语义空间后，需要分别构造“文档—主题”的映射矩阵P(D,Z)和“词—主题”的映射矩阵P(W,Z)，并给出初始值。
设共有文档n 篇，其中文档d 属于第一类，而第一类的文档共有i
而对矩阵P(W,Z)，由于不知道任何的先验知识，所以就给随机值作为其初始值；需要注意的是，必须满足概率矩阵的条件，也就是任何一行的值之和必须是1。
(3) 采用EM 迭代算法，求得结果。
根据上述的结果，可以求得“文档—词”的相似度矩阵P(W,D)初始值：
然后，在最小熵的意义下，进行优化。
即最大化以下函数（其中m(w,d)是索引矩阵M中的元素）：
反复应用公式⑥⑦，直到函数⑤的变化量很小，即可认为达到了最大值。
从而就获得了最优化的P(Z),P(W,Z),P(D,Z)矩阵。
3.2 概率潜在语义索引的应用
文本分类问题的核心是计算文本之间相似度。
设从文本do 中抽取词向量Wo，其维度等于P(W,W)矩阵的行向量维度，其元素W o(word)为词word 在文本中出现次数的归一化值。
利用P(W,W)，得到文本相似度：
(3) PLSI 跨语言查询关键词扩展。
基于PLSI 的跨语言关键词扩展，实际上整合了机器翻译，词义消歧，语义扩展等多项功能。
所有的工作综合起来，乘一个词间相似度矩阵即可完成。
首先
构造查询关键词向量Wq,扩展后的关键词向量We。
Wq是相当稀疏的，而We
乎在每一项上都有值。
这是符合设计思想的，任何词之间（包含中英文词或其他语言的词）都有一定程度的语义联系，区别仅仅在于这种联系的强弱。
（4）基于PLSI的中文文本聚类。
利用PLSI也可以进行文档的聚类分析. 聚类分析就是根据对象之间的相似性, 把一组对象划分为一个个更小的组, 使得组内对象尽可能相同, 而组与组之间尽可能不同. 可以选择任何一种基于向量模型的聚类方法. 其中, 核心任务是计算向量间的相似度。
当进行文档聚类时, 利用公式（9）中的方法计算文档间
的相似度；对文本库中的词进行聚类分析时，利用“词－词”相似度矩阵P（W,W）计算词之间的相似度。
词聚类可应用于自动词典建立、自动寻找索引词和文本分类等.
参考文献
［1］金千里，赵军，徐波.弱指导的统计隐含语义分析及其在跨语言信息检索中的应用.
［2］周水庚，关佶红，胡运发.隐含语义索引及其在中文文本处理中的应用研究，小型微型计算机系统，2001 V ol.22 No.2.
［3］THOMAS HOFMANN, Unsupervised Learning by Probabilistic Latent Semantic Analysis, Machine Learning, 42, 177-196, 2001
［4］Thomas L. Gri_ths and Mark Steyvers, A probabilistic approach to semantic representation.
［5］Peter W. Foltz, Walter Kintsch and Thomas K. Landauer, The Measurement of Textual Coherence with Latent Semantic Analysis.
［6］Christos H. Papadimitriou, Prabhakar Raghavan, Hisao Tamaki and Santosh Vempala, Latent Semantic Indexing: A Probabilistic Analysis, Journal of Computer and System Sciences 61, 217_235 (2000).
注：“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。
”。