中文分词ppt
合集下载
词法分析详解课件
GitHub仓库
许多开源的自然语言处理工具都在GitHub上托管和分享，可以作 为学习和研究的资源。
在线教程和课程
各大在线教育平台（如Coursera、Udacity等）提供了丰富的自然 语言处理课程，包括词法分析的详细教程。
学术论文
深入研究词法分析的学术论文，可以在各大学术数据库中检索并阅 读。
05 词法分析的挑战与未来发 展
未登录词问题
总结词
未登录词问题是指分词过程中遇到的新词或未知词，无法被正确识别和分割。
详细描述
在自然语言处理中，未登录词问题是一个常见挑战。由于语言的复杂性和动态性，总会有一些新词或未知词出现 ，导致分词器无法正确识别和分割。解决未登录词问题的方法包括基于规则的方法、基于统计的方法和混合方法 等。
促进多任务处理
词法分析的结果可以用于 多种自然语言处理任务， 如分词、词性标注、句法 分析等。
词法分析的基本原则
一致性
对同一类文本的处理方式 应该保持一致，避免出现 不同的分词结果。
准确性
分词结果应尽可能准确， 减少错误和歧义。
高效性
分词算法应尽可能高效， 以满足大规模文本处理的 实时性要求。
02 词法分析的步骤
THANKS FOR WATCHING
感谢您的观看
词义消歧
词义消歧是指在对文本进行分词和词性标注后，对同形异义词和多义词进行语义区分的过程 。
同形异义词是指形式相同但意义不同的词语，例如“银行”既可以指代金融机构，也可以指 代河岸边坡。多义词是指具有多个相关联意义的词语，例如“绿色”可以指颜色，也可以指 环保、生态等意义。
词义消歧的方法可以分为基于规则的方法、基于统计的方法和混合方法三种。基于规则的方 法主要依靠人工制定的消歧规则，而基于统计的方法则通过机器学习算法进行消歧。混合方 法则是将基于规则的方法和法分析是自然语言处理中的重要预 处理步骤，它有助于提高文本处理的 精度和效率，为后续的文本理解和生 成提供准确的基础。
第三章二元语法与中文分词
• 当 = 3时的n元语法称为三元语法（trigram）
• >= 4时数据稀疏和计算代价又变得显著起来，实际工程中几乎不使用。
• 另外，深度学习带了一种递归神经网络语言模型（RNN Language Model），
理论上可以记忆无限个单词，可以看作“无穷元语法”（∞ −gram）。
《自然语言处理入门》
1) 前向：由起点出发从前往后遍历节点，更新从起点到该节点的最小花费
以及前驱指针。
2) 后向：由终点出发从后往前回溯前驱指针，取得最短路径。
《自然语言处理入门》
3.4.4 词图上的维特比算法
def viterbi(wordnet):
nodes = wordnet.getVertexes()
# 前向遍历
3.4.4 词图上的维特比算法
• 粗分词图：========按终点打印========
to: 1, from: 0, weight:04.60, word:始##始@商品
to: 2, from: 1, weight:00.80, word:商品@和
to: 3, from: 1, weight:00.80, word:商品@和服
• 最大似然估计（Maximum Likelihood Estimates，MLE）
0 … −1 = ML 0 … −1
0 …
=
0 … −1
其中，(0 … )表示0 … 的计数（count），比如
(商品 和 服务) = (商品|BOS)(和|BOS 商品)(服务|BOS 商品 和)(EOS|BOS 商品 和 服务)
《自然语言处理入门》
3.4 预测
• 预测（predict）指的是利用模型对样本（句子）进行推断的过程，
• >= 4时数据稀疏和计算代价又变得显著起来，实际工程中几乎不使用。
• 另外，深度学习带了一种递归神经网络语言模型（RNN Language Model），
理论上可以记忆无限个单词，可以看作“无穷元语法”（∞ −gram）。
《自然语言处理入门》
1) 前向：由起点出发从前往后遍历节点，更新从起点到该节点的最小花费
以及前驱指针。
2) 后向：由终点出发从后往前回溯前驱指针，取得最短路径。
《自然语言处理入门》
3.4.4 词图上的维特比算法
def viterbi(wordnet):
nodes = wordnet.getVertexes()
# 前向遍历
3.4.4 词图上的维特比算法
• 粗分词图：========按终点打印========
to: 1, from: 0, weight:04.60, word:始##始@商品
to: 2, from: 1, weight:00.80, word:商品@和
to: 3, from: 1, weight:00.80, word:商品@和服
• 最大似然估计（Maximum Likelihood Estimates，MLE）
0 … −1 = ML 0 … −1
0 …
=
0 … −1
其中，(0 … )表示0 … 的计数（count），比如
(商品 和 服务) = (商品|BOS)(和|BOS 商品)(服务|BOS 商品 和)(EOS|BOS 商品 和 服务)
《自然语言处理入门》
3.4 预测
• 预测（predict）指的是利用模型对样本（句子）进行推断的过程，
中文分词
Class-based Ngram Ngram分词评价
能够处理大多数常用词带来的歧义问题 不能处理新词以及新词带来的歧义问题
解决之道：Class-based Ngram
在统一的框架下进行分词与新词识别 将词分为若干类
词典词：教师（词典处理） 仿词：2000年（规则处理） 新词：范路（基于类的新词识别） 形态词：高高兴兴（规则处理） 不同类型的词用不同处理方法，最后利用Ngram框架寻找全 局最优切分结果
P(C ) ≅ ∏P(ci | ci−2ci−1)
m 1 i=1
m
P (S1n | C1m ) = P (s1, s2 ,⋅ ⋅ ⋅, sn | c1, c2 ,⋅ ⋅ ⋅, cm ) ≅ P ([s1,⋅ ⋅ ⋅, sc1−end],⋅ ⋅ ⋅,[scm−start,⋅ ⋅ ⋅, sn ] | c1, c2 ,⋅ ⋅ ⋅, cm ) ≅ ∏ P ([scj −start,⋅ ⋅ ⋅, scj −end] | c j )
中文分词一席谈
suntian@
内容提要
中文分词概述 分词技术发展 国际分词评测 分词技术总结
中文分词概述
什么是分词？ 什么是分词？
分词就是利用计算机识别出文本中词汇的过程。比如 句子“内塔尼亚胡说的确实在理”
中文分词概述（Cont.）
分词作用
互联网绝大多数应用都需要分词，典型应用实例 汉字处理：拼音 汉字处理：拼音输入法、手写识别、简繁转换 …告推荐、内容监控 … 语音处理： 语音处理：语音识别、语音合成 … …
w w
P (W | O ) = max ∏ P ( wt | wt −1 , ot )
w t =1
T
W：分词结果 O：待分词文本
生成式分词（Cont.）
能够处理大多数常用词带来的歧义问题 不能处理新词以及新词带来的歧义问题
解决之道：Class-based Ngram
在统一的框架下进行分词与新词识别 将词分为若干类
词典词：教师（词典处理） 仿词：2000年（规则处理） 新词：范路（基于类的新词识别） 形态词：高高兴兴（规则处理） 不同类型的词用不同处理方法，最后利用Ngram框架寻找全 局最优切分结果
P(C ) ≅ ∏P(ci | ci−2ci−1)
m 1 i=1
m
P (S1n | C1m ) = P (s1, s2 ,⋅ ⋅ ⋅, sn | c1, c2 ,⋅ ⋅ ⋅, cm ) ≅ P ([s1,⋅ ⋅ ⋅, sc1−end],⋅ ⋅ ⋅,[scm−start,⋅ ⋅ ⋅, sn ] | c1, c2 ,⋅ ⋅ ⋅, cm ) ≅ ∏ P ([scj −start,⋅ ⋅ ⋅, scj −end] | c j )
中文分词一席谈
suntian@
内容提要
中文分词概述 分词技术发展 国际分词评测 分词技术总结
中文分词概述
什么是分词？ 什么是分词？
分词就是利用计算机识别出文本中词汇的过程。比如 句子“内塔尼亚胡说的确实在理”
中文分词概述（Cont.）
分词作用
互联网绝大多数应用都需要分词，典型应用实例 汉字处理：拼音 汉字处理：拼音输入法、手写识别、简繁转换 …告推荐、内容监控 … 语音处理： 语音处理：语音识别、语音合成 … …
w w
P (W | O ) = max ∏ P ( wt | wt −1 , ot )
w t =1
T
W：分词结果 O：待分词文本
生成式分词（Cont.）
中文分词技术的研究现状与困难
四、解决方案
为了克服中文分词技术的研究困难，以下一些解决方案值得：
1、优化分词算法：针对分词算法的复杂性问题，可以尝试优化算法的设计和 实现，提高其效率和准确性。例如，可以通过引入上下文信息、利用语言学知 识等方式来改进算法。
2、改进信息检索技术：在信息检索领域，可以尝试将先进的排序算法、推荐 系统等技术引入到检索过程中，以提高检索效果。此外，还可以研究如何基于 用户行为和反馈来优化检索结果。
3、缺乏统一的评价标准：中文分词技术的评价标准尚未统一，这使得不同研 究之间的比较和评估变得困难。建立通用的中文分词技术评价标准对于推动相 关研究的发展至关重要。
4、特定领域的应用场景：中文分词技术在不同领域的应用场景中面临着不同 的挑战。例如，在金融领域中，需要分词技术对专业术语进行精确识别；在医 疗领域中，需要处理大量未登录词和生僻字。如何针对特定领域的应用场景进 行优化，是中文分词技术的重要研究方向。
3、建立大型标注语料库：通过建立大型标注语料库，可以为分词算法提供充 足的训练数据，提高其准确性和自适应性。此外，标注语料库也可以用于开发 基于规则的分词方法和测试集的构建。
4、研究跨领域的应用场景：针对不同领域的应用场景，可以研究如何将中文 分词技术进行迁移和适配。例如，可以通过知识图谱等技术将不同领域的知识 引入到分词过程中，以提高分词效果。
然而，各种分词方法也存在一定的局限性和不足。例如，基于规则的分词方法 需要人工编写规则和词典，难以维护和更新；基于统计的分词方法需要大量标 注语料库，而且训练模型的时间和计算成本较高；基于深度学习的分词方法虽 然取得了较好的效果，但也需要耗费大量的时间和计算资源进行训练。
三、研究困难
中文分词技术的研究面临着诸多困难和挑战，以下是一些主要词方法：该方法主要依靠人工编写的分词规则来进行分词。 代表性的工作包括台湾大学开发的中文分词系统“THULAC”和北京大学开发 的“PKU中文分词系统”。这些系统均基于词典和规则，具有较高的准确率和 召回率。
中文信息处理课件
THANK YOU
汇报人：
基于知识图谱的方法：通过构建知识图谱，分析文本中的实体和关系，进行情感分类
中文情感分析技术应用场景
电商评论情感分析：帮助商家了解消费者对产品的评价和满意度
社交媒体情感分析：帮助企业了解消费者对品牌的态度和口碑
客户服务情感分析：帮助企业了解客户对服务的满意度和需求 情感机器人：通过情感分析技术，让机器人更好地理解和回应人类的情 感需求
义的词组
常见的中文分 词方法有基于 词典的分词、 基于统计的分 词和基于深度
学习的分词
中文分词技术 在搜索引擎、 机器翻译、情 感分析等领域 有着广泛的应
用
中文分词算法分类
基于词典的分词算法
基于统计的分词算法
基于规则的分词算法
基于深度学习的分词算 法
中文分词技术应用场景
搜索引擎：提高搜索结果的准确性和效率 自然语言处理：用于文本分析、情感分析、机器翻译等 社交媒体：用于文本分析、情感分析、用户画像等 电子商务：用于商品推荐、用户行为分析等
05
中文句法分析技术
中文句法分析技术简介
什么是中文句法分析：对中文 句子进行结构分析，提取句子 中的语法成分和结构关系
句法分析的方法：基于规则的 句法分析、基于统计的句法分 析、基于深度学习的句法分析
添加标题
添加标题
添加标题
添加标题
句法分析的作用：帮助理解句 子的含义，提高自然语言处理 系统的性能
句法分析的应用：机器翻译、 信息检索、问答系统、情感分 析等
中文句法分析算法分类
基于规则的句法分析算法：通过定义规则来识别句子结构 基于统计的句法分析算法：通过统计方法学习句子结构 基于深度学习的句法分析算法：使用深度学习技术识别句子结构 基于语法树的句法分析算法：通过构建语法树来识别句子结构
LTP分词结果介绍
LTP分词结果介绍
LTP的功能模块：
• • • • • • 分词（WS） 词性标注（POS） 命名实体识别（NE） 词义消歧（WSD） 依存句法分析（PARSER） 语义角色标注（SRL）
例：王菲是一名歌手，她演唱了因为爱情这首歌
词性标注
LTP使用的是863词性标注集，各个词性含义如下表
Tag
nt
nz o p q r u v wp ws x
temporal noun
other proper noun onomatopoeia preposition quantity pronoun auxiliary verb punctuation foreign words non-lexeme
近日，明代
城郊 北京
d
e g h i j k m n nd nh
adverb
exclamation morpheme prefix idiom abbreviation suffix number general noun direction noun person name
很
哎 茨，甥 阿，伪 白花齐放 公检法 界，率 一，第一 苹果 右侧 杜甫，汤姆
动宾关系
主谓关系 连动结构
VOB(verb-object)
SBV(subject-verb) VV(verb-verb)
动补结构
介宾关系 核心
CMP(complement）
POB(prep-obj) HED (head)
关联结构
独立分句 依存分句
CNJ(conjunctive)
IC(indep. clause) DC(dep. clause)
依存句法分析 对于前面给出的例子，根据LTP的分析结果，可得如下依存树：
LTP的功能模块：
• • • • • • 分词（WS） 词性标注（POS） 命名实体识别（NE） 词义消歧（WSD） 依存句法分析（PARSER） 语义角色标注（SRL）
例：王菲是一名歌手，她演唱了因为爱情这首歌
词性标注
LTP使用的是863词性标注集，各个词性含义如下表
Tag
nt
nz o p q r u v wp ws x
temporal noun
other proper noun onomatopoeia preposition quantity pronoun auxiliary verb punctuation foreign words non-lexeme
近日，明代
城郊 北京
d
e g h i j k m n nd nh
adverb
exclamation morpheme prefix idiom abbreviation suffix number general noun direction noun person name
很
哎 茨，甥 阿，伪 白花齐放 公检法 界，率 一，第一 苹果 右侧 杜甫，汤姆
动宾关系
主谓关系 连动结构
VOB(verb-object)
SBV(subject-verb) VV(verb-verb)
动补结构
介宾关系 核心
CMP(complement）
POB(prep-obj) HED (head)
关联结构
独立分句 依存分句
CNJ(conjunctive)
IC(indep. clause) DC(dep. clause)
依存句法分析 对于前面给出的例子，根据LTP的分析结果，可得如下依存树：
中文分词
汉语的修饰在前
他说的确实在理
他/说/的确/实在/理 他/说/的/确实/在理
双向匹配
最短路径算法
最少分词问题 等价于在有向图中搜索最短路径问题
发 1 2
展 3
中 4
国 5
家 6
基于统计的最短路径分词算法
基本的最短路径每条边的边长为1
当最短路径有多条时，往往只保留一条结果
南京市长江大桥
南京市/长江大桥 南京/市长/江大桥
歧义例子续
当结合成分子时
当/结合/成分/子时 当/结合/成/分子/时 当/结/合成/分子/时 当/结/合成分/子时
中文分词歧义分类
交集型歧义
如果AB和BC都是词典中的词，那么如果待切分字串 中包含“ABC”这个子串，就必然会造成两种可能的切 分：“AB/ C/ ” 和 “A/ BC/ ”。 比如“网球场”就可能造成交集型歧义（网球/ 场/ : 网/ 球场/）。
路径1： 0－1－3－5
路径2： 0－2－3－5
该走哪条路呢？
最大概率法分词
S: 有意见分歧
W1: 有/ 意见/ 分歧/ W2: 有意/ 见/ 分歧/
Max(P(W1|S), P(W2|S)) ?
P( S | W ) P(W ) P(W | S ) P(W ) P( S )
P(W ) P( w1, w2 ,...,wi ) P( w1 ) P( w2 ) ... P( wi )
对其它符合要求的路径不公平
这里考虑每个词的权重，即每条边的边长 不相等
最简单的权重是词频（必须真实、科学有效）
中文搜索引擎分词技术
“娱乐新闻报道”和“新闻娱乐报道”的相关提示基本完全一样。
三、如何计算相似性并排序输出
为什么增 加的都是 “娱乐新 闻”的相 关提示呢？
设每个单词都有一个权重值 IDF(word)＝rd) 是包含单词word的网页数目 得： IDF(娱乐)=log(10/1)=1 IDF(新闻)=log(10/1)=1 IDF(报道)= log(10/1)=1 权重是：娱乐=新闻=报道 IDF(娱乐,新闻,报道) = IDF(娱乐) + IDF(娱乐) + IDF(娱乐) =3 IDF(娱乐,新闻,报道) >IDF(娱乐,报道)>IDF(新闻,报道) 查询权重相同，则按照用户查询次数由高到低排序输出。
中文搜索引擎技术
第一节 中文分词技术 分词技术简述 分词技术 分词中的难题与发展 第二节 拼写检查错误提示
第三节相关提示功能分析 第四节 案例分析
中国三大搜索引擎的分词技术
第一节 中文分词技术
一.什么是中文分词 把中文的汉字序列切分成有意义的词。 例：我/是/一个/学生 二.分词技术简述 1.基于字符串匹配的分词方法 按照一定的策略将待分析的汉字串与一个机器词库中的词条 进行匹配。 常用分词方法： 正向最大匹配法（由左到右的方向） 例：我 /有意/ 见/ 分歧 反向最大匹配法 例：我 /有/意见/分歧
用户输入
匹配
查分词词典 不匹配 利用拼音标注程序对用户输入进行拼音标注 不做拼写检查
在同音词词典 里面扫描 拼音提示 流程 匹配 输出权重比较大 的几个提示结果
不匹配 不做提示
第三节相关提示功能分析
一、如何获得用户的查询信息 可对搜索引擎用户查询日志(LOG)文件做查询归类。 二、如何选择提示词 对于用户查询进行分词，然后对于分词后的结果来进行相似 性计算。
汉语分词简介
汉语分词
7
双向匹配法
比较FMM法与BMM法的切分结果，从而 决定正确的切分 可以识别出分词中的交叉歧义 算法时间、空间复杂性较高
汉语分词
8
主要的分词方法（二）
基于理解的分词方法：通过让计算机模 拟人对句子的理解，达到识别词的效果。 其基本思想就是在分词的同时进行句法、 语义分析，利用句法信息和语义信息来 处理歧义现象。 由于汉语语言知识的笼统、复杂性，难 以将各种语言信息组织成机器可直接读 取的形式，因此目前基于理解的分词系 统还处在试验阶段。
2011.12
汉语分词 1
分词的定义
中文分词 (Chinese Word Segmentation) 指的是将一 个汉字序列切分成一个一个单独的词。分词就是将连 续的字序列按照一定的规范重新组合成词序列的过程。 我们知道，在英文的行文中，单词之间是以空格作为 自然分界符的，而中文只是字、句和段能通过明显的 分界符来简单划界，唯独词没有一个形式上的分界符， 虽然英文也同样存在短语的划分问题，不过在词这一 层上，中文比之英文要复杂的多、困难的多。 通俗的说，中文分词就是要由机器在中文文本中词与 词之间加上标记。
汉语分词
13
切分歧义（ ） 切分歧义（2）
真歧义
歧义字段在不同的语境中确实有多种切分形式 例： 地面积 这块/地/面积/还真不小 地面/积/了厚厚的雪
伪歧义
歧义字段单独拿出来看有歧义，但在所有真实语境中，仅有一种切 分形式可接受 例： 挨批评 挨/批评（√） 挨批/评（╳）
等
如“建设/有”、“中国/人民”、“各/地方”、 “本/地区”
汉语分词 15
未登录词（OOV）
虽然一般的词典都能覆盖大多数的词语，但有 相当一部分的词语不可能穷尽地收入系统词典 中，这些词语称为未登录词或新词 分类：
分词的用法
=After I had failed twice,I didn’t want to try again.
高频句
•…, but having said that, …
“Excuse me, do you know its against the law to ride your bike without lights, but having said that, I’m not going to arrest
a deserted car park =a car park that has been deserted
高分句
•Company A sells pencils made in the
UK, whereas Company B sells pencils manufactured overseas.
过去分词作定语
3. left, questioned, found通常作后置定语
It’s only one left, so I can give you a special price.
过去分词作定语
4. used, given等词作前置和后 置定语意义不同
A: The store sells used books only.
about him.
3.作非谓语：
a. 可作 adj./adv. b. 充当定语、状语、表语和补语
分词作定语
现在分词： 主动进行 过去分词： 被动完成
• The girl saw Kingkong. • The girl fell in love with Kingkong.
• The girl saw Kingkong and fell in love with him. • When the girl saw Kingkong, she fell in love with him. • Seeing Kingkong, the girl fell in love with him.
高频句
•…, but having said that, …
“Excuse me, do you know its against the law to ride your bike without lights, but having said that, I’m not going to arrest
a deserted car park =a car park that has been deserted
高分句
•Company A sells pencils made in the
UK, whereas Company B sells pencils manufactured overseas.
过去分词作定语
3. left, questioned, found通常作后置定语
It’s only one left, so I can give you a special price.
过去分词作定语
4. used, given等词作前置和后 置定语意义不同
A: The store sells used books only.
about him.
3.作非谓语：
a. 可作 adj./adv. b. 充当定语、状语、表语和补语
分词作定语
现在分词： 主动进行 过去分词： 被动完成
• The girl saw Kingkong. • The girl fell in love with Kingkong.
• The girl saw Kingkong and fell in love with him. • When the girl saw Kingkong, she fell in love with him. • Seeing Kingkong, the girl fell in love with him.
sphinx配置-中文分词-PHP调用sphinx课件(2)
cd /lamp/sphinx-0.9.9
./configure --prefix=/usr/local/sphinx --withmysql=/usr/local/mysql make && make install
• 我们需要备份一下配置文件，防止改错不好 处理。 cp sphinx.conf.dist sphinx.conf
sql_query_info WHERE id=$id
= SELECT * FROM documents
}
xmlpipe settings 是XML类型的，直接过去。
211行 这个
source srclthrottled:srcl 继承索引源。
index test1 （只有索引这个里面的值要修改）
sql_pass = sphinxpass #MySQL密码
sql_db = sphinx #MySQL数据库
sql_port = 3306
# MySQL端口
sql_sock = /tmp/mysql.sock
sock文件。
35行
# 如果是linux下需要开启，指定
sql_query_pre = SET NAMES UTF8 # MySQL检索编码 73行
Coreseek
• cd /lamp • tar -zxvf coreseek-3.2.14.tar.gz • 进入到mmseg所在文件夹，先安装中文分词mmseg。 • cd /lamp/coreseek-3.2.14/mmseg-3.2.14/ • ./bootstrap //输入的warming信息可以忽略，error需要解
3.sphinx分布图
相当于数据库的中间层，缓解数据库的压力
./configure --prefix=/usr/local/sphinx --withmysql=/usr/local/mysql make && make install
• 我们需要备份一下配置文件，防止改错不好 处理。 cp sphinx.conf.dist sphinx.conf
sql_query_info WHERE id=$id
= SELECT * FROM documents
}
xmlpipe settings 是XML类型的，直接过去。
211行 这个
source srclthrottled:srcl 继承索引源。
index test1 （只有索引这个里面的值要修改）
sql_pass = sphinxpass #MySQL密码
sql_db = sphinx #MySQL数据库
sql_port = 3306
# MySQL端口
sql_sock = /tmp/mysql.sock
sock文件。
35行
# 如果是linux下需要开启，指定
sql_query_pre = SET NAMES UTF8 # MySQL检索编码 73行
Coreseek
• cd /lamp • tar -zxvf coreseek-3.2.14.tar.gz • 进入到mmseg所在文件夹，先安装中文分词mmseg。 • cd /lamp/coreseek-3.2.14/mmseg-3.2.14/ • ./bootstrap //输入的warming信息可以忽略，error需要解
3.sphinx分布图
相当于数据库的中间层，缓解数据库的压力
中文信息处理课件
基于深度学习的分类算法
通过人工制定规则对文本进行分类， 具有简单直观的优点，但需要大量的 人力物力。
利用神经网络对文本进行分类，具有 较高的分类精度和泛化能力，但需要 大量的计算资源和训练时间。
基于统计的分类算法
利用统计学方法对文本进行分类，具 有较高的准确率，但需要大量的训练 数据。
情感分析技术
有特定意义的实体，如人 名、地名、组织名等的过程。
关键技术包括：基于规则的方 法、基于模板的方法和基于机 器学习的方法等。
命名实体识别技术广泛应用于 信息提取、智能问答、信息推 荐等领域。
05
中文信息处理面临的挑战与解决方案
语言特性的挑战与解决方案
情感词典构建
手工构建
通过人工方式对词汇进行情感极 性标注，构建情感词典。优点是 准确度高，但工作量大，耗时耗 力。
自动构建
利用机器学习算法对大量语料进 行学习，自动构建情感词典。优 点是速度快，但准确度相对较低 。
04
信息抽取与关系抽取
信息抽取技术
信息抽取是从非结构 化的文本中提取结构 化的信息的过程。
基于统计的分词方法
HMM（隐马尔可夫模型）
通过训练大量文本，计算出各个状态之间的转移概率和观测概率，从而确定最 佳的分词结果。
CRF（条件随机场）
基于序列标注的方法，通过训练数据学习标签序列的概率分布，从而对未标注 的文本进行分词。
深度学习在中文分词中的应用
RNN（循环神经网络）
01
利用RNN捕捉句子中的上下文信息，结合分词任务的特点，对
由于中文词汇量庞大且语言使用的特殊性，很多词汇在语料 库中出现的频率很低，这使得模型训练时面临数据稀疏的问 题。为了解决这一问题，可以采用数据增强技术、预训练语 言模型以及迁移学习等方法。
汉语分词内容
汉语分词
12
具体的分词标准实例
结合紧密、使用稳定的词组则不予切分:不管三 七二十一
惯用语和有转义的词或词组，在转义的语言环 境下，一律为分词单位: 妇女能顶/半边天/ 他真小气，象个/铁公鸡/
略语一律为分词单位:科技 奥运会 工农业 分词单位加形成儿化音的“儿” :花儿 悄悄儿
玩儿
汉语分词
二字或三字词，以及结合紧密、使用稳定的： 发展 可爱 红旗 对不起 自行车 青霉素
四字成语一律为分词单位：胸有成竹 欣欣向 荣
四字词或结合紧密、使用稳定的四字词组:社会 主义 春夏秋冬 由此可见
五字和五字以上的谚语、格言等，分开后如不 违背原有组合的意义，应予切分:
时间/就/是/生命/
失败/是/成功/之/母
（地名）、空调、欧盟（组织缩略名）、环保、媒体、拚搏、研讨
菜|篮子、反应|堆、党|组织、房|地产、副|主席（职位名）、国库|券、核|电站、价值|观、乒乓| 3
球、食用|菌、实验|室、市|政府（机构名）、舒|马赫（人名）、消费|者、许可|证
百货|大楼、博士|学位、长篇|小说、犯罪|分子、改革|开放、高速|公路、国有|资产、绿色|食品、 4
汉语分词
8
“真歧义”和“伪歧义”
真歧义指存在两种或两种以上的可实现 的切分形式，如句子“必须/加强/企业/ 中/国有/资产/的/管理/”和“中国/有/能 力/解决/香港/问题/”中的字段“中国有” 是一种真歧义
伪歧义一般只有一种正确的切分形式，
如“建设/有”、“中国/人民”、“各/ 地方”、 “本/地区”等
构名）、摄氏度（计量单位）、世乒赛（缩略名）、塔利班（组织名）
标本|兼|治（成语）、求|真|务实、萨|马兰|奇（人名）、神|州|大地、升|旗|仪式、体制|转|轨、政 4
关于分词时态与语态的变化(PPT)4-4
的非法定计量单位，符号a。平方厘米的面积上受到万达因作用力，压强就是巴，合帕。从前气象学上多用毫巴，现已改用百帕。 【巴】巴士：大～｜ 中～｜小～。 【巴巴】后缀。用在形容词后，表示程度深：干～｜可怜～。 【巴巴结结】?ɑ〈方〉形状态词。①凑合；勉强：一般书报他～能看懂。②勤奋； 艰辛：～地做着事情｜他～从老远跑来为了啥？ 【巴巴儿地】〈方〉副①迫切；急切：他～等着他那老伙伴。②特地：～起了个大早赶来。 【巴不得】?? 〈口〉动迫切盼望：他～立刻见到你。 【巴旦杏】名扁桃。 【巴豆】名①常绿灌木或小乔木，叶子卵圆形，花小，结蒴果，种子可入。②这种植物的种子。
八字形的步子。 【八字没一撇】ī〈口〉比喻事情还没有眉目。 【八字帖儿】名旧俗订婚时写明男方或女方生辰八字的帖子。也叫庚帖。 【巴】①盼望：～ 不得｜朝（）～夜望。②动紧贴：爬山虎～在墙上。③动粘住：粥～了锅了。④粘在别的东西上的东西：锅～。⑤〈方〉动挨着：前不～村，后不～店。⑥ 〈方〉动张开：～着眼瞧｜天气干燥，桌子都～缝儿啦。 【巴】①周朝国名，在今四川东部和重庆一带。②指四川东部和重庆一带。③名姓。 【巴】量压强
现在分词 一般式：表示泛指的时间，和与谓语动词同时 进行或紧密相连的动作：
(1) Going straight down the road, you will find the department store.
Going straight down the road, she found the department store.
汉军八旗。八旗官员平时管民政，战时任将领，旗民子孙世代当兵。 【八下里】?〈方〉名指很多方面（多表示照顾不过来）：～都要他一个人管，怎么管 得好？ 【八仙】名①神话中的八位神仙，就是汉钟离、张果老、吕洞宾、李铁拐、韩湘子、曹国舅、蓝采和、何仙姑。旧时常作为绘画的题材和美术装饰的
八字形的步子。 【八字没一撇】ī〈口〉比喻事情还没有眉目。 【八字帖儿】名旧俗订婚时写明男方或女方生辰八字的帖子。也叫庚帖。 【巴】①盼望：～ 不得｜朝（）～夜望。②动紧贴：爬山虎～在墙上。③动粘住：粥～了锅了。④粘在别的东西上的东西：锅～。⑤〈方〉动挨着：前不～村，后不～店。⑥ 〈方〉动张开：～着眼瞧｜天气干燥，桌子都～缝儿啦。 【巴】①周朝国名，在今四川东部和重庆一带。②指四川东部和重庆一带。③名姓。 【巴】量压强
现在分词 一般式：表示泛指的时间，和与谓语动词同时 进行或紧密相连的动作：
(1) Going straight down the road, you will find the department store.
Going straight down the road, she found the department store.
汉军八旗。八旗官员平时管民政，战时任将领，旗民子孙世代当兵。 【八下里】?〈方〉名指很多方面（多表示照顾不过来）：～都要他一个人管，怎么管 得好？ 【八仙】名①神话中的八位神仙，就是汉钟离、张果老、吕洞宾、李铁拐、韩湘子、曹国舅、蓝采和、何仙姑。旧时常作为绘画的题材和美术装饰的
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
歧义检测成10 功
歧义的发现（2）
• MM+逆向最小匹配法 • 全切分方法
– 依据词表，给出输入文本的所有可能的切分结果。 – 输入： 提高人民生活水平
输出： 提/高/人/民/生/活/水/平 提高/人/民/生/活/水/平 提高/人民/生/活/水/平 提高/人民/生活/水/平 提高/人民/生活/水平 ……
– 依据一定的原则，选择一种结果作为最终切分结果，如：
• 选择次数最少的切分结果（最短路径） • 选择概率最大的切分结果
11
歧义切分的表示——词图
12
歧义消解（1）
• 基于记忆的歧义消解
– 伪歧义所占比例很大。 – 从一亿字真实汉语语料库中抽取交集型歧义切分字段。高频的前
4619个字段，覆盖了该语料库中全部交集型歧义切分字段的59.20%。 – 其中4279个属伪歧义，覆盖率达53.35%。 – 鉴于伪歧义的消解与上下文无关，可以把它们的正确（唯一）的切
—— ACL2007执行委员会主席 Mark Steedman
3
中文分词做什么？
• 中文以字为基本书写单位，词语之间没有明 显的区分标记。
• 通俗的说，中文分词就是要由机器在中文文 本中词与词之间加上标记。
• 输入：
我是学生。
• 输出：
我/是/学生/。
4
英语有词语切分问题吗？
• 英语中不是完全没有词语切分问题，不能仅凭借空 格和标点符号解决切分问题。
伪歧义 真歧义
9472% 将技术/应用/于/项目
精力/应/用于/学习
5.28% 解除/了/职务
方程的/解/除了/0还有1 9
歧义的发现（1）
• 歧义消解的前提是歧义的发现。切分算法应该有能力检测到输入文本中 何时出现了歧义切分现象。
• MM和RMM只能给出一种切分结果，不能检测出歧义。
• 专业术语和新词语
– 专业术语：万维网 主机板 模态 逻辑 贝叶斯算法 – 缩略语 ：三个代表 五讲四美 打假 扫黄打非 计生办 – 新词语 ：卡拉OK 波波族 美刀 港刀
15
未登录词识别
• 未登录词识别困难
– 未登录词没有明确边界，缺少英语中的分隔符、大小写、词的形态、冠词 等语法信息
例：张掖市民乐县
目录
• 引言 • 关键问题 • ICTCLAS • 评测 • 由字构词 • 总结
1
目录
• 引言 • 关键问题 • ICTCLAS • 评测 • 由字构词 • 总结
2
Everything is made of particles, so Physics is very important. The World-Wide-Web is made of Language, so Computational Linguistics is very important.
• 双向最大匹配法（MM+RMM）
– MM
企业用工的/自主/权
RMM 企业用工的/自/主权
– 存在歧义检测盲点
MM、RMM 他/从/马上/下来
– 对中文句子进行统计分析的实验表明：
比例 约 90.0% 不到1.0% 约 9.0%
MM与RMM切分 结果比较 相同
不同
正确性 都正确 都错误 其中有一个正确
– 许多未登录词的构成单元本身可以独立成词
例：张建国
– 与普通词相似
例：爱子面容俨然是父亲的“女性版”
– 呈现一定的句法结构
例：好又多、我爱我家房地产经纪公司
• 通常每一类未登录词都要构造专门的识别算法 • 识别依据
– 内部构成规律（用字规律） – 外部环境（上下文）
16
理解和分词孰先孰后？
• Andi Wu主张把分词的决定放在句法分析的过程中去解决， 而不是在句法分析前就做出决定。
• 组合型歧义
– 对于汉字串AB，A、B、AB同时成词
– 例：门/把手/坏/了，请/把/手/拿/开 将来，现在，学生会
• 混合型歧义
– 同时包含交集型歧义和组合型歧义
– 例：
这样的/人/才能/经受住考验 这样的/人才/能/经受住考验 这样的/人/才/能/经受住考验
• 中文文本中，交集型歧义与组合型歧义出现的比例约为1:22。
– 缩写词 N.A.T.O i.e. m.p.h Mr.
– 连写形式以及所有格结尾
AT&T
I’m He’d don’t Tom’s – 数字、日期、编号
128,236 +32.56 -40.23 02/02/94 02-02-94 – 带连字符的词
text-to-speech text-based e-mail co-operate
C=-log(f/N)
• 切分路径的代价为路径上所有词的代价之和 • 寻求代价最小的路径
14
未登录词
• 实体名词和专有名词
– 中国人名：李素丽 老张 李四 王二麻子 – 中国地名：定福庄 白沟 三义庙 韩村 河马甸 – 翻译人名：乔治·布什 叶利钦 包法利夫人 酒井法子 – 翻译地名：阿尔卑斯山 新奥尔良 约克郡 – 机构名 ：方正公司 联想集团 国际卫生组织 外贸部 – 商标字号：非常可乐 乐凯 波导 杉杉 同仁堂
8
切分歧义（2）
• 真歧义
– 歧义字段在不同的语境中确实有多种切分形式
– 例：
地面积
这块/地/面积/还真不小
地面/积/了厚厚的雪
• 伪歧义
– 歧义字段单独拿出来看有歧义，但在所有真实语境中，仅有一种切分形式 可接受
– 例：
挨批评
挨/批评（√） 挨批/评（╳）
• 对于交集型歧义字段，真实文本中伪歧义现象远多于真歧义现象
• 英语中的切分通常被叫做Tokenization。
• 和中文相比，英语切分问题较为容易。
5
目录
• 引言 • 关键问题 • ICTCLAS • 评测 • 由字构词 • 总结
6
中文分词的关键问题
• 切分歧义消解 • 未登录词识别
7
切分歧义（1）
• 交集型歧义
– 对于汉字串AJB，AJ、JB同时成词 – 例：结合/成，结/合成
分形式预先记录在一张表中，其歧义消解通过直接查表即可实现。
• 基于规则的歧义消解 – “一起”+~V →一+起
我们/一起/去实验室 一/起/恶性交通事故
13
歧义消解（2）
• 基于统计的歧义消解
– 在词图上寻找统计意义上的最佳路径。 – 如何评价最佳路径? – 例如：基于一元模型进行评价
• 统计词表中每个词的词频，并将其转化为路径代价
• 他的系统使用基于句法-语义规则的句法分析器NLPwin。 • 2003年，他的系统参加第一届Bakeoff评测，取得了很好的