计算语言学概论
计算语言学
计算机语言都可以用来控制计算机来解决一些实际问题。这些问题可以是数值计算问题，其操作对象就是一 些由符号构成的符号串；也可以是非数值计算问题如声音、图像处理问题，其操作对象就是声音和图像等。我们 应知道各种计算机语言都不是万能的，每种计算机语言都有自己的特点、优势及运行环境，有自己的应用和操作 对象 。
计算语言学之所以有这样长足的发展，是由于社会的需要。当今世界处于新技术革命时代，一个以电子计算 机为基本工具的现代化语言文字信息处理系统正在世界范围内形成，这标志着高度发展的信息化社会的到来。计 算语言学正是为担当这一历史使命而诞生和发展的 。
基本内容
计算语言学发展到今天，按其工作性质和复杂程度，可以归结为以下3个方面:
成果
计算语言学可以说是计算机和语言学相结合的产物。这种结合已经得到丰硕的成果，除了上面说到的那些应 用课题以外，还表现在对语言学理论和方法的影响上。语言的定义扩展了：语言已不仅是人类重要的交际工具， 而且也是人机之间的交际工具。为了满足计算机加工的要求，计算语言学最大的特点就是要求语言的形式化，因 为只有形式化，才能算法化、自动化。根据这项要求，制定出一系列面向语言信息处理的自动分析方法，其中包 括预示分析法、从属分析法、中介成分体系、优选语义学、扩充转移络、概念从属论等等。这些自动分析方法， 已在机器翻译和自然语言理解的系统中得到应用，并证明有效。语言的形式化是分层进行的。语法的形式化相对 来说比较简单，人们已做了不少工作；语义的形式化则是一个复杂的问题，人们进行的工作还不多。而语义形式 化问题解决得好坏，将大大影响语言自动加工的成效。因此，继续发掘行之有效的形式结构分析方法和语义分析 方法，研究它们之间的关系，以及探讨它们在不同系统中各自使用的限度，这是计算语言学中的重点研究课题 。
武汉大学文学院各专业培养方案(2010级、2011级、2012级用)
武汉大学文学院简介文学院中文学科发端于1893年建校之初的自强学堂。
起初开设“华文”课，后改称“汉文”。
国立武昌高等师范学校时期，于1917年设立国文史地部。
1922年正式成立国文系，中文学科从此有了独立的行政建制。
1927年改称中国文学系。
1928年国立武汉大学成立时设置文学院，闻一多先生出任首任院长。
1953年，兄弟学校中文系并入武汉大学组建了新的中国语言文学系。
1997年改建文学院。
1999年与其他学院合并为人文科学学院。
2003年7月恢复文学院建制至今。
文学院暨中文学科创建以来，名流云集，代有传人。
在1928 年以前的初创时期，著名学者王葆心、黄福、黄侃、廖立勋、郁达夫、杨振声等等，筚路蓝缕，开启先路，奠定了文学院的坚实基础。
其中，黄侃先生与章太炎先生所创立的“章黄学派”饮誉海内外，对文学院的学风和学术发展产生了深远影响。
1928年之后的数十年是文学院的发展壮大时期。
杨树达、闻一多、刘博平、刘永济、刘异、游国恩、苏雪林、叶圣陶、沈从文、朱东润、高亨、冯沅君、袁昌英、陈西滢、徐天闵、朱光潜、陈登恪、席鲁思、黄焯、程千帆、刘绶松、胡国瑞、李健章、周大璞、李格非等先辈，鞠躬尽瘁，不断开拓，使文学院的中文学科迅速发展壮大、走向辉煌，跃居全国同类学科前列。
尤其是五十年代，以“五老八中”为代表的学术中坚声名远播。
改革开放以来，是文学院奋发图强、蓬勃向上的时期。
这一时期，刘禹昌、吴林伯、王启兴、陆耀东、王文生、吴志达、何国瑞、蔡守湘、易竹贤、罗立乾、陈美兰、李希贤、夏渌、郑远汉、宗福邦、杨合鸣、龙泉明等学者，励精图治，奋起直追，为文学院再铸辉煌做出了重要贡献。
如今的文学院，下设中国文学系、汉语言文化系、大学语文部、古籍整理研究所、《长江学术》杂志社、《写作》杂志社等常设机构，还与“国家汉办”合作建立了“汉语国际推广教学资源研究与开发基地”，建有海外孔子学院。
共有教职工88人，其中专任教师65人。
教师中教授32人，博士生导师30人，副教授26人。
《计算语言学概论》PPT课件
4.2 詞ê判別-11
其它ê問題(辭典無收ê詞)
定量詞 eg 三張紙、二十五個人、…
定量詞若無處理，會影響台語變調結果
複合詞問題 eg 國中小、上下班、… Prefix/Suffix eg 正確性、相關性、… 重thah詞 eg 歡歡喜喜、輕輕鬆鬆、… 人名、地名 eg 陳水扁、舞鶴、… 組織名、商品名 eg 台大資訊系、可口可樂、… 新名詞、簡省詞 eg E世代、A菜、資工、… 術語(Term)
（語詞）
3. A=[aij]nn , aij = P(qt+1=j | qt=i), 1≦ i ,j ≦N (目前詞
類是i ê情形下，下一個詞類是 j ê機率）
4. B={ bj(k) }, bj(k) = P(vk|j), 1 ≦k ≦M, 1 ≦j ≦N
5. π是開始狀態ê機率分佈
23
4.3 詞性標注-8
實作上
Beh按怎真緊ka詞chhe出來？ 斷詞beh按怎做disambiguity？ 詞類beh按怎做disambiguity？
5
4.2 詞ê判別
英文ê詞 (Tokenization)
White Space / 標點 隔開 有ê詞用標點隔開 eg “I’ll” “can’t” 有ê縮寫詞有句點 eg “U.S” 有ê詞有非字母 eg “AT&T” “Micro$oft” 數字 eg “123,456.789” “23.5%” “2005/12/21”
n個詞類，O(nm)
28
4.3 詞性標注-13
Viterbi : 利用動態規劃 ê觀念
假設每一個詞lóng有n個詞類標記，wm kàu wm+1 êj-th標記，有n個可能ê路徑，假設機 率siong kôan ê是 ti tj這個路徑
计算语言学
计算语言学的研究过程包括知识挖掘、形 式表述、算法设计和程序编制几个阶段。经验 主义的方法可以在第一阶段发挥更大的运用， 而理性主义方法可以在第二个和第三个阶段发 挥更好的运用。在各个语言学研究阶段，这两 种方法的应用不应该是互相割裂的，虽然在不 同阶段可以有不同的主次之分，但是两者的有 机结合应该贯穿在整个过程中。
第三节 语言的自动理解与生成
一、语言自动理解与生成的基础
（一）语言知识库 （二）形式语言理论 （三）自动机理论 （四）语言规则的形式化表述
二、句法分析法
（一）句法分析方法 （二）分析策略 1、回溯与并行处理 2、确定性算法与非确定性算法 3、自顶向下分析法与自底向上分析法
计算词汇学：研究如何用计算机处理自然语言 的词汇，建立语言词汇库，术语数据库等机器 可读词典。 计算语法学：研究如何用计算机来分析自然语 言的语法。这种研究在计算语言学中叫做自动 语法分析。计算语义学：如何利用计算机来分 析自然语言的语义。 计算语义学：如何利用计算机来分析自然语言 的语义。
（二）应用领域
三、语义分析方法
（一）语义分析的重要性 词性序列相同的词串，句法结构看其来相同， 可是由于语义的不同，句法结构也就不同。 有时候，句法结构相同的句子，语义却有可 能有很大不同。
（二）语义分析方法
1、格语法 2、语义网络 3、义素分析法 4、优选语义理论 5、蒙塔古语法
三、语料库的加工与管理
（一）语料库的加工 在汉语语料库的加工中，人们把纯文本语料 称为0级语料，而把分词语料称为1级语料，词 性标注语料称为2级语料，句法结构标注语料 称为3级语料，语义标注语料称为4级语料。
12 第十二讲 计算语言学
• 它是用计算机来研究和处理自然语言 的一门新兴边缘学科，涉及语言学、 计算机科学、数学、心理学等多个领 域。
• 通过建立形式化的数学模型，来分析、 处理自然语言，并在计算机上用程序 来实现分析和处理的过程，从而实现 以机器来模拟人的部分乃至全部语言 能力。 • 以“自然语言”为主的计算语言学可 以看作是“人工智能”的一个分支。
• 首先，计算语言学不是研究“计算机 语言”的学问，而是面向计算机的自 然语言处理，所以研究的是自然语言。 • 语言 ：人工语言、自然语言
• “计算机语言”是一种人工语言，也 是一种机器语言，用于人和机器交换 信息。比如Basic语言、C语言等等，都 是人们专门设计出来用于计算机进行 信息处理的机器语言。
2015-05-25
一、什么是计算语言学 二、计算语言学的发展历史 三、我国计算语言学发展历程 四、计算语言学的研究特点
一、什么是计算语言学
• 计算语言学(Computational Linguistics)，也 称自然语言处理(Natural Language Processing by Computer，NLP)或自然语言理解(Natural Language Understanding by Computer，NLU)， 有时也叫计量语言学(Quantitative Linguistics)、数理语言学(Mathematical Linguistics)、人类语言技术(Human Language Technology，HLT)等。
• 一个好的机器翻译系统应该把原语的语义 准确无误地在译语中表现出来。这样，语 义分析在机器翻译中越来越受到重视。 • 随着计算语言学研究水平的提高，机器翻 译的研究走向了实用化，出现了一大批实 用化的机器翻译系统。
计算语言学概论——应用语言学系列教材
本书简介 本教材从“基础”“算法”和“应用”三个方面，较为系统地介绍计算语言学的基础理论、相关的自然语言处理技术和应用。
基础部分（包括一、二、三章）主要讲述计算语言学的数学和语言学基本概念，计算语言学和自然语言处理技术的关系，自然语言处理的基本流程等内容。
此外，作为计算语言学的重要分支之一，语料库语言学得到了较大发展，有关语料库语言学的基础概念、基本理论、近年来的一些发展概况在第三章中加以介绍。
介绍这部分内容的目的，是让读者在不涉及技术细节的情况下，对计算语言学有一个初步的，同时也是较为全面的理解和掌握。
算法部分（包括第四、五章）主要介绍计算语言学的常用技术和算法。
从处理对象来讲，主要包括词法层面的分析技术、句法层面的分析技术和语义层面的处理技术；从处理方法来讲，既有传统的规则方法，也有基于语料库的统计方法的介绍。
这部分内容的主旨是希望通过本章学习后，使学生能对计算语言学的领域中的一些主流技术(比如隐马尔可夫模型在词性标注中的应用，GLR算法，部分分析技术等)有一个概要的认识，并能运用这些技术进行计算语言学相关的工作实践。
应用部分（包括第六、七章）主要讲授自然语言处理应用系统。
需要说明的是，基于语言信息处理技术的应用系统很多，本教材只是重点介绍一些常见的系统，介绍这些系统的工作机理、发展、取得的成绩，也客观介绍这些系统存在的问题和困难。
主要包括机器翻译系统，信息检索系统、信息提取系统，文本分类系统等。
目录第一章 绪论：什么是计算语言学 第一节 计算语言学的研究对象 第二节 计算语言学的研究方法 第三节 计算语言学的实际应用 第四节 小结第二章 语言知识的形式化表达 第一节 语言与语言知识 第二节 形式化表达手段 第三节 语法知识的形式化表述理论体系 第四节 语义知识的形式化表述理论体系 第五节 语篇知识的形式化表述理论体系 第六节 小结第三章 语料库：语言知识的另一种表示形式 第一节 语料库研究概况 第二节 语料的收集与加工 第三节 语料库的应用 第四节 小结第四章 词法分析 第一节 概述 第二节 “词”的识别 第三节 词性标注 第四节 词义标注 第五节 小结第五章 句法分析 第一节 句法分析导引 第二节 广义LR分析算法 第三节 基于线图的分析技术 第四节 其他句法分析技术 第五节 小结第六章 机器翻译 第一节 机器翻译概述 第二节 基于规则的机器翻译 第三节 基于语料库的机器翻译以及混合式机器翻译 第四节 机器翻译的困难、对策和评价 第五节 小结第七章 面向文本的智能信息处理 第一节 信息检索 第二节 信息提取 第三节 文本自动分类 第四节 小结术语表后记下载后 点击此处查看更多内容。
Computational_Linguistics_01计算语言学概论
名称
授课时间授课地点助教
平时成绩期末笔试
计算语言学是一门交叉学科。
计算语言
语言障碍
终极目标当前目标
建立形式化的适于计算机处理的语言模研制分析、生成以及处理语言的各种算
规则方法举例
计算语言学的研究方法
用上述规则分析句子“the boy saw the girl with a telescope”
All grammar leak (Sapir 1921)
一般而言，很多基于规则的系统不能满
融合规则驱动和数据驱动的方法
著名的例子
联机机器翻译网站
联机
信息检索系统Google
文本数据结构化
文本分类（自动判别文本的类别）音字转换（汉字整句输入法）
拼写检查和自动勘校系统。
语言学中的计算语言学
语言学中的计算语言学计算语言学是一门介于语言学、计算机科学和人工智能之间的学科，它主要关注自然语言处理和自然语言理解。
随着大数据时代的到来，计算语言学变得越来越重要，因为它可以帮助我们加快语言分析的速度和精度，并支持大规模的语言学研究。
在本文中，我们将介绍计算语言学的相关知识，探讨其在语言学方面的应用。
计算语言学的定义和历史计算语言学，又称为自然语言处理，是指借助计算机技术对于人类语言进行的相关研究。
计算语言学的根源可以追溯到20世纪50年代，早期的主要任务是机器翻译，即将一种语言的文本翻译成另一种语言。
但是，由于自然语言的复杂性和多样性，机器翻译在实践中存在很多困难和限制。
随着计算机技术的发展和自然语言理解的深入研究，计算语言学逐渐拓展到自然语言处理的更多领域，如文本分类、信息检索、情感分析、对话系统等。
这些应用领域跨足了语言学、计算机科学和人工智能的多个领域。
计算语言学的工具和技术计算语言学的研究通常包括以下步骤：（1）语言分析：对自然语言进行分词、句法分析、语义分析等处理。
（2）特征提取：从语言分析的结果中提取关键特征，其可用于分类、聚类、识别和预测等任务。
（3）模型训练：利用机器学习等技术构建语言模型或预测模型，以后续分析使用。
（4）应用部署：将已经训练好的模型应用于实际场景，实现文本分类、信息检索、情感分析等任务。
目前，计算语言学所使用的工具和技术主要包括：统计方法、自然语言处理库、人工神经网络、深度学习、爬虫技术等等。
在进行语言分析时，计算语言学常见的自然语言处理库有Stanford NLP、NLTK、spaCy等。
在机器学习领域，常用的算法包括决策树、随机森林、支持向量机、朴素贝叶斯、深度学习和递归神经网络等等。
语言分析例子如何使用计算语言学对于文本进行分析呢？这里，我们以文本分类为例，介绍计算语言学中的几种典型的文本分析方法。
（1）朴素贝叶斯分类器：由于朴素贝叶斯分类器最初用于垃圾邮件分类，现在广泛应用于不同的文本分类任务，如新闻分类、情感分析等。
计算语言学(2024)
造性。
18
2024/1/29
05
CATALOGUE
语音识别与合成
19
语音识别的原理
声学建模
将输入的语音信号转换为声学特 征向量，如梅尔频率倒谱系数（ MFCC），以描述语音的声学特
性。
2024/1/29
语言建模
构建语言模型来描述词与词之间的 概率关系，常用的有N-gram模型 和神经网络语言模型。
2024/1/29
12
句法分析
句子结构分析
确定句子中词汇之间的结构关系，如主谓宾、定状补 等。
依存关系分析
分析句子中词汇之间的依存关系，如动词与其宾语、 形容词与其修饰的名词等。
短语结构分析
识别并分析句子中的短语结构，如名词短语、动词短 语等。
2024/1/29
13
语义理解
词汇语义
理解词汇在特定上下文中的含义和用法。
1 2
个性化语言处理技术的发展
随着个性化需求的不断增长，计算语言学将更加 注重个性化语言处理技术的研究和应用，如个性 化推荐、情感分析等。
多模态语言处理的深度融合
未来计算语言学将更加注重多模态语言处理的深 度融合，实现文本、语音、图像等多种信息的联 合处理和应用。
语言智能的进一步提升
3
随着计算语言学技术的不断发展，语言智能将得 以进一步提升，实现更加自然、高效的人机交互 和智能应用。
基于规则的翻译
通过预设的语法和词汇规则进行翻译，这种方法需要大量的手工编 码规则。
基于统计的翻译
利用大量的双语语料库进行统计学习，构建翻译模型。这种方法可 以自动从语料库中学习翻译规则，避免了手工编码的繁琐。
基于神经网络的翻译
通过深度学习技术，构建大规模的神经网络模型进行翻译。这种方法 可以自动学习语言的复杂特征，并实现更加准确的翻译。
计算语言学概论课件
计算语言学的重要性
社会需求
随着信息技术的快速发展，社会 对自然语言处理的需求日益增长 ，计算语言学在信息检索、机器 翻译、语音识别等领域具有广泛
的应用前景。
学术价值
计算语言学为语言学、计算机科 学等相关学科提供了新的研究方 法和思路，有助于推动相关学科
的发展。
技术创新
计算语言学的技术突破和创新， 将推动人工智能、大数据等领域 的进步，为社会发展带来更多机
信息抽取是从非结构化文本中提 取结构化信息的过程，如从新闻 报道中提取事件、时间、地点等
关键信息。
信息抽取技术广泛应用于知识图 谱构建、问答系统等领域。
信息抽取的关键技术包括实体识 别、关系抽取、事件抽取等。
机器翻译
机器翻译是利用计算机自动将一 种语言的文本转换为另一种语言
的文本的过程。
机器翻译技术已经取得了显著的 进步，如基于神经网络的机器翻
深度学习在NLP领域的应用取得了显著成果，如词向量表示、序列标注、生成模型 等。
文本挖掘
文本挖掘是从大量文本数据中 提取有用信息的过程，包括文 本分类、聚类、情感分析等。
文本挖掘技术广泛应用于信息 检索、舆情分析、企业竞争情 报等领域。
文本挖掘的关键技术包括特征 提取、文本表示、模型评估等 。
信息抽取
感谢观看
REPORTING
情感分析
计算语言学可以帮助智能客服系统识别用户的情感倾向，从而提供 更加贴心、个性化的服务。
自动回复
利用计算语言学的方法，智能客服系统可以自动回复用户的咨询， 提高服务效率。
在机器翻译中的应用
1 2
语言对齐
计算语言学可以帮助机器翻译系统识别源语言和 目标语言之间的对应关系，提高翻译的准确度。
计算语言学讲义_词法分析(二)
•பைடு நூலகம்N=2 时：二元语法模型
– 相当于一个转移矩阵，给出每一个词后面出现另一 个词的概率
• N=3 时：三元语法模型
– 相当于一个三维转移矩阵，给出每一个词对儿后面 出现另一个词的概率
• 在自然语言处理中， N 元语法模型可以在汉字 层面，也可以在单词层面，还可以在概念层面 ……
计算语言学讲义 (04) 词法分析 ( 二 ) 10
• 估计对于汉语而言四元语法模型效果较好 • 实用系统：智能狂拼，微软拼音
计算语言学讲义 (04) 词法分析 ( 二 ) 17
N 元语法模型的参数估计
• 最大似然估计： 选择参数，使得训练语料出现的概率最大
f w 1. .. w n p w n∣w 1 w 2 ... w n−1 = f w 1. .. w n−1
13
代码识别问题 (1)
• 给出一段汉语文本，需要识别出其是 GB 码还是 BIG5 码
code = arg max P code∣text
code
P text∣code P code = arg max P text code = arg max P text∣code P code
i =1 n
≈ ∏ p ( w i∣w i − N +1 w i − N +2 ... w i −1 )
i =1
• 假设：单词 wi 出现的概率只与其前面的 N-1 个单词有关
计算语言学讲义 (04) 词法分析 ( 二 ) 9
N 元语法模型－举例
• N=1 时：一元语法模型
– 相当于词频表，给出所有词出现的频率
计算语言学讲义 (04) 词法分析 ( 二 ) 6
计算机科学概论(第3版)第6章-程序设计语言
20
6.2.6 专用语言 一个HTML程序的例子：
<html> <head> <title>标题</title> </head> <body> 这是一个HTML范例! </body> </html>
21
6.3 程序设计语言的基本概念
过程化程序语言具有的共性： 1、标识符 2、变量与数据类型 3、常量和文字 4、表达式和赋值语句 5、控制语句 6、注释
6.2.1 常用高级程序语言 目前常用的程序语言大约有50多种 。 (详见表6.7) 每月对程序设计语言的使用情况有一个排名： (详见表6.8) 注：排名结果并不代表程序语言的好坏 。
9
6.2.1 常用高级程序语言 按照程序的运行方式分类：
程序语言
汇编型语言
解释型语言
编译型语言
混合型语言
脚本型语言
过程化程序语言的语句： 1、声明语句：说明程序中要使用的元素。 2、命令语句：描述算法的步骤。 3、注释语句：解释程序的功能。
22
6.3.1 标识符
标识符的作用：命名。 计算机通过标识符与地址的联系来操作数据。 不同的程序语言对标识符有不同的规定。 例如：
1、汇编型语言 2、解释型语言 3、编译型语言 4、混合型语言 5、脚本性语言
10
6.2.1 常用高级程序语言 根据程序语言解决问题的方法及功能分类：
计算机高级语言
过程化语言
函数式语言
逻辑式语言
面向对象语言
专用语言
1、过程化语言 2、函数式语言 3、逻辑式语言 4、面向对象语言 5、专用语言
11
过程化语言 Fortran 特点 高精度运算 复杂数据的处理能力 指数运算（ ） 能快速访问，更新数据库 能生成大量报表 方便的格式化输出 结构化编程 具有并行处理能力 具有一些低级指令 简洁，高效 已被ANSI和ISO标准化 适用领域 科学计算和工程应用。
计算语言学(全套课件114P)
计算语言学的发展简史
• 1950 － 1960年代 Warren Weaver(1949) Turing Test(1950)The first MTs(1954) • 1960 － 1970年代 ALPAC(1964-1966) • 1970 － 1990年代 Searle’s Chinese Room(1980) The first PC version of MTs(early 1980s) • 1990 － 至今 MT is available on the Web(1994)
主要的技术和方法基于知识的方法17上下文无关文法的扩充hpsg文法headdrivenphrasestructuregrammar对文法增加复杂特征主要的技术和方法基于知识的方法18上下文无关文法的扩充hpsg主要的技术和方法基于知识的方法19上下文无关文法的扩充hpsg主要的运算合一运算1检查特征属性是否兼容2如果兼容那么将两个负责特征集的信息合并主要的技术和方法基于知识的方法20上下文无关文法的扩充hpsg主要的技术和方法基于知识的方法21树邻接文法初始树i树
6
思考 • 人用来交际的“语言”具有什么样的性质？ 这些性质又是如何影响交际过程的？ • 人用来交际的“语言”跟机器可以“理解” 的语言有什么样的关系？ • 人是如何运用“语言”进行交际的？ • 人运用语言进行交际的过程是否可以描述 为一个机械的过程？ • 什么叫做“理解”一种语言？
7
机器语言 vs自然语言
我是四川大学的老师。
27
主要的技术和方法 – 基于知识的方法（7） • 汉语句子切分存在的问题 交集型歧义 AB和BC都是词典中的词，如果待切分字串 中包含ABC，则可能切分成AB和C，以及A 和BC。如 网球场 组合型歧义 AB和A，B都是词典中的词，如果待切分字 串中包含AB，则可能切分为AB以及A和B。 如 个人
书籍——自然语言处理、计算语言学与中文信息处理
1、Speech and Language Processinga) 作者: Daniel Jurafsky / James H. Martinb) 副标题: An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognitionc) ISBN: 9780130950697d) 定价: USD 97.00e) 出版社: Prentice Hallf) 装帧: Paperbackg) 第一版出版年: 2000-01-26；第二版出版年：2006h) 相关网站：/~martin/slp.htmli) 英文简介：This book takes an empirical approach to language processing, based on applying statistical and other machine-learning algorithms to large corpora.Methodology boxes are included in each chapter. Each chapter is built around one or more worked examples to demonstrate the main idea of the chapter. Covers the fundamental algorithms of various fields, whether originally proposed for spoken or written language to demonstrate how the same algorithm can be used for speech recognition and word-sense disambiguation. Emphasis on web and other practical applications. Emphasis on scientific evaluation. Useful as a reference for professionals in any of the areas of speech and language processing.j) 中文译名：自然语言处理综论k) 译者: 冯志伟/ 孙乐m) 页数: 588 页n) 出版社: 电子工业出版社o) 定价: 78.0p) 装帧: 平装q) 出版年: 2005r) 中文简介：本书是一本全面系统地讲述计算机自然语言处理的优秀教材。
公共基础知识计算语言学基础知识概述
《计算语言学基础知识概述》一、引言计算语言学是一门融合了语言学、计算机科学和数学等多学科的交叉领域，旨在利用计算机技术来处理和分析自然语言。
随着信息技术的飞速发展，计算语言学在自然语言处理、机器翻译、语音识别、信息检索等众多领域发挥着至关重要的作用。
本文将对计算语言学的基本概念、核心理论、发展历程、重要实践以及未来趋势进行全面的阐述与分析。
二、基本概念1. 自然语言自然语言是人类日常交流所使用的语言，如汉语、英语、法语等。
它具有复杂性、歧义性和多样性等特点。
与形式语言不同，自然语言的语法和语义规则较为灵活，且存在大量的模糊性和不确定性。
2. 计算语言学计算语言学是研究如何利用计算机技术来处理和分析自然语言的学科。
它涉及自然语言的理解、生成、翻译、检索等多个方面，旨在实现人与计算机之间的自然语言交互。
3. 语言模型语言模型是计算语言学中的一个重要概念，它用于描述自然语言的概率分布。
语言模型可以预测一个句子或文本序列出现的概率，从而为自然语言处理任务提供基础。
常见的语言模型有 n-gram 语言模型、神经网络语言模型等。
三、核心理论1. 形式语言理论形式语言理论是计算语言学的基础理论之一，它主要研究形式语言的语法和语义。
形式语言是一种严格定义的语言，具有明确的语法规则和语义解释。
形式语言理论为自然语言的形式化表示和分析提供了方法和工具。
2. 统计语言模型统计语言模型是基于统计方法的语言模型，它通过对大量文本数据的统计分析来学习语言的概率分布。
统计语言模型在自然语言处理中得到了广泛的应用，如机器翻译、语音识别、信息检索等。
3. 深度学习理论深度学习是近年来发展迅速的一种机器学习方法，它在计算语言学中也取得了显著的成果。
深度学习模型如卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆网络（LSTM）等被广泛应用于自然语言处理任务中，如文本分类、情感分析、机器翻译等。
四、发展历程1. 早期阶段计算语言学的早期发展可以追溯到 20 世纪 50 年代，当时人们开始尝试利用计算机来进行自然语言处理。
计算语言学导论
第一章计算语言学导论计算语言学（ComputationalLinguistics）指的是这样一门学科，它通过建立形式化的数学模型，来分析、处理自然语言，并在计算机上用程序来实现分析和处理的过程，从而达到以机器来模拟人的部分乃至全部语言能力的目的。
计算语言学的研究内容：（1）从计算的角度来研究语言的性质（2）将语言作为计算对象来研究相应的算法。
从计算角度研究语言：所谓从计算的角度来看语言的性质，就是要求将人们对语言的结构规律的认识以精确的、形式化的、可计算的方式呈现出来，而不是像其他语言学研究那样，在表述语言的结构规律时一般采用非形式化的表达形式。
将语言作为计算对象来研究相应的算法，是研究如何以机械的、规定了严格操作步骤的程序来处理语言对象（主要是自然语言对象，当然也可以是形式语言对象），包括一个语言片断（比如词组、句子或篇章）中大小语言单位的识别，该语言片断的结构和意义的分析（自然语言理解），以及如何生成一个语言片断来表达确定的意思（自然语言生成），等等。
第二章语言知识的形式化表示1.有限状态自动机(FSA)的形式定义：一个有限状态自动机M是一个五元组：(Q, Σ, q0, F, δ)有限个状态组成的状态集: Q有限字母组成的字母表: Σ开始状态q0 ∈Q终止状态的集合F ⊆Q状态转移函数δ(q,i): Q xΣ→Q但是FSA：无法描述自然语言的层次结构特性2.上下文无关文法符号字母表：有限个任意符号组成的非空集合Σ例1：所有汉字组成的集合构成一个字母表。
例2：汉语中所有的词也构成一个字母表。
例3：字母a, b, c也组成一个字母表。
字符串：由字母表Σ上的字符组成的长度有限的序列若字母表Σ＝{a, b}，则a, b, ab, aba, aabb 等等都是字母表上的字符串。
语言：是字母表上的字符串的任意集合。
3.形式文法：形式文法：一个形式文法G由四个部分组成，可记作G={VN , VT , S , P }，其中：VN ：称为文法G的非终结符号字母表，VN不出现在G所表示的语言集合的句子中；VT ：称为文法G的终结符号字母表，G所表示的语言的句子由VT中的元素组成，VN ∩VT =φ；S ：代表句子符号，S∈VN 。
计算语言学完整1
计算语言学第一节计算语言学概说概念：计算语言学（computational linguistics）是用计算机研究和处理自然语言的一门新兴边缘学科。
涉及语言学、计算机科学、数学等多个领域。
旨在通过建立形式化的数学模型，来分析处理自然语言，并在计算机上用程序来实现分析和处理的过程。
从而实现机器模拟人的部分乃至全部语言能力。
研究对象自然语言&计算机处理（或者简单地说“计算”）自然语言：指日常生活中人们所使用的语言，如汉语、英语、法语等。
自然语言的特性和规则是计算语言学研究的主体。
计算语言学不仅要研究自然语言的书写系统（文字）还要研究自然语言的各级语言单位（音素、音位、语素、词、短语、句子等）的组合规则和这些语言单位与语义产生联系的各种规则【这是我们研究计算语言学的基础，初步工作】（目的：要让计算机能自动理解和产生自然语言）计算机处理：用计算机所能接受的方式来描写和刻画自然语言并把它表示在计算机中。
（计算机是以数值处理的方式来处理信息的，它以二进制数0和1为基本的操作符号，在此基础上建立起一整套形式化处理的方法来进行运转。
因此要让计算机能够理解和生成自然语言，自然语言的特性和每一条规则必须要以形式化的方式表示出来。
自然语言的规则是错综复杂的，而且规则的数量也非常多。
有了自然语言各种规则的形式化表示，并不能保证计算机就能够正确有效地理解和产生自然语言，要想让计算机能够正确有效地处理自然语言，还需要研究自然语言规则之间的关系及其处理策略，并且也要用形式化的方式表示出来。
）有了自然语言和计算机处理的研究基础，人们才能够选择计算机程序设计语言来设计和编写处理自然语言的软件程序，才能最终实现自然语言计算机处理的目的。
整个过程包括四部分：知识挖掘涉及语言学的众多理论问题，首先是语言观问题，然后是语言研究的方法论问题；形式表示算法设计更多涉及语言处理的实际工程问题软件编制知识挖掘即从语言学角度提出自然语言处理的语言问题和理论形式表示即把需要研究的问题在语言学上形式化，使之能以一定的数学形式严密规整地表示出来算法设计即把这种严密而规整的数学形式表示为算法，使之能在计算机上形式化软件编制即根据算法编写计算机程序，使之在计算机上能得以实现计算语言学性质计算语言学是一门交叉性的学科，它是由语言学和计算机科学相互交叉要有语言学的知识，又要有计算机科学的知识。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
詞義的排歧
詞法分析研究的意義與目的
機器翻譯︰簡繁轉換
后面 後面 ， 皇后 皇後 松绑 鬆綁 ， 松树 鬆樹 開發 土地開發 (開發票) 便衣 便衣警察 (簡便衣物)
訊息檢索︰搜尋引擎
文本處理︰拼寫校對
繁體子 繁體字 于涉 干涉 倒垃圾跌倒
兼類現象
Time flies like an arrow.
n-v v-n q p-v det n
把
這 篇 報導 編輯 一
v-n v-n
下
q-p-v-n r
m-c f-q-v
詞性的標注 – 兼類現象
兼類數量 5 4 3 3 20 126 詞數 百分比 0.01% 0.04% 0.23% 例子 和 c-n-p-q-v 光 a-d-n-v 畫 n-q-v
語音處理︰電腦發音、重音復原
詞法分析研究的意義與目的
詞法分析的過程
1.分詞 : 將句子中的單詞切割出來 2.詞性標注 : 決定每個詞的詞性 3.詞義排岐 : 決定每個詞的意義
文章
句子
分詞
詞串
詞性標注
詞串
詞義排歧
資料庫
漢語的分詞方式
從句子轉換到詞串，會因為切割方式的不同，而有不同的意義
學生會長是誰
學生會 / 長 / 是 / 誰 學生 / 會長 / 是 / 誰 學生 / 會 / 長 / 是 / 誰分詞的基本方法
最大匹配法(Maximum Match based approach) 機率分詞法(Probability approach to Word Segmentation)
計算語言學概論
詞法分析
R94922056 吳憲國 2007/06/21
Introduction
詞法分析簡介 分詞方式
最大匹配法 最大概率法 HMM (Hidden Markov Model)演算法 Viterbi演算法 Bayesian Discrimination
詞性的標注
n-q a-d
合計
64 30
1101
4% 2%
75%
筆，刀，口 大，老，真
兼兩類詞數 1475
詞性的標注 – 兼類現象
词 把 被 並 次 词性1: 機率 p: 0.96 p: 1.00 c: 0.86 q: 1.00 词性2: 概率 q：0.03 Ng: 0.00 d: 0.14 Bg: 0.00 词性3: 概率 v: 0.01 词性4: 概率 m: 0.00
p n q n m v
r
n v
q
v v c
q
f
把
這
篇
報導
編輯
一
下
Hidden Markov Model
路徑集合T = (t1,t2,t3,………,t96) 每一步的轉移機率 = 詞性轉移機率 * 單詞出現機率
q n $
起始狀態
n
m
f q
p r q v
這 篇 報導
n
n
把
v
編輯
c
一
v
下
P(t1|W) = P(q|$) P(把|q) x P(r|q) P(这|r) x …… x P(f|m) P(下|f) P(t2|W) = P(q|$) P(把|q) x P(r|q) P(这|r) x …… x P(q|m) P(下|q) …… P(t96|W) = P(n|$) P(把|n) x P(r|q) P(这|r) x …… x P(v|c) P(下|v)
由
在
p: 1.00
p: 0.95
v: 0.00
d: 0.02
詞性的標注 – 尋找最佳路徑
把
| 這 | 篇 | 報導 | 編輯 | 一 | 下
| q | v-n | v-n | m-c | f-q-v
q-p-v-n | r
4 X 1 X 1 X 2 X 2 X 2 X 3 = 96 種可能詞性的組合
Y
W是否在詞典中
正向與反向的分詞差異
N
去掉W最右邊一個字
句子“有意見分歧” 正向匹配有意 / 見 / 分歧 反向匹配有 / 意見 / 分歧
Y
W是否長度為1
N
機率分詞法
基本概念
一個待切割的字串可能包含多種分詞結果 求得其中機率最大的切割方式作為該字串的分詞結果
路徑A: 0 – 1 – 3 – 5 路徑B: 0 – 2 – 3 – 5
計算出最大機率路徑
HMM複雜度
假定有N個詞性標記，給定的詞串中有M個單詞，考慮最壞的情 況下，每個詞都有N個可能的詞性出現，則可能的路徑有NM條， 隨著M的增加，需要計算的可能路徑數目以指數模式增長，即 演算法時間複雜性成指數成長。
P(W1) = P(有)*P(意見)*P(分歧)
單詞 有 有意 意見
出現機率 1.80% 0.05% 0.10%
詞串W2 = 有意 / 見 / 分歧
P(W2) = P(有意)*P(見)*P(分歧)
見
0.02% 0.01%
P(W1) > P(W2)
有意見分歧 有 / 意見 / 分歧
分歧
詞性的標注
2
合計
1475
1264
2.67%
2.94%
鎖 n-v
總詞數 55191
北大計算語言所《現代漢語語法訊息詞典》1997年版
詞性的標注 – 兼類現象
兼類 n-v a-n a-v b-d 詞數 613 74 217 103 百分比 42% 5% 15% 7% 例子 愛好，把握，報導 本分，標準，典禮 安慰，保守，抽象 長期，成批，初步
哪條路徑的機率較高
機率分詞法
字串S =“有意見分歧“
詞串W1 =有 / 意見 / 分歧 詞串W2 =有意 / 見 / 分歧
Max( P(W1|S), P(W2|S) ) ?
(independent) wi在語料庫中出現的次數 語料庫中總詞數
機率分詞法
詞串W1 = 有 / 意見 / 分歧
從
大 到 得 等 地 對 就 以
p: 1.00
a: 0.92 v: 0.80 u: 0.76 u: 0.98 u: 0.89 p: 0.98 d: 0.87 p: 0.84
Vg: 0.00
d: 0.08 p: 0.20 v: 0.24 v: 0.02 n: 0.11 v: 0.01 p: 0.13 c: 0.11 q: 0.01 c: 0.00 j: 0.05 v: 0.02 a: 0.00 e: 0.00 q: 0.00
最大匹配法
待分割句子S1 輸出詞串S2=“” 最大詞長 MaxLen
詞典中較長的詞，會被優先取出 缺點
S1是否為空
Y
輸出S2
N
從S1左邊取出候選 字串W，長度不超 過Maxlen
最大詞長設定 MaxLen
太小無法切割出長詞 太長效率太差
S1=S1 - W S2=S2 + W + ” /”