语料库
五_语料库汇总
1 什么是语料库
1 什么是语料库
London-Lund英语口语语料库样例： ^what a_bout a cigar\ette# . / *((4 sylls))* / *I ^w\on't have one th/anks#* - - - / ^aren't you .going to sit d/own# - / ^[/\m]# - / ^have my _coffee in p=eace# - - - / ^quite a nice .room to !s\it in ((actually))# / *^\isn't* it# / *^y/\es#* - - - /
3 语料的收集与加工——加工
构建大型标注语料库直接促进了NLP技术的发展： Brown语料库直接促使基于统计的词性标注模型HMM和标注算法
Viterbi的提出和完善； Upenn树库为基于统计的句法分析技术提供了训练素材； 作为统一的训练和测试平台，评估各类NLP算法的性能。
3 语料的收集与加工——加工
语料库中各类文本的比例均衡 原则
专业语料库的建设应有专业领 域的专家参与
3 语料的收集与加工——编码
语料库的编码 问题提出：资源共享时的差异化 语料文件的统一规范：
TEI计划(Text Encoding Initiative) LDC要求其提交的语料库遵循SGML规范(Standard Generalized
1 什么是语料库
London-Lund英语口语语料库部分标记：
语料库的分类 生语料库：未经加工的，没有任何切分、标注标记的原始语料库 熟语料库：经过加工，带有切分、标注标记的语料库
1 什么是语料库
中文基准语料库-概述说明以及解释
中文基准语料库-概述说明以及解释1.引言1.1 概述中文基准语料库是指一种包含大量中文文本的语料库，它被广泛用作语言研究、自然语言处理、机器翻译等领域的标准参考。
中文基准语料库的建立旨在提供一个覆盖广泛的文本资源，使研究人员能够进行准确和全面的中文语言分析。
中文基准语料库的构建是一个复杂而耗时的过程。
通常，它涉及对大量现代和古代中文文本的收集、整理和标注。
这些文本可以包括各种文学作品、新闻报道、社交媒体内容等。
通过对这些文本进行语言学和语义分析，研究人员可以得到有关中文语言规律和特点的重要信息。
中文基准语料库具有重要的研究价值和实际意义。
首先，它为中文语言研究提供了全面的材料基础，可以帮助研究人员深入了解中文的语法、词汇和语义结构。
其次，它为自然语言处理和人工智能领域的技术开发提供了必要的训练和评估数据。
通过大规模的中文基准语料库，研究人员可以构建和改进各种中文文本处理模型和算法。
中文基准语料库在许多应用领域都发挥着重要的作用。
例如，在机器翻译领域，中文基准语料库可以用来训练和改进机器翻译系统，提高系统的翻译质量和准确性。
在文本分类和信息检索领域，中文基准语料库可以用来构建文本分类模型和搜索引擎，帮助用户更快捷地找到需要的信息。
此外，中文基准语料库还可以在教育、语言学习和文化研究等方面发挥重要的作用。
总之，中文基准语料库是中文语言研究和自然语言处理领域不可或缺的资源，它为各种语言分析和技术应用提供了基础和支持。
随着技术的不断发展和语料库的不断壮大，中文基准语料库将持续发挥重要的作用，并为未来的研究和应用提供更多可能性。
1.2 文章结构：本文主要分为引言、正文和结论三个部分。
在引言中，首先对中文基准语料库进行概述，介绍其定义、重要性以及应用领域。
然后说明文章结构，即引言、正文和结论的内容安排，并提出文章的目的。
接下来是正文部分，主要包括三个子部分。
首先介绍中文基准语料库的定义，包括其所指的内容范围和构建标准。
语料库
3 语料库的设计
语料库三方面 A. 语料本身
属性 规模 领域
体裁 时代 语体 语种
语言层次
值
百万词级 | 千万词级 | 亿万词级 | … 政治 | 经济 | 体育 | 心理学 | …
文学 | 应用文 | 新闻 | …
共时 | 历时 书面语 | 口语 单语 | 双语 | 多语 双语平行语料库 | 双语比较语料库 语音（音节，韵律） | 语法（词，句，…）
11
第二代语料库
建于1980年代，由英国Birmingham大学 与Collins出版社合作完成，规模达2000 万词次，基于该语料库出版的Collins Cobuild词典（1987）受到了广泛的好评
COBUILD语料库 Longman语料库
千万词级 词典编纂 － 应用导向
建于1980年代，包括三个语料库： LLELC语料库（Longman/Lancaster英语语料库） LSC语料库（Longman口语语料库） LCLE（Longman英语学习语料库） 目标是编撰英语学习词典，为外国人学习英语服 务，词典规模达5000万词次
7
London-Lund英语口语语料库部分标记
标记
含义
#
语调群的结束 (end of tone group)
^
语音开始 (onset)
/
上升型核心语调 (rising nuclear tone)
\
下降型核心语调 (falling nuclear tone)
^
先升后降型核心语调 (rise-fall nuclear tone)
检索工具 | 人机界面 | 数据接口 | … 16
语料的选取
精品原则 有影响力原则 随机挑选原则 高流通度原则 典型性原则 易于获得原则 具有统计样本意义原则 符合语言规范原则
语料库的分类、创建和检索简述
语料库的分类
语料库的分类
根据不同的标准，语料库可以分为多种类型。常见的语料库类型包括： 1、通用语料库：包含来自不同领域、不同语言的语料，适用于广泛的研究和 应用领域。
语料库的分类
2、专业语料库：针对特定领域或专业构建的语料库，例如医学、法律、金融 等。
3、口语语料库：包含口头语言 材料，如录音、口语表达等。
二、图像分类技术
另外，降维技术也可以用于图像分类。降维技术可以将高维的图像特征降维 到低维的空间，从而使得分类更加简单和高效。常用的降维技术有PCA、t-SNE和 autoencoder等。
三、图像语义检索与分类技术的 研究现状
三、图像语义检索与分类技术的研究现状
近年来，图像语义检索和分类技术的研究取得了显著的进展。在图像语义检 索方面，研究者们提出了多种基于内容、语义相似度和向量空间模型等方法。在 图像分类方面，SVM、神经网络和降维技术等算法的应用取得了重要突破。
一、图像语义检索技术
图像语义检索是指通过自然语言描述或者用户提交的查询关键词，从图像库 中检索出与查询相关的图像。近年来，研究者们提出了多种图像语义检索的方法。
一、图像语义检索技术
基于内容的图像语义检索是通过分析图像的内容，提取出图像的特征，然后 根据这些特征进行检索。例如，可以通过提取图像的颜色、纹理、形状等特征进 行检索。另外，还可以利用深度学习技术，如卷积神经网络（CNN）来提取图像 的特征，提高检索的准确性。
语料库的创建
此外，为了便于语料库的管理和检索，需要构建语料库的索引和词典。索引 可以记录每个单词在语料库中出现的位置和频率，而词典则包含了单词的语义信 息和语法信息等。最后，语料库的创建还需要注意保证数据的安全性和隐私保护。
语料库
Background Information语料库的概念语料库是指按照一定的语言学规则，利用随机抽样的方法收集的有代表性的语言材料的总汇，它是语言材料的样本。
语料库通常指为语言研究机构收集的，具有一定容量的大型电子文本语料库。
它是由口语语料和书面语的样本汇集而成，用来代表特定的语言或语言变体，或经过加工后带有语言学信息标注的文本的集合。
语料库的分类按照语料库所涉及的语言种类，语料库课分为单语语料库，双语平行语料库(parallel corpus)和多语语料库(multilingual corpus)；按照语言涉及的题材，语料库可分为普通语料库(general corpus)和专门用途语料库(specialized corpus)；按语料的来源，又可分为口语语料库和书面语语料库；按语料库是否被标注，语料库可分为生语料库或原始语料库(raw corpus)和熟语料库或标注语料库(annotated corpus)In linguistics, a corpus (plural corpora) or text corpus is a large and structured set of texts (now usually electronically stored and processed). They are used to do statistical analysis and hypothesis testing, checking occurrences or validating linguistic rules on a specific universe.A corpus may contain texts in a single language (monolingual corpus) or text data in multiple languages (multilingual corpus). Multilingual corpora that have been specially formatted for side-by-side comparison are called aligned parallel corpora. In order to make the corpora more useful for doing linguistic research, they are often subjected to a process known as annotation. An example of annotating a corpus ispart-of-speech tagging, or POS-tagging, in which information about each word's part of speech (verb, noun, adjective, etc.) is added to the corpusin the form of tags. Another example is indicating the lemma (base) form of each word. When the language of the corpus is not a working language of the researchers who use it, interlinear glossing is used to make the annotation bilingual.Terminology:双语或多语语料库Bilingual or multilingual corpus机器翻译技术machine translation technology双语词典编纂技术bilingual lexicography technique跟踪研究工作follow-up study设计、采集、编码和管理design, collection, coding and managementTranslation Version：关于双语或多语语料库的研究目前大致可分为三类：The research on bilingual or multilingual corpus can be divided into three categories currently:一是研究双语语料的对齐技术（Alignment），国内外学者就此提出多种策略和方法，现在已经出现了许多对齐双语或多语语料的程序或工具；First is the study of bilingual corpus alignment technology .The scholars at home and abroad propose various strategies and methods about it. There have been a lot of procedures or tools of bilingual or multilingual corpus alignment at present.二是研究双语语料的各种应用，如在基于统计的机器翻译技术、基于实例的机器翻译技术，双语词典编纂技术中，双语语料库都发挥着十分重要的作用；Second is the all kinds of applications on the research of bilingual corpus . For example, bilingual corpus play an important role in the statistics-based machine translation technology, example-based machine translationtechnology and bilingual lexicography technique.三是双语语料库的设计、采集、编码和管理问题。
简述语料库三要素
简述语料库三要素语料库是一种重要的自然语言研究工具，它能够提供对语言的更全面的见解，从而更好地理解自然语言的深层特征和未来的发展趋势。
要建立一个优质的语料库，首先需要明确它的三要素：数据来源、语料类型和文本编码方式。
首先，数据来源是构成有效语料库的重要因素，直接影响到语料库的质量。
具体来说，数据来源包括印刷媒介、电台广播、网络论坛和社交网络。
在分析语料库时，需要考虑这个数据来源的多样性和质量，以便于获得更可靠的结果。
其次，语料类型也是构成有效语料库的重要因素。
语料类型可分为正负面及中性，其中正负面类型的主要特点是区分语料中所谓的“正”的内容和“负”的内容，而中性类型的特点则是不区分正负，而是从平等的角度来看待语料库中包含的内容。
通过合理分配这些语料类型，可以不断更新和完善语料库，使其在各个方面都能更好地反映真实的言语环境。
最后，文本编码方式也是构成语料库的重要因素。
文本的编码，是指将文本中的某些特定信息转化为可被计算机识别的码，以便在搜索时能够更高效地定位和获取需要的文本，从而提高语料库的使用性能。
目前，主要有Unicode和UTF-8文本编码方式，二者都能确保搜索引擎能够识别各种字符，但UTF-8比Unicode更加安全可靠。
总之，建立高质量语料库需要明确它的三要素：数据来源、语料类型和文本编码方式。
在设计语料库时，需要充分考虑这些要素的多样性，以便于语料库能够更全面地反映自然语言的特征和未来的发展趋势。
近几年，语料库已经成为自然语言处理和机器学习研究领域中的重要工具，各种言语分析技术也大量借助了语料库，以便于更有效地解决庞大的言语研究难题。
因此，弄清楚语料库的三要素，对于提升自然语言研究的精度和效率都具有重要意义。
当前，数据科学和计算机技术的进步使得语料库的建立变得更加容易，但也需要对三要素进行细致的研究，以期能够建立一个更加可靠且有效的语料库。
除此之外，建立语料库还有其他很多因素，比如语料库质量、使用性能、可用性等。
语言学常用语料库
1.语言学常用语料库是一种用于研究语言现象的重要工具。
2.它是一个大规模的语言样本集合，包含了各种不同语言的文本数据。
3.语料库可以包括书籍、报纸、杂志、广播节目、网络文章等多种类型的文本。
4.通过分析语料库中的文本，语言学家可以研究语言的结构、语法规则和语义特征。
5.语料库的建立和维护需要大量的工作，包括文本收集、数据处理和标注等环节。
6.语料库的规模越大，涵盖的语言现象就越全面，研究结果也更有说服力。
7.语料库的使用需要借助计算机和专门的软件工具，如文本编辑器、搜索引擎和统计分析软件等。
8.语料库可以用于研究语言变化、语言习得、语言教学和语言技术等多个领域。
9.语料库的应用范围广泛，包括自然语言处理、机器翻译、信息检索和语音识别等领域。
10.语料库的优点是可以提供真实的语言数据，反映语言使用的实际情况。
11.语料库还可以帮助语言学家验证语言理论和模型的有效性。
12.语料库的研究方法主要包括定性分析和定量分析两种。
13.定性分析是通过详细的文本注释和分析来理解语言现象的特点和规律。
14.定量分析是通过统计和计算来分析语言现象的频率、分布和关联性。
15.语料库的研究成果可以通过学术论文、专著和会议报告等形式进行发布和交流。
16.语料库研究的结果对于语言教育和语言政策制定具有重要的参考价值。
17.语料库的发展受到语言学家、计算机科学家和语言工程师的共同关注。
18.随着技术的进步，语料库的规模和质量不断提高，为语言学研究提供了更多的可能性。
19.语料库的建设和管理需要遵守相关的法律和道德规范，保护语言使用者的隐私和权益。
20.语料库的未来发展将更加注重多语言、多媒体和跨学科的研究方向。
语料库基本知识
.
6
计算语言学
◦ “计算语言学是研究用机器来处理自然语言的学科。它是由信息技
术和语言学交叉而成的”（CuS：1）。SLP没有直接提出计算语言 学的确切定义。SLP的作者在开篇借用了Stanley Kubrick科幻片中 的人物HAL，HAL是一个通晓英语的机器人。作者引入HAL的目 的在于说明，为了构建这样一个可与人通过自然语言进行交流的机 器人，需要哪些知识和技术：语言理解方面有语音识别和自然语言 理解（包括唇读技术），表达方面需要自然语言生成和语音合成， 另外HAL也需要信息检索、信息提取和推理方面的技能。而解决这 些问题一般涉及以下学科：自然语言处理，计算语言学，语音识别 和合成。SLP的作者将这三者合起来称为语音及语言处理，除了以 上HAL所用的这些技能外，SLP也囊括了其他重要的语言处理领域， 如：拼写校正、语法检查和机器翻译。
.
42
语言设定
.
43
.
44
(如逗号、句号等) 包括在内，但这一点有例外，如数字3.1415925 和整数的千分位分隔符(如100，000) 中的逗号等。
为了便于统计，对英语进行分词时通常在以上我们所说的“ 形符” 后加空格，使得他们与文本中的其他形符或符号分离开来。
.
11
类符(type)作为一个统计量，指语料库文本中任何一个独特的词形(word form)。换言之，在一个文本中，重复出现的形符只能记作一个类符。
◦ 都可以对语言学的语音、词汇、句法和语义等层面进行
统计和研究。
.
8
联系： ◦ 统计语言学和计量语言学都是利用统计方法来实现对语言成
分的统计，计量语言学以发现语言成分或语言成分间的数学 规律为目标。而统计语言学以所统计的语言特征在统计学上 显著和不显著为目标。
语料库ppt课件
• 从研究路径上看，基于语料库的译学研究表现为 自上而下和自下而上方法相结合的特征，而语料 库驱动的译学研究主要采用自下而上的方法。
三：什么是语料库翻译学
• 语料库翻译学是指采用语料库方法，在观 察大量翻译事实或翻译现象并进行相关数 据统计的基础上，系统分析翻译本质和翻 译过程的研究。
四：语料库翻译学的发展
• 语料库翻译学的发展相当迅速。许多翻译 语料库、平行语料库和可比语料库先后建 成并投入使用，如：
• 翻译英语语料库（Translation English Corpus）
• 2)提取研究所需的语料和数据，进行数据统计和 分析;（自下而上）
• 3)描写数据所反映的总体特征和趋势，归纳出关 于某一翻译事实或翻译现象的结论;（自下而上）
• 4)解释有关翻译事实的成因。（自下而上）
• 语料库驱动的译学研究所采取的步骤与基于语料 库的译学大体相同，不过没有后者的第一个研究 步骤。
studied both quantitatively and qualitatively
二：语料库的分类
• Specialized corpus • General corpus • Comparable corpus • Parallel corpora • learner corpus • Pedagogical corpus • Historical/diachronic corpus • Monitor corpus
4)定量研究方法的应用
• 定量研究方法是指提取关于研究对象的数据，并 对数据进行检验和分析，以测定关于研究对象特 征的数值或求出因素间量的变化规律，以获取有 意义的结论。
语料库建立的标准
语料库建立的标准
1.代表性：在应用领域中，不是根据量而划分是否是语料库，而是在一定的抽样框架范围内采集而来的，并且能在特定的抽样框架内做到代表性和普遍性。
2.结构性：有目的地收集语料的集合，必须以电子形式存在，计算机可读的语料集合结构性体现在语料库中语料记录的代码、元数据项、数据类型、数据宽度、取值范围、完整性约束。
3.平衡性：主要体现在平缓因子——学科、年代、文体、地域、登载语料的媒体、使用者的年龄、性别、文化背景、阅历、预料用途（私信/广告等），根据实际情况选择其中一个或者几个重要的指标作为平衡因子，最常见的平衡因子有学科、年代、文体、地域等。
4.语料的类型和数量：语料类型可以根据需求来选择，比如口语材料、文字材料、正式或非正式风格等。
数量则根据实际需要来决定。
5.标注的规范性：对于语料库中的文本，需要进行标注，标注应该遵循一定的规范，比如词性标注、句法标注等。
6.开放性：语料库应该能够方便地进行扩充和更新。
7.可访问性：语料库应该能够方便地被访问和使用。
语料库的背景知识以及详细介绍
语料库是以计算机为载体承载语言知识的基础资源；
真实语料需要经过分析、处理和加工，才能成为有用 的资源。
1 什么是语料库
北京大学计算语言所富士通人民日报标注语料库样例： 历史/n 将/d 铭记/v 这个/r 坐标/n ：/w 北纬/b ４１．１/m 度/q 、/w 东经/b １１４．３/m 度/q ；/w
人们/n 将/d 铭 记/v 这/r 一/m 时刻/n ：/w １９９８年/t １月 /t １０日/t １１时/t ５０分/t 。/w
[中国/ns 政府/n]nt 顺利/ad 恢复/v 对/p 香港/ns 行使/v 主权/n ，/w 并/c 按照/p “/w 一国两制/j ”/w 、/w “/w 港人治港/l ”/w 、/w 高度/d 自治/v 的/u 方针/n 保持/v 香港/ns 的/u 繁荣 /an 稳定/an 。/w
1 什么是语料库 2 语料库的发展 3 语料的收集与加工 4 语料库的应用 5 小结
3 语料的收集与加工
建库之前应考虑： 语料库的应用目标 语料库的规模 语料库的实施
语料库的可扩展性
软硬件兼容性 ……
3 语料的收集与加工
双语语料库： 双语平行语料库：语料库中的文本构成译文关系 ——用于机器翻译、双语词典编撰… 双语比较语料库：将表述同样内容的不同语言文本收集到一起，这些 不同语言文本之间不构成翻译关系 ——用于语言对比研究 ——较少，英语国际语料库（100万词规模，收集全球许多英语变体 语言的文本）
说明这个语料库文件所有标记的描述在文件corpus.dtd中，便于计算 机处理
3 语料的收集与加工——加工
语料库加工/标注：隐形信息显性信息 词性标记（Part-of-speech tagging） 句法标记（Grammatical parsing） 词义标记（Word sense tagging） 篇章指代标记（Anaphoric annotation） 韵律标记（Prosodic annotation）
语料库
语料库语言学
• 语料库语言学是一门新型科学，它指的是在文本语料的基 础上进行语言研究的一门学科。
• 基于语料库分析的主要特点： 1.具有实验性，分析自然语言文本中语言使用的实际模式。 2.搜集大量的真实文本(语料库)，以语料库作为分析基础。 3.使用计算机的自动与交互技术进行分析。 4.使用定量与定性分析的技术。
• 词汇联结：一个单词与其他单词之间存在强的联结模式， 比如词的搭配。
• 语法联结：一个语法结构与相关语境中的语法特征之间存 在强的联结模式，比如名词化在学术语域和对 话语料中的分布。
• 词汇-语法联结：单词与语法结构之间存在的联结。这种 关系的研究主要有两方面：单词与语法 环境之间的关系；语法结构和单词环境 之间的关系。
语篇结构特征
• 语篇结构特征的研究： 1.语篇连贯和衔接的语言的分析 2.不同类型的语篇的描述和比较 3.语篇中从句间修辞关系的描述和比较 …
书面语篇与口语语篇 医学论文和生态学论文 …
语言变异
• 语料库与语言变异研究指通过使用语料库来观察单词的频 度、单词的意义和用法等变异参数，来研究语言的地域差 异、性别差异、社会群体差异、语域差异等。
L/O/G/O
语料库语言学
Contents
1 语料库和语料库语言学
2
语料库的发展
3
语料库的应用
4
结语
语料库
• 语料库：大规模自然语言文本的集合。 • 现代的语料库是指存放在计算机里的原始语料文本或经过加
工后带有语言学信息标注的语料文本。
双语语料库
北大计算语言学 研究所的双语语 料库
哈尔滨工业大学 的英汉双语语料 库
【名词解释】语料库
【名词解释】语料库
语料库是指收集、整理和存储大量的语言文本以供研究和分析的电子
数据库。
它是语言学、计算语言学以及其他相关学科研究的重要工具。
语料库可以包含各种形式的文本，例如书籍、报刊、网页、社交媒体、邮件等。
研究人员可以利用语料库来研究语言的使用规律、文字的语
义和语法结构，以及探索不同语言之间的共性与差异。
通过对语料库
进行分析，研究人员可以获取有关语言的统计信息，如频率、共现关系、词汇搭配等。
此外，语料库还可以用于开发自然语言处理系统、
机器翻译和语音识别等技术的训练和评估。
语料库语言学PPT
用途
第一个大型计算机语料库
以计算机自动化处理方式获取SEU语 料库的英语口语原始语料
SEU
LLC BROWN LOB COBUILD LONGMAN
1959年起
1975-1981 1960s 1970s 1980s 1988-1990
100万
50万 100万 100万 3.2亿 2800万
口语 书面语 书面语
语料库语言学的发展史
一般以乔姆斯基（N.Chomsky）转换生成 语法的兴衰史为参照点，将语料库语言学 的发展史大致分为三个时期： • 早期的语料库语言学 • 乔姆斯基的转换生成语法时期 • 语料库语言学的复苏时期
早期的语料库语言学
早期的语料库语言学是指20世纪50年代中期以前， 即以乔姆斯基提出转换生成语法理论之前的所有 基于语言材料的语言研究。在50年代，语料库语 言学曾被广泛使用，主要集中体现在以下几个方 面： 1）语言习得 2）方言学 3）语言教学 4）句法和语义 5）音系研究
基于语料库的方法 corpus-based approach
• 由研究者根据以往的语言研究成果或对语言的认 识，首先提出假设，然后到语料库中去验证假设。 假设是否成立取决于语料库中的语言实例。基于 语料库的研究方法以概率为基础，是统计学和实 证研究方法在语料库语言学领域的具体应用。 17
语料库驱动的方法 corpus-driven approach
语料库研究方法的局限性
• • • • （1）语料库语言学理论尚需要体系化和简约化。 （2）其研究思路和方法存在一定的分歧。 （3）分析方法和技术需要进一步突破 （4）语料库研究的应用尚需要更深入的探讨。
国内语料库研究的局限性
（1）缺乏应有的精密分析过程，显示不出应有的分析力 量（analytical power）。 （2）一些研究将事实与译论混在一起，将语料库数据与 直觉数据杂合，宏观概述多而语境分析少。 （3）数据与观察与结论之间，不同理论之间跳跃大，缺 失环节多，没有语料库语言学所熟悉的范式特征。
语料库
小结
• 主要语料库检索工具：
• 道格拉斯· 比伯----《语料库语言学》 清华大学出版社 1）AntConc：由日本学者Laurence Anthony开发，具有词 语检索、生成词表和主题词三大功能。
• 2 何安平 ----《语料库语言学与英语教学》 . ）Concapp ：是香港理工大学Chris Greaves 研制的语料库 检索工具。主要功能包括：制作语境共现、句内语境共现（ sentence 《语料库辅助英语教学入门》 concordance）、检索词搭配、词频表。 . 3）Wordsmith Tools：由英国利物浦大学Mike Scott设计的 一个功能强大的综合软件包。包含Concord（语境共现检索 工具)，Wordlist（词频列表检索工具)，Keywords（关键词 检索工具)，Splitter（文本分割工具)，Text Converter（文 本替换工具)，Viewer（文本浏览工具)等6个程序。
L/O/G/O
Thank You!
国外语料库的发展
1960-1970
1970-1980
1980-1990
1990-至今
国内语料库的发展
• 从理论研究方面看，2000外语教学与研究出版社引进了 Biber等人的《语料库语言学》和Kennedy的《语料库语 言学入门》。 2002 杨惠中教授编写的《语料库语言学导 论》，是我国第一本该学科的专著。 2008卫乃兴的《语 料库语言学的弗斯学说基础》，探讨语料库语言学的学科 本质。 • 同时，因其较高的应用价值，学习者语料库和双语平行语 料库的建设及研究成为我国语料库语言学的重心。
词汇语法
• 词汇层面研究： 一词多义、同义词或近义词 词的惯用搭配 不同语域的词义分布 … • 语法层面研究： 单词的语法类别-----词法 单词组合成句的方法、规则 各种语言结构的频率分布 语法结构与其他语言或非语言因素之间的关系 (That we mustn’t worry too much is clear. It is clear that we mustn’t worry too much.) …
语料库
动词+任何词+ground的所有词组
图2.1.5-1
task6
规则：在context里输入[n*] 后选择4,表示在thick4后面（4跨距范围内） 出现的任何名词
❖task7 ❖搜索beautiful的所有近义词
规则：在words的方格里输入[=beautiful]，表示和beautiful语义相 近的所有形容词。
❖通过对比，我们很容易注意到这三个同义 词在与名词搭配时的倾向，keen主要指在 理解、观察和感受能力上的敏锐。acute除 了能表示在观察和感受能力上的敏锐外， 更多地用于表示某种状态的严重性，如病 情、问题等。而astute 则主要指从事某种 行业的人的精明和敏锐。当然，语料库所 提供的不仅仅是可对比的，直观的语言材 料，通过使用这些语料库，学生对语言材 料的观察和判断能力会大大提高。
语料库术语 ❖Keywords
❖Keywords are words whose normalized frequency in one corpus (observed corpus) is significantly higher or lower than that in another comparable corpus (reference corpus).
1.通过大量例句学习单词，了解单词或词组 的各种意思；
2.掌握词组，熟悉词语搭配； 3. 帮助区分同义词 4. 观察词序，掌握句法结构；
❖例如：形容词delicate有多种意思，可以翻 译为：精巧的, 精致的, 病弱的, 脆弱的, 微 妙的, 棘手的, 灵敏的, 精密的。但在什么情 况下理解为“精巧的”，在什么情况理解
棘手的问题 微妙的形势 精巧的平衡 精美 精密的手术 脆弱的身体
简述语料库三要素
简述语料库三要素语料库（Corpus）是由人类使用的某种语言的表现形式，或者由特定语言规则生成的文本，包括结构化、非结构化或新格式数据。
因此，语料库被视为一种重要的计算机语言处理工具，用于收集、分析和研究语言或文本信息。
语料库具有三个重要要素：容量（Size）、覆盖范围（Coverage）和内容（Contents）。
容量（Size）用来衡量语料库的有效数量。
它反映的是语料库的规模和实际容量，包括文本的长度、大小、种类和其他拖动文本的变量，如预定义的词汇表等。
基于容量的分析可用于了解语料库中字句结构、文化类型、语言趋势和其他特征。
覆盖范围（Coverage）用于衡量语料库的实际使用领域和覆盖程度。
它表示的是语料库的不同层次的分析，包括语言的语义、语法、习惯用法和演变。
覆盖范围准确地描述了句子在给定条件下的解析和替代，以及语言的实际应用场景。
内容（Contents）是语料库的组成部分，它反映的是某种语言的表现形式。
内容可以是结构化的，它可以由句法或语法规则产生，也可以是非结构化的，比如非结构化文本或非文本数据。
内容可能包含一些特殊的信息，比如具有特殊语言成分（如动词格式）的文件，它们可以用于有效地处理语言任务。
语料库的大小、覆盖范围和内容是语料库研究中十分重要的要素。
语言学家们一直在努力拓宽和延伸语料库，研究新的语言特性和语言结构。
改进语料库将有助于更好地把握语言的多样性，以及语言的演变、发展和灵活性。
语料库的发展不仅是一个研究领域，而且也是一项具有重要意义的技术工作。
语料库的设计一般包括两个方面：数据的收集和数据的分析。
首先，需要通过不同的方法和工具从不同的语言资源中获取相关的句子和文本，以便丰富语料库的数据。
其次，语料库采用基于容量、覆盖范围和内容三要素的设计理念，以实现语料库设计的灵活性和可扩展性，以适应语言改变和发展的需求。
语料库的发展是人工智能的重要组成部分，它不仅仅是一项研究工作，也是一种语言表达形式，可以帮助提升计算机程序运行效率和准确性。
语料库概念与语料库语言学基础知识
语料库概念与语料库语言学基础知识语料库语言学是以语料库为基础的语言学研究方法。
语料库指的是大量真实语言使用情况的集合，可以包含各种类型的语言材料，例如口语、书面语和专业语言等。
语料库语言学主要涉及以下几个方面：1、语言描述和分析：通过对语料库中的语言数据进行收集、注释和分析，得到关于语言结构和功能的描述和分析。
2、语言学习和教育：通过语料库分析和应用，为语言学习者提供更真实、生动和有效的语言学习材料，同时也可以开发出更优质的语言教学软件。
3、自然语言处理：语料库作为自然语言处理技术的基础数据，能够为机器翻译、文本分类、信息检索等领域提供重要支持。
4、语言变化研究：通过比较不同时间段、地区和社会群体的语料库，可以研究语言变化的规律和特点。
在实际应用中，语料库语言学能够促进语言技术的发展，提高语言学研究的精度和可靠性，同时也给我们带来了更深入的语言理解和认知。
标题：语料库语言学研究的重要性一、语料库语言学的概念及发展历程语料库语言学，是指使用语料库进行研究的语言学分支，其研究对象是自然语言。
语料库是一个按照某种原则建立的、用于语言研究的庞大数据集合。
语料库语言学的理论基础是结构主义语言学、生成语法和实证语言学。
随着计算机技术的飞速发展，语料库规模越来越大，语料质量也越来越高，语料库语言学得以迅速发展。
二、语料库语言学的重要性1、提高语言教学效果语料库语言学可以通过收集大量语言数据来提高语音、词汇、语法和语用的教学效果。
比如，通过语料库分析来确定常见的语言错误类型，帮助学生避免这些错误；通过语料库调查来了解实际使用情况，让教学更接近实际使用。
2、推动语言研究发展语料库语言学以语料为基础，通过数据驱动的方法对语言进行分析，可以帮助我们更好地理解语言的本质和变化规律。
语料库语言学可以帮助我们更好地研究语音、词汇、句法和语用等多个方面，也能够关注不同社会群体间语言使用的差异，因此为语言研究提供了新的视角。
3、促进跨学科研究语料库语言学的方法论在不同领域都有应用。
英译语料库
英译语料库是一种大规模的英语翻译语料库，用于翻译和语言学研究。
它包含了大量的英语文本，包括各种类型的文本，如新闻、小说、科技文献、商业文件等。
这些文本被用于训练机器学习模型，以识别翻译中的语言模式和规则，从而提供高质量的翻译结果。
英译语料库的主要作用包括：
1. 翻译辅助：英译语料库可以帮助翻译人员提高翻译质量，减少错误。
通过使用机器学习模型，翻译人员可以更快地找到最恰当的词汇和表达方式，提供更加准确和流畅的翻译。
2. 机器翻译：英译语料库还可以用于开发机器翻译系统。
机器学习模型可以从语料库中学习语言模式和规则，从而自动生成翻译结果。
这种技术可以帮助企业和组织节省大量的人力成本，提高翻译效率。
3. 语言学研究：英译语料库还可以用于语言学研究。
通过分析语料库中的文本，研究人员可以研究英语的语言结构和用法，探索不同语言之间的差异和相似之处。
这有助于更好地理解英语语言的特点和演变趋势。
英译语料库的构建过程通常包括收集、清洗和标注语料库三个步骤。
首先，需要收集大量的英语文本，包括不同领域的文本。
然后，需要清洗这些文本，去除不准确或无关的文本。
最后，需要将文本进行标注，以便机器学习模型能够识别其中的语言模式和规则。
总的来说，英译语料库在翻译、机器学习和语言学领域都具有广泛的应用价值。
它为研究人员和从业人员提供了丰富的资源，帮助他们更好地理解和使用英语语言，提高翻译和语言处理的质量和效率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 在确定的98个类型中，在LOB中出现82个， 而LLC中出现52个。 • 奥登博格发现，在四种表示因果关系的结 构中，每个语料库中从属结构占了约一半， 而副词连接约占三分之一(Altenberg 1984:20 -69) 。
•
以下表格中显示了两个语料库中15个最 常见的因果关系连接手段。 • 某些手段出现非常频繁(如because,so)， • 有些连接手段则在总共20万字库中仅出现 一两次(如as a consequence, accordingly)， • 另一些连词(on account of, by reason of)则 在语料库中根本没有出现。
• 从研究路径上看，基于语料库的译学研究表现为 自上而下和自下而上方法相结合的特征，而语料 库驱动的译学研究主要采用自下而上的方法。 • 自下而上方法是指在分析真实语料和数据统计的 基础上，归纳出关于研究的一般结论或抽象理论。
• 自上而下方法，具体表现为首先提出某一理论框 架或理论假设，然后根据这一框架或假设确定研 究的步骤与方法，依据适当的证据支持或反驳某 一理论或假设。
• 作为一种新型的语言资源和知识平台，语料库能 够提供大量的翻译事实或翻译例证，使研究者很 方便地提取研究所需的数据，从而为翻译规律或 原则的描写、解释和预测提供远远超过研究者个 人认知范围和能力的巨大空间与可能性。这些优 势使得语料库翻译学研究具有较强的客观性和科 学性。 • 从这个意义上讲，语料库翻译学是一种实证性的 译学研究。
• 2) 过分关注翻译语言的共性，忽略翻译语 言个性的研究。 • 尽管人类翻译语言和翻译活动存在一定程 度的共性，但由于源语和目的语的差异&译 者的性别&翻译风格和翻译思想&文本类型 &翻译目的和审美标准等因素的影响，具体 语言对翻译语言特征和翻译规范表现出不 同程度的差异。
• ( 3) 定量研究处于初级阶段，语料库驱动的译学 研究启动 • 定量研究是语料库翻译学区别于传统译学研究的 主要特征之一，也是语料库翻译学研究的优势所 在。然而，国外语料库翻译学研究所采用的定量 研究处于初级阶段，仅仅局限于词频&形符8类符 比词汇密度和平均句长等简单的数据分析。这些 分析虽然在一定程度上能够揭示翻译规律和译者 风格，所发挥的作用却比较有限。事实上，要将 定量研究真正引入译学研究领域，未来语料库翻 译学研究应运用复杂的定量分析，如卡方检验和 统计量测试等，以切实提高译学研究的科学性。
• 奥登博格指出，尽管英语中表达因果关系 可供选择的方式多样，但很少能自由取舍， 而是随语义、语用、文体、认知、文本的 变化不同。
• 奥登博格研究了伦敦一朗德语料库(LLC)中10万词 自然英语会话和相同规模LOB语料库中资料性散 文体明确因果关系标记。 • 他主要关注的是通过句法表达的因果关系，特别 是四种主要方式，即 • 副词连接(如hence, so)， 介词连接(如because of)， 从属关系(如because，since) 从句结构(如that's why )。
•
4)定量研究方法的应用
• 定量研究方法是指提取关于研究对象的数据，并 对数据进行检验和分析，以测定关于研究对象特 征的数值或求出因素间量的变化规律，以获取有 意义的结论。
• 定量研究方法通常使用数据、图表或模型等。在 语料库翻译学研究中，研究者常常需要提取翻译 语料的词汇密度、搭配显著性，以及具体词汇或 句法结构的频数等数据，并进行统计和分析，以 归纳翻译语言的总体趋势和特征。
• 欧洲议会口译语料库（European Parliament Interpreting Corpus） • 通用汉英对比语料库 • 汉英会议口译语料库 • 南京大学英汉名著翻译语料库（NUCECC） • …….. • ？
五：语料库翻译学的特征
• • • • 1）实证性研究 2）自下而上与自上而下方法的结合 3）多层次的描写与多视角的解释并重 4）定量研究方法的应用
基于英汉名著语料库的因果 关系连词对比研究
南京大学 许文胜 张柏然
• 摘要:本文采用语料库手段，选取两本英美 经典小说及译本，参照汉语名著，对其中 的因果关系连词进行了定量研究，并在研 究结果的基础上分析英汉语句群结构的差 异，指出英汉思维模式不同是造成这种差 异的深层原因。文章揭示了译本作为独立 文本存在的自足性，西化句法存在的合理 性、可能性以及翻译中所体现的民族文化 心态。 • 关键词：因果关系连词;语料库;对比研究
• 4) 基于语料库的翻译教学研究尚未获得实质性进 展 • 现有研究成果只是从理论层面探讨语料库在一些 翻译教学环节中的应用，很少有人探讨语料库在 翻译教学大纲设计&翻译教材编写以及翻译课堂 教学中应用的途径和方法。其次，翻译教学中应 用语料库的重要前提是建设翻译教学专用语料库， 学界却尚未对此予以关注。因此，翻译教学专用 语料库的建设应提上议事日程。这类语料库应根 据翻译课程的教学目的和教学内容来设计，应能 满足翻译教学的实际需求。
• 本文以在建南京大学英汉名著翻译语料库 (NUCECC)为资源， • 结合现代汉语小说中抽样文本特点， • 探讨《傲慢与偏见》、《最后的莫希干人》 2本小说英语文本和汉语译本中的因果关系 连词对比; ？ • 在此基础上揭示语料库研究在译学研究中 拓展的新视野。
二.本项研究理论基础
• 英汉语言的最大差异在句法结构上表现为: 英语句式注重形合，较多包孕结构，其分 句之间更多依赖连接词的观照; 汉语则偏重意合，仰仗意气统制，分句之 间少用或不用关联词语。
三：什么是语料库翻译学
• 语料库翻译学是指采用语料库方法，在观 察大量翻译事实或翻译现象并进行相关数 据统计的基础上，系统分析翻译本质和翻 译过程的研究。
四：语料库翻译学的发展
• 语料库翻译学的发展相当迅速。许多翻译 语料库、平行语料库和可比语料库先后建 成并投入使用，如： • 翻译英语语料库（Translation English Corpus） • 德英文学平行语料库（German-English Parallel Corpus of Literary Texts）
七：国外语料库翻译学研究存在的问题
• 国外语料库翻译学研究取得了可喜的进步，不过 仍有较大的上升空间 • 1) 研究广度较为有限，未能与翻译学的跨学科特 性有机结合。 • 国外语料库翻译学研究局限于翻译共性&译者风 格和翻译教学等领域的研究，这些研究基本上属 于语言学研究范式，从文化层面研究翻译现象和 本质的语料库翻译学研究成果寥寥无几。因此， 未来语料库翻译学研究既要从语言学视域出发， 也要选取文学理论或文化理论视角，从而实现语 料库翻译学与翻译学跨学科属性的有机结合。
基于英汉名著语料库的因果 关系连词对比研究
南京大学 许文胜 张柏然
一：什么是语料库
• A collection of linguistic data • Be stored and accessed electronically • Designed and planned for linguistic purpose • Texts could be purposively selected and studied both quantitatively and qualitatively
• 定量方法在语料库翻译学研究中的应用具 体表现为以下数据的统计和分析:
• 1) 反映翻译文本词汇应用特征和分布的数据:类符 /形符比、标准类符/形符比、词汇密度、词表所列 的词频、特定词汇的频数和使用频率; • 2) 体现翻译文本句法特征的数据:平均句长、平均 句段长、结构容量、具体句式结构的频数和使用 频率; • 3) 体现搭配显著性的数据:搭配序列频数与节点词 频数之比、搭配词的相对频数、Z值、T值和相互 信息值或MI值; • 4) 用于检验相互比较的数据之间差异是否具有显 著• • • • • • • Specialized corpus General corpus Comparable corpus Parallel corpora learner corpus Pedagogical corpus Historical/diachronic corpus Monitor corpus
基于语料库的译学研究通常划分 为四个步骤:
• 1)依据某一理论确定利用语料库的切入点，即具 体词汇、句法结构或搭配等。之前，根据相关理 论和研究目的，对语料进行相关标注;（自上而下） • 2)提取研究所需的语料和数据，进行数据统计和 分析;（自下而上） • 3)描写数据所反映的总体特征和趋势，归纳出关 于某一翻译事实或翻译现象的结论;（自下而上） • 4)解释有关翻译事实的成因。（自下而上）
1）实证性研究
• 实证性研究是指研究者通过对研究对象进行大范 围的观察或调查，或采用实验方法获取相关证据 或数据，并以此为依据归纳出事物的本质属性和 发展规律。
• 语料库翻译学凭借语料库的技术优势，在对大量 翻译语料或双语语料进行数据统计和定性分析的 基础上，由个别到一般，总结或论证翻译本质和 翻译活动的规律性特征。
一.研究背景
• 20世纪50年代后期发展起来的语料库和语料库语
言学研究，被称为结构主义语言学派与功能主义 语言学派“两阵对垒的天平上”的一个“举足轻 重的珐码”(顾曰国1998:1)。
• 近年来，翻译语料库的研究在国内发展较快，出 现了一批有代表性的研究成果(廖七一 2000：380; 张美芳 2002:54;王克非2003:410)。
• 语料库驱动的译学研究所采取的步骤与基于语料 库的译学大体相同，不过没有后者的第一个研究 步骤。
3）多层次的描写与多视角的解释并重
• 语料库翻译学与描写性译学一脉相承，注重翻 译事实及其制衡因素的观察与客观描写，因而具 有鲜明的描写性特征。 此外，语料库翻译学研究还注重在描写基础上 对翻译事实或数据体现的规律性特征进行解释， 探索这些规律的前因后果。该区域选取的视角既 有语言学视角，也有文化视角和翻译学视角，力 求不但让人知其然，而且让人知其所以然，以构 建某一理论体系。