语料库语言学：语料库的种类types of corpora
语言学(语料库)
Specialized corpora: useful for English for specific purposes. If we need find out what language is used in a certain profession, then we select texts from that profession. Sample corpora: classification of genres; a large number of short extracts; random selection of extracts within genres; great internal validity内部有效性 . Monitor corpora: gigantic, ever moving stores of text. It has the capacity to hold a ‗state of the language‘ for research purposes.
The function of concordance
Concordances are frequently used as a tool in linguistics that can be used for the study of a text such as:
paring different usages of the same word; 2.analysing keywords; 3.analysing word frequencies; 4.finding and analyzing phrases and idioms; 5.creating indexes and word lists (also useful for publishing)
语料库与翻译final03
单语语料库（monolingual corpus）
语料库的分类
• 多语语料库（multilingual corpus）： 是两个或多个不同语言的语
料文本组成的复合语料库。分为平行语料库和对照语料库两种。
A. 平行语料库 （parallel corpus） 收集某种语言的原创文本和相应的翻译成
另一种或多种文字的文本，即，平行语料库中的两种或多种文本互相是对方的译
onvene sb. for a meeting 或者convene a meeting of sb.，两种搭配的数据均多。参照上述数据，可形成 译文：
Mao Tse-tung, when convening comrades from Human Province for a meeting ,explicitly pointed out that… 或者: Mao Tse-tung, when convening a meeting of comrades from Human Province, explicitly pointed out that…
1. 语料库的分类 2. 单语语料库在翻译中的具体应用 3. 结语
语料库的分类
按照语料的语种，语料库可以分成多语 的（Multilingual）和单语的（Monolingual）。
多语语料库（Multilingual corpora）
平行语料库（parallel corpora） 对照语料库（comparable corpora）
单语语料库在翻译中的具体应用
语料数据显示出这三个同义词使用的语 境 ， shift 无 论 用 作 动 词 还 是 名 词 ， 表 示 “ 转 变 ” 或 者 “ 改 变 ” ； transform 表 示 “改变性状”或 “转形”；transfer才是适 合译文语境的词语。因此上句宜译为 ： The meeting decided to give up the plan to attack Changsha, in favor of a transfer southward along the Hunan-Jiangxi border.
语料库的分类
语料库的分类一、介绍语料库是指用于语言学研究的大规模文本数据集合，是自然语言处理（NLP）领域的重要资源之一。
通过对语料库的分类和应用，可以帮助我们更好地理解和分析自然语言现象，提高机器对语言的理解能力和处理效果。
本文将介绍几种常见的语料库分类及其应用。
二、基于文本来源的分类1. 平衡语料库平衡语料库是指从各个领域、不同类型的文本中均匀采样得到的语料库。
这类语料库可以用于构建通用的语言模型，对各种领域的文本进行处理和分析。
2. 领域特定语料库领域特定语料库是指针对某一特定领域的语言样本进行收集和整理的语料库。
比如医学领域的语料库可以用于医学文本的分类、信息抽取和实体识别等任务。
3. 实时语料库实时语料库是指根据实时产生的文本数据构建的语料库，例如社交媒体上的实时文本。
这类语料库可以用于情感分析、事件检测和舆情分析等任务。
三、基于语言类型的分类1. 单语语料库单语语料库是指只包含一种语言的文本数据集合，例如中文语料库、英文语料库等。
这类语料库可以用于机器翻译、语言模型训练等任务。
2. 双语对照语料库双语对照语料库是指包含两种语言的文本数据集合，例如中英文对照语料库。
这类语料库可以用于机器翻译、跨语言信息检索等任务。
3. 多语语料库多语语料库是指包含多种语言的文本数据集合，例如欧洲各国的语料库。
这类语料库可以用于跨语言信息检索、语言联系研究等任务。
四、基于文本属性的分类1. 口语语料库口语语料库是指包含口语化文本的语料库，例如电话对话、社交媒体文本等。
这类语料库可以用于语音识别、对话系统等任务。
2. 书面语语料库书面语语料库是指包含书面语文本的语料库，例如新闻报道、学术论文等。
这类语料库可以用于文本分类、信息抽取等任务。
3. 平行语料库平行语料库是指包含相同内容但使用不同语言表达的文本对，例如中英文平行语料库。
这类语料库可以用于机器翻译、句子对齐等任务。
五、应用领域1. 机器翻译语料库是机器翻译系统的重要训练数据来源，通过对平行语料库的分析和建模，可以提高机器翻译的准确性和流畅度。
浅谈语料库分类及用途
浅谈语料库分类及用途一、语料库的定义在语言学中，语料库是指大量文本的集合。
在语料库语言学中，他们是主要用来进行统计分析与假设检定，在某一领域中，测试语言规律的出现或有效性。
语料库可以是某一单独语种的文本（单语语料库），又或者是多种语言中的文本数据。
二、语料库的分类1.多语种语料库多语种语料（Multilingual corpora）经常经过格式特殊处理进行比对研究，也被称作平行语料库。
它是由大量的平行文本（parallel text）组成。
平行文本通常是几种语言放在一起，有原文有译文，对齐放置。
较为著名的平行文本有洛布古典丛书和克莱梵语丛书。
平行文本不仅仅是两种语言的平行，有时会有多种语言集合。
如圣经研究中，关于圣经的译文可以有多种版本。
较为著名的便是俄利根的《圣经六国译文合璧》，其中为旧约提供了六个版本。
在多語种语料库中，一定要注意多语种语义的平行对齐，这是保障语言学研究的前提条件。
一般情况下，双语平行语料库中，主要有两种类型，翻译语料库（translation corpus）和对比语料库（comparable corpus）。
在翻译语料库中，一种语言的文本会是另外语种语言文本的翻译。
在翻译过程中，翻译人员可以对句子进行拆分、合并、删除、插入或重新排列。
翻译语料库现如今广泛运用于机器翻译中，机器翻译实际属于计算机语言学中的一类，其方法是通过某种程序将一种语言翻译成另外一种语言。
借助语料库，便可以提供大量准确而地道的目标语言文本，从而使计算机可以生成更加复杂的自动翻译，处理更复杂的语言翻译。
在对比语料库中，文本都是同种类型，覆盖同种内容，但是他们并不是互相翻译的关系。
为开发平行语料库，有些文本需以一个短语或句子组成的语块进行匹配。
其中，经常会运用由两种语言语料库组成的平行语块对双语的机器翻译进行训练。
为使语料库能够对语言学研究更能有用，他们通常会运用到注释程序，比如，对演讲的部分内容进行注释或是词性标注。
语料库的分类、创建和检索简述
语料库的分类
语料库的分类
根据不同的标准，语料库可以分为多种类型。常见的语料库类型包括： 1、通用语料库：包含来自不同领域、不同语言的语料，适用于广泛的研究和 应用领域。
语料库的分类
2、专业语料库：针对特定领域或专业构建的语料库，例如医学、法律、金融 等。
3、口语语料库：包含口头语言 材料，如录音、口语表达等。
二、图像分类技术
另外，降维技术也可以用于图像分类。降维技术可以将高维的图像特征降维 到低维的空间，从而使得分类更加简单和高效。常用的降维技术有PCA、t-SNE和 autoencoder等。
三、图像语义检索与分类技术的 研究现状
三、图像语义检索与分类技术的研究现状
近年来，图像语义检索和分类技术的研究取得了显著的进展。在图像语义检 索方面，研究者们提出了多种基于内容、语义相似度和向量空间模型等方法。在 图像分类方面，SVM、神经网络和降维技术等算法的应用取得了重要突破。
一、图像语义检索技术
图像语义检索是指通过自然语言描述或者用户提交的查询关键词，从图像库 中检索出与查询相关的图像。近年来，研究者们提出了多种图像语义检索的方法。
一、图像语义检索技术
基于内容的图像语义检索是通过分析图像的内容，提取出图像的特征，然后 根据这些特征进行检索。例如，可以通过提取图像的颜色、纹理、形状等特征进 行检索。另外，还可以利用深度学习技术，如卷积神经网络（CNN）来提取图像 的特征，提高检索的准确性。
语料库的创建
此外，为了便于语料库的管理和检索，需要构建语料库的索引和词典。索引 可以记录每个单词在语料库中出现的位置和频率，而词典则包含了单词的语义信 息和语法信息等。最后，语料库的创建还需要注意保证数据的安全性和隐私保护。
语料库
Background Information语料库的概念语料库是指按照一定的语言学规则，利用随机抽样的方法收集的有代表性的语言材料的总汇，它是语言材料的样本。
语料库通常指为语言研究机构收集的，具有一定容量的大型电子文本语料库。
它是由口语语料和书面语的样本汇集而成，用来代表特定的语言或语言变体，或经过加工后带有语言学信息标注的文本的集合。
语料库的分类按照语料库所涉及的语言种类，语料库课分为单语语料库，双语平行语料库(parallel corpus)和多语语料库(multilingual corpus)；按照语言涉及的题材，语料库可分为普通语料库(general corpus)和专门用途语料库(specialized corpus)；按语料的来源，又可分为口语语料库和书面语语料库；按语料库是否被标注，语料库可分为生语料库或原始语料库(raw corpus)和熟语料库或标注语料库(annotated corpus)In linguistics, a corpus (plural corpora) or text corpus is a large and structured set of texts (now usually electronically stored and processed). They are used to do statistical analysis and hypothesis testing, checking occurrences or validating linguistic rules on a specific universe.A corpus may contain texts in a single language (monolingual corpus) or text data in multiple languages (multilingual corpus). Multilingual corpora that have been specially formatted for side-by-side comparison are called aligned parallel corpora. In order to make the corpora more useful for doing linguistic research, they are often subjected to a process known as annotation. An example of annotating a corpus ispart-of-speech tagging, or POS-tagging, in which information about each word's part of speech (verb, noun, adjective, etc.) is added to the corpusin the form of tags. Another example is indicating the lemma (base) form of each word. When the language of the corpus is not a working language of the researchers who use it, interlinear glossing is used to make the annotation bilingual.Terminology:双语或多语语料库Bilingual or multilingual corpus机器翻译技术machine translation technology双语词典编纂技术bilingual lexicography technique跟踪研究工作follow-up study设计、采集、编码和管理design, collection, coding and managementTranslation Version：关于双语或多语语料库的研究目前大致可分为三类：The research on bilingual or multilingual corpus can be divided into three categories currently:一是研究双语语料的对齐技术（Alignment），国内外学者就此提出多种策略和方法，现在已经出现了许多对齐双语或多语语料的程序或工具；First is the study of bilingual corpus alignment technology .The scholars at home and abroad propose various strategies and methods about it. There have been a lot of procedures or tools of bilingual or multilingual corpus alignment at present.二是研究双语语料的各种应用，如在基于统计的机器翻译技术、基于实例的机器翻译技术，双语词典编纂技术中，双语语料库都发挥着十分重要的作用；Second is the all kinds of applications on the research of bilingual corpus . For example, bilingual corpus play an important role in the statistics-based machine translation technology, example-based machine translationtechnology and bilingual lexicography technique.三是双语语料库的设计、采集、编码和管理问题。
语料库_精品文档
语料库引言语料库是自然语言处理和文本分析中非常重要的资源。
它是大量有序的文本数据的集合，用于研究和分析自然语言的结构、语法和语义。
语料库的建立既可以依赖于人工的文本收集和整理，也可以通过网络爬虫等自动化的方式获取。
本文将介绍语料库的定义、类型、应用和建立方法等内容。
一、语料库的定义语料库是由大量文本信息组成的有序集合，可以涵盖广泛的领域和主题。
语料库可以包含书籍、报纸、杂志、电影字幕、社交媒体信息等不同来源的文本数据。
这些文本数据以电子文档的形式存储，方便进行搜索和分析。
语料库不仅包含自然语言的表达，还包括文本的元数据信息，例如作者、出版日期、地理位置等。
这些信息可以帮助研究人员更好地理解文本的背景和语境。
二、语料库的类型根据语料库的来源和用途，可以将其分为不同的类型。
1. 原始语料库：原始语料库是从真实的文本数据中收集而来的，通常包含大量的未经处理的文本。
原始语料库可以覆盖多个领域和主题，有助于研究人员深入了解各种语言现象。
2. 标注语料库：标注语料库是在原始语料库的基础上进行了人工标注的语料库。
标注可以包括分词、词性标注、句法分析、语义标注等。
标注语料库可以用于训练和评估自然语言处理的算法和模型。
3. 平行语料库：平行语料库是包含双语或多语文本的语料库，可以用于机器翻译和跨语言信息检索等任务。
平行语料库中的文本在语义和结构上是对应的，可以用于训练和评估翻译模型的准确性。
4. 专门领域语料库：专门领域语料库是根据特定领域或主题进行了选择和整理的语料库。
例如医学领域的语料库可以收集和整理包含医学术语和知识的文本，有助于医学研究和医学文档的分析。
三、语料库的应用语料库在自然语言处理和文本分析的研究中具有广泛的应用。
1. 语言模型训练：语料库可以用来训练语言模型，提高自然语言处理任务中的语言理解和生成能力。
通过学习大规模的文本数据，语言模型可以预测下一个词的概率、处理歧义和生成连贯的语言表达等。
2. 文本分类和情感分析：语料库可以用来训练文本分类器和情感分析模型。
语料库的类型
语料库的类型［作者：李文中转贴自：Corpora and the ELT点击数：97 文章录入：neilruan ］语料库来自拉丁词corpus，原意为“汇总”、“文集”等，复数形式为corpora或corpuses。
语料库是“作品汇集，以及任何有关主题的文本总集”(OED)是“书面语或口头语材料总集，为语言学分析提供基础”(OED)。
语料库是“按照明确的语言学标准选择并排序的语言运用材料汇集，旨在用作语言的样本”(Sinclair，1986:185-203)。
语料库是按照明确的设计标准，为某一具体目的而集成的大型文本库（Atkins and Clear，1992:1-16）。
Renouf认为，语料库是“由大量收集的书面语或口头语构成，并通过计算机储存和处理，用于语言学研究的文本库”（Renouf, 1987:1）。
Leech指出，大量收集的可机读的电子文本是概率研究方法中获得“必需的频率数据”的基础，“为获得必需的频率数据，我们必须分析足量的自然英语（或其它语言）文本，以便基于观测频率（observed frequency）进行合乎实际的预测。
因此，就需要依靠可机读的电子文本集，即可机读的语料库”(Leech, 1987:2)。
综上所述，语料库具有以下基本特征：1〕语料库的设计和建设是在系统的理论语言学原则指导下进行的，语料库的开发具有明确而具体的研究目标。
如二十世纪六十年代初的BROWN语料库主要目的是对美国英语进行语法分析，而随后的LOB语料库基本按照BROWN语料库的设计原则收集了同年代的英国英语，目的是进行美国英语和英国英语的对比分析和语法分析。
2〕语料库语料的构成和取样是按照明确的语言学原则并采取随机抽样方法收集语料的，而不是简单地堆积语料。
所收集的语料必须是语言运用的自然语料（naturally-occurred data）。
3）语料库作为自然语言运用的样本，就必须具有代表性(representativeness)。
语料库语言学术语汇编Aglossaryofcorpuslinguistics
语料库语言学术语汇编Aglossaryofcorpuslinguistics语料库语言学术语汇编(V2.0)Last updated 2012-10-08 by 许家金Aboutness 所言之事Absolute frequency 绝对频数Alignment (of parallel texts)（平行或对应）语料的对齐Alphanumeric 字母数字构成的Annotate标注（动词）Annotated text/corpus 标注文本/语料库、赋码文本/语料库Annotation标注（名词）Annotation scheme标注方案ANSI/American National Standards Institute美国国家标准学会ASCII/American Standard Code for Information Exchange美国信息交换标准码Associates (of keywords)（主题词的）联想词AWL/academic word list 学术词表Balanced corpus 平衡语料库Base list/baselist 底表、基础词表Bigram 二元组、二元序列、二元结构Bi-text/bitext双语合并文本、双语分行对齐文本（一句源语一句目标语对齐后的文本）Bi-hapax 两次词Bilingual corpus双语语料库Bootcamp debate/discourse/discussion （新手）训练营大辩论/话语/大探讨CA/Contrastive Analysis 对比分析Case-sensitive/case sensitivity 大小写敏感、区分大小写Category-based approach 基于类（范畴）的方法Chi-square test/χ2 卡方检验Chunk词块CIA/Contrastive Interlanguage Analysis中介语对比分析CLAWS/Constituent Likelihood Automatic Word-tagging System CLAWS 词性赋码系统Clean text policy 干净文本原则Cluster 词簇、词丛Colligation 类联接、类连接、类联结Collocate n./v.搭配词；搭配Collocability 搭配强度、搭配力Collocation搭配、词语搭配Collocational strength 搭配强度Collocational framework/frame 搭配框架Collocational profile搭配概貌、管路敷设技术通过管线不仅可以解决吊顶层配置不规范高中资料试卷问题，而且可保障各类管路习题到位。
语料库语言学：语料库的种类types-of-corpora
General vs. specialized corpora
• General corpora (通用语料库) or reference corpora(参考语料库):
a wide coverage of different text categories or registers; represents language for general purposes.
• Annotated corpora（标注语料库）： some external information is added to a corpus. e.g. information identifying the origin and nature of the text; tagging to show the word class of each word; parsing to show the sentence structure and the function of different elements in a sentence. one specific example, “gives”: third person singular present tense verb In an annotated corpus, the form "gives" may be "gives_VVZ", VVZ: it is a third person singular present tense (Z) form of a lexical verb (VV). Such annotation makes it quicker and easier to retrieve and analyze information about the language contained in the corpus.
语料库研究
语料库研究语料库研究引言语料库是语言学研究中的一个重要工具，它包含了大量的实际语言使用数据。
语料库研究可以帮助我们更好地理解语言的构建和使用规律。
本文将介绍语料库的基本概念、类型分类以及在语言学研究中的应用。
一、语料库的概念和分类语料库（corpus）指的是收集了大量的实际语言文本的数据库。
在语料库中，文本被按照一定的方式组织和分析，并且可以通过计算机进行访问和处理。
语料库有不同的分类方式，主要可以分为以下几种：1. 经典语料库：这类语料库在早期语料库研究中非常常见，包括了大量的书籍、报纸和杂志等出版物。
这些语料库的特点是内容丰富多样，反映了一段时间内的语言使用情况。
2. 专门语料库：这类语料库是为特定研究目的而创建的，比如医学语料库、法律语料库等。
专门语料库的特点是包含了特定领域的文本，能够支持对该领域词汇和语言使用特点的研究。
3. 平行语料库：这类语料库一般用于翻译研究中，包含了同一内容的不同语言版本。
平行语料库对于翻译质量评估、翻译记忆等方面的研究有着重要的作用。
4. 多模态语料库：这类语料库包含了不同形式的语言数据，比如文本、图片、音频和视频等。
多模态语料库可以帮助我们研究不同语言形式之间的关系，更全面地理解语言的使用情况。
二、语料库在语言学研究中的应用语料库的出现和应用给语言学研究带来了重要的变革，它为语言学家提供了更多的实证数据，并且可以用来验证理论假设。
以下是语料库在语言学研究中的几个主要应用方向：1. 词汇研究：语料库可以帮助我们更加准确地了解和研究词汇的使用情况。
我们可以通过查看语料库中某个词汇的出现频率、共现关系以及上下文语境等信息，来推断该词汇的含义和用法规律。
2. 句法和语法研究：语料库可以用来验证句法和语法理论的假设。
我们可以通过对语料库中句子结构和语法现象的分析，来验证或者调整句法和语法理论的规则和假设。
3. 语言变异和变化研究：语料库可以帮助我们观察和分析语言的变异和变化。
语料库
语料库语言学
• 语料库语言学是一门新型科学，它指的是在文本语料的基 础上进行语言研究的一门学科。
• 基于语料库分析的主要特点： 1.具有实验性，分析自然语言文本中语言使用的实际模式。 2.搜集大量的真实文本(语料库)，以语料库作为分析基础。 3.使用计算机的自动与交互技术进行分析。 4.使用定量与定性分析的技术。
• 词汇联结：一个单词与其他单词之间存在强的联结模式， 比如词的搭配。
• 语法联结：一个语法结构与相关语境中的语法特征之间存 在强的联结模式，比如名词化在学术语域和对 话语料中的分布。
• 词汇-语法联结：单词与语法结构之间存在的联结。这种 关系的研究主要有两方面：单词与语法 环境之间的关系；语法结构和单词环境 之间的关系。
语篇结构特征
• 语篇结构特征的研究： 1.语篇连贯和衔接的语言的分析 2.不同类型的语篇的描述和比较 3.语篇中从句间修辞关系的描述和比较 …
书面语篇与口语语篇 医学论文和生态学论文 …
语言变异
• 语料库与语言变异研究指通过使用语料库来观察单词的频 度、单词的意义和用法等变异参数，来研究语言的地域差 异、性别差异、社会群体差异、语域差异等。
L/O/G/O
语料库语言学
Contents
1 语料库和语料库语言学
2
语料库的发展
3
语料库的应用
4
结语
语料库
• 语料库：大规模自然语言文本的集合。 • 现代的语料库是指存放在计算机里的原始语料文本或经过加
工后带有语言学信息标注的语料文本。
双语语料库
北大计算语言学 研究所的双语语 料库
哈尔滨工业大学 的英汉双语语料 库
语料库的分类及其依据
语料库的分类及其依据语料库（corpus）是指用于语言学研究的大规模文本集合。
在自然语言处理（NLP）和机器学习领域，语料库起着重要的作用。
语料库的分类及其依据多种多样，下面将介绍一些常见的分类及其依据。
1. 根据语料库的来源分类语料库可以根据其来源进行分类。
常见的来源包括书面语料库、口语语料库、网络语料库等。
书面语料库是指搜集和整理的书面文本，如报纸、杂志、书籍等。
口语语料库则是指口头语言的记录，如录音、对话等。
网络语料库则是指从互联网上搜集和整理的文本，如网页、论坛帖子等。
根据来源的不同，语料库的特点和应用也会有所差异。
2. 根据语料库的用途分类语料库可以根据其用途进行分类。
常见的用途包括语言学研究、机器翻译、情感分析等。
语言学研究是指利用语料库来探索语言的结构、规律和演化等。
机器翻译是指利用语料库来训练机器翻译模型，实现自动翻译的任务。
情感分析则是指利用语料库来分析文本中的情感倾向，如判断一篇文章是正面还是负面情感。
3. 根据语料库的语言分类语料库可以根据所涉及的语言进行分类。
常见的语言包括英语、中文、法语等。
根据不同的语言，语料库的建立和应用也会有所差异。
例如，对于英语语料库，可以用于英语教学、英语学习者语言分析等方面。
4. 根据语料库的领域分类语料库可以根据所涉及的领域进行分类。
常见的领域包括新闻、医学、法律等。
根据不同的领域，语料库中的文本内容也会有所差异。
例如，医学语料库中的文本主要涉及医学知识和术语，可以用于医学研究和医学文本自动化处理等方面。
5. 根据语料库的规模分类语料库可以根据其规模进行分类。
常见的规模包括小型语料库、中型语料库、大型语料库等。
根据语料库的规模不同，可以应用于不同的研究需求和任务。
大型语料库通常包含数百万或数十亿个文本，可以用于训练深度学习模型和进行大规模文本分析。
总结起来，语料库的分类及其依据包括来源、用途、语言、领域和规模等方面。
不同的分类方式适用于不同的应用场景和研究需求。
corpora名词解释
corpora名词解释摘要：1.引言：介绍corpus 的背景和重要性2.定义：解释corpus 的含义和构成3.分类：介绍corpus 的主要类型4.应用：说明corpus 在自然语言处理和语言学研究中的应用5.发展：概述corpus 的发展历程和前景6.结论：总结corpus 的重要性和未来发展趋势正文：【引言】在自然语言处理和语言学研究领域，corpus 起着至关重要的作用。
corpus，即语料库，是一个庞大且具有代表性的文本集合，用于研究自然语言及其规律。
随着计算机技术、人工智能和机器学习等领域的飞速发展，corpus 在学术界和工业界中的地位日益显著。
本文将介绍corpus 的定义、分类、应用和发展趋势。
【定义】corpus 是一个包含大量文本的集合，这些文本来自于不同的来源，如书籍、报纸、网站、电子邮件等。
它们按照一定的标准和比例被筛选、整理和存储，以供研究人员进行自然语言处理、语言学分析和机器学习等应用。
语料库中的文本通常被“tokenize”成词汇或句子，并附加上诸如词性、句法结构、语义信息等注释，以便研究人员进行高效的分析和处理。
【分类】根据来源和用途的不同，corpus 可以分为以下几类：1.通用语料库：包含多种类型的文本，如新闻、书籍、社交媒体等，用于一般的自然语言处理和语言学研究。
2.专用语料库：针对某一特定领域或话题的文本集合，如医学、法律、政治等，用于深入研究和专业领域的应用。
3.平衡语料库：确保各类文本在语料库中的比例适中，以避免分析结果受到偏差的影响。
4.标注语料库：文本中包含详细的注释信息，如词性标注、句法结构标注等，便于研究人员进行精确的分析和处理。
【应用】corpus 在自然语言处理和语言学研究中具有广泛的应用，包括但不限于以下几个方面：1.词汇和语法分析：通过分析语料库中的文本，研究人员可以了解词汇和语法的规律和分布，从而为自然语言处理提供基础数据。
2.机器翻译和语音识别：corpus 为机器翻译和语音识别等应用提供了大量的训练数据，以提高模型的准确性和性能。
语料库常用术语解释 (1)
语料库语言学常用术语
Monolingual单语 corpus: a corpus which contains texts in a single language.
Multilingual多语 corpus: a corpus which represents small collections of individual monolingual corpora (or subcorpora) in the sense that they use the same or similar sampling procedures and categories for each language but contain completely different texts in those several languages.
TTR是衡量文本中词汇密度的常用方法。可 辅助说明文本的词汇难度。
但是，文本中有大量功能词（function words, 如the、a、of等）反复出现，文本每增加 一个词，形符就会增加一个，但类符却未 必随之增加。这样文本越长，功能词重复 次数越多，TTR会越低。因此用TTR衡量词 汇密度就不合理。
语料库的方法基于真实的语言使用情况，事实胜 于雄辩
Frank Liang
A corpus can be analyzed using software tools, much like those used to find key words on the Internet, but with greater sophistication. By evaluating the results of these searches, it is possible to see how language is really used, and to find answers to questions like these:
自然语言理解-语料库
已有的相关研究成果
3．《现代汉语语料库文本分词规范》 北京语言文化大学语言信息处理研究所 清华大学计算机科学与技术系 1998年 4．《北大语料库加工规范： 切分、词性标注、注音》 北京大学计算语言学研究所 2003年 5．《資讯处理用中文分词标准》 台湾计算语言学学会 ，1996年
语料库加工规范的总原则
汉语语料库建设规范 ——语料库分词和标注规范
语料库建设规范
选材规范 文本描述规范 加工规范 体系构造规范
主要内容
已有的相关内容 语料库的加工规范的总原则 结构化词表构造原则 切分标注原则
已有的相关研究成果
1．《信息处理用现代汉语分词规范》 中国国家标准GB13715，1992年 2．《信息处理用现代汉语词类标记集规范》 教育部语言文字应用研究所 2002年
第一代语料库2
LOB语料库
始建于1970年代初 由英国 Lancaster大学著名语言学家 Geoffrey Leech 倡议 挪威Oslo大学StigJohansson主持完成 安装在挪威Bergen大学挪威人文科学计算中心 规模于Brown语料库相当 主要代表当代英国英语
不矛盾性原则：指切分标注时不能出现两可 的情况，即可以同时适用两条或两条以上的 规则的情况。
完备性原则：指规范能够覆盖文本的全部， 即不能出现没有适用的规则的情况。
词表原则
切分标注一般都遵循一个原则——词表原则 把词表中已经收录的词语都作为一个分词单位，不再切分， 所以几乎每一个规范的背后都有一个相应的词表。
转引自Tony McEnery& Andrew Wilson, 1996, Corpus Linguistics, p55,
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
General vs. specialized corpora
• General corpora (通用语料库) or reference corpora(参考语料库): a wide coverage of different text categories or registers; represents language for general purposes. usu.: very large , millions of words. E.g. British National Corpus (BNC), Bank of English (BOE). • specialized corpora (专用语料库): texts from a particular variety of a language, e.g. from a particular dialect or from a particular subject area.
Written vs. spoken corpora
• Written corpora（笔语语料库）: contain only written materials. (more) • Spoken corpora（口语语料库）: contain transcribed texts of spoken language. (less)
Monolingual vs. multilingual corpora
• Monolingual corpora（单语语料库）： texts in one language. • Multilingual corpora（多语语料库）： texts in several different languages.
Synchronic vs. diachronic corpora
• Synchronic corpora（共时语料库）: materials from a specific period of time. • Diachronic corpora（历时语料库）： materials over a longer period of time.
Comparable vs. parallel corpora
• Comparable corpora（可比语料库）： texts from two or more languages which are similar in genre, topic, register etc. without, however, containing the same content. • Parallel corpora（平行语料库）(translation corpora)（翻译语料库）： a corpus of original texts in one language and their translations into another (or several other languages)。探索“同一内容是如何用两种语 言表达的” 。
• Sample corpora (样本语料库)： as opposed to a monitor corpus, a sample corpus is of finite size and consists of tee a static picture of language • Monitor corpora (监控语料库)： monitor language change. It is regularly updated and open-ended.
Raw vs. annotated corpora
• Raw corpora（生语料库）： in raw states of plain text; without annotations • Annotated corpora（标注语料库）： some external information is added to a corpus. e.g. information identifying the origin and nature of the text; tagging to show the word class of each word; parsing to show the sentence structure and the function of different elements in a sentence. one specific example, “gives”: third person singular present tense verb In an annotated corpus, the form "gives" may be "gives_VVZ", VVZ: it is a third person singular present tense (Z) form of a lexical verb (VV). Such annotation makes it quicker and easier to retrieve and analyze information about the language contained in the corpus.
Native vs. learner corpora
• Native speaker’s corpora（本族语语料库）: texts from native speakers. • Learner corpora（学习者语料库）: texts from language learners.
Sample vs. monitor corpora
Types of corpora
• • • • • • • • • General vs. specialized corpora Written vs. spoken corpora Synchronic vs. diachronic corpora Monolingual vs. multilingual corpora Comparable vs. parallel corpora Native vs. learner corpora Sample vs. monitor corpora Raw vs. annotated corpora …