常用语料库软件的应用.ppt
合集下载
语料库技术及其应用
二、ELAN自建汉语方言多媒体 语料库
ELAN（Endangered Languages Archive）是由德国马普学会语言学研究所 开发的一款用于语言资料库建设的软件工具，可用于创建、管理和分析多种语言 的语音、文字和影像资料。本次演示将介绍如何利用ELAN自建汉语方言多媒体语 料库，以便对这些珍贵资料进行系统化的收集、整理和分类。
2、机器翻译：多模态语料库中的多种语言素材可以用于机器翻译系统的训 练，提高翻译的准确度和流畅度。
3、文本生成：基于语料库40的强大语料信息，可以用于自动文本生成，为 新闻报道、小说创作等领域提供丰富的素材和灵感。
4、教育领域：教师可以通过使用语料库40多模态语料库，让学生更好地接 触到真实的语境和多样化的语言表达方式，从而提高学生的语言能力和跨文化交 际能力。
语料库技术及其应用
目录
01 引言
03 关键词：内容构思
02 关键词：语料库技术 04 关键词：文本处理
目录
05 关键词：应用场景
07 参考内容
06 结论
引言
语料库技术是指以大量真实文本为基础，运用计算机和统计分析工具，对语 言使用进行系统研究的一种方法。随着计算机技术的不断发展，语料库技术在语 言学、文学、翻译等领域的应用日益广泛。本次演示将介绍语料库技术的定义、 特点及其在各领域的应用价值，同时探讨语料库技术在不同场景下的优势和不足， 以及未来可能的发展方向。
未来展望
随着技术的不断发展和应用需求的增长，语料库40多模态语料库的建设将不 断深入和完善。未来，语料库40可能会朝着以下几个方向发展：
1、更大规模的数据采集：随着互联网和数字化设备的普及，未来将能够采 集到更多样化、更大规模的数据，使语料库40更加全面和丰富。
语料库演示
<> [x n] 例如：
表示重复的话
*SYY: 羊洋想喝黑加仑羊洋<喝> [x 2] %ort： yang2yangxiang3he1hei1jia2lun2yang2ya ng<he1>[x2] yi4ping2hei1jia1lun2
Esc + L 是check
（五）我们的研究
of Transcripts，人类语言分析编码。 CHILDES创造了儿童语料统一录写格式， 有一整套录写符号，可进行多层次编码。 通过CHAT转写和编码，研究者储存的语 料可以供计算机自动分析。
CLAN。Computerized language Analysis，
计算机语言分析软件。目前已有一些自动 分析儿童语料的程序设置，比如通用的语 言评量指标MLU（平均语句长度）、TTR （词汇类型与词汇量之比）和MLT（平均 话轮语集长度）等。研究者也可以根据研 究需要自己编码，由计算机对目标语料进 行分析。
LTM
ＣＨＩＬＤＥＳ介绍及培训
CHILDES---Child Language Data Exchange System 国际儿童语料库 数据存储和分析系统
（一）儿童语言发展研究方法的沿革
日志记录。达尔文最早采用。以研究者本
人作为研究工具，在自然情境下对研究对 象的语言现象采用多种方式做记录，再形 成结论。缺点：用文字符号记录语言，丢 失的信息太多，数据真实性可靠性较差； 能够收集的语料数量有限；回忆和反省带 有较大主观性，可能增减信息，难以重复 检验。
重要的编码：
Tab 每行开头的空格键 # 不完全停顿，主要行前后要有空格，
附属行（ort行）不用空格 &ne 标注语气词，拟声词，跟前面的汉字 连起来要空一个格 xxx 不清晰语句
语料库的应用(最终)
语料库的应用语料库方法广泛应用于语言学理论研究、军事等领域。
当代语料库语言学（以语料库方法为取向的研究语言的分支就被称为语料库语言学）已是高歌猛进，日新月异，新的语料库更是层出不穷，经过科学选材和标注，具有适当规模的语料库能够反映和记录语言的实际使用情况，人们通过语料库观察和把握语言事实，分析和研究语言系统的规律，极大地方便了语言研究者。
军事语料库对信息化条件下的军事斗争具备潜在价值，积极开展军事语料库的研究和建设实践活动，并把研究成果转化到实战之中。
和平时期对信息化高科技武器的建设不可小视，对战场态势的综合信息捕捉、把握和利用的能力建设至关重要，但对身边已有的各类信息的综合收集和利用也同样不可忽视。
军事语料库的建设正是针对实现信息化战争中争夺与占有信息资源、获取不对称的战争中的信息掌握和信息利用的不对称优势。
【一】、语料库成为语言学理论研究的基础资源语料库是计算语言学的基础。
语料库对应的英文是corpus，复数形式为corpora。
这个词既可以指语料也可以表示语料库。
英国语言学专家戴维•克里斯特尔认为，语料库“指收集的一批语言学数据，或为书面文本或为言语录音的转写，可用作语言学描写的出发点，也可作为验证语言假说的手段。
计算机语料库是一大批机器可读文本的结集。
各种为不同目的而建立的语料库可以应用在词汇、语法、语义、语用、语体研究，社会语言学研究，口语研究，词典编纂，语言教学以及自然语言处理、人工智能、机器翻译、言语识别与合成等领域。
起初语料库主要用于语言学研究，而且建成的语料库多为通用语料库，服务的研究领域主要集中于词典编纂、词语搭配与结构、基于平行语料库的英汉互译、文学作品和作家语言风格的研究以及基于语料库的外语教学研究等。
随着研究的不断深入，各种专业领域语料库也相继建立，语料库的应用研究逐渐扩大到其他学科。
我国在语料库的应用上还处于起步阶段，在计算语言学和语言信息处理领域，语料库主要用来为统计语言模型提供语言特征信息和概率数据，在语言研究的其他领域，多使用语料的检索和频率统计结果。
常见语料库使用入门_图文
10 公共语料库检索
小问题：
一种语言现象我们至少得收集多少条语料呢？
500 徐杰教授认为，语料多多益善，至少应收集
条。
大数定律（Law of Large Numbers）： 指在随机试验中，每次出现的结果不同，但是大量重复
试验出现的结果的平均值却几乎总是接近于某个确定的值。
11 公共语料库检索
抽样与调查
9 公共语料库检索
国外18个知名英语语料库
10.LLC口语语料库: http://khnt.hit.uib.no/icame/manuals/ 11.COBUILD语料库：/Corpus/CorpusSearch.aspx 12.ICE东非等分库：/english-usage/ice/avail. htm 13.ARCHER语料库：/english/degree_programs. asp 14.CEECS语料库：http://www.eng.helsinki.fi/varieng/main/corporal.htm 15.SCTS语料库：http: /// 16.VOICE语料库：http: //www.univie.ac.at/Anglistik/voice/ 17.ELFA语料库：http: //www.uta.fi/laitokset/kielet/engf/research/elfa/ 18.朗曼语料库：http: ///dictionaries/corpus/index.html
40 个人语料库创建
熟语料库加工阶段
可以采用这个工具
双 击 打 开 软 件
41 个人语料库创建 熟语料库加工阶段
检 索 式 示 例
公共语料库的检索说明
——以BCC语料库为例
18 公共语料库检索
《国家语委语料库》课件
语料库的共享机制和平台
添加 标题
国家语委语料库的共享机制：介绍语料库的共 享机制，包括共享方式、共享范围、共享内容 等。
添加 标题
国家语委语料库的合作平台：介绍语料库的合 作平台，包括合作方式、合作内容、合作对象 等。
添加 标题
国家语委语料库的共享和合作的意义：介绍语 料库的共享和合作的意义，包括促进语言研究、 推动语言教育、促进文化交流等。
• 案例3：国家语委语料库在语言规划中的应用 • 提供数据支持，为国家制定语言政策提供科学依据。 • 促进语言的规范化、标准化，提高语言的交际效率。 • 推动语言的健康发展，促进社会的和谐稳定。 案例4：国家语委语料库在文化传承中的应用
• 案例4：国家语委语料库在文化传承中的应用 • 保存和传承文化遗产，为后人留下宝贵的文化遗产。 • 促进文化的交流与传播，推动文化的多元化发展。 • 推动文化的创新与发展，为现代社会注入新的文化元素。
添加 标题
国家语委语料库的未来发展：介绍语料库的未 来发展，包括扩大语料库规模、提高语料库质 量、加强语料库应用等。
语料库的合作模式和案例
• 合作模式：国家语委语料库与高校、研究机构等合作，共同开展语言研究、教学等工作。 • 案例：国家语委语料库与某高校合作，共同开展汉语词汇研究，为汉语教学提供支持。 语料库的共享和合作
数字化语料库的建设和发展
数字化语料库的背 景和意义
数字化语料库的建 设过程
数字化语料库的智 能化发展
数字化语料库的应智能化语料库的定义和特 点
智能化语料库的应用场景
智能化语料库的发展趋势
智能化语料库的未来展望
未来数字化和智能化语料库的趋势
添加标题
数字化语料库的全面升级：随着技术的不断发展，数字化语料库将更加全面、高效地升级， 实现更加精准、快速的数据检索和分析。
语料库技术第一讲
History：Era of modern corpus (IV)
历史:现代语料库时期（四）
History：Era of modern corpus (IV)
历史:现代语料库时期（四）
History：Era of modern corpus (IV)
历史:现代语料库时期（四）
History：Era of modern corpus (IV)
应用
Application
语言教学
不同水平的学生语料比较 不同母语的学生语料比较 学生英语/汉语语料比较 学生语料/英美语料比较
◆ 语料库对比分析(CIA)：关注正确形式
◆ 语料库错误分析(CEA)：关注错误形式
手工/机器错误标注 计算机自动提取
应用
Application
词典编纂（Lexicography）
历史:传统语料库时期（二）
History：Era of traditional corpus (II)
历史:现代语料库时期（一）
History：Era of modern corpus (I)
历史:现代语料库时期（二）
History：Era of modern corpus (II)
历史:现代语料库时期（三）
应用
Application
机器翻译（machine translation）
应用
Application
机器翻译（machine translation）
分类
Classification
������ ������ ������ ������ ������ ������
历史:现代语料库时期（四）
History：Era of modern corpus (IV)
历史:现代语料库时期（四）
History：Era of modern corpus (IV)
历史:现代语料库时期（四）
History：Era of modern corpus (IV)
应用
Application
语言教学
不同水平的学生语料比较 不同母语的学生语料比较 学生英语/汉语语料比较 学生语料/英美语料比较
◆ 语料库对比分析(CIA)：关注正确形式
◆ 语料库错误分析(CEA)：关注错误形式
手工/机器错误标注 计算机自动提取
应用
Application
词典编纂（Lexicography）
历史:传统语料库时期（二）
History：Era of traditional corpus (II)
历史:现代语料库时期（一）
History：Era of modern corpus (I)
历史:现代语料库时期（二）
History：Era of modern corpus (II)
历史:现代语料库时期（三）
应用
Application
机器翻译（machine translation）
应用
Application
机器翻译（machine translation）
分类
Classification
������ ������ ������ ������ ������ ������
最新常用在线语料库使用简介PPT课件
呈现所检索词项在语法结构下所搭配的高频词汇54sketchenginesketchengine主要功能介绍91wordsketch选择所需的语料库后点击左侧功能区的wordsketch即可进入检索页面如图911图91155sketchengine91wordsketch以generate一词为例部分检索结果如图912图91256sketchengine91wordsketchsubject一栏显示与generate搭配的典型主语unaryrels一栏显示generate与主语搭配词的典型句法关系未带下划线的数值代表generate与搭配词的搭配强度带有下划线的数字代表频数点击即可查看词语索引如图914图91357sketchengine91wordsketch点击节点词可观察更多语境图91458sketchengine91wordsketchobject一栏显示与generate搭配的典型宾语ppbyp一栏显示该语法结构下的典型搭配词modifier一栏显示generate的高频修饰词图91559sketchengine92thesaurus点击页面左侧的thesaurus即可进入查询近义或同义词的页面如图921部分结果如922点击词条即可进行两词间比较图921图92260sketchengine93sketchdiff点击左侧功能区的sketchdiff即可进入该功能页面图931lemma后输入generatesecondlemma后输入create点击showdiff对比结果见图932图93161sketchengine93sketchdiff红色区的词趋向与create搭配绿色区的词趋向与generate搭配灰色区的词与create和generate的搭配强度相当图932图93262sketchengine93sketchdiff通过观察对比信息可得到比coca更详细的差异从动宾搭配的角度看generate和create两词均可与
常用语料库软件的应用
用于辅助翻译，就可以采用句对齐。而要用于翻译研究，就 需要考虑段落层面的语言使用信息，如衔接、话语标记等。 对齐软件有很多，CAT类软件、Paraconc、专门软件。
双语语料的对齐: 方式和 方法-2
• 初始对应: 源语、目标语文本段对齐，word下完成校 对。这一步最重要。
• Paraconc可以考虑添加s标记。 • 对齐: 软件对齐。如aligner，paraconc；Trados，
OmegaT • Trados商业使用最为广泛 • Déjà vu易操作 • Omega T免费，更易操作，但只能单用不能基于
web
微型教学语料库的创建和 使用
• 建库目的和内容
o 针对学生翻译习作 o 反映学生个体和总体特征 o 翻译技巧和翻译评估相结合 o 提取信息方便 o 易于操作
• 使用Excel基本满足此类要求
序的headadder，txtmarker。其实除噪是执 行一些替换性的操作（see next slide）
语料文本的基本处理: 主 要处理方式-4
• $line=~s/\s\n/\n/g; #matching and replacing all • $line=~s/(.)\n/$1 /g; #matching and replacing all • $line=~s/[\r\n]/##/g; #matching and replacing all • $line=~s/\*//g; #matching and replacing all • $line=~s/^\s*$//g; #matching and replacing all • $line=~s/\\s{0,}/\s/g; #matching and replacing all • $line=~s/\\s\n/\n/g; #matching and replacing all • $line=~s/\Z\n/##/g; #matching and replacing all • $line=~s/ +/ /g; #replace more whitespaces with just one • $line=~s/\s+(#{2,})/$1/g; #matching and replacing all
双语语料的对齐: 方式和 方法-2
• 初始对应: 源语、目标语文本段对齐，word下完成校 对。这一步最重要。
• Paraconc可以考虑添加s标记。 • 对齐: 软件对齐。如aligner，paraconc；Trados，
OmegaT • Trados商业使用最为广泛 • Déjà vu易操作 • Omega T免费，更易操作，但只能单用不能基于
web
微型教学语料库的创建和 使用
• 建库目的和内容
o 针对学生翻译习作 o 反映学生个体和总体特征 o 翻译技巧和翻译评估相结合 o 提取信息方便 o 易于操作
• 使用Excel基本满足此类要求
序的headadder，txtmarker。其实除噪是执 行一些替换性的操作（see next slide）
语料文本的基本处理: 主 要处理方式-4
• $line=~s/\s\n/\n/g; #matching and replacing all • $line=~s/(.)\n/$1 /g; #matching and replacing all • $line=~s/[\r\n]/##/g; #matching and replacing all • $line=~s/\*//g; #matching and replacing all • $line=~s/^\s*$//g; #matching and replacing all • $line=~s/\\s{0,}/\s/g; #matching and replacing all • $line=~s/\\s\n/\n/g; #matching and replacing all • $line=~s/\Z\n/##/g; #matching and replacing all • $line=~s/ +/ /g; #replace more whitespaces with just one • $line=~s/\s+(#{2,})/$1/g; #matching and replacing all
语料库
小结
• 主要语料库检索工具：
• 道格拉斯· 比伯----《语料库语言学》 清华大学出版社 1）AntConc：由日本学者Laurence Anthony开发，具有词 语检索、生成词表和主题词三大功能。
• 2 何安平 ----《语料库语言学与英语教学》 . ）Concapp ：是香港理工大学Chris Greaves 研制的语料库 检索工具。主要功能包括：制作语境共现、句内语境共现（ sentence 《语料库辅助英语教学入门》 concordance）、检索词搭配、词频表。 . 3）Wordsmith Tools：由英国利物浦大学Mike Scott设计的 一个功能强大的综合软件包。包含Concord（语境共现检索 工具)，Wordlist（词频列表检索工具)，Keywords（关键词 检索工具)，Splitter（文本分割工具)，Text Converter（文 本替换工具)，Viewer（文本浏览工具)等6个程序。
L/O/G/O
Thank You!
国外语料库的发展
1960-1970
1970-1980
1980-1990
1990-至今
国内语料库的发展
• 从理论研究方面看，2000外语教学与研究出版社引进了 Biber等人的《语料库语言学》和Kennedy的《语料库语 言学入门》。 2002 杨惠中教授编写的《语料库语言学导 论》，是我国第一本该学科的专著。 2008卫乃兴的《语 料库语言学的弗斯学说基础》，探讨语料库语言学的学科 本质。 • 同时，因其较高的应用价值，学习者语料库和双语平行语 料库的建设及研究成为我国语料库语言学的重心。
词汇语法
• 词汇层面研究： 一词多义、同义词或近义词 词的惯用搭配 不同语域的词义分布 … • 语法层面研究： 单词的语法类别-----词法 单词组合成句的方法、规则 各种语言结构的频率分布 语法结构与其他语言或非语言因素之间的关系 (That we mustn’t worry too much is clear. It is clear that we mustn’t worry too much.) …
语料库语言学(共13张PPT)
以语料库设计分：均衡结构语料库、无结构的随机开放式语 二是依据语料库所反映出来的语言事实对现行语言学理论进行批判，提出新的观点或理论。
除此以外，语料库语言学的实用性也有很多问题。
料库和由若干子语料库叠加而成语料库网 以语料的时效分：共时语料与历时语料
现代语料语言学已经得到越来越多人的承认，其应用也越来越广泛，从语言分析、语言教学、词典编撰到人工智能等领域都开始应用语料库。 以语料的处理方式分：未经标注的文本语料与经过标注的文本语料
即使语言是一以个有语限的言构造的，语来料源库方分法论：也不单一定语是研种究语与言多最好语的方种式。之分，原语料与翻译之分，操母 以词语汇料 研的究媒：体编语形篡式工的分具：参人书考面书的文籍字。言材语料的资电脑料文本与、转外写的语口语学语习料、者视频的语料语、几言种形资式料的混之合语分料 。
除此以外，语料库语言学的实用性也有很多问题。
叙述一种语言的语法的唯一途径是描述它的规则而不是列举它的句 子。
即使语言是一个有限的构造，语料库方法论也不一定是研究语 言最好的方式。
除此以外，语料库语言学的实用性也有很多问题。
第10页，共13页。
语料库语言学需要解决的问题
1. 语料库的设计目的。
2. 收集语料时的文本形式、文本所有权和版权的问题。
现在人们越来越开始重视对语料库作不同层次的标注， 如：语音、构词、句法、语义以及语用等层次的标注 现代语料语言学已经得到越来越多人的承认，其应用也越 来越广泛，从语言分析、语言教学、词典编撰到人工智能 等领域都开始应用语料库。
第8页，共13页。
语料库语言学的应用
1. 言语研究： (1)语言学理论。(2)语言史研究。 (3)
以语料的时效分：共时语料与历时语料 以语言的来源分：单语种与多语种之分，原语料与翻译之分，操母语的人的言语资料与外语学习者的语言资料之分。
除此以外，语料库语言学的实用性也有很多问题。
料库和由若干子语料库叠加而成语料库网 以语料的时效分：共时语料与历时语料
现代语料语言学已经得到越来越多人的承认，其应用也越来越广泛，从语言分析、语言教学、词典编撰到人工智能等领域都开始应用语料库。 以语料的处理方式分：未经标注的文本语料与经过标注的文本语料
即使语言是一以个有语限的言构造的，语来料源库方分法论：也不单一定语是研种究语与言多最好语的方种式。之分，原语料与翻译之分，操母 以词语汇料 研的究媒：体编语形篡式工的分具：参人书考面书的文籍字。言材语料的资电脑料文本与、转外写的语口语学语习料、者视频的语料语、几言种形资式料的混之合语分料 。
除此以外，语料库语言学的实用性也有很多问题。
叙述一种语言的语法的唯一途径是描述它的规则而不是列举它的句 子。
即使语言是一个有限的构造，语料库方法论也不一定是研究语 言最好的方式。
除此以外，语料库语言学的实用性也有很多问题。
第10页，共13页。
语料库语言学需要解决的问题
1. 语料库的设计目的。
2. 收集语料时的文本形式、文本所有权和版权的问题。
现在人们越来越开始重视对语料库作不同层次的标注， 如：语音、构词、句法、语义以及语用等层次的标注 现代语料语言学已经得到越来越多人的承认，其应用也越 来越广泛，从语言分析、语言教学、词典编撰到人工智能 等领域都开始应用语料库。
第8页，共13页。
语料库语言学的应用
1. 言语研究： (1)语言学理论。(2)语言史研究。 (3)
以语料的时效分：共时语料与历时语料 以语言的来源分：单语种与多语种之分，原语料与翻译之分，操母语的人的言语资料与外语学习者的语言资料之分。
常用在线语料库使用简介分析
频数
图2.1-2
BNC
2.2 其他可下载的BNC产品
➢ BNC XML edition：BNC全库 ➢ BNC Baby：BNC子库，包含小说、新闻、科技、口语四
类文本各100万词 ➢ BNC sampler：BNC 子库，包含书面语、口语两类文本
各100万词 ➢ 注：以上语料库采用XML格式，需使用XAIRA软件检索
➢ 输入“feature”（图6.1.1-1）
图6.1.1-1
COCA
6.1.1 检索某一词形
➢ 在搜索结果区可得到“feature”的频数 （图6.1.1-2 ） ➢ 点击该词，可在例句显示区看到含有“feature”的词
条（图6.1.1-3）
图6.1.1-2
图6.1.1-3
COCA
6.1.1 检索某一词形
图5.3-1
COCA
5.3 语料库分类区
➢ 42个子语料库 （图5.3-2）
图5.3-2
COCA
5.3 语料库分类区
➢ 42个子语料库 （图5.3-3）
图5.3-3
COCA
5.4 查询结果排列方式区
➢ Sort by：检索结果的排列方式，可按频率、关联度、 或字母顺序排列，一般默认按频率排列 （图5.4-1）
➢ 在显示方式区选择KWIC 并再次点击search， 可得含有“feature”的词语 索引（图6.1.1-4）
Sketch Engine: 在线语料库管理及检索工具，可有 效总结词汇的语法及搭配行为。
BNC
1. BNC官网主界面（图1-1）
基本信息及 功能介绍区
简单搜索区 进入简单搜索功能介绍
图1-1
BNC
2. BNC在线检索功能介绍 2.1 BNC simple search
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ENPC: 40%/60%(non-lit/lit)；S. Johansson Size: 2.6 million words Language: English, Norwegian; Number of texts/samples: 100 orig., 100 transl. Period: 1975–1995
抽样字数及分配
语料取样计算
语料文本的基本处理：主要处理方式-1
语料的最常用存储方式是纯文本，纯文本顾名思义就是 只有文字，不支持任何其他字符格式，如粗体、斜体、 下划线、表格框，等等。语料以这种方式存储占用空间 极小，且几乎所有检索软件都支持。
将语料以这种方式存储只是检索的操作，更重要的是让 存储的文本内容规范，格式尽量一致，而且没有乱码， 不必要的空格和软回车、硬回车，等等文本噪音。要做 到这些，就需要对语料进行按部就班的处理。使用 Microsoft Word可以对文本进行处理。
双语语料库
常用建库及检索软件的应用
CONTENTS
语料库的基本特征 语料抽样：理论与抽样操作 语料文本的基本处理：主要处理方式和实现方式 双语语料的对齐：方式和方法 语料检索：基本检索和高级检索(普通、正则和term list) 双语语料检索：基本检索和高级检索 语料数据后续处理：z-score; log-likelihood; factor analysis;
语料文本的基本处理：主要处 理方式-5
添加metadata后的语料样态
语料文本的基本处理：主要处理方式-6
双语语料的对齐：方式和方法1
对齐就是源文和译文对应。翻译语料的主要特征是对齐。 对齐的语言层级：
语料库的基本特征-2
语料库可以视为结构合理的语料文件的集合。往往以 数据库形式存在（如文件夹）。这是语料库建库工作 中最重要的部分，也是最耗时费力的部分。
语料数据库建成之后，就可以从库中提取信息，称为 检索。检索效果高低要看能否充分运用检索手段，但 最终依赖语料库本身能提供多少可能性。
检索结果的处理需要技巧，事关处理的质量和效率。
Brown/LOB：分层抽样，大小一致；分层抽样如文学中小说占35%， 散文占8%，戏剧占2%。2nd generation corpora: The Corpus di
Italiano Scritto
BNC：大小不一（max：40，000 words）；25%/75%（lit./inf.）
我们_r; 我们/r; 我们<r>; <w pos=“r”>我们</w> Header:
有关文本的元信息，涉及文本的作者、文体、出版时间等 <LANGUAGE>Chinese</LANGUAGE><SL>English</SL><TITLE>M
eiGuoShi</TITLE><TRANS>WeiYeChou</TRANS><CATEGORY>1 </CATEGORY><STYLE>3</STYLE><GENRE>G</GENRE><PUBLI SHER>Shangwuyinshuguan</PUBLISHER><TIME>1929</TIME>< ERA>B</ERA><SIZE>23052</SIZE> 相对完整的语料文件范本
语料抽样：理论与抽样操作
有代表性、结构合理的语料文本集合，但不是任意搜集的文本数据库， 也不是越大越好，而是“finite-sized body of machine-readable text”， 语料库通常有抽样框架。一般说来，处于研究的需要，语料宜尽量平衡， 这样就不能照单全收，需要考虑从中抽取一部分。抽取多少，如何抽取， 这个问题可以说众说纷纭。
correlation; keyness 微型教学语料库的创建和使用 翻译课堂教学用双语语料的制作和应用
语料库的基本特征-1
Computer-readable: txt, xml, html, doc, pdf Consistency:
his motБайду номын сангаасer; his mother; his\nmother Annotation:
序的headadder，txtmarker。其实除噪是执行 一些替换性的操作（see next slide）
语料文本的基本处理：主要处 理方式-4
$line=~s/\s\n/\n/g; #matching and replacing all $line=~s/(.)\n/$1 /g; #matching and replacing all $line=~s/[\r\n]/##/g; #matching and replacing all $line=~s/\*//g; #matching and replacing all $line=~s/^\s*$//g; #matching and replacing all $line=~s/\\s{0,}/\s/g; #matching and replacing all $line=~s/\\s\n/\n/g; #matching and replacing all $line=~s/\Z\n/##/g; #matching and replacing all $line=~s/ +/ /g; #replace more whitespaces with just one $line=~s/\s+(#{2,})/$1/g; #matching and replacing all
语料文本的基本处理：主要处 理方式-2
Word中的替换、Macro的使用 其他语料文本处理工具的使用（Editplus）
语料文本的基本处理：主要处 理方式-3
规范语料文件的生成：无噪音、符合预期的加 工规范（标记充分）。
Header <p>|<s> POS 存储格式（txt|xml） 辅助软件的使用：通常会包含包含文本除噪程