常用语料库软件的应用 - 上海交通大学翻译与词典学研究中心
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Fra Baidu bibliotek
语料数据的后续处理-2
• 重复词项计算 • Facotor analysis (SPSS) • Correlation analysis (SPSS)
平行语料库辅助翻译应用
• 基本思路：已有翻译为参照，为当下翻译提供参考； 建立术语库，使术语统一成为可能。 • CAT的主体部分是TM和Term Database • CAT软件：Trados，Deja vu，雅信，（免费） OmegaT • Trados商业使用最为广泛 • Déjà vu易操作 • Omega T免费，更易操作，但只能单用不能基于 web
语料检索：基本检索和高级检索-2
• 检索语种数量 o 主要的单语检索软件：Wordsmith， Monoconc， Antconc o 双语检索：Paraconc， CAT，自行设计的检索软件 （历时语料检索） • 基本检索 o 以Antconc为例实施检索。基本检索包含token检索 和wild card检索，检索前先要熟悉语料的存储方式。 • 高级检索 • Antconc中的单语高级检索：正则表达式检索，使用正 则表达式的term list检索。
• 载体：网页文件，可以经excel生成 • 编辑：Dreaweaver
语料检索：基本检索和高级检索-1
• • • • • • • • • 检索与语言使用的范畴、特征 曲折变化：move, moves, moving, moved 派生：move, movement 词性：move(v.), wove(n.)； in, at, on, over, upon, from 人称：I, me, we, us 短语、组合能产：a lot of, a part of, a cup of, a piece of 结构能产：give me a book; send his father a message V NP NP ; V NP NP 语言使用的特征决定了检索不太可能是token，许多情况 下要检索到type，或者需要词性线索。
语料文本的基本处理：主要处理方式-1
• 语料的最常用存储方式是纯文本，纯文本顾名思义就是 只有文字，不支持任何其他字符格式，如粗体、斜体、 下划线、表格框，等等。语料以这种方式存储占用空间 极小，且几乎所有检索软件都支持。 • 将语料以这种方式存储只是检索的操作，更重要的是让 存储的文本内容规范，格式尽量一致，而且没有乱码， 不必要的空格和软回车、硬回车，等等文本噪音。要做 到这些，就需要对语料进行按部就班的处理。使用 Microsoft Word可以对文本进行处理。
语料抽样：理论与抽样操 作
• 有代表性、结构合理的语料文本集合，但不是任意搜集的文本数据库， 也不是越大越好，而是“finite-sized body of machine-readable text”，语料库通常有抽样框架。一般说来，处于研究的需要，语料宜尽 量平衡，这样就不能照单全收，需要考虑从中抽取一部分。抽取多少， 如何抽取，这个问题可以说众说纷纭。 o Brown/LOB：分层抽样，大小一致；分层抽样如文学中小说占35%， 散文占8%，戏剧占2%。2nd generation corpora: The Corpus di Italiano Scritto o BNC：大小不一（max：40，000 words）；25%/75%（lit./inf.） o ENPC: 40%/60%(non-lit/lit)；S. Johansson Size: 2.6 million words Language: English, Norwegian; Number of texts/samples: 100 orig., 100 transl. Period: 1975–1995 • 抽样字数及分配 语料取样计算
微型教学语料库的创建和 使用
• 建库目的和内容
o o o o o 针对学生翻译习作 反映学生个体和总体特征 翻译技巧和翻译评估相结合 提取信息方便 易于操作
• 使用Excel基本满足此类要求
翻译课堂教学用双语语料 的制作和应用
• 建库目的：翻译教学；自学 • 设计要求：
o 方便呈现多样译文； 便于对比； 方便评注； o 不需要句对齐，段对齐即可
语料编码、存储格式
• 使用text文本时，缺省编码为ANSI。用于WordSmith用的语料文本 一般应为unicode。许多软件如Antconc等支持utf-8编码，这种编 码各种语言通用，最不易出现乱码。实现方式：txt文本，另存为， “编码”对话框中选择utf-8即可。
• 存储方式
o 语料数据文件最好能在不同的检索程序上通用，甚至可以在一些现成的管 理程序如excel上执行数据信息的计算，分析和管理。要实现这样的功能， 简单存储为txt文本显然不能满足以上要求。这时就需要一种比较完整地数 据存储方式xml。 o 可扩展标记语言 (Extensible Markup Language) 可以用来标记电子文件， 标记后的文件有结构性的标记语言。既然标记数据就可以通过标记定义数 据的类型，而且标记可以根据我们自己的需要自行定义，合乎语法就行。 Xml生成
语料数据的后续处理-1
• 语料检索的目的是发现问题，而语料库检索发现的问题主要 表现在频次、频率上。语料库的这一长处必须充分发挥，才 称之为语料库语言研究。 • 频次、频率典型表达为数字，处理数字问题关系到研究结论 的可信度，需要使用一些处理方法，常用的处理方法有： o 频率对比：特定的词、词丛、词性赋码串；使用WS或 Antconc中keyness工具对比词表、词丛表 o 搭配强度计算：Z-score o 频率差异显著性计算：log-likelihood计算 • 一般说来，词表对比的结果可以重新标注用于分类处理
语料库的基本特征-2
• 语料库可以视为结构合理的语料文件的集合。往往以 数据库形式存在（如文件夹）。这是语料库建库工作 中最重要的部分，也是最耗时费力的部分。 • 语料数据库建成之后，就可以从库中提取信息，称为 检索。检索效果高低要看能否充分运用检索手段，但 最终依赖语料库本身能提供多少可能性。 • 检索结果的处理需要技巧，事关处理的质量和效率。
语料库的基本特征-1
• Computer-readable: txt, xml, html, doc, pdf • Consistency: o his mother; his mother; his\nmother • Annotation: o 我们_r; 我们/r; 我们<r>; <w pos=“r”>我们</w> • Header: o 有关文本的元信息，涉及文本的作者、文体、出版时间等 o <LANGUAGE>Chinese</LANGUAGE><SL>English</SL><TITLE> MeiGuoShi</TITLE><TRANS>WeiYeChou</TRANS><CATEGORY >1</CATEGORY><STYLE>3</STYLE><GENRE>G</GENRE><PUBL ISHER>Shangwuyinshuguan</PUBLISHER><TIME>1929</TIME>< ERA>B</ERA><SIZE>23052</SIZE> • 相对完整的语料文件范本
双语语料检索：基本检索 和高级检索
• Paraconc中的双语高级检索：正则表达式检索
• 满足某些研究需要的正则表达式检索：历时语料 库检索平台 omegaT检索
语料检索小结
• 正则表达式的检索功能有些使用通配符也能做到，但有些则 是通配符检索无法实现的。实际检索时发现，在词汇层面， 汉语的叠词以及隔词重复的精确检索只能使用正则表达式， 使用通配符也能勉强检索，但无法精确检索；在句子层面， 正则表达式能使准确的句段长度检索和严格的句段内部结构 检索成为可能。 • 正则表达式的使用看上去有些繁琐，但只要肯花点时间熟悉 元字符的意义，使用起来也比较方便，它还有助于提高检索 的准确性和效率，进而提高语言研究的质量。
语料赋码
• Annotation, 就是加标签（tagging）. • 标注的分类：自动标注、人工标注；词性-句法标注、功 能标注；标注标记_、/、<>。 • 人工标注主要是指功能性标注，如语义标注、翻译手段的 标注，以及为满足特定研究目的进行的附码如话轮、间接、 直接言语行为，等等。从一定意义上说，人工标注涉及更 深语言层面，标注充分对于研究自然更有意义。 • 自动标注主要包含词性标注和句法标注，可以通过软件来 实现。
语料文本的基本处理：主 要处理方式-2
• Word中的替换、Macro的使用 • 其他语料文本处理工具的使用（Editplus）
语料文本的基本处理：主 要处理方式-3
• 规范语料文件的生成：无噪音、符合预期的加 工规范（标记充分）。 • Header • <p>|<s> • POS • 存储格式（txt|xml） • 辅助软件的使用：通常会包含包含文本除噪程 序的headadder，txtmarker。其实除噪是执 行一些替换性的操作（see next slide）
语料文本的基本处理：主 要处理方式-4
• • • • • • • • • • $line=~s/\s\n/\n/g; #matching and replacing all $line=~s/(.)\n/$1 /g; #matching and replacing all $line=~s/[\r\n]/##/g; #matching and replacing all $line=~s/\*//g; #matching and replacing all $line=~s/^\s*$//g; #matching and replacing all $line=~s/\\s{0,}/\s/g; #matching and replacing all $line=~s/\\s\n/\n/g; #matching and replacing all $line=~s/\Z\n/##/g; #matching and replacing all $line=~s/ +/ /g; #replace more whitespaces with just one $line=~s/\s+(#{2,})/$1/g; #matching and replacing all
双语语料的对齐：方式和 方法-2
• 初始对应：源语、目标语文本段对齐，word下完成校 对。这一步最重要。 • Paraconc可以考虑添加s标记。 • 对齐：软件对齐。如aligner，paraconc；Trados， dejavu，bitext2tmx。前两者提供段对齐和句对齐； 后三个软件一般只提供句对齐。
语料库的制作和应用
2014.7.14
CONTENTS
• • • • • • • 语料库的基本特征 语料抽样：理论与抽样操作 语料文本的基本处理：主要处理方式和实现方式 双语语料的对齐：方式和方法 语料检索：基本检索和高级检索(普通、正则和term list) 双语语料检索：基本检索和高级检索 语料数据后续处理：z-score; log-likelihood; factor analysis; correlation; keyness • 微型教学语料库的创建和使用 • 翻译课堂教学用双语语料的制作和应用
语料文本的基本处理：主 要处理方式-5
• 添加metadata后的语料样态
语料文本的基本处理：主要处理方式-6
双语语料的对齐：方式和 方法-1
• 对齐就是源文和译文对应。翻译语料的主要特征是对齐。 • 对齐的语言层级： o 段对齐 o 句对齐 o 段对齐中的句对齐 • 对齐方式不同，与创建语料库的目的有关。比如，如果仅仅 用于辅助翻译，就可以采用句对齐。而要用于翻译研究，就 需要考虑段落层面的语言使用信息，如衔接、话语标记等。 对齐软件有很多，CAT类软件、Paraconc、专门软件。
语料数据的后续处理-2
• 重复词项计算 • Facotor analysis (SPSS) • Correlation analysis (SPSS)
平行语料库辅助翻译应用
• 基本思路：已有翻译为参照，为当下翻译提供参考； 建立术语库，使术语统一成为可能。 • CAT的主体部分是TM和Term Database • CAT软件：Trados，Deja vu，雅信，（免费） OmegaT • Trados商业使用最为广泛 • Déjà vu易操作 • Omega T免费，更易操作，但只能单用不能基于 web
语料检索：基本检索和高级检索-2
• 检索语种数量 o 主要的单语检索软件：Wordsmith， Monoconc， Antconc o 双语检索：Paraconc， CAT，自行设计的检索软件 （历时语料检索） • 基本检索 o 以Antconc为例实施检索。基本检索包含token检索 和wild card检索，检索前先要熟悉语料的存储方式。 • 高级检索 • Antconc中的单语高级检索：正则表达式检索，使用正 则表达式的term list检索。
• 载体：网页文件，可以经excel生成 • 编辑：Dreaweaver
语料检索：基本检索和高级检索-1
• • • • • • • • • 检索与语言使用的范畴、特征 曲折变化：move, moves, moving, moved 派生：move, movement 词性：move(v.), wove(n.)； in, at, on, over, upon, from 人称：I, me, we, us 短语、组合能产：a lot of, a part of, a cup of, a piece of 结构能产：give me a book; send his father a message V NP NP ; V NP NP 语言使用的特征决定了检索不太可能是token，许多情况 下要检索到type，或者需要词性线索。
语料文本的基本处理：主要处理方式-1
• 语料的最常用存储方式是纯文本，纯文本顾名思义就是 只有文字，不支持任何其他字符格式，如粗体、斜体、 下划线、表格框，等等。语料以这种方式存储占用空间 极小，且几乎所有检索软件都支持。 • 将语料以这种方式存储只是检索的操作，更重要的是让 存储的文本内容规范，格式尽量一致，而且没有乱码， 不必要的空格和软回车、硬回车，等等文本噪音。要做 到这些，就需要对语料进行按部就班的处理。使用 Microsoft Word可以对文本进行处理。
语料抽样：理论与抽样操 作
• 有代表性、结构合理的语料文本集合，但不是任意搜集的文本数据库， 也不是越大越好，而是“finite-sized body of machine-readable text”，语料库通常有抽样框架。一般说来，处于研究的需要，语料宜尽 量平衡，这样就不能照单全收，需要考虑从中抽取一部分。抽取多少， 如何抽取，这个问题可以说众说纷纭。 o Brown/LOB：分层抽样，大小一致；分层抽样如文学中小说占35%， 散文占8%，戏剧占2%。2nd generation corpora: The Corpus di Italiano Scritto o BNC：大小不一（max：40，000 words）；25%/75%（lit./inf.） o ENPC: 40%/60%(non-lit/lit)；S. Johansson Size: 2.6 million words Language: English, Norwegian; Number of texts/samples: 100 orig., 100 transl. Period: 1975–1995 • 抽样字数及分配 语料取样计算
微型教学语料库的创建和 使用
• 建库目的和内容
o o o o o 针对学生翻译习作 反映学生个体和总体特征 翻译技巧和翻译评估相结合 提取信息方便 易于操作
• 使用Excel基本满足此类要求
翻译课堂教学用双语语料 的制作和应用
• 建库目的：翻译教学；自学 • 设计要求：
o 方便呈现多样译文； 便于对比； 方便评注； o 不需要句对齐，段对齐即可
语料编码、存储格式
• 使用text文本时，缺省编码为ANSI。用于WordSmith用的语料文本 一般应为unicode。许多软件如Antconc等支持utf-8编码，这种编 码各种语言通用，最不易出现乱码。实现方式：txt文本，另存为， “编码”对话框中选择utf-8即可。
• 存储方式
o 语料数据文件最好能在不同的检索程序上通用，甚至可以在一些现成的管 理程序如excel上执行数据信息的计算，分析和管理。要实现这样的功能， 简单存储为txt文本显然不能满足以上要求。这时就需要一种比较完整地数 据存储方式xml。 o 可扩展标记语言 (Extensible Markup Language) 可以用来标记电子文件， 标记后的文件有结构性的标记语言。既然标记数据就可以通过标记定义数 据的类型，而且标记可以根据我们自己的需要自行定义，合乎语法就行。 Xml生成
语料数据的后续处理-1
• 语料检索的目的是发现问题，而语料库检索发现的问题主要 表现在频次、频率上。语料库的这一长处必须充分发挥，才 称之为语料库语言研究。 • 频次、频率典型表达为数字，处理数字问题关系到研究结论 的可信度，需要使用一些处理方法，常用的处理方法有： o 频率对比：特定的词、词丛、词性赋码串；使用WS或 Antconc中keyness工具对比词表、词丛表 o 搭配强度计算：Z-score o 频率差异显著性计算：log-likelihood计算 • 一般说来，词表对比的结果可以重新标注用于分类处理
语料库的基本特征-2
• 语料库可以视为结构合理的语料文件的集合。往往以 数据库形式存在（如文件夹）。这是语料库建库工作 中最重要的部分，也是最耗时费力的部分。 • 语料数据库建成之后，就可以从库中提取信息，称为 检索。检索效果高低要看能否充分运用检索手段，但 最终依赖语料库本身能提供多少可能性。 • 检索结果的处理需要技巧，事关处理的质量和效率。
语料库的基本特征-1
• Computer-readable: txt, xml, html, doc, pdf • Consistency: o his mother; his mother; his\nmother • Annotation: o 我们_r; 我们/r; 我们<r>; <w pos=“r”>我们</w> • Header: o 有关文本的元信息，涉及文本的作者、文体、出版时间等 o <LANGUAGE>Chinese</LANGUAGE><SL>English</SL><TITLE> MeiGuoShi</TITLE><TRANS>WeiYeChou</TRANS><CATEGORY >1</CATEGORY><STYLE>3</STYLE><GENRE>G</GENRE><PUBL ISHER>Shangwuyinshuguan</PUBLISHER><TIME>1929</TIME>< ERA>B</ERA><SIZE>23052</SIZE> • 相对完整的语料文件范本
双语语料检索：基本检索 和高级检索
• Paraconc中的双语高级检索：正则表达式检索
• 满足某些研究需要的正则表达式检索：历时语料 库检索平台 omegaT检索
语料检索小结
• 正则表达式的检索功能有些使用通配符也能做到，但有些则 是通配符检索无法实现的。实际检索时发现，在词汇层面， 汉语的叠词以及隔词重复的精确检索只能使用正则表达式， 使用通配符也能勉强检索，但无法精确检索；在句子层面， 正则表达式能使准确的句段长度检索和严格的句段内部结构 检索成为可能。 • 正则表达式的使用看上去有些繁琐，但只要肯花点时间熟悉 元字符的意义，使用起来也比较方便，它还有助于提高检索 的准确性和效率，进而提高语言研究的质量。
语料赋码
• Annotation, 就是加标签（tagging）. • 标注的分类：自动标注、人工标注；词性-句法标注、功 能标注；标注标记_、/、<>。 • 人工标注主要是指功能性标注，如语义标注、翻译手段的 标注，以及为满足特定研究目的进行的附码如话轮、间接、 直接言语行为，等等。从一定意义上说，人工标注涉及更 深语言层面，标注充分对于研究自然更有意义。 • 自动标注主要包含词性标注和句法标注，可以通过软件来 实现。
语料文本的基本处理：主 要处理方式-2
• Word中的替换、Macro的使用 • 其他语料文本处理工具的使用（Editplus）
语料文本的基本处理：主 要处理方式-3
• 规范语料文件的生成：无噪音、符合预期的加 工规范（标记充分）。 • Header • <p>|<s> • POS • 存储格式（txt|xml） • 辅助软件的使用：通常会包含包含文本除噪程 序的headadder，txtmarker。其实除噪是执 行一些替换性的操作（see next slide）
语料文本的基本处理：主 要处理方式-4
• • • • • • • • • • $line=~s/\s\n/\n/g; #matching and replacing all $line=~s/(.)\n/$1 /g; #matching and replacing all $line=~s/[\r\n]/##/g; #matching and replacing all $line=~s/\*//g; #matching and replacing all $line=~s/^\s*$//g; #matching and replacing all $line=~s/\\s{0,}/\s/g; #matching and replacing all $line=~s/\\s\n/\n/g; #matching and replacing all $line=~s/\Z\n/##/g; #matching and replacing all $line=~s/ +/ /g; #replace more whitespaces with just one $line=~s/\s+(#{2,})/$1/g; #matching and replacing all
双语语料的对齐：方式和 方法-2
• 初始对应：源语、目标语文本段对齐，word下完成校 对。这一步最重要。 • Paraconc可以考虑添加s标记。 • 对齐：软件对齐。如aligner，paraconc；Trados， dejavu，bitext2tmx。前两者提供段对齐和句对齐； 后三个软件一般只提供句对齐。
语料库的制作和应用
2014.7.14
CONTENTS
• • • • • • • 语料库的基本特征 语料抽样：理论与抽样操作 语料文本的基本处理：主要处理方式和实现方式 双语语料的对齐：方式和方法 语料检索：基本检索和高级检索(普通、正则和term list) 双语语料检索：基本检索和高级检索 语料数据后续处理：z-score; log-likelihood; factor analysis; correlation; keyness • 微型教学语料库的创建和使用 • 翻译课堂教学用双语语料的制作和应用
语料文本的基本处理：主 要处理方式-5
• 添加metadata后的语料样态
语料文本的基本处理：主要处理方式-6
双语语料的对齐：方式和 方法-1
• 对齐就是源文和译文对应。翻译语料的主要特征是对齐。 • 对齐的语言层级： o 段对齐 o 句对齐 o 段对齐中的句对齐 • 对齐方式不同，与创建语料库的目的有关。比如，如果仅仅 用于辅助翻译，就可以采用句对齐。而要用于翻译研究，就 需要考虑段落层面的语言使用信息，如衔接、话语标记等。 对齐软件有很多，CAT类软件、Paraconc、专门软件。