低频词的中文词性标注研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ｓｒｔｇｙ ｉ ｔａｅ ｍｐｒｖ ｓｔ ｅ ｗｈ ｌ ａ ｔｏ － ｒ ｓｔｇ ｉｇ ａ ｃ ａ ｙ ａ ｙ ｔｃ ｉ ａ ｓｎ ａｕ ｙ０． ０ ａ ｄ０． ７ ｒｓ ｃｉｅｙ，ｗｈｃ ｌ ｔａｅ ｈ ｏ ｅ ｈ ｏｅ ｐ ｒ—ｆｗｏ ｄ ａ ｇｎ ｃ ｕｒ ｃ ｎｄ ｓ ｎ ａ ｔｃ ｐ ｒｉ ｇＦ１ｖ ｌｅ ｂ ６ ｎ ９ ｅ ｐｅ ｔ ｌ ｖ ｉｈ ｉｌ ｒ ｔｓｔ ｅ ｕｓ
ｐ ｒ ｒ ｎ ｅ ｗ ｔ ｎ ｒ ｑ ｅ ｔ ｒ ｓ ｏ ｅ ｏ ｒｑ ｅ ｃ ｅ ｔ ｒ ｓｕ ｏ ｈ ｏｍｅ ｏ ｅ ｏｍａ ｃ ｉ ｉ ｆ ｕ ｎ ｄ ，ｎ ｖ ｌ ｗ ｆ ｕ ｎ ｙｆ ａｕ ｅ ｐ ｎ ｔ ｅｆｒ ｒ ｍｍｏ ｎ ｓａ ｅ ｐ ｏ ｏ ｅ ．Ｅ ｐ ｒ ｎ ｓｏ ｅ ｎ Ｔ ｅ ｂ ｎ ｆ ｈ ｅ ｗｏ ｌ ｅ ｃ ｎ ｏ ｅ ｒ ｒ ｐ ｓ ｄ ｘ ｅｉ ｍｅ ｔ ｎ Ｐ ｎ ｒ ｅ ａ ｋ ２ ０ ｓ ｏ ｔ ａ ｃ ｒｃ ａ ｅ ｎ ｉ ｒ ｖ ｄ ｔ ７ ５ ｒ ｍ ８ ． ３ Ｍｅ ｎ ｈ ｌ ． ｏ ｈ ａ ｉ ｏ ｏ ｖ ｎｉ ｎ ｌｓ ｎｅ ｃ — ａ ｅ ａ ｔｏ－ｐ ｅ ｈ ． ｈ ｗ ｉ ｃ ｕ ａ ｙ ｈ ｓ ｂ ｅ ｍｐ ｏ ｅ ｏ ８ ． ４ ｆ ２ ９ ． ｓ ｏ ａｗｉ ｅ ｎ ｔｅ ｂ ｓ ｆｃ ｎ ｅ ｔ ａ ｅ ｔｎ ｅ ｂ ｓ ｄ ｐ ｒ—ｆｓ ｅ ｃ ｓ ｏ
仲其智 姚建民
（ 州 大学 计 算 机 科 学 与技 术 学 院 苏 江 苏 苏 州 ２５ ０ ） １０ ６
摘
要
利用 最 大 熵 模 型 深入 探 讨 了 中文 词 性 标注 问题 。针 对 低 频 词 的 性 能 差 问题 ， 原有 常用 特 征 的基 础 上 ， 出 了新颖 的低 在 提
ｓ ｎ ｅ ｃ ｎ ｌｓｓｐ ｒｏ ａ ｃ ｓａ ａｙ ｅ ． Ｅ ｐ ｒ ｎ ｓ ｏ ｅ ｎ Ｔ ｅ ｂ ｎ ． ｈ ｗ ｔ ａ ｈ ｎｒ ｑ ｅ ｔｗ ｒ ｓ ｆａ ｕ ｅ ａ ｄ ｄ ｃ ｍｅ ｔ ａ ｅ ｅ ｔ ｎ ｅ ａ ａｙ ｉ ｅ ｆｒ ｎ ｅ ｉ ｎ ｌｓ ｄ ｍ ｘ ｅ ｉ ｔ ｎ Ｐ ｎ ｒ ｅ ａ ｋ ２ ０ ｓ ｏ ｈ ｔｔ ｅ ｉ ｅ ｕ ｎ ｏ ｄ ｅ ｔｒ ｎ ｏ ｕ ｎ— ｓ ｄ ｍｅ ｆ ｂ
ｔｇ ｉｇ ｏｕ ｎ— ａｅ ａｔｏ－ｐ ｅｈｔｇ ｉｇｉ ｐｏ ｏｅ ｈｃ ｃ ｉｖ ｓ ｏ ｄｒｓｌ ．Ｆｎ ｌ ｈ ｍｐ ｃ ｆ ａｔｏ－ｐ ｅ ｈｔｇ ｉｇｒｓｌ ｏ ａｇｎ ，ｄ ｃ ｍｅ ｔ ｓｄｐ ｒ—ｆｓ ｅｃ ａｇｎ ｓ ｒｐ ｓｄｗ ｉｈａ ｈｅ ｅ ｏ ｅｕｔ ｉａｌ ｔｅｉ ａ ｔ ｒ—ｆｓ ｅｃ ｇｎ ｅｕｔ ｎ ｂ ｇ ｓ ｙ ｏｐ ａ
ｉ ｏ ｔｎ ｅ ｏ ｄｉｍ —ａ ｏ ｆｅ ｕ ｎｔｗｏ ｄ ａ ｄｌ ｎ ｐａｔｏ－ ｐ ｅ ｈ ｔｇ ｉｇ． ｍｐ ｒａ ｃ ｆｍｅ ｕ ｎｄ ｌｗ－ｒ ｑ ｅ ｒ ｓ ｈ ｎ ｉ ｉ ｒwk.baidu.com ｆｓ ｅ ｃ ａ ｇｎ ｎｇ Ｋｅ ｙｗｏ ｄｓ ｒ Ｍ ａ ｍｕｍ ｎｔｏ ｙ ｍｏ ｌ Ｉ ｆｅ ｅ ｔｗｏｄｓ Ｄｏ ｕ ｎ － ａ ｅ ｒ－ ｆｓ ｅ ｃ ａ ｇｎｇ Ｓ ｎａ ｔｃ ｐ ｒｉｇ ｘｉ ｅ ｒ ｐ ｄｅ ｎｒ ｑｕ ｎ ｒ ｃ ｍｅ ｔｂ ｓ ｄ ｐａｔｏ－ ｐ ｅ ｈ ｔｇ ｉ ｙ ｔｃ ｉ ａ ｓｎ － －
标注结果对句法分析性能的影响 ， 宾州树库 ２ ０上 的实验显示， 在 ． 低频词特征和基于篇章 的策略使得整个的词性标注准确率和句法 分 析 Ｆ 值 分 别 提 高 了 ０６ １ ．０和 ０ ９ ， 明 了词 性标 注 中低 频 词 处 理 的 重 要 性 ，７ 说
关键 词 最 大 熵模 型 低 频 词 篇 章 词 性标 注 句 法 分 析
第２ ８卷 第 ３期
２１ ０ １年 ３月
计 算 机 应 用 与 软 件
Ｃｏ ｐ ｔｒＡｐ ｌｃ ｔ ｎ ｎ ｏ ｗａ ｅ ｍ ｕ ｅ ｐ ｉａｉ ｓａ ｄ Ｓ ｆ ｒ ｏ ｔ
Ｖｏ． ８ Ｎｏ ３ １２ ． Ｍ ａ ． ０１ ｒ２ ｌ
低 频 词 的 中 文 词 性 标 注 研 究
Ａ ｂ ｔａｃ ｓｒ ｔ Ｔｈ ｐｅ ｙ ｔｍ ａｉａｌ ｘ ｌ ｒｓ Ｃｈ ｎ ｓ ａ ｔｏ－ｐｅ ｃ ａ ｇｎ ｔ ｘｍｕｍ ｎ ｒｐｙ ｍｏ ｅ ． Ａｔｆｒｔ ｔ ｖ ｒｏ ｈ ｏ ｒ ｅ ｐａ ｒｓ ｓｅ ｔｃ ｌ ｅ ｐ ｏ ｅ ｉ ｅ ｅ ｐ ｒ—ｆｓ ｅ ｈ ｔｇ ｉｇ ｗｉ ｍａ ｉ ｙ ｈ ｅ ｔｏ ｄ １ ｓ ， ｏ ｏ ｅ ｃ ｍｅ ｔｅ ｐ ｏ ｉ
Ｒ Ｅ Ｃ ｏ Ｉ Ｆ ＱＵ ＮＴ ＷＯＲ ＨＩ Ｓ ＡＲ － ・Ｐ ＥＣ ＡＧＧＩ ＥＳ ＡＲ Ｈ Ｎ Ｎ Ｒ Ｅ Ｅ ＤＳ Ｃ ＮＥ Ｅ Ｐ Ｔ ＯＦ Ｓ Ｅ Ｈ Ｔ ＮＧ
Ｚ ｏ ｇＱ ｚｉ Ｙ ｏＪ ｎ ｉ ｈｎ ｉ ａ ｉ ｍ ｎ ｈ ａ
（ｃｏｌｆＣ ｍ ｕｅ Ｓｉ ｃ ｎ ｅｈ ｏ ｇ ， ｏｃｏ ｎｖｒＯ， ｕｈｕ２ ５ ０ Ｊａｇｕ ｈｎ ） Ｓｈｏ ｏ ｏ ｐ ｔ ｃ ｎｅａ ｄＴｃｎｌ ） Ｓ ｏｈｕ Ｕ ｉ ｓ Ｓ ｚｏ １ ０６，ｉｎｓ ，Ｃ ｉａ ｒ ｅ ｏ ｅｉ
频 词 特 征 ， 验表 明 ， 频 词特 征 的添 加 能 大 幅度 地 提 高 低 频 词 在 测试 集 的标 注 准 确 率 ， 宾州 树 库 ２ ０上 的 实验 显 示 ， 准 确 率 从 实 低 在 ． 其 ８ ．３提 高到 了 ８ ．４ ２９ ７ ５ 。在 传 统 的基 于 句 子 的 词 性标 注 基 础 上 ， 出 了基 于 篇 章 的 词 性标 注 ， 得 了不错 的结 果 。最 后 ， 析 了词 性 提 取 分
ｐ ｒ ｒ ｎ ｅ ｗ ｔ ｎ ｒ ｑ ｅ ｔ ｒ ｓ ｏ ｅ ｏ ｒｑ ｅ ｃ ｅ ｔ ｒ ｓｕ ｏ ｈ ｏｍｅ ｏ ｅ ｏｍａ ｃ ｉ ｉ ｆ ｕ ｎ ｄ ，ｎ ｖ ｌ ｗ ｆ ｕ ｎ ｙｆ ａｕ ｅ ｐ ｎ ｔ ｅｆｒ ｒ ｍｍｏ ｎ ｓａ ｅ ｐ ｏ ｏ ｅ ．Ｅ ｐ ｒ ｎ ｓｏ ｅ ｎ Ｔ ｅ ｂ ｎ ｆ ｈ ｅ ｗｏ ｌ ｅ ｃ ｎ ｏ ｅ ｒ ｒ ｐ ｓ ｄ ｘ ｅｉ ｍｅ ｔ ｎ Ｐ ｎ ｒ ｅ ａ ｋ ２ ０ ｓ ｏ ｔ ａ ｃ ｒｃ ａ ｅ ｎ ｉ ｒ ｖ ｄ ｔ ７ ５ ｒ ｍ ８ ． ３ Ｍｅ ｎ ｈ ｌ ． ｏ ｈ ａ ｉ ｏ ｏ ｖ ｎｉ ｎ ｌｓ ｎｅ ｃ — ａ ｅ ａ ｔｏ－ｐ ｅ ｈ ． ｈ ｗ ｉ ｃ ｕ ａ ｙ ｈ ｓ ｂ ｅ ｍｐ ｏ ｅ ｏ ８ ． ４ ｆ ２ ９ ． ｓ ｏ ａｗｉ ｅ ｎ ｔｅ ｂ ｓ ｆｃ ｎ ｅ ｔ ａ ｅ ｔｎ ｅ ｂ ｓ ｄ ｐ ｒ—ｆｓ ｅ ｃ ｓ ｏ
仲其智 姚建民
（ 州 大学 计 算 机 科 学 与技 术 学 院 苏 江 苏 苏 州 ２５ ０ ） １０ ６
摘
要
利用 最 大 熵 模 型 深入 探 讨 了 中文 词 性 标注 问题 。针 对 低 频 词 的 性 能 差 问题 ， 原有 常用 特 征 的基 础 上 ， 出 了新颖 的低 在 提
ｓ ｎ ｅ ｃ ｎ ｌｓｓｐ ｒｏ ａ ｃ ｓａ ａｙ ｅ ． Ｅ ｐ ｒ ｎ ｓ ｏ ｅ ｎ Ｔ ｅ ｂ ｎ ． ｈ ｗ ｔ ａ ｈ ｎｒ ｑ ｅ ｔｗ ｒ ｓ ｆａ ｕ ｅ ａ ｄ ｄ ｃ ｍｅ ｔ ａ ｅ ｅ ｔ ｎ ｅ ａ ａｙ ｉ ｅ ｆｒ ｎ ｅ ｉ ｎ ｌｓ ｄ ｍ ｘ ｅ ｉ ｔ ｎ Ｐ ｎ ｒ ｅ ａ ｋ ２ ０ ｓ ｏ ｈ ｔｔ ｅ ｉ ｅ ｕ ｎ ｏ ｄ ｅ ｔｒ ｎ ｏ ｕ ｎ— ｓ ｄ ｍｅ ｆ ｂ
ｔｇ ｉｇ ｏｕ ｎ— ａｅ ａｔｏ－ｐ ｅｈｔｇ ｉｇｉ ｐｏ ｏｅ ｈｃ ｃ ｉｖ ｓ ｏ ｄｒｓｌ ．Ｆｎ ｌ ｈ ｍｐ ｃ ｆ ａｔｏ－ｐ ｅ ｈｔｇ ｉｇｒｓｌ ｏ ａｇｎ ，ｄ ｃ ｍｅ ｔ ｓｄｐ ｒ—ｆｓ ｅｃ ａｇｎ ｓ ｒｐ ｓｄｗ ｉｈａ ｈｅ ｅ ｏ ｅｕｔ ｉａｌ ｔｅｉ ａ ｔ ｒ—ｆｓ ｅｃ ｇｎ ｅｕｔ ｎ ｂ ｇ ｓ ｙ ｏｐ ａ
ｉ ｏ ｔｎ ｅ ｏ ｄｉｍ —ａ ｏ ｆｅ ｕ ｎｔｗｏ ｄ ａ ｄｌ ｎ ｐａｔｏ－ ｐ ｅ ｈ ｔｇ ｉｇ． ｍｐ ｒａ ｃ ｆｍｅ ｕ ｎｄ ｌｗ－ｒ ｑ ｅ ｒ ｓ ｈ ｎ ｉ ｉ ｒwk.baidu.com ｆｓ ｅ ｃ ａ ｇｎ ｎｇ Ｋｅ ｙｗｏ ｄｓ ｒ Ｍ ａ ｍｕｍ ｎｔｏ ｙ ｍｏ ｌ Ｉ ｆｅ ｅ ｔｗｏｄｓ Ｄｏ ｕ ｎ － ａ ｅ ｒ－ ｆｓ ｅ ｃ ａ ｇｎｇ Ｓ ｎａ ｔｃ ｐ ｒｉｇ ｘｉ ｅ ｒ ｐ ｄｅ ｎｒ ｑｕ ｎ ｒ ｃ ｍｅ ｔｂ ｓ ｄ ｐａｔｏ－ ｐ ｅ ｈ ｔｇ ｉ ｙ ｔｃ ｉ ａ ｓｎ － －
标注结果对句法分析性能的影响 ， 宾州树库 ２ ０上 的实验显示， 在 ． 低频词特征和基于篇章 的策略使得整个的词性标注准确率和句法 分 析 Ｆ 值 分 别 提 高 了 ０６ １ ．０和 ０ ９ ， 明 了词 性标 注 中低 频 词 处 理 的 重 要 性 ，７ 说
关键 词 最 大 熵模 型 低 频 词 篇 章 词 性标 注 句 法 分 析
第２ ８卷 第 ３期
２１ ０ １年 ３月
计 算 机 应 用 与 软 件
Ｃｏ ｐ ｔｒＡｐ ｌｃ ｔ ｎ ｎ ｏ ｗａ ｅ ｍ ｕ ｅ ｐ ｉａｉ ｓａ ｄ Ｓ ｆ ｒ ｏ ｔ
Ｖｏ． ８ Ｎｏ ３ １２ ． Ｍ ａ ． ０１ ｒ２ ｌ
低 频 词 的 中 文 词 性 标 注 研 究
Ａ ｂ ｔａｃ ｓｒ ｔ Ｔｈ ｐｅ ｙ ｔｍ ａｉａｌ ｘ ｌ ｒｓ Ｃｈ ｎ ｓ ａ ｔｏ－ｐｅ ｃ ａ ｇｎ ｔ ｘｍｕｍ ｎ ｒｐｙ ｍｏ ｅ ． Ａｔｆｒｔ ｔ ｖ ｒｏ ｈ ｏ ｒ ｅ ｐａ ｒｓ ｓｅ ｔｃ ｌ ｅ ｐ ｏ ｅ ｉ ｅ ｅ ｐ ｒ—ｆｓ ｅ ｈ ｔｇ ｉｇ ｗｉ ｍａ ｉ ｙ ｈ ｅ ｔｏ ｄ １ ｓ ， ｏ ｏ ｅ ｃ ｍｅ ｔｅ ｐ ｏ ｉ
Ｒ Ｅ Ｃ ｏ Ｉ Ｆ ＱＵ ＮＴ ＷＯＲ ＨＩ Ｓ ＡＲ － ・Ｐ ＥＣ ＡＧＧＩ ＥＳ ＡＲ Ｈ Ｎ Ｎ Ｒ Ｅ Ｅ ＤＳ Ｃ ＮＥ Ｅ Ｐ Ｔ ＯＦ Ｓ Ｅ Ｈ Ｔ ＮＧ
Ｚ ｏ ｇＱ ｚｉ Ｙ ｏＪ ｎ ｉ ｈｎ ｉ ａ ｉ ｍ ｎ ｈ ａ
（ｃｏｌｆＣ ｍ ｕｅ Ｓｉ ｃ ｎ ｅｈ ｏ ｇ ， ｏｃｏ ｎｖｒＯ， ｕｈｕ２ ５ ０ Ｊａｇｕ ｈｎ ） Ｓｈｏ ｏ ｏ ｐ ｔ ｃ ｎｅａ ｄＴｃｎｌ ） Ｓ ｏｈｕ Ｕ ｉ ｓ Ｓ ｚｏ １ ０６，ｉｎｓ ，Ｃ ｉａ ｒ ｅ ｏ ｅｉ
频 词 特 征 ， 验表 明 ， 频 词特 征 的添 加 能 大 幅度 地 提 高 低 频 词 在 测试 集 的标 注 准 确 率 ， 宾州 树 库 ２ ０上 的 实验 显 示 ， 准 确 率 从 实 低 在 ． 其 ８ ．３提 高到 了 ８ ．４ ２９ ７ ５ 。在 传 统 的基 于 句 子 的 词 性标 注 基 础 上 ， 出 了基 于 篇 章 的 词 性标 注 ， 得 了不错 的结 果 。最 后 ， 析 了词 性 提 取 分