基于统计的中文地名自动识别研究

２ Ｉ ｓ ｔｔ ｆ Ｉ ｆ ｒ ｔ ｎ，Ｙｕ ｎ ｎ Ｕｎｖ ｒｉ ． ｎ ｔ ｅ ｏ ｏ ｍａｉ ｉ ｕ ｎ ｏ ｎ ａ ｉ ｅ ｓ ｙ，Ｋｕ ｍｉ ｇ ６ ０ ９１ ｔ ｎ ｎ ５ ０ ，Ｃｈ ｎ ； ｉａ
３ Ｉｓｔｔ ｏ ｏ ｕｅ ｃ ｎｅＴ ｃ ｏｏｙ Ｆ ｄｎＵ ｉｅｓｙ Ｓ ａ ｇａ ２ １０ ，Ｃ ｉａ ．ｎｔ ｅ ｆ ｍｐ ｔ Ｓ ｉ ｃ ｅｈ ｌｇ ， ｕ ａ ｎｖｒ ｔ， ｈｎ ｈｉ ０ ２３ ｈｎ ） ｉ Ｃ ｕ ｒ ｅ ｎ ｉ
中文地 名识别 是命 名实体 识别 的主要任 务之一 ，
其 目标是 在 中文 文 本 序 列 中提 取 地 理 名 称 ， “ 如 中 国” “ 海 市 ” “ 家村 ’ 。 目的是通 过任 务 的实 、上 、李 ’ 等
现 ， 以在 中文文本 中有效识别未登 录词 ， 可 提升文本 自
收稿 日期 ：０ ｌ ｏ — Ｏ； 回 日期 ：０ ｌ ０ 一 ３ ２ｌ—４ ３ 修 ２ １ 一 ８ Ｏ
Ｋｅ ｙｗｏ＇ ： ｈｎｓ ｏａｏ ￣ ｌ ｒｃｇ ｉｏ ；ｏｄｔ ｎｌ ａｄｍ ｆ ｌｓ Ｃ Ｆ ） ｆａ ｒ ｅ ｌｅ ｌ８ Ｃ ｅｅｌｃｔ ｎｎａｅ ｅｏ ｎｔ ｎ ｃｎ ｉｏ ａ ｒｎ ｏ ｉ ｄ（ Ｒ ｓ ； ｔ ｅｔｍｐａ ｄ ｉ ｉ － Ｔ ｉ ｉ ｅ ｅｕ ｔ
Ｏ 引 言
多年来 的研究 表明 ， 由于现在 大规模 标注语 料可 获得 ， 使统计模 型的训练成 为可能 ， 以基于统计模型 所 的命 名实体识别任务完成 情况较 为理想 ， 国内外 的各 种 自然语 言处理任 务评测 中 ， 在命 名实体 识别任 务 中
成绩较好的基本是采用基于统计 的模 型。 目前 常用 的 统 计 模 型 主 要 有 隐 马尔 可 夫 模 型 （ Ｍ ） 及 其 一 些 变 形 Ｊ 最 大 熵 马 尔 可 夫 模 型 Ｈ Ｍｓ 、
特 征函数所代表定输 入上 的所有可 能 的标 记序 列 的
概率 和为 １ 其定义 为 ： ，
（Ｅ ｓ、 Ｍ ＭＭ ） 支持 向量机模 型（ Ｖ ） 和条 件随机 场 Ｓ Ｍｓ （ Ｒ ｓ － 及 其一些 变 形 ］ Ｃ Ｆ） ７ ］ 。隐 马尔 可夫 模 型是产 生式模型 ， 为保证推导正确 ， 必须作出严 格的独立性假 设， 假设 中心词只与它的前 ｎ个词有关 ， 而与其后 的词
动分词 的准确率 ， 而 为 自然语 言处 理研 究提供 有效 从
的文本基础。
基金项 目： 云南省教育科研资助项 目（９ ０ ４ ） 昆明学 院科研课题 ０ Ｙ０７ ；
基金 （０ ９ ０ ２ ２０ Ｇ １）
文中基 于 目前主要使 用的统计模 型之一——条件 随机 场（ ｏｄｔ ｎｌ ａｄｍ Ｆｅ ｓＣ Ｆ ） 引用了丰富 Ｃ ｎｉｏ ａ Ｒ ｎ ｏ ｉ ｄ ，Ｒ ｓ ， ｉ ｌ
作者简介 ： 邱
莎 （９ ４ ） 女 ， １７ 一 ， 云南曲靖人 ， 硕士 ， 讲师 ， 旦大学访 复
问学者 ， 研究方 向为 自然语言处理。
的特征 ， 大规模 已标 注语 料库 （ 利用 北大富 士通《 民 人
．
３ ６．
计算 机技 术与发展
第 ２ 卷 ｌ ｅｐ ∑ Ａ ｘ（
ｋ＝ ｌ
日报） ９ ８年 １ 、 １９ 月 ２月标注语料和 山西大学语料 ） 实 ， 现 中文地名识别任务 ， 经多次闭合与开放测试 ， 识别效
果 良好 。
Ｐ（ Ａ
一
） （） ２
其中 ， ｓ ， ｏ ｔ 特征 函数 ， 。 ， ， Ｌ（ ）是 一般 表达 形式
１ 条 件随机场
良好 。
关 键词 ： 中文地 名 识别 ； 条件 随机 场 ； 征模 板 特 中图分 类号 ：Ｐ １ Ｔ ３ 文献 标识 码 ： Ａ 文章 编号 ：６３ ６９ ２ １） １ ０３ — ４ １７ — ２Ｘ（０ １ １—０ ５ ０
Ｓ ｕ ｙ ｏ ｔ ｍ ａ ｉ ｃ ｇ ｉｉｎ ｏ ｉ ｅ ｅ Ｌｏ ａ ｉｎ ｔ ｄ ｎ Ａｕ ｏ ｔｃ Ｒｅ ｏ ｎ ｔ ｆ Ｃｈ ｎ ｓ ｃ ｔ ｏ ｏ
第２ １卷 第 １ 期 １ ２１年 １ ０１ １月
计 算 机 技 术 与 发 展
ＣＯＭＰ Ｉ Ｒ Ｕ Ｅ ＴＥＣ ＇ ＨＮＯＩ ＧＹ ＡＮＤ ＤＥＶＥＬ ＯＰＭＥＮ Ｔ
Ｖ０． １ Ｎｏ １ １２ ．１ ＮＯ ． ２ １ Ｖ ０１
基 于 统 计 的 中文 地 名 自动 识别 研 究
命名 实 体 识别 （ ａ ｅ ｎｉ ｅｏｎ ｉ ，Ｎ Ｒ） Ｎ ｍ ｄＥ ｔｙＲ ｃｇｉｏ ｔ ｔｎ Ｅ 是许多 自然语 言处 理任务的基本要求 ， 如信息抽取 、 机 器 翻译 、 搜索 引擎 、 自动文摘 、 主题 发现等 ， 目标是从文 本 中准确识别 出命 名实体 文本 片段并 确 定其类 型 ， 如 数量 、 时间 、 人名 、 地名 、 机构 名等。 数量 、 间实体识别 易于完成 ， 时 故命 名实体识别任
２ １ 任务分析 ．
中文地理名称 的命 名具 有很 强的 随意性 ， 名 中 地 经常会嵌套人名 、 数字等其他实体名称 ， 甚至与其他实 体名称混 淆 ， 如 ： 例 由于“ ” 赵 是一 个很 常用 的人 名姓 氏， 在人名识别 中作 为人名首字特征 的权值较高 ， 在综 合命 名实体识别 时 ， 易将 “ 就极 赵家 屯” 这一地名 误识 为人名 ； 位于” “ “ 、 坐落 于” 这样 的通常作 为地名 的前 缀 ， 于” 为地名识别 的一元 ｔ ｅ “ 作 ｏ ｎ特征在训 练后 ， ｋ 会 具有较高 权值 ， 命 名 实体 综 合识 别 时 ， 将 “ 对 会 于长 春” 这一人 名中的“ 长春” 识为地 名。还有很 多少数 误 民族地区和国外的地名 ， 本是其 本地语 言音译 过来 基
务主要集 中在较难 实现 的人 名 、 地名 、 机构 名 的识别 。
其 中 ， 中文人名的识别起 步较早 ， 获得 了不错 的 对 已经 效果 ， 而地名 的命名 一直具 有很 强的随意性 ， 大大弱化 了本 身具有 的一些命名 规律 ， 使得 对其 的识别 较为不
易 ， 而也影 响到对 未登录词的识 别 ， 从 以及 文本分词 的 效果 和对文 本的理解。
Ａｂ ｔ ａ ｔ Ｃ ｎｅ ｅ ｌ ｃ ｔ ｎ ｎ ｍｅ ｒ ｃ ｇ ｉ ｏ ｓｏ ｅｏ ｅ ｄ ｆ ｃ ｌ ｔｓ ｓｏ ｉ ｅ ｅ ｎ ｍｅ ｎ ｉ ｅ ｏ ｎ ｔ ｎ ｔ ｔｓ ｓａ ｔ ｍ ａ ｃ ｅ ｔａ — ｓ ｒ ｃ ： ｈｉ ｓ ｏ ａ ｉ ａ ｅ ｏ ｎ ｔ ｎ ｉ ｎ ｆｔ ｉ ｕ ｔ ａ ｋ ｆＣｈ ｎ ｓ ａ ｄ ｅ ｔ ｙ ｒ ｃ ｇ ｉ ｏ ．Ｉｓ ａ ｋ ｉ ｕ ｏ ｔ ｘ ｒ ｃ ｏ ｉ ｈ ｉ ｔ ｉ ｉ ｒ ｇ ｇ ｏ ｒ ｐ ｙ ｓ ｅ ｉｌｎ ｕ ｒ ｍ ｉ ｅ ｅ ｔｘ ｓ ａ ｃ ｒ ｔｌ ｉ ｅ ｇ ａ ｈ ｐ ｃ ａ ｏ ｎｓｆｏ Ｃｈ ｎ ｓ ｅ ｔ ｃ ｕ ａ ｅｙ．Ｂａ ｅ ｎ ｏ ｅ ｏ ｈ ｔｔｓｉａ ｄ ｌ ，ｔ ｅ ｃ ｎ ｉ ｏ ａ ａ ｄ ｍ ｅｄ ， ｉ — ｎ ｓ ｄ ｏ ｎ ｆ ｔ ｅ ｓ ｉ ｔｃ ｌ ｍｏ ｅ ｓ ｈ ｏ ｄ ｔ ｎ ｌｒ ｎ ｏ ｆ ｌ ｓ ｄ ｓ ａ ｉ ｉ ｃ ｓｅ ｈ ｓ ｆａ ｔ ｍａｉ ｅ ｏ ｎ ｔ ｎ ｏ ｉ ｅ ｅ ｌｃ ｔ ｎ ｎ ｍｅ ｏ ｈ ｈ ｒ ｃｅ ｅ ｅ ．Ｔｏ ｔｋ ｄ ａ ｔｇ ｆ ｔ ｂ ｌ ｙ ｏ ｓｎ ｒ ｉ ｕ ｓ ｄ ｔｅ ｔ ｋ ｏ ｕ ｏ ｔｃ ｒ ｃ ｇ ｉｉ ｆＣｈ ｓ ｏ ａ ｉ ａ ｎ ｔ ｅ ｃ ａ ａ ｔｒ ｌｖ １ ａ ｏ ｎ ｏ ａ ｅ ａ ｖ ｎ ｅ ｏ ａ ｈｅ ａ ｉ ｔ ｆｕ ｉ ｇ ａｂ — ｉ ｔａ ｙ ｆ ａｕ ｅ ｓ ｉ ｐ ｔ ｒ ｒ ｅ ｔ ｒ ｓ ａ ｎ ｕ ＣＲＦｓ ｏ ｎ ｙ ｒ ａ ｏ ａ ｌ ｎ ｉ ，ｎ ｔ ｌ ｅ ｓ ｎ ｂ ｅ￣ａ ｅ ｍｐ ａ ｓｓｒ ｃ ｕ ｅ ｏ ｍｒ ｔ ｅ ｌｔ ｗａ ｔｕ ｔ ｒｄ，ｂ ｔａｓ ｈ ａ ｇ ｃ ｌ ｏ ｐ ｓｗａ ｓ ｄ ｉ ａ ｎ ｎ ｅ ｕ ｌｏ ｔ ｅ ｌ ｒ ｅ ｓ ａｅ ｃ ｒ ｕ ｓｕ ｅ ｎ ｔ ｉ ｉ ｇ． ｒ Ｔｈ ｏ ｄ ｔ ｎ ｌｐ ｏ ａ ｉ ｔ ｉｔｉ ｕ ｉ ｎ ｏ ｂ ｌｓ ｑ ｅ ｃ ｓ Ｗａ ｏ ｕ ｅ ｓｎ ｔ ｔ ｔ ｓ ｅ ｃ ｎ ｉｉ ａ ｒ ｂ ｂ ｌ ｙ ｄ ｓｒｂ ｔｏ ｆｌ ｅ ｅ ｕ ｎ ｅ ｓ ｃ ｍｐ ｔｄ ｕ ｉ ｇ ｓ ｉ ｉ ．Ｂｙ ｓ ｑ ｅ ｃ ａ ｅｉ ｇ，ｉ ｉ ｌｍｅ ｅ ｅ ａ ｏ ｏ ｉ ａ ａ ｓｃ ｕ ｎ ｅｌｂ ｌ ｅ ｎ ｔ ｍｐ ｅ ｎｔｄ ｔ ｕｔ－ ｈ ｍａ ｅ ｒ ｃ ｇ ｉ ｏ ｆ ｉ ｅ ｅ ｌ ｃ ｔ ｎ ｎ ｍ ｅ ｔ ｂ ａ ｎ ｄ ｐｒ ｍｉｉ ｇ ｒ ｓ ｌ ｎ ｄ ｆｅ ｅ ｔ ｌ ｓ ｄ ａ ｄ ｏ ｅ ｅ ｅ ｔｃ ｒ ｕ ｔ ｅＦ１ ｌ ｅ ｓ ｒ — ｉ ｒ ｅ ｏ ｎ ｔ ｎ ｏ ｎ ｓ ｏ ａ ｉ ａ ．Ｉ ｔ ｉ ｅ ｏ ｓｎ ｅ ｕ ｔ ｏ ｉｆ ｒ ｎ ｏ ｅ ｐ ｎ ｄ ｔｓ ｏ ｐ ｓｗｉ ｔ ｎ ａ ｎ ｅ ｉ ｈ Ｃ ｏ ｏ ｓ ｃ ｎ ｈｈ ｍｅ ｔｖ ｌ ｅ ｏ ｂ ｕ Ｏ％ ． ｎ ａｕ ｆａ ｏ ｔ ９
无关 。该假设显然与现实情况不符 。最大熵 马尔可夫
ｚ（） ＾ｏ＝∑ｅ （ ∑Ａ ｘ ∑ ｐ
，，， ） （） ｓｏ ） ￡ ５
模型属于判别式模型 ， 以充分利用词的 上下文信息 ， 可 但存在着标注偏置 的问题 。
条件随机场是一种优秀 的统计机器学习方法 。与
２ 基于 Ｃ Ｆ 的中文地名识别 Ｒ ｓ
邱 莎 ， 阿 圆 王 付 艳 丁 海 燕 ， ，
（． １ 昆明学院 信息技术学院， 云南 昆明 ６０ １ ； ５２４ ２ 云南大学 信息学院 ， ． 云南 昆明 ６０９ ； ５０ １ ３ 复旦大学 计算机科学技术学院， ． 上海 ２ １０ ） ０ ２３
摘 要： 中文地名的 自动识别是命名实体识别任务中难度较大的任务之～， 目的是从中文文本中 自动准确提取地理专用
名词。文中使用统计模型中的条件随机场对 中文地名的 自动识别在字一级粒度进行 了研究。在研究中利用条件随机场 能任意添加特征的优点 ， 合理引用 了丰富的特征组合 ， 在大规模语料』进行训练， ： 统计获得标注序列基于特征集的条件概
率 分布 ， 采用 序 列标 注的 方式 ， 中文 地名 的 自动 识别 。多次 闭合 测 试 和开 放测 试结 果 Ｆ 值 为 ９ ％ 左 右 ， 并 实现 ｌ ０ 识别 效 果
Ｎａ ｅ ｓ ｄ ｏ ｔ ｔ ｔ ａ ｅ ｈ ｄ ｍ ｓＢａ ｅ ｎ Ｓ ａ ｉ ｉ ｌＭ ｔ ｏ ｓｃ
ＱＩ ｈ ， ｕｎ ， Ａ ｕ ｙｎ ， Ｉ ｉｙ ｎ Ｕ Ｓ ａ Ａ Ｙ ａ Ｗ ＮＧ Ｆ — ａ ’Ｄ ＮＧ Ｈａ— ａ
（ ．ｎｔｕｅｏ Ｉｎ ａ ｏ ｅｈ ｏｏ ｙ ｕｍｉｇＵ ｉｅｓｙ Ｋ ｎｎｎ ５ ２４， ｈ ａ １Ｉｓｔｔ ｆ ｎｂ ｎ ｔ ｎＴ ｃｎ ｌｇ ，Ｋ ｎ ｎ ｎｖｒｉ ， ｕ ｒｉ ６０ １ Ｃ ｉ ； ｉ Ｉ ｉ ｔ ｇ ｎ
如下例 ：
， ｓ １ｓ Ｏ ＝ （ ， ， ，） 一 ｌ
ｆ ｏ） ＝ ｎ ｂ ，， 朋ａ （ｔｉ ｄ
Ｌ ０， ｏｈ ｒ ｓ ｔ ｅ ｗｉｅ
０ ｗｄ （ ｔ ｏｔ ３ ＝ｒ ）
（） ４
ｂｏｔ ： （ ，）
ｗ ｔ
ｔ ｏｈ ｒ ｉｅ Ｏ， ｔ ｅ ｗ ｓ
Ａ 是通过训练得到的特征 的权重 ， 其值反 映 了