基于JAVA的小型中文分词系统

Ｊ ａ ｖ ａ分 词 系统 。
关键 词 ： 中文 分词 ； 词典； 最 大 匹配 ； 双 哈 希 中 图分类 号 ： Ｇ ６ ４ ２ ． ０ 文献标 志码 ： Ａ
一
文章 编 号 ： １ ６ ７ ４ — ９ ３ ２ ４ （ ２ ０ １ ３ ） ２ ４ — ０ １ ５ １ — ０ ４
、
深入 地积 累 实践 经验 ， 为 学生 在 未来 的创 意产 业 实 践 中起 到很 好 的铺 垫和 指 引作 用 。三 要 建全 管 理 机制 ， 包 括 完善
人才引进机制 ， 实施系统的培训机制 ， 健全科学 的绩效考 核机制 ， 建立有效 的分配激励机制 ， 使 高校对师 资队伍 的
管理 更加 科 学 、 高效。 在高等教育内涵式发展 的理念下 ， 高校的创意人才培 养必须建立多元化 的人才培养模式 ， 调整专业结构 优化
课程体系， 全面提高教学质量 ， 加强教师队伍建设 ， 坚持走 内涵式发展的道路 ， 不断为文化创意产业发展提供强有力
的人 才保 证 和智 力支 撑 。
“ 和服” ， 得到 的结果中就发现了下面这句话“ 通信信息报 ： 卡 巴斯基以技术和服务开拓网络安全市场” ，这就是 由于
分 词 不 准确 所 造 成 的 问题 。从 这 里 看 到 中文 分 词 的准 确 度， 对搜索引擎结果相关性和准确性有相当大的关系。另
的比对来实现对信息的检索和查找 。 而这个将用户输入文 字 串拆分 成 词 的过程 就 是分 词 。 ２ ． 目 前 的分词算法。现有 的分词算法可分为三大类 ： 基于字符 串匹配 、 基于理解和基于统计 的分词算法 。基 于 字符串匹配的分词算法又叫做机械分词算法 ， 它是按照一 定 的策 略 将 待分 析 的汉 字 串与 一 个 “ 充 分大的” 机 器 词 典
绪论
对 于 搜索 引 擎 的速度 也 是有 影 响 的 。
二、 分 词 的方 法
对 于搜 索 引擎 来说 ，最重 要 的并 不 是 找到 所 有结 果 ， 因为在 上 百亿 的 网页 中找 到所 有结 果 没 有太 多 的 意义 ， 也 没 有人 能看 得 完 ，最重 要 的是 把 最 相关 的结 果 Ｊ Ａ Ｖ Ａ 的小型 中文分词 系统
宋哲伦
（ 河北 大学 附属 医 院 ， 河北 保定 ０ ７ １ ０ ０ ０ ）
摘要 ： 互联 网信 息飞速 增 长 ， 网络 资 源不 断增 加 ， 于是 搜 索 引擎应 运 而 生 ， 它 的 出现 为我 们 在 网络 上 搜 集我 们 所 需要 的 资 源提供 了很 大 的方 便 ， 但是 人 们 并不 满足 于早 期 的搜 索引 擎的 功 能和 速度 ， 于是 搜 索 引 擎开 始 不 断地被 更新 和 完善 ， 而 分词 对 于搜 索 引擎 的更新 和 完善 起 着很 重要 的作 用。 分词 作 为搜 索引 擎的 重要 组成 部 分 ， 对搜 索 引擎 的查 找 正确 率 以及 查 找速 度具 有很 大的影 响 。 它将 用 户输入 的语 句分 割成 一 个个 词语 和 单 字 ， 这 样检 索程 序 就 能很 容 易地 理解 用 户所 需要 的信 息． 从 而为 用 户返 回正确 且有 价值 的 信 息资料 。 本 文 通过 对 正 向最 大 匹配 、 逆 向最 大 匹配等 分 词算 法 以及 词典 的 整词 二 分 、 Ｔ ＲＩ Ｅ索引树 、 逐 字二 分和 双哈 希构 造 方 法进 行 理 论 分析 ， 了解各 种 分 词 算 法和 词 典 构 造 方 法的 优 点和 缺 点 ， 并用Ｊ ａ ｖ ａ 编 程 实现 正 向最 大匹 配 、 逆 向 最大 匹配 的分 词 算 法 以及 一 维 线性 表 、 首 字哈 希 、 双 哈 希 三 种词 典 构 造 方 法 ， 最 终 整合 实现 了
生 自主学 习 、 独 立思 考 和 创 新 的 意识 ， 激 发 学 生 的学 习 热 情， 提高学生 的实际操作能力 。②高校要学会用现代化 的 教 学手 段来 辅 助教 学 ，要 推进 信 息技 术 在教 学 中的应 用 ， 增 强学 生运 用 网络 资源 学 习 的能力 。 ③ 高校 可 以通 过开 展
外， 在整个搜索过程 中进场要进行词典 的查询 ， 所 以分词
不难看出今后我国高等教育发展将以全 面提高教学质量 为重点 ， 走 内涵式发展之路。 高校加快教学改革势在必行 ， 可 以从 以下 几 个方 面着 手 ： ① 要 重视 学 生 在教 学 活 动 中 的 主体地位 ， 充分调动学生学习的积极性 、 主动性 。 在教学过 程 中要 改革 “ 填 鸭式 ” 的教 学 方 法 ， 积极 实践 启 发 式 、 讨 论 式等生动活泼 的教学方法 ， 要重视实践教学环节 ， 培养学
１ ． 分词 的意义。由于 中文语句没有 自然的将词语分 开， 所 以计算 机无法 了解用户输入文字 串的意思 ， 我们需
要 将 用户 输 入 的 内容 拆 分成 词 ， 这样 计 算 机才 能 通 过词 语
面， 这也称为相关度排序 。 中文分词的准确与否 ， 常常直接 影响到对搜索结果 的相关度排序。 例如在搜索引擎上输入
２ ０ １ ２ ， （ ２ ） ： １ ２ ９ — １ ２ ９ ．
参考 文献 ：
课外实践活动以及建立教学实 习制度 ， 打造培养学生实践 能力的多维平台。高校要加强与企业 的合作 ， 可 以组织教 师和学生参与企业调研 ，将理论学习与企业实践结合 ， 从
而 提升 学生 的创 新 意识 和 实践 能力 。
【 １ １ ７ － ９琦． 谈文化创 意产业发展 与高校文化创意人才培养Ｕ ｌ ｌ 艺术 教育 ， ２ ０ １ ０ ， （ １ ２ ） ： １ ５ １ － １ ５ １ ． 【 ２ 】 曹丹 高校 文化创 意类专业人才培养模 式探 析 Ｕ 】 ＿ 天 中学刊 ，