农业信息搜索可视化平台研究_王恬

capability and can only provide users with onedimensional and linear search results， based on analysing and studying vertical agricultural search engines， we constructed the visualised service platform for agricultural information search． On the basis of agriculture literatures， we and designed a kmeans hierarchical clustering algorithm， which is carried out the information extraction and association analysis on data， based on selecting initial centroid with maximum distance method， to discover the relationship between domain concepts． Based on this， we used the model of information visualisation and the Javabased Prefuse plugins pack to provide for users a graphical representation means for results ， thus realised the interactive control of information， and optimised the retrieval process as well． It is verified through experiment that the improved hierarchical clustering algorithm in this paper improves the effect of correlation clustering between domain concepts and meanwhile reduces total clustering time consumption． The platform can meet the professional demand of users retrieval． Keywords Agricultural search engine Association analysis Hierarchical clustering algorithm Information visualisation Prefuse
+
TF（ f i ， dj ） 1 × × max k TF（ f k ， dj ） 2
) ( log DFN （f） )
j
（ 1）
d j ） 表示词 f i 在文本 d j 中出现的频率，max k TF （ f k ， 其中 TF（ f i ， d j ） 代表词 f k 在文本集的各文本中最大的出现次数； N 表示文本 DF（ f j ） 代表词 f j 的文档频数。 总数量， （ 3 ） 领域概念间关系发现 获取领域概念后， 首先采用基于共现分析的理论计算得到 共现矩阵。其次利用 Jaccard 系数计算领域概念间的相关度， 得 从而分析领域概念间相互关联的紧密 到领域概念的相关矩阵， 。 程度 最后根据相关矩阵得到每个领域概念的向量， 利用余弦 夹角法求出每两个领域概念的相似度 。 Jaccard 系数计算公式 余弦夹角法计算公式如式（ 3 ） 所示。 如式（ 2 ） 所示， c ij Corr Jaccard = c i + c j － c ij
文献标识码
DOI： 10． 3969 / j． issn． 1000386x． 2016． 03． 064
ＲESEAＲCH ON VISUALISED PLATFOＲM OF AGＲICULTUＲAL INFOＲMATION SEAＲCH
Wang Tian Li Shuqin * Wang Zhiwei
第 33 卷第 3 期 2016 年 3 月
计算机应用与软件 Computer Applications and Software
Vol. 33 No． 3 Mar． 2016
农业信息搜索可视化平台研究
王 恬 李书琴
摘 要
*
王志伟
陕西 杨凌 712100 ）
（ 西北农林科技大学信息工程学院
针对传统搜索引擎检索返回结果数量庞大 、 专业性差且只能为用户提供一维 、 线性搜索结果的问题， 在分析研究农业垂
直搜索引擎的基础上， 构建农业信息搜索可视化服务平台 。基于农业文献， 对数据进行信息抽取、 关联分析， 并设计了一种基于最大 means 层次聚类算法来发现领域概念间关系； 在此基础上， 利用信息可视化模型与基于 Java 的 Prefuse 插 距离法选取初始质心的 K件包为用户提供图形化的结果呈现方式， 实现信息的交互控制， 优化检索过程。 通过实验验证， 改进的层次聚类算法提高了领域概 念间关系聚类效果的同时降低了聚类总耗时， 平台满足用户检索的专业性需求 。 关键词 中图分类号 农业搜索引擎 TP391 关联分析 层次聚类算法 A 信息可视化 Prefuse
搜索可视化平台。 主要在如下 3 个方面做了改进： （ 1 ） 扩展数
0
引
言
据来源。从万方数据知识服务平台等 Web 网络资源中获取领 域语料和领域词典； （ 2 ） 改进研究算法。 设计了一种基于最大 means 层次聚类算法， 并结合信息抽 距离法选取初始质心的 K［4 ］ 取 、 关联分析技术发现领域概念间关系； （ 3 ） 搜索结果可视 化。利用可视化映射技术最终将搜索相关推荐词可视化呈现给 用户， 使用户更快地达到兴趣点， 有效地帮助其快速定位搜索结 果或再次选择搜索关键字， 增加用户与系统之间的交互作用 。
［2 ］ 国外的农业垂直搜索引擎已经取得了 一 定 的 成 果 ， 如 WEBSearch、 Agrisearch search 等。 但我国的农业搜索引擎出现
1
研究架构
相对较晚， 目前国内农业搜索引擎主要有农搜网 、 搜农网等， 仍 存在一些不完善的地方： 首先搜索结果中仍包 然处在发展时期， ［3 ］ 含了大量的信息 ， 搜索准确率和用户满意度较低； 其次用户 往往需要顺序浏览搜索结果列表来查找他们所需要的信息， 忽 略了用户在浏览时的交互作用 。 本文结合国内外研究成果的优缺点， 在农业垂直搜索引擎 结合信息可视化技术完成农业信息 基础上对其进行二次开发， Heer 等［5］ 提出了基于 Prefuse 的信息可视化模型， Prefuse 为数据建模、 数据可视化及用户交互提供了丰富的软件库， 可以
2． 3
领域概念聚类
本研究所需的领域概念是为农业信息检索提供知识组织，
2
2． 1
系统关键技术
Web 信息抽取
本文参考冯硕等人
［8 ］
根据得到的领域概念间的相似度值作为距离进行聚类， 从而得 到概念间的分类关系。 传统的获取领域 概 念 间 分 类 关 系 一 般 采 用 凝 聚 层 次 法 实现， 它是一种 自 底 向 上 的 方 法 。 其 中 UPGMA （ unweighted pairgroup method with arithmetic means ） 算法采用度量两个子 类内文本的两两相似度的均值进而确定合并的子类， 它的精 2 为 O （ n log n ） ， 其中 n 是文本 度较高但时间 复 杂 度 也 较 高， means 方 法 是 基 于 划 分 的 聚 类 方 法， 总数 。 K算法效率很 k 是聚类数 高， 它 的 复 杂 度 是 O （ nkt ） ， 其 中 n 是 文 本 总 数， t 是迭代 次 数 。 Kmeans 聚 类 算 法 随 机 选 择 初 始 质 心 会 目， 导致聚类过程中总迭代次数较多 、 聚类容易陷入局部最优等 问题 。 为了克服 上 述 缺 点， 王超等人 提出了基于优化初 means 的层次聚类算法， 该算法在一定程度上提高 始质心 K但 对 于 初 始 聚 类 数 目 较 大 时， 会出现 了聚类的精度和效率， 使算法效率降低 。 本文在研究以上算 迭代次数增多等问题， 法的基 础 上， 提 出 了 基 于 最 大 距 离 法 选 取 初 始 质 心 的 Kmeans 层次聚类算法， 算法改进如下所示： 算法 1 类算法 输入： 领域概念集合 输出： 领域概念聚类树 Step1 使用基于最大距离法选取初始质心的 Kmeans 方 法生成 k 个约束类。 计算数据集中 M 个数据点两两之间的距离｛ distance（ d i ， dj ） ， （ i， j = 1， 2， …， M） ｝ 将距离最远的 2 个数据点 d1 、 Step1． 1 d2 作为初始质心， d2 ） ≥distance（ d i ， dj ） 。 即满足 distance（ d1 ， means 层次聚 基于最大距离法选取初始质心的 K［10］
图1 农业信息搜索可视化平台架构图
n
（ 2）
从逻辑上分析， 农业信息搜索可视化服务平台的构建主要 生成可视化数据、 检索结果 划分为 3 个阶段： 信息采集和过滤、 可视化呈 现。 整 个 工 作 流 程 可 分 为 以 下 4 个 阶 段： （ 1 ） 利 用 Web 网络资源获取农业领域文献信息并进行预处理得到候选 领域概念； （ 2 ） 运用关联分析和聚类技术发现领域概念间关系 ［7 ］ 并存入关系数据库； （ 3 ） 利用基于 Prefuse 的可视化映射方法 实现概念空间图的实时生成， 并与用户动态交互； （ 4 ） 将检索结 果返回给用户， 利用得到的领域概念间的关系及相关度向用户 推荐搜索相关词。