文本挖掘综述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １ｓｔ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ‘Ｄａｔａ Ｍｉｎｉｎｇ，１９９５：１ １２—１１７． ［２］Ｍａｒｏｎ，Ｍ，Ｅ．ｅｔ ａ１．．Ｏｎ ｒｅｌｅｖａｎｃｅ ｐｒｏｂａｂｉｌｉｓｔｉｅ ｉｎｄｅｘｉｎｇ ａｎｄ ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ 【Ｊ］．Ｊ０ｕｍａｌ ｏｆ ｔｈｅ ＡＣＭ，１９６０（７）：２１６—２４４．
文档集Ｔ＝（ｄｌ＇．一，ｄ。，…，ｄ，】的特征向量Ｖ（ｄ。）与每个Ｖ（ｃ；）之间的相
似度ｓｉｍ（ｄ。，Ｃ．）； （４）根据分类结果评估分类模型：选取相似度最大的一个类别
ａｒｇｍａｘｓｉｍ（ｄｋ，ｃｉ）作为ｄｋ的类别。 ２．２文本聚类的处理过程 文本聚类是一种典型的无教师的机器学习问题。目前主要的文本
别标号ｅ．，类别集合Ｃ＝（ｏｌＩ．一，Ｃｉ，．一，Ｃ。）事先定义好； （２）选择分类方法并训练分类模型：文本分类方法有统计方法、机
器学习方法、神经网络方法等等。统计训练集Ｓ中所有文档的特征向 量Ｖ（ｓ．），确定代表ｃ中每个类别的特征向量Ｖ（ｃ；）；
分类阶段： （３）用训练好的分类模型对其他待分类文本进行分类：计算测试
பைடு நூலகம்ＤＩＶ
ＡＢ
ＭＯＶ
３０Ｈ．Ａ
ＭＯＶ
３ｌＨ．Ｂ
ＭＯＶ
Ａ－３０Ｈ
ＭＯＶ
ＤＰＴＲ．冉ＳＧＴＢ
ＭＯＶＣ
Ａ．＠Ａ＋ＤＰｒＲ
ＭＯＶ
Ｐ０．Ａ
；显示温度十位值
ＣＬＲ
Ｐ３．１
ＳＥＴＢ
Ｐ３．Ｏ
ＳＥ７ｒＢ
Ｐ３．２
ＳＥＴＢ
Ｐ３．３
ＬＣＡＬＬ ＹＳ４７２２Ｕ
ＭＯＶ ＭＯＶ
Ａ．３１Ｈ
ＤＰｍ．霜ｌＳＧＴＢ
ＭＯＶＣ
Ａ．＠Ａ＋ＤＰＩＲ
【关键词】数据挖掘；文本挖掘；文本分类；文本聚类 Ｔｈｅ Ｏｖｅｒｖｉｅｗ ｏｆ Ｔｅｘｔ Ｍｉｎｉｎｇ Ｔｅｃｈｎｉｑｕｅ ＹＡＮＧ Ｘｉａ ＨＵＡＮＧ Ｃｈｅｎ－ｙｉｎｇ
（Ｌｅｓｈａｎ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｉｃｈｕａｎ Ｌｅｓｈａｎ ６１４００４） 【Ａｂｓｔｒａｃｔ］Ｔｅｘｔ Ｍｉｎｉｎｇ ｉｓ ｐｒｏｃｅｓｓ ｏｆ ｅｘｔｒａｃｔｉｎｇ ｉｎｔｅｒｅｓｔｉｎｇ ｋｎｏｗｌｅｄｇｅ ｆｏｒｍ ｌａｒｇｅ ｌｉｎｇｕｉｓｔｉｃ ｓｅｍａｎｔｉｃ ｔｅｘｔ ｃｏｌｌｅｃｔｉｏｎｓ．Ｆｉｒｓｔ，ｉｔ ｉｎｔｒｏｄｕｃｅ ｔｈｅ ｃｏｎｃｅｐｔ ａｎｄ ｄｅｖｅｌｏｐｉｎｇ ｏｆ Ｄａｔａ Ｍｉｎｉｎｇ．Ｔｈｅｎ ｐｏｉｎｔ ｏｕｔ Ｔｅｘｔ Ｍｉｎｉｎｇ ａｎｄ ｉｔｓ ｓｔａｔｕｓ，Ｔｅｘｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｃｌｕｓｔｅｒｉｎｇ ａｒｅ ｉｍｐｏｒｔａｎｔ ｉｎ ｔｈｉｓ．Ｉｎ ｔｈｅ ｅｎｄ，ｉｔ ｓｈｏｗｓ ｔｈｅ ｆｅａｔｕｒｅ ｏｆ Ｃｈｉｎｅｓｅ ｔｅｘｔ ｍｉｎｉｎｇ ａｎｄ ｈｉｇｈｌｉｇｈｔｉｎｇ ｔｈｅ ｕｐｃｏｍｉｎｇ Ｃｈａｌｌｅｎｇｅｓ ｏｆ ｔｅｘｔ ｍｉｎｉｎｇ 【Ｋｅｙ ｗｏｒｄｓ］Ｄａｔａ ｍｉｎｉｎｇ；Ｔｅｘｔ ｍｉｎｉｎｇ；Ｔｅｘｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ；Ｔｅｘｔ ｃｌｕｓｔｅｒｉｎｇ
面对因为网络的飞速发展而带来的“信息膨胀”，尤其是以半结构 化或非结构化的文本信息为主的信息，人们迫切需要研究出方便有效 的工具去从中提取符合需要的、简洁的、精炼的、可理解的知识，文本 挖掘ＴＭ（Ｔｅｘｔ Ｍｉｎｉｎｇ）因此产生。
１．文本挖掘概述 １．１文本挖掘的定义 文本挖掘是近几年来数据挖掘领域的一个新兴分支，文本挖掘也 称为文本数据库中的知识发现，是从大量文本的集合或语料库中抽取 事先未知的、可理解的、有潜在实用价值的模式和知识【ｌ】。对文本信息 的挖掘主要是发现某些文字出现的规律以及文字与语义、语法间的联 系，用于自然语言的处理，如机器翻译、信息检索、信息过滤等，通常采 用信息提取、文本分类、文本聚类、自动文摘和文本可视化等技术从非 结构化文本数据中发现知识。 １．２文本挖掘的国内外研究现状 国外对于文本挖掘的研究开展较早，５０年代末．Ｈ．Ｐ．Ｌｕｈｎ在这一 领域进行了开创性的研究，提出了词频统计思想用于自动分类。１９６０ 年，Ｍａｒｏｎ Ｅ≈发表了关于自动分类的第一篇论文，随后，以Ｋ．Ｓｐａｒｋ，Ｇ． Ｓａｈｏｎ以及Ｋ．Ｓ．Ｊｏｎｅｓ等人为代表的众多学者也在这一领域进行了卓 有成效的研究工作。目前，国外的文本挖掘研究已经从实验性阶段进 入到实用化阶段．著名的文本挖掘工具有：ＩＢＭ的文本智能挖掘机［３１、 Ａｕｔｏｎｏｍｙ公司的ＣｏｎｃｅｐｔＡｇｅｎｔｓ、ＴｅｌＴｅｃｈ公司的ＴｅｌＴｅｃｈ等。 但是．国内正式引入文本挖掘的概念并开展针对中文的文本挖掘 研究是从近几年才开始的。目前看来。我国文本挖掘研究还处在消化 吸收国外相关的理论和技术与小规模实验阶段．瓶颈在于国内文本挖 掘处理的是汉语文本，在进行文本挖掘方法时必须适应汉语重“意合” 的特点，结合文本上下文来获取文本的完整“语义”。 ２．文本挖掘一般处理过程 文本挖掘过程由文本预处理、特征提取、文本分类、文本聚类等步 骤组成。图１给出了文本挖掘的一般处理过程。
ＭＯＶ
Ｐ０．Ａ
：显示温度个位值
ＣＬＲ
Ｐ３．２
ＳＥＴＢ
Ｐ３．Ｏ
ＳＥＴＢ
Ｐ３．１
ＳＥＴＢ
Ｐ２．３
ＬＣＡＩＪＩＪ ＹＳ４７２２Ｕ
ＭＯＶ
Ａ．＃０１０００ｌ １０Ｂ
ＭＯＶ ＣＬＲ
Ｐ０．Ａ Ｐ３．３
；显示温度符号
ＳＥＴＢ
Ｐ３．Ｏ
ＳＥＴＢ ＳＥＴＢ
Ｐ３．１ Ｐ３．２
ＬＣＡＬＬ Ｙ￥４７２２Ｕ
ＲＥＴ
；｝￥｝｝＃｝｝４ ８位共阳数码管显示器字型码表¨￥¨｛十｝十｝｝￥｝
作者简介：杨霞（１９７７～），女，硕士，主要研究方向为数据挖掘、中文信息处 理。
黄陈英（１９７５一），女，硕士，主要研究方向为数据处理、教育技术。
［责任编辑：张慧］
万方数据
文本挖掘综述
作者： 作者单位： 刊名：
英文刊名： 年，卷(期)： 引用次数：
杨霞， 黄陈英， YANG Xia， HUANG Chen-ying 乐山师范学院,四川,乐山,614004
（３）重复上述步骤，直至剩下一个簇为止。
而划分式聚类算法运行速度较快，但是必须事先确定的取值，且
种子选取的好坏对聚类结果有较大影响。两种算法各有所长，其中划
分式具有较高的执行效率，而层次化在算法上比较符合数据的特性。
能否结合两种聚类思想更有效的对文本聚类，还有待于进一步研究。
３．结语
（下转第９９页）
ＲＥ２０：
ＤＪＮＺ ＲＲＣ
Ｒ３。ＲＥ２０ Ａ
ＤＪＮＺ ＭＯＶ
Ｒ２，ＲＥ０１ ＠Ｒ１．Ａ
ＤＥＣ
Ｒ１
ＤＪＮＺ
Ｒ４，ＲＥ００
ＤＩＳＰ：
ＲＥＴ
显示子程序
ＭＯＶ
Ａ．２ＦＨ
ＭＯＶ ＲＲＣ
Ｃ．７０Ｈ Ａ
ＭＯＶ ＲＲＣ
Ｃ．７ｌＨ Ａ
ＭＯＶ ＲＲＣ
Ｃ．７２Ｈ Ａ
ＭＯＶ
Ｃ．７３Ｈ
ＲＲＣ
Ａ
ＭＯＶ
２ＦＨ．Ａ
ＭＯＶ ＭＯＶ
Ａ．２ＦＨ Ｂ．＃１０
聚类方法包括以ＢＩＲＣＨ等算法为代表的层次化聚类算法［５１和以ｋ— ｍｅａｎｓ等算法为代表的划分式聚类算法【日。
这里以层次化聚类算法为例，说明文本聚类的处理过程。
对于给定的文档集合Ｄ＝｛ｄｌ，．一，ｄ，，…，ｄ。）层次化聚类算法的具 体过程如下：
（１）将Ｄ中的每个文档ｄ；看作是一个具有单个成员的簇Ｃ；＝（ｄｉ），
科技信息
０ ＩＴ论坛ｏ
ＳＣＩＥＮＣＥ＆ＴＥＣＨＮＯＬＯＧＹ ＩＮＦＯＲＭＡＴＩＯＮ
２００９年第３３期
文本挖掘综述
杨霞黄陈英 （乐山师范学院 四川 乐山 ６１４００４）
【摘要】文本挖掘是对一个非结构化文本信息进行分析从而获取用户关心或感兴趣，有潜在实用价值知识的过程。本文首先介绍了文本 挖掘的定义和研究现状，之后文本挖掘一般处理过程，着力于文本分类和文本聚类的一般过程，最后展望了今后的研究目标。
ＳＧＴＢ：ＤＢ ＯＣＯＨ，ＯＦ９Ｈ，ＯＡ４Ｈ，ＯＢＯＨ，９９Ｈ，９２Ｈ，８２Ｈ，ＯＦ８Ｈ，８０Ｈ，９０Ｈ
ＤＢ ８８Ｈ，８３Ｈ，０Ｃ６Ｈ，ＯＡｌＨ，８６Ｈ，８ＥＨ，８９Ｈ，ＯＡ３Ｈ，８ＣＨ，ＯＣ８Ｈ
ＹＳ４７２２Ｕ：ＭＯＶ
Ｒ４＇彝１０；延时子程序
Ｙ３：
ＭＯＶ
Ｒ５，＃２１６
ＤＪＮＺ
Ｒ５，￥
ＤＪＮＺ
Ｒ４．Ｙ３
［３］蒋良孝，蔡之华．文本挖掘及其应用叨．现代计算机，２００３（２），３１． ４］Ｗｍｅｔ Ｐ．Ｒｅｃｅｎｔ ｔｒｅｎｄｓ ｉｎ ｈｉｅｒａｒｃｈｉｃａｌ ｄｏｃｕｍｅｎｔ ｃｌｕｓｔｅｒｉｎｇ：Ａ ｃｒｉｔｉｃａｌ ｒｅｖｉｅｗ ［Ｊ１．Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｍａｎａｇｅｍｅｎｔ，１９８８，２４：５７７—５９７． ［５］朱红灿，孟志青．一种基于ＳＯＭ和层次凝聚的中文文本聚类方法叨．电子学 报，２００５，２７（３）：３６－３８． ［６］任江涛，孙婧昊，施潇潇，黄焕宇，印鉴．一种用于文本聚类的改进的Ｋ均值 算法叨．计算机应用，２００６，２６（１）：７３—７５．
万方数据
科技信息
Ｏ ＩＴ论坛ｏ
ＳＣＩＥＮＣＥ＆ＴＥＣＨＮＯＬＯＧＹ ＩＮＦＯＲＭＡＴＩＯＮ
２００９年第３３期
ＷＲｌ
ＣＬＲ
Ｐ３．４
ＭＯＶ
Ｒ３．＃６
ＤＪＮＺ ＲＲＣ ＭＯＶ ＭＯＶ
Ｒ３．￥ Ａ Ｐ３．４，Ｃ Ｒ３搿２３
ＤＪＮＺ ＳＥＴＢ
Ｒ３，￥ Ｐ３．４
ＮＯＰ ＤＪＮＺ
Ｒ２．ＷＲｌ
ＳＥＴＢ
Ｐ３．４
ＲＥＴ
文本预处理
分词 特征提取
ｏ《
挖掘分析
文本结构分析 文本摘要 文本分类 文本聚类
图１ 文本挖掘过程图
常见的文本挖掘分析技术有：文本结构分析、文本摘要、文本分 类、文本聚类、文本关联分析、分布分析和趋势预测等。在这里主要介 绍文本分类与文本聚类：
２．１文本分类的处理过程 文本分类系统的任务是：在给定的分类体系下，根据文本的内容 自动地确定文本关联的类别。从数学角度来看，文本分类是一个映射 的过程。它将未标明类别的文本映射到已有的类别中，该映射可以是 一一映射，也可以是一对多的映射。因为通常一篇文本可以同多个类 别相关联。 文本分类是一种典型的有教师的机器学习问题，一般分为训练和 分类两个阶段，具体过程如下： 训练阶段： （１）获取训练文本集Ｓ＝（８ｌＩ．一，Ｓ∥一，Ｓ。｝：ｉＪｉｌ练文本集由一组经过 预处理的文本特征向量组成，每个训练文本（或称训练样本）有一个类
这些簇构成了Ｄ的一个聚类Ｃ＝（ｏｌ，．一，Ｃｉ，’‘，Ｃ。）；计算Ｃ中每对簇
（Ｃ。，Ｃ；）之间的相似度ｓｉｍ（ｄ。，ｅ，）；
（２）选取具有最大相似度的簇对ａｒｇｍａｘ（ｃ，，Ｃｊ），其中ｃ，，ｃ；∈Ｃ，并 将Ｃ；和ｃ．合并为一个新的簇Ｃ。＝ｃ．ｕＣ．，从而构成了Ｄ的一个新的聚类
Ｃ’＝｛。１，。一，ｃ．１）；
：～一从ＤＳｌ８８２０中读温度数据程序
ＲＥｌ８８２０：ＭＯＶ
Ｒ４．拌２
ＲＥ００：
ＭＯＶ ＭＯＶ
Ｒ１岸２ＦＨ Ｒ２．样８
ＲＥ０１：
ＣＬＲ ＳＥＴＢ
Ｃ Ｐ３．４
ＮＯＰ ＮＯＰ
ＣＬＲ
Ｐ３．４
ＮＯＰ ＮＯＰ
ＮＯＰ ＳＥＴＢ
Ｐ３．４
ＲＥｌ０：
ＭＯＶ ＤＪＮＺ ＭＯＶ ＭＯＶ
Ｒ３．＃０９ Ｒ３．ＲＥｌ０ Ｃ．Ｐ３．４ Ｒ３搿２３
【责任编辑：张艳芳］
（上接第８２页）文本挖掘是一个崭新的人工智能研究方向。近年 来研究人员提出了许多的理论和具体的挖掘算法，但还没形成统一的 理论体系，大部分的算法还不成熟，存在一定的缺陷，需要进一步的 研究和完善。随着文本挖掘技术的不断完善，其应用领域也会不断
增长。口
【参考文献】 ［１］Ｆｅｌｄｍａｎ Ｒ，Ｄａｇａｎ Ｉ．ＫＤＴ－－Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ｉｎ Ｔｅｘｔｕａｌ．Ｄａｔａｂａｓｅｓ［Ｃ】／／
ＲＥＴ
ＥＮＤｅ
【参考文献】 ［１］陈文芗．单片机原理与应用【Ｍ】．北京：机械工业出版社，２００１． ［２］卢艳军．单片机基本原理及应用系统【Ｍ】．北京：机械工业出版社，２００５． ［３］王庆利，袁建敏．单片机设计案例实践教程（ＭＪ．北京：北京邮电学院出版社，
２００８．
作者简介：晏文靖（１９８１一），女，汉族，湖南新化人，讲师，２００５年在南京邮 电学院计算机与科学技术系获硕士学位。主要研究方向为嵌入式系统软件开发 与网格计算。任职于无锡商业职业技术学院。
Ｏ．引言
数据挖掘（Ｄａｔａ Ｍｉｎｉｎｇ）。就是从大量数据中获取有效的、新颖的、 潜在有用的、最终可理解的模式的非平凡过程。数据挖掘，又称为数据 库中知识发现ＫＤＤ ｆＫｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ｉｎ Ｄａｔａｂａｓｅ），也有人把数据 挖掘视为数据库中知识发现过程的一个基本步骤。数据挖掘可以与用 户或知识库交互。
文档集Ｔ＝（ｄｌ＇．一，ｄ。，…，ｄ，】的特征向量Ｖ（ｄ。）与每个Ｖ（ｃ；）之间的相
似度ｓｉｍ（ｄ。，Ｃ．）； （４）根据分类结果评估分类模型：选取相似度最大的一个类别
ａｒｇｍａｘｓｉｍ（ｄｋ，ｃｉ）作为ｄｋ的类别。 ２．２文本聚类的处理过程 文本聚类是一种典型的无教师的机器学习问题。目前主要的文本
别标号ｅ．，类别集合Ｃ＝（ｏｌＩ．一，Ｃｉ，．一，Ｃ。）事先定义好； （２）选择分类方法并训练分类模型：文本分类方法有统计方法、机
器学习方法、神经网络方法等等。统计训练集Ｓ中所有文档的特征向 量Ｖ（ｓ．），确定代表ｃ中每个类别的特征向量Ｖ（ｃ；）；
分类阶段： （３）用训练好的分类模型对其他待分类文本进行分类：计算测试
பைடு நூலகம்ＤＩＶ
ＡＢ
ＭＯＶ
３０Ｈ．Ａ
ＭＯＶ
３ｌＨ．Ｂ
ＭＯＶ
Ａ－３０Ｈ
ＭＯＶ
ＤＰＴＲ．冉ＳＧＴＢ
ＭＯＶＣ
Ａ．＠Ａ＋ＤＰｒＲ
ＭＯＶ
Ｐ０．Ａ
；显示温度十位值
ＣＬＲ
Ｐ３．１
ＳＥＴＢ
Ｐ３．Ｏ
ＳＥ７ｒＢ
Ｐ３．２
ＳＥＴＢ
Ｐ３．３
ＬＣＡＬＬ ＹＳ４７２２Ｕ
ＭＯＶ ＭＯＶ
Ａ．３１Ｈ
ＤＰｍ．霜ｌＳＧＴＢ
ＭＯＶＣ
Ａ．＠Ａ＋ＤＰＩＲ
【关键词】数据挖掘；文本挖掘；文本分类；文本聚类 Ｔｈｅ Ｏｖｅｒｖｉｅｗ ｏｆ Ｔｅｘｔ Ｍｉｎｉｎｇ Ｔｅｃｈｎｉｑｕｅ ＹＡＮＧ Ｘｉａ ＨＵＡＮＧ Ｃｈｅｎ－ｙｉｎｇ
（Ｌｅｓｈａｎ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｉｃｈｕａｎ Ｌｅｓｈａｎ ６１４００４） 【Ａｂｓｔｒａｃｔ］Ｔｅｘｔ Ｍｉｎｉｎｇ ｉｓ ｐｒｏｃｅｓｓ ｏｆ ｅｘｔｒａｃｔｉｎｇ ｉｎｔｅｒｅｓｔｉｎｇ ｋｎｏｗｌｅｄｇｅ ｆｏｒｍ ｌａｒｇｅ ｌｉｎｇｕｉｓｔｉｃ ｓｅｍａｎｔｉｃ ｔｅｘｔ ｃｏｌｌｅｃｔｉｏｎｓ．Ｆｉｒｓｔ，ｉｔ ｉｎｔｒｏｄｕｃｅ ｔｈｅ ｃｏｎｃｅｐｔ ａｎｄ ｄｅｖｅｌｏｐｉｎｇ ｏｆ Ｄａｔａ Ｍｉｎｉｎｇ．Ｔｈｅｎ ｐｏｉｎｔ ｏｕｔ Ｔｅｘｔ Ｍｉｎｉｎｇ ａｎｄ ｉｔｓ ｓｔａｔｕｓ，Ｔｅｘｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｃｌｕｓｔｅｒｉｎｇ ａｒｅ ｉｍｐｏｒｔａｎｔ ｉｎ ｔｈｉｓ．Ｉｎ ｔｈｅ ｅｎｄ，ｉｔ ｓｈｏｗｓ ｔｈｅ ｆｅａｔｕｒｅ ｏｆ Ｃｈｉｎｅｓｅ ｔｅｘｔ ｍｉｎｉｎｇ ａｎｄ ｈｉｇｈｌｉｇｈｔｉｎｇ ｔｈｅ ｕｐｃｏｍｉｎｇ Ｃｈａｌｌｅｎｇｅｓ ｏｆ ｔｅｘｔ ｍｉｎｉｎｇ 【Ｋｅｙ ｗｏｒｄｓ］Ｄａｔａ ｍｉｎｉｎｇ；Ｔｅｘｔ ｍｉｎｉｎｇ；Ｔｅｘｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ；Ｔｅｘｔ ｃｌｕｓｔｅｒｉｎｇ
面对因为网络的飞速发展而带来的“信息膨胀”，尤其是以半结构 化或非结构化的文本信息为主的信息，人们迫切需要研究出方便有效 的工具去从中提取符合需要的、简洁的、精炼的、可理解的知识，文本 挖掘ＴＭ（Ｔｅｘｔ Ｍｉｎｉｎｇ）因此产生。
１．文本挖掘概述 １．１文本挖掘的定义 文本挖掘是近几年来数据挖掘领域的一个新兴分支，文本挖掘也 称为文本数据库中的知识发现，是从大量文本的集合或语料库中抽取 事先未知的、可理解的、有潜在实用价值的模式和知识【ｌ】。对文本信息 的挖掘主要是发现某些文字出现的规律以及文字与语义、语法间的联 系，用于自然语言的处理，如机器翻译、信息检索、信息过滤等，通常采 用信息提取、文本分类、文本聚类、自动文摘和文本可视化等技术从非 结构化文本数据中发现知识。 １．２文本挖掘的国内外研究现状 国外对于文本挖掘的研究开展较早，５０年代末．Ｈ．Ｐ．Ｌｕｈｎ在这一 领域进行了开创性的研究，提出了词频统计思想用于自动分类。１９６０ 年，Ｍａｒｏｎ Ｅ≈发表了关于自动分类的第一篇论文，随后，以Ｋ．Ｓｐａｒｋ，Ｇ． Ｓａｈｏｎ以及Ｋ．Ｓ．Ｊｏｎｅｓ等人为代表的众多学者也在这一领域进行了卓 有成效的研究工作。目前，国外的文本挖掘研究已经从实验性阶段进 入到实用化阶段．著名的文本挖掘工具有：ＩＢＭ的文本智能挖掘机［３１、 Ａｕｔｏｎｏｍｙ公司的ＣｏｎｃｅｐｔＡｇｅｎｔｓ、ＴｅｌＴｅｃｈ公司的ＴｅｌＴｅｃｈ等。 但是．国内正式引入文本挖掘的概念并开展针对中文的文本挖掘 研究是从近几年才开始的。目前看来。我国文本挖掘研究还处在消化 吸收国外相关的理论和技术与小规模实验阶段．瓶颈在于国内文本挖 掘处理的是汉语文本，在进行文本挖掘方法时必须适应汉语重“意合” 的特点，结合文本上下文来获取文本的完整“语义”。 ２．文本挖掘一般处理过程 文本挖掘过程由文本预处理、特征提取、文本分类、文本聚类等步 骤组成。图１给出了文本挖掘的一般处理过程。
ＭＯＶ
Ｐ０．Ａ
：显示温度个位值
ＣＬＲ
Ｐ３．２
ＳＥＴＢ
Ｐ３．Ｏ
ＳＥＴＢ
Ｐ３．１
ＳＥＴＢ
Ｐ２．３
ＬＣＡＩＪＩＪ ＹＳ４７２２Ｕ
ＭＯＶ
Ａ．＃０１０００ｌ １０Ｂ
ＭＯＶ ＣＬＲ
Ｐ０．Ａ Ｐ３．３
；显示温度符号
ＳＥＴＢ
Ｐ３．Ｏ
ＳＥＴＢ ＳＥＴＢ
Ｐ３．１ Ｐ３．２
ＬＣＡＬＬ Ｙ￥４７２２Ｕ
ＲＥＴ
；｝￥｝｝＃｝｝４ ８位共阳数码管显示器字型码表¨￥¨｛十｝十｝｝￥｝
作者简介：杨霞（１９７７～），女，硕士，主要研究方向为数据挖掘、中文信息处 理。
黄陈英（１９７５一），女，硕士，主要研究方向为数据处理、教育技术。
［责任编辑：张慧］
万方数据
文本挖掘综述
作者： 作者单位： 刊名：
英文刊名： 年，卷(期)： 引用次数：
杨霞， 黄陈英， YANG Xia， HUANG Chen-ying 乐山师范学院,四川,乐山,614004
（３）重复上述步骤，直至剩下一个簇为止。
而划分式聚类算法运行速度较快，但是必须事先确定的取值，且
种子选取的好坏对聚类结果有较大影响。两种算法各有所长，其中划
分式具有较高的执行效率，而层次化在算法上比较符合数据的特性。
能否结合两种聚类思想更有效的对文本聚类，还有待于进一步研究。
３．结语
（下转第９９页）
ＲＥ２０：
ＤＪＮＺ ＲＲＣ
Ｒ３。ＲＥ２０ Ａ
ＤＪＮＺ ＭＯＶ
Ｒ２，ＲＥ０１ ＠Ｒ１．Ａ
ＤＥＣ
Ｒ１
ＤＪＮＺ
Ｒ４，ＲＥ００
ＤＩＳＰ：
ＲＥＴ
显示子程序
ＭＯＶ
Ａ．２ＦＨ
ＭＯＶ ＲＲＣ
Ｃ．７０Ｈ Ａ
ＭＯＶ ＲＲＣ
Ｃ．７ｌＨ Ａ
ＭＯＶ ＲＲＣ
Ｃ．７２Ｈ Ａ
ＭＯＶ
Ｃ．７３Ｈ
ＲＲＣ
Ａ
ＭＯＶ
２ＦＨ．Ａ
ＭＯＶ ＭＯＶ
Ａ．２ＦＨ Ｂ．＃１０
聚类方法包括以ＢＩＲＣＨ等算法为代表的层次化聚类算法［５１和以ｋ— ｍｅａｎｓ等算法为代表的划分式聚类算法【日。
这里以层次化聚类算法为例，说明文本聚类的处理过程。
对于给定的文档集合Ｄ＝｛ｄｌ，．一，ｄ，，…，ｄ。）层次化聚类算法的具 体过程如下：
（１）将Ｄ中的每个文档ｄ；看作是一个具有单个成员的簇Ｃ；＝（ｄｉ），
科技信息
０ ＩＴ论坛ｏ
ＳＣＩＥＮＣＥ＆ＴＥＣＨＮＯＬＯＧＹ ＩＮＦＯＲＭＡＴＩＯＮ
２００９年第３３期
文本挖掘综述
杨霞黄陈英 （乐山师范学院 四川 乐山 ６１４００４）
【摘要】文本挖掘是对一个非结构化文本信息进行分析从而获取用户关心或感兴趣，有潜在实用价值知识的过程。本文首先介绍了文本 挖掘的定义和研究现状，之后文本挖掘一般处理过程，着力于文本分类和文本聚类的一般过程，最后展望了今后的研究目标。
ＳＧＴＢ：ＤＢ ＯＣＯＨ，ＯＦ９Ｈ，ＯＡ４Ｈ，ＯＢＯＨ，９９Ｈ，９２Ｈ，８２Ｈ，ＯＦ８Ｈ，８０Ｈ，９０Ｈ
ＤＢ ８８Ｈ，８３Ｈ，０Ｃ６Ｈ，ＯＡｌＨ，８６Ｈ，８ＥＨ，８９Ｈ，ＯＡ３Ｈ，８ＣＨ，ＯＣ８Ｈ
ＹＳ４７２２Ｕ：ＭＯＶ
Ｒ４＇彝１０；延时子程序
Ｙ３：
ＭＯＶ
Ｒ５，＃２１６
ＤＪＮＺ
Ｒ５，￥
ＤＪＮＺ
Ｒ４．Ｙ３
［３］蒋良孝，蔡之华．文本挖掘及其应用叨．现代计算机，２００３（２），３１． ４］Ｗｍｅｔ Ｐ．Ｒｅｃｅｎｔ ｔｒｅｎｄｓ ｉｎ ｈｉｅｒａｒｃｈｉｃａｌ ｄｏｃｕｍｅｎｔ ｃｌｕｓｔｅｒｉｎｇ：Ａ ｃｒｉｔｉｃａｌ ｒｅｖｉｅｗ ［Ｊ１．Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｍａｎａｇｅｍｅｎｔ，１９８８，２４：５７７—５９７． ［５］朱红灿，孟志青．一种基于ＳＯＭ和层次凝聚的中文文本聚类方法叨．电子学 报，２００５，２７（３）：３６－３８． ［６］任江涛，孙婧昊，施潇潇，黄焕宇，印鉴．一种用于文本聚类的改进的Ｋ均值 算法叨．计算机应用，２００６，２６（１）：７３—７５．
万方数据
科技信息
Ｏ ＩＴ论坛ｏ
ＳＣＩＥＮＣＥ＆ＴＥＣＨＮＯＬＯＧＹ ＩＮＦＯＲＭＡＴＩＯＮ
２００９年第３３期
ＷＲｌ
ＣＬＲ
Ｐ３．４
ＭＯＶ
Ｒ３．＃６
ＤＪＮＺ ＲＲＣ ＭＯＶ ＭＯＶ
Ｒ３．￥ Ａ Ｐ３．４，Ｃ Ｒ３搿２３
ＤＪＮＺ ＳＥＴＢ
Ｒ３，￥ Ｐ３．４
ＮＯＰ ＤＪＮＺ
Ｒ２．ＷＲｌ
ＳＥＴＢ
Ｐ３．４
ＲＥＴ
文本预处理
分词 特征提取
ｏ《
挖掘分析
文本结构分析 文本摘要 文本分类 文本聚类
图１ 文本挖掘过程图
常见的文本挖掘分析技术有：文本结构分析、文本摘要、文本分 类、文本聚类、文本关联分析、分布分析和趋势预测等。在这里主要介 绍文本分类与文本聚类：
２．１文本分类的处理过程 文本分类系统的任务是：在给定的分类体系下，根据文本的内容 自动地确定文本关联的类别。从数学角度来看，文本分类是一个映射 的过程。它将未标明类别的文本映射到已有的类别中，该映射可以是 一一映射，也可以是一对多的映射。因为通常一篇文本可以同多个类 别相关联。 文本分类是一种典型的有教师的机器学习问题，一般分为训练和 分类两个阶段，具体过程如下： 训练阶段： （１）获取训练文本集Ｓ＝（８ｌＩ．一，Ｓ∥一，Ｓ。｝：ｉＪｉｌ练文本集由一组经过 预处理的文本特征向量组成，每个训练文本（或称训练样本）有一个类
这些簇构成了Ｄ的一个聚类Ｃ＝（ｏｌ，．一，Ｃｉ，’‘，Ｃ。）；计算Ｃ中每对簇
（Ｃ。，Ｃ；）之间的相似度ｓｉｍ（ｄ。，ｅ，）；
（２）选取具有最大相似度的簇对ａｒｇｍａｘ（ｃ，，Ｃｊ），其中ｃ，，ｃ；∈Ｃ，并 将Ｃ；和ｃ．合并为一个新的簇Ｃ。＝ｃ．ｕＣ．，从而构成了Ｄ的一个新的聚类
Ｃ’＝｛。１，。一，ｃ．１）；
：～一从ＤＳｌ８８２０中读温度数据程序
ＲＥｌ８８２０：ＭＯＶ
Ｒ４．拌２
ＲＥ００：
ＭＯＶ ＭＯＶ
Ｒ１岸２ＦＨ Ｒ２．样８
ＲＥ０１：
ＣＬＲ ＳＥＴＢ
Ｃ Ｐ３．４
ＮＯＰ ＮＯＰ
ＣＬＲ
Ｐ３．４
ＮＯＰ ＮＯＰ
ＮＯＰ ＳＥＴＢ
Ｐ３．４
ＲＥｌ０：
ＭＯＶ ＤＪＮＺ ＭＯＶ ＭＯＶ
Ｒ３．＃０９ Ｒ３．ＲＥｌ０ Ｃ．Ｐ３．４ Ｒ３搿２３
【责任编辑：张艳芳］
（上接第８２页）文本挖掘是一个崭新的人工智能研究方向。近年 来研究人员提出了许多的理论和具体的挖掘算法，但还没形成统一的 理论体系，大部分的算法还不成熟，存在一定的缺陷，需要进一步的 研究和完善。随着文本挖掘技术的不断完善，其应用领域也会不断
增长。口
【参考文献】 ［１］Ｆｅｌｄｍａｎ Ｒ，Ｄａｇａｎ Ｉ．ＫＤＴ－－Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ｉｎ Ｔｅｘｔｕａｌ．Ｄａｔａｂａｓｅｓ［Ｃ】／／
ＲＥＴ
ＥＮＤｅ
【参考文献】 ［１］陈文芗．单片机原理与应用【Ｍ】．北京：机械工业出版社，２００１． ［２］卢艳军．单片机基本原理及应用系统【Ｍ】．北京：机械工业出版社，２００５． ［３］王庆利，袁建敏．单片机设计案例实践教程（ＭＪ．北京：北京邮电学院出版社，
２００８．
作者简介：晏文靖（１９８１一），女，汉族，湖南新化人，讲师，２００５年在南京邮 电学院计算机与科学技术系获硕士学位。主要研究方向为嵌入式系统软件开发 与网格计算。任职于无锡商业职业技术学院。
Ｏ．引言
数据挖掘（Ｄａｔａ Ｍｉｎｉｎｇ）。就是从大量数据中获取有效的、新颖的、 潜在有用的、最终可理解的模式的非平凡过程。数据挖掘，又称为数据 库中知识发现ＫＤＤ ｆＫｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ｉｎ Ｄａｔａｂａｓｅ），也有人把数据 挖掘视为数据库中知识发现过程的一个基本步骤。数据挖掘可以与用 户或知识库交互。