基于数据挖掘的中医药数据预处理方法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
１１）１
Ｉ ３）１ １４）ｗｈｉｌｅ（＋＋ｐ！＝ｎｕｌ）
圈１正交分解算法 由于药剂量为“少量”、“适量”的药一般起调节药口味、
滋补作用，为了更利于数据挖掘，减少分类的属性，先将此 类药品从方剂组成中删除，并不影响疗效，在数据挖掘之后，
将对方剂进行修正。经以上流程处理，表１中第１条记录的
方剂组成将变成如表２中的形式。
１９９２１０６１１１
解热；抗炎；感冒； 葛根２５０９；北豆根１５０９；自茅根ｌ ５０９；
上呼吸道感染；发 板兰根（板蓝根）２００９；薄荷１００９；白花
热；咽；喉
蛇舌草２５０９；红花５０９；蝉蜕５０９；生
石膏３５０９；芦根１５０９；金银花１００９
中药材有ｌ ０００ １ ２００余种，其中常用药材大约５００
Ｉ）ｓｔｒｉｎｇ＋＝Ｆｏｒｍｕｌａ；ｉ＝０：
２）ｄｏ｛
３）ｉｆ（＋ｐ＝＝’；’）｛ ４）ｓｔｒｉｎｇ ｐｆ＝本“；”与前一个“：”问的字符串 ５）ｉｆ（ｐｆＯ有数字字符）｛ ６）Ｍｅｄｉｃｉｎｅ＝ｐｆ中数字字符前的字符串 ７）Ｑｕａｎｔｉｔｙ＝ｐｆ中数字字符开始的字符串 ８）ｉｆ（‘（‘存在于Ｍｅｄｉｃｉｎｅ中） ９）Ｍ［ｉ］［Ｏ］＝Ｍｅｄｉｃｉｎｅ’（’前的字符串； １０）Ｍ【ｉ儿０１－Ｍｅｄｉｃｉｎｅ；Ｍ【ｉｊ【１］＝ｑｕａｎｔｉｔｙ；
叫＝—１ ０ｒ０“…（Ｗ—ｊｘｒ／—ｊ）
∑（Ｗｉｘｔｌｉ） ｌ
其中：ｉ，ｊ∈［１，ｎ］；ｏｊ为方剂中第Ｊ味药的相对药剂量； ｗｊ为准确数值后的第ｊ味药的药剂量； ｒｌｉ为第ｉ味药的有效成份含量系数；
一２８１—
２．２．５模糊化处理 经过以上的处理，中药名按顺序用编码表示，药剂量有
了一个合适的数值，但是各味药的药剂量是不同的，也就导 致了一个问题：药剂量形成了一连续的数值型变量。一方面， 不利于分类数据挖掘对药剂量的处理；另一方面，用某一味 药在某一方剂中的药剂量形成规则过于片面化，影响了规则 的质量。为此，我们借用模糊集理论，首先用ｋ一中心点聚 类方法从所有的药剂量中找到３个模糊区域的中心点，然后 用我们设计的隶属函数将每一味药的剂量转为模糊集，这样 既满足分类数据挖掘的要求又不失普遍性。
各步聚顺序是确定的，改变则会影响处理的结果。
’
（
Ｉ
方剂规范
Ｌ 化后数据
．
◆
①离散化数值
②异名处理 ③概化归约 ④ 药剂量加权 ⑤模糊化处理
圈２药搁量规范化步聚 ２．２．１离散化数值
该步骤设计为离散化处理表２中的药剂量。提取药剂量 中的数值信息，对其进行如下公式的计算：
ｆ药剂量； 若药剂量已经是离散型数值
（１）如何从长文本字段中分离出病症、药名及药剂量？
（２）为保证各属性含义唯一，如何处理“同药异名”问题？
（３）药剂量的数值和度量表示混乱，如何合理处理数值及
寻找一个科学的度量单位？
（４）为更好地实施分类，如何尽量减少一个方剂中的药味
数而又不影响结果正确性？
基金项目：国家“８６３”计划基金资助项目（２００２ＡＡ４１２０２０） 作者筒介：朱金伟（１９８１—），男，硕士，主研方向：数据挖掘；鞠时 光，教授、博导；辛燕，硕士、讲师， 收稿日期：２００５—１０—３０ Ｅ－ｍａｉｌ：ｗｅａｌｌｙ２６＠ｓｏｈｕ．ｃｏｒｎ
即对于同一记录，如果中药ａ∈ＳＵＢ，那么ａ与Ｎ同来源、
药性相当。通过对中药词典的检索，把专利数据中的药名分
别与中药词典中的正名与别名匹配，用该药物的编码来标识
药名，这样“同药异名”便得以解决，具体过程见图３中的
Ｍｅｒｇｅｒ算法。
１）读取一条Ｆｏｒｍｕｌａ信息； ２）ｆｏｒ ｅａｃｈ Ｍｉ∈Ｆｏｒｍｕｌａ，将Ｍｉ分别与中药 词典中的中文正名、别名、子类药集进行匹配； ｉｆ Ｍｉ＝ＮＪ则Ｍｉ＝ＩＤｊ；ｉｆ Ｍｉ∈ＢＫ则Ｍｉ＝ＩＤｘ； ｉｆＭｉ∈ＳＵＢＬ则Ｍｉ＝ＩＤＬ； ３）合并方剂中同一味药的剂量， ｉｆＭｉ＝Ｍｊ则Ｗｉ＝Ｗｉ＋Ｗｊ，清除Ｍｊ与ｗｊ； ４）Ｆｏｒｍｕｌａ’按Ｍｉ的编码顺序进行快速排序；
万方数据
风俗习惯等，可能会产生多种别名，因此，同一中药在不同
医学工作者的单方中可能以不同的名称出现，我们的专利数
据库是手工录入的，于是存有“同药异名”的数据。
为了解决此问题，引入了“中药词典”这一映射表。中
药词典所包含的内容如表３所示。
表３中药词兵
编码（ＩＤ）
Ｚ７２
中文正名 ｆＮ）
薄荷
别名（Ｂ）
蕃荷菜，升阳菜，
在我们的数据中，药剂量是以质量为衡量的，我们的挖 掘结果最终还是要体现在药效上。然而中药的药性比较复杂， 全面考虑有四气和五味、归经、升降沉浮及有毒、无毒等方 面，均对药效产生了影响。为了得出的结果更合理，我们将 每味药的有效成份含量系数与药质量相乘的结果作为药剂 量，对药剂量进行了修正，更准确地从数值上体现药效。最 后，为符合数据挖掘的需求，用方剂中药的百分含量来代替 药剂量，计算公式如下：
（１）治疗疾病、方剂组成属性均为长文本格式，文本内用”；”分 隔，含量随药名之后。
（２）由于中草药的分布范围较广，同一中草药不同地域的名称不 同，造成了“同药异名”的结果。
（３）药剂量有离散型（如２５０９），有连续型（如３１．１０％～５７．７０％）， 还有模糊型（如适量、少量）以及无药剂量；药剂量的度量有质量、百
万方数据
分比、份数以及只有数值无单位。 表Ｉ愿始中药专科羹据
专利号（ＡＰ）
治疗病症（Ｔｈｅｆ）
方剂组成（Ｆｏｒｍｕｌａ）
１９９３１１０２１９
盛冒；流感；
大青叶３１．１０一５７．７０％；双花（金银
流行性腮腺炎
花）１５ ４－２８ ６％；羌活７．７－１４．３％；大黄
７ ７－１４．３％；拳参７．７—１４－３％
圈３Ｍｅｒｇｅｒ算法 ２．２．３概化归约
方剂组成中存在的多药一来源问题，无疑会加重数据挖 掘的负担，因此我们采用了数据归约技术，得到数据集的压 缩表示，它比源数据集小得多，但仍然保持原数据的完整性， 这样在归约的数据集上挖掘将更有效，并能产生相同或几乎 相同的分析结果。
我们设计了Ｍｅｒｇｅｒ算法检索中药词典实现了异名处理 和归约处理。设经离散化数值处理后的方剂Ｆｏｒｍｕｌａ中共有 ｎ味药，方剂组成为（Ｍｉ，Ｗｉｌ ｌ＜ｉ＜ｎ），其中Ｍｉ是某一味药的 药名，Ｗｉ是该药对应的离散化过的药剂量值。算法如下： ２．２．４药剂量加权
６００种Ｈ】。方剂组成中存在多药一来源，如“薄荷油”、“薄荷
Baidu Nhomakorabea
梗”、“薄荷叶”同源于“薄荷”，药性相当。 用于实施分类数据挖掘的事务数据库需具备以下２个
条件：
条件１ 事务中各项（方剂中的中药名）的含义唯一，即若
Ｉｍ＝Ｉｎ当且仅当ｍ＝ｎ；
条件２事务中的项（中药名）按字典次序排序。
中药数据的特点给数据挖掘带来的问题有：
第３２卷 第１５期
Ｖｂｌ．３２
№ｌＳ
·开发研究与设计技术·
计算机工程
Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ 文章编号ｔ １０００－－３４２８（２００６）１５－－０２８０－－－０３
媳标识码ｔ Ａ
２００６年８月
Ａｕｇｕｓｔ ２００６
中田分类号ｔ ＴＰ２７４＋．２
基于数据挖掘的中医药数据预处理方法
朱金伟，鞠时光，辛燕
药剂量２ １～ｍｉ—ｎ＝＋ｍ—ａ～ｘ：若药剂量为连续型数值，表示为【ＩＩＩｉｎ，“ｍ。１
舍弃数值后面的单位（如ｇ、ｋｇ、份、％），用一无单位的 确定数值表示药剂量，如表２中“大青叶”的药剂量“３１．１０％－。 ５７．７０％”，经处理后为“４４．４”。 ２．２．２异名处理
对于同一种中药，随着时代的变迁，不同的地理环境、
（江苏大学计算机学院，镇江２１２０１３）
摘要：中药文化的地区差异带来了中医药数据的众多不确定性，为解决基于数据挖掘的新药研制决策支持系统的数据问题，提出了一套 规范原始中医药数据的处理方法。应用了数据归约技术、聚类的方法、模糊集理论改进了中医药数据的质量，使得在预处理后的中药方剂 数据库中成功挖掘出重要规则，为研制中药新药提供了有力的决策支持。 关奠诃：数据预处理；数据挖掘；数据归约；模糊集；隶属函数
中药专利数据库是建设知识发现系统的基础，如何在其 上进行有效的数据挖掘是工作的关键。而数据挖掘对数据的 要求比较高，因此数据预处理便至关重要。根据统计，在一 个完整的数据挖掘过程中，数据预处理要花费６０％左右的时 间，而后的挖掘工作仅占总工作量的１０％左右…。由于中医 药历史悠久，再加之我国幅员辽阔，形成了地域性的中医药 文化，带来了数据的不完整性、不一致性、异常等，加大了 数据预处理的难度。
Ｄａｔａ Ｍｉｎｉｎｇ Ｂａｓｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｐｒｅｐｒｏｃｅｓｓｉｎｇ ＴＣＭ Ｄａｔａ Ｓｅｔ
ＺＨＵ Ｊｉｎｗｅｉ，ＪＵ Ｓｈｉｇｕａｎｇ，ＸＩＮ Ｙａｎ （Ｃｏｍｐｕｔｅｒ Ｓｃｈｏｏｌ，Ｊｉａｎｇｓｕ Ｕｎｉｖｅｒｓｉｔｙ，Ｚｈｅｎｊｉａｎｇ ２１２０１３）
［Ａｂｓｔｒａｃｔ］Ｒｅｇｉｏｎ’Ｓ ｄｉｆｆｅｒｅｎｃｅｓ ｏｆ ＴＣＭ’Ｓ ｃｕｌｔｕｒｅ ｌｅａｄ ｔｏ ｍｕｃｈ ｕｎｃｅｒｔａｉｎｔｙ ｉｎ ＴＣＭ，ｔｏ ｓｏｌｖｅ ｔｈｅ ｄａｔａ ｐｒｏｂｌｅｍ ｏｆ ｄｅｃｉｓｉｏｎ ｓｕｐｐｏｒｔ ｓｙｓｔｅｍ ｆｏｒ ｎｅｗ ｍｅｄｉｃｉｎｅ ｄｅｖｅｌｏｐｍｅｎｔ ｂａｓｅｄ ｏｎ ｄａｔａ ｍｉｎｉｎｇ，ａ ｓｅｒｉｅｓ ｏｆ ｐｒｏｃｅｓｓｉｎｇ ｍｅｔｈｏｄｓ ｔＯ ｓｔａｎｄａｒｄｉｚｅ ｔｈｅ ｏｒｉｇｉｎａｌ ＴＣＭ ｄａｔａ ａｒｅ ｐｒｏｐｏｓｅｄ．Ｄａｔａ ｒｅｄｕｃｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ，ｃｌｕｓｔｅｒｉｎｇ ａｎａｌｙｓｉｓ ａｎｄ ｆｕｚｚｙ ｓｅｔ ｔｈｅｏｒｙ ａｒｅ ａｐｐｌｉｅｄ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｑｕａｌｉｔｙ ｏｆ ＴＣＭ ｄａｔａ．ｇｅｔｔｉｎｇ ｉｍｐｏｒｔａｎｔ ｒｕｌｅｓ ｆｒｏｍ ｔｈｅ ｐｒｅｐｒｏｃｅｓｓｅｄ ＴＣＭ ｄａｔａｂａｓｅ，ａｎｄ ｐｒｏｖｉｄｉｎｇ ｐｏｗｅｒｆｕｌ ｄｅｃｉｓｉｏｎ ｓｕｐｐｏｒｔ ｆｏｒ ｅｘｐｌｏｒｉｎｇ ｎｅｗ ｍｅｄｉｃｉｎｅ．
子类药集 （ＳＵＢ）
薄荷梗，薄荷叶，薄荷露， 薄荷油，…
Ｚ８６９ 朱砂根
山豆根，地杨梅， 浪伞根，… 朱砂根叶，矮茎朱 砂根，…
中药词典中收录了现有的国家标准中药材，列出了中药
的唯一索引编码、中文正名以及该味中药的别名和子类药集。
一味中药的多个另Ｕ名，均以列入于别名（Ｂ）属性；子类药集
（ＳＵＢ）属性则使“多药一来源”现象可以在词典中得到查询，
裹２经方嗣规范化后蒙曩形式
ＡＰ
Ｚ２１５
ｚ５“
Ｚ３２６
ｚ１８７
Ｚ４５９
１９９３１ １０２１９ Ｉｏ ２９Ｍ＋０．７１ＨＩ Ｍ １０ ７１Ｌ＋ｏ．２９ＭＩｏ．７１Ｌ＋０．２９ＭＩｏ．７１Ｌ＋０．２９Ｍｌ
２．２萄剂量规范化
为实现数值型的数据挖掘，我们设计了一系列药剂量的 处理方法来继续处理“方剂组成”信息，步聚如图２所示。
针对以上问题，采用聚类的方法、数据归约技术、模糊 集理论等给出了一套适合中医药数据特点的预处理方法，再 通过数据挖掘得到了有用规则，为新药研制提供决策支持。
ｌ中药数据特点
中药专利数据共有２万多条记录，每一条记录包含专利 号、专利名称、发明人、发明人所在地、治疗病症、方剂组 成等属性。从中抽取出感兴趣的属性，数据的格式如表１所 示。从表中可以发现中医药数据的特点：
２中药数据顶处理
为解决上述问题，顺利对中医药数据进行分类数据挖掘， 我们提出了相应的一套预处理方法，分为３大步：（１）方剂规 范化；（２）药剂量规范化；（３）病症分离。 ２．１方荆规范化
方剂规范化主要完成方剂组成正交分解和消除冗余的处 理。属性“方剂组成”是一个长文本类型的字段，由一些无 规则的数据组成，不利于数据挖掘的进行，因此，须对其进 行正交分解，将每一味中药及其剂量分别存放，将“（）”中 的异名消除，以及清除不重要药名消息。具体操作如图１。
｜Ｋｅｙ ｗｏｒｄｓ｜Ｄａｔａ ｐｒｅｐｒｏｃｅｓｓｉｎｇ；Ｄａｔａ ｍｉｎｉｎｇ；Ｄａｔａ ｒｅｄｕｃｔｉｏｎ；Ｆｕｚｚｙ ｓｅｔ；Ｍｅｍｂｅｒｓｈｉｐ ｆｕｎｃｔｉｏｎ
经过上千年的发展和积累了丰富的经验，中医药成了我 国的国粹。国家对中医药信息化的重视，已经建成和完善了 大量的中医药数据库。为充分利用这些珍贵的中药专利数据， 我们已经初步设计了基于数据挖掘的新药研制决策支持系 统，从数据中提取有价值的规则信息，以期打破中医药数据 堆积而信息贫乏的局面，为新药的研制提供智能决策支持， 促进中医药事业的发展。
Ｉ ３）１ １４）ｗｈｉｌｅ（＋＋ｐ！＝ｎｕｌ）
圈１正交分解算法 由于药剂量为“少量”、“适量”的药一般起调节药口味、
滋补作用，为了更利于数据挖掘，减少分类的属性，先将此 类药品从方剂组成中删除，并不影响疗效，在数据挖掘之后，
将对方剂进行修正。经以上流程处理，表１中第１条记录的
方剂组成将变成如表２中的形式。
１９９２１０６１１１
解热；抗炎；感冒； 葛根２５０９；北豆根１５０９；自茅根ｌ ５０９；
上呼吸道感染；发 板兰根（板蓝根）２００９；薄荷１００９；白花
热；咽；喉
蛇舌草２５０９；红花５０９；蝉蜕５０９；生
石膏３５０９；芦根１５０９；金银花１００９
中药材有ｌ ０００ １ ２００余种，其中常用药材大约５００
Ｉ）ｓｔｒｉｎｇ＋＝Ｆｏｒｍｕｌａ；ｉ＝０：
２）ｄｏ｛
３）ｉｆ（＋ｐ＝＝’；’）｛ ４）ｓｔｒｉｎｇ ｐｆ＝本“；”与前一个“：”问的字符串 ５）ｉｆ（ｐｆＯ有数字字符）｛ ６）Ｍｅｄｉｃｉｎｅ＝ｐｆ中数字字符前的字符串 ７）Ｑｕａｎｔｉｔｙ＝ｐｆ中数字字符开始的字符串 ８）ｉｆ（‘（‘存在于Ｍｅｄｉｃｉｎｅ中） ９）Ｍ［ｉ］［Ｏ］＝Ｍｅｄｉｃｉｎｅ’（’前的字符串； １０）Ｍ【ｉ儿０１－Ｍｅｄｉｃｉｎｅ；Ｍ【ｉｊ【１］＝ｑｕａｎｔｉｔｙ；
叫＝—１ ０ｒ０“…（Ｗ—ｊｘｒ／—ｊ）
∑（Ｗｉｘｔｌｉ） ｌ
其中：ｉ，ｊ∈［１，ｎ］；ｏｊ为方剂中第Ｊ味药的相对药剂量； ｗｊ为准确数值后的第ｊ味药的药剂量； ｒｌｉ为第ｉ味药的有效成份含量系数；
一２８１—
２．２．５模糊化处理 经过以上的处理，中药名按顺序用编码表示，药剂量有
了一个合适的数值，但是各味药的药剂量是不同的，也就导 致了一个问题：药剂量形成了一连续的数值型变量。一方面， 不利于分类数据挖掘对药剂量的处理；另一方面，用某一味 药在某一方剂中的药剂量形成规则过于片面化，影响了规则 的质量。为此，我们借用模糊集理论，首先用ｋ一中心点聚 类方法从所有的药剂量中找到３个模糊区域的中心点，然后 用我们设计的隶属函数将每一味药的剂量转为模糊集，这样 既满足分类数据挖掘的要求又不失普遍性。
各步聚顺序是确定的，改变则会影响处理的结果。
’
（
Ｉ
方剂规范
Ｌ 化后数据
．
◆
①离散化数值
②异名处理 ③概化归约 ④ 药剂量加权 ⑤模糊化处理
圈２药搁量规范化步聚 ２．２．１离散化数值
该步骤设计为离散化处理表２中的药剂量。提取药剂量 中的数值信息，对其进行如下公式的计算：
ｆ药剂量； 若药剂量已经是离散型数值
（１）如何从长文本字段中分离出病症、药名及药剂量？
（２）为保证各属性含义唯一，如何处理“同药异名”问题？
（３）药剂量的数值和度量表示混乱，如何合理处理数值及
寻找一个科学的度量单位？
（４）为更好地实施分类，如何尽量减少一个方剂中的药味
数而又不影响结果正确性？
基金项目：国家“８６３”计划基金资助项目（２００２ＡＡ４１２０２０） 作者筒介：朱金伟（１９８１—），男，硕士，主研方向：数据挖掘；鞠时 光，教授、博导；辛燕，硕士、讲师， 收稿日期：２００５—１０—３０ Ｅ－ｍａｉｌ：ｗｅａｌｌｙ２６＠ｓｏｈｕ．ｃｏｒｎ
即对于同一记录，如果中药ａ∈ＳＵＢ，那么ａ与Ｎ同来源、
药性相当。通过对中药词典的检索，把专利数据中的药名分
别与中药词典中的正名与别名匹配，用该药物的编码来标识
药名，这样“同药异名”便得以解决，具体过程见图３中的
Ｍｅｒｇｅｒ算法。
１）读取一条Ｆｏｒｍｕｌａ信息； ２）ｆｏｒ ｅａｃｈ Ｍｉ∈Ｆｏｒｍｕｌａ，将Ｍｉ分别与中药 词典中的中文正名、别名、子类药集进行匹配； ｉｆ Ｍｉ＝ＮＪ则Ｍｉ＝ＩＤｊ；ｉｆ Ｍｉ∈ＢＫ则Ｍｉ＝ＩＤｘ； ｉｆＭｉ∈ＳＵＢＬ则Ｍｉ＝ＩＤＬ； ３）合并方剂中同一味药的剂量， ｉｆＭｉ＝Ｍｊ则Ｗｉ＝Ｗｉ＋Ｗｊ，清除Ｍｊ与ｗｊ； ４）Ｆｏｒｍｕｌａ’按Ｍｉ的编码顺序进行快速排序；
万方数据
风俗习惯等，可能会产生多种别名，因此，同一中药在不同
医学工作者的单方中可能以不同的名称出现，我们的专利数
据库是手工录入的，于是存有“同药异名”的数据。
为了解决此问题，引入了“中药词典”这一映射表。中
药词典所包含的内容如表３所示。
表３中药词兵
编码（ＩＤ）
Ｚ７２
中文正名 ｆＮ）
薄荷
别名（Ｂ）
蕃荷菜，升阳菜，
在我们的数据中，药剂量是以质量为衡量的，我们的挖 掘结果最终还是要体现在药效上。然而中药的药性比较复杂， 全面考虑有四气和五味、归经、升降沉浮及有毒、无毒等方 面，均对药效产生了影响。为了得出的结果更合理，我们将 每味药的有效成份含量系数与药质量相乘的结果作为药剂 量，对药剂量进行了修正，更准确地从数值上体现药效。最 后，为符合数据挖掘的需求，用方剂中药的百分含量来代替 药剂量，计算公式如下：
（１）治疗疾病、方剂组成属性均为长文本格式，文本内用”；”分 隔，含量随药名之后。
（２）由于中草药的分布范围较广，同一中草药不同地域的名称不 同，造成了“同药异名”的结果。
（３）药剂量有离散型（如２５０９），有连续型（如３１．１０％～５７．７０％）， 还有模糊型（如适量、少量）以及无药剂量；药剂量的度量有质量、百
万方数据
分比、份数以及只有数值无单位。 表Ｉ愿始中药专科羹据
专利号（ＡＰ）
治疗病症（Ｔｈｅｆ）
方剂组成（Ｆｏｒｍｕｌａ）
１９９３１１０２１９
盛冒；流感；
大青叶３１．１０一５７．７０％；双花（金银
流行性腮腺炎
花）１５ ４－２８ ６％；羌活７．７－１４．３％；大黄
７ ７－１４．３％；拳参７．７—１４－３％
圈３Ｍｅｒｇｅｒ算法 ２．２．３概化归约
方剂组成中存在的多药一来源问题，无疑会加重数据挖 掘的负担，因此我们采用了数据归约技术，得到数据集的压 缩表示，它比源数据集小得多，但仍然保持原数据的完整性， 这样在归约的数据集上挖掘将更有效，并能产生相同或几乎 相同的分析结果。
我们设计了Ｍｅｒｇｅｒ算法检索中药词典实现了异名处理 和归约处理。设经离散化数值处理后的方剂Ｆｏｒｍｕｌａ中共有 ｎ味药，方剂组成为（Ｍｉ，Ｗｉｌ ｌ＜ｉ＜ｎ），其中Ｍｉ是某一味药的 药名，Ｗｉ是该药对应的离散化过的药剂量值。算法如下： ２．２．４药剂量加权
６００种Ｈ】。方剂组成中存在多药一来源，如“薄荷油”、“薄荷
Baidu Nhomakorabea
梗”、“薄荷叶”同源于“薄荷”，药性相当。 用于实施分类数据挖掘的事务数据库需具备以下２个
条件：
条件１ 事务中各项（方剂中的中药名）的含义唯一，即若
Ｉｍ＝Ｉｎ当且仅当ｍ＝ｎ；
条件２事务中的项（中药名）按字典次序排序。
中药数据的特点给数据挖掘带来的问题有：
第３２卷 第１５期
Ｖｂｌ．３２
№ｌＳ
·开发研究与设计技术·
计算机工程
Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ 文章编号ｔ １０００－－３４２８（２００６）１５－－０２８０－－－０３
媳标识码ｔ Ａ
２００６年８月
Ａｕｇｕｓｔ ２００６
中田分类号ｔ ＴＰ２７４＋．２
基于数据挖掘的中医药数据预处理方法
朱金伟，鞠时光，辛燕
药剂量２ １～ｍｉ—ｎ＝＋ｍ—ａ～ｘ：若药剂量为连续型数值，表示为【ＩＩＩｉｎ，“ｍ。１
舍弃数值后面的单位（如ｇ、ｋｇ、份、％），用一无单位的 确定数值表示药剂量，如表２中“大青叶”的药剂量“３１．１０％－。 ５７．７０％”，经处理后为“４４．４”。 ２．２．２异名处理
对于同一种中药，随着时代的变迁，不同的地理环境、
（江苏大学计算机学院，镇江２１２０１３）
摘要：中药文化的地区差异带来了中医药数据的众多不确定性，为解决基于数据挖掘的新药研制决策支持系统的数据问题，提出了一套 规范原始中医药数据的处理方法。应用了数据归约技术、聚类的方法、模糊集理论改进了中医药数据的质量，使得在预处理后的中药方剂 数据库中成功挖掘出重要规则，为研制中药新药提供了有力的决策支持。 关奠诃：数据预处理；数据挖掘；数据归约；模糊集；隶属函数
中药专利数据库是建设知识发现系统的基础，如何在其 上进行有效的数据挖掘是工作的关键。而数据挖掘对数据的 要求比较高，因此数据预处理便至关重要。根据统计，在一 个完整的数据挖掘过程中，数据预处理要花费６０％左右的时 间，而后的挖掘工作仅占总工作量的１０％左右…。由于中医 药历史悠久，再加之我国幅员辽阔，形成了地域性的中医药 文化，带来了数据的不完整性、不一致性、异常等，加大了 数据预处理的难度。
Ｄａｔａ Ｍｉｎｉｎｇ Ｂａｓｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｐｒｅｐｒｏｃｅｓｓｉｎｇ ＴＣＭ Ｄａｔａ Ｓｅｔ
ＺＨＵ Ｊｉｎｗｅｉ，ＪＵ Ｓｈｉｇｕａｎｇ，ＸＩＮ Ｙａｎ （Ｃｏｍｐｕｔｅｒ Ｓｃｈｏｏｌ，Ｊｉａｎｇｓｕ Ｕｎｉｖｅｒｓｉｔｙ，Ｚｈｅｎｊｉａｎｇ ２１２０１３）
［Ａｂｓｔｒａｃｔ］Ｒｅｇｉｏｎ’Ｓ ｄｉｆｆｅｒｅｎｃｅｓ ｏｆ ＴＣＭ’Ｓ ｃｕｌｔｕｒｅ ｌｅａｄ ｔｏ ｍｕｃｈ ｕｎｃｅｒｔａｉｎｔｙ ｉｎ ＴＣＭ，ｔｏ ｓｏｌｖｅ ｔｈｅ ｄａｔａ ｐｒｏｂｌｅｍ ｏｆ ｄｅｃｉｓｉｏｎ ｓｕｐｐｏｒｔ ｓｙｓｔｅｍ ｆｏｒ ｎｅｗ ｍｅｄｉｃｉｎｅ ｄｅｖｅｌｏｐｍｅｎｔ ｂａｓｅｄ ｏｎ ｄａｔａ ｍｉｎｉｎｇ，ａ ｓｅｒｉｅｓ ｏｆ ｐｒｏｃｅｓｓｉｎｇ ｍｅｔｈｏｄｓ ｔＯ ｓｔａｎｄａｒｄｉｚｅ ｔｈｅ ｏｒｉｇｉｎａｌ ＴＣＭ ｄａｔａ ａｒｅ ｐｒｏｐｏｓｅｄ．Ｄａｔａ ｒｅｄｕｃｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ，ｃｌｕｓｔｅｒｉｎｇ ａｎａｌｙｓｉｓ ａｎｄ ｆｕｚｚｙ ｓｅｔ ｔｈｅｏｒｙ ａｒｅ ａｐｐｌｉｅｄ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｑｕａｌｉｔｙ ｏｆ ＴＣＭ ｄａｔａ．ｇｅｔｔｉｎｇ ｉｍｐｏｒｔａｎｔ ｒｕｌｅｓ ｆｒｏｍ ｔｈｅ ｐｒｅｐｒｏｃｅｓｓｅｄ ＴＣＭ ｄａｔａｂａｓｅ，ａｎｄ ｐｒｏｖｉｄｉｎｇ ｐｏｗｅｒｆｕｌ ｄｅｃｉｓｉｏｎ ｓｕｐｐｏｒｔ ｆｏｒ ｅｘｐｌｏｒｉｎｇ ｎｅｗ ｍｅｄｉｃｉｎｅ．
子类药集 （ＳＵＢ）
薄荷梗，薄荷叶，薄荷露， 薄荷油，…
Ｚ８６９ 朱砂根
山豆根，地杨梅， 浪伞根，… 朱砂根叶，矮茎朱 砂根，…
中药词典中收录了现有的国家标准中药材，列出了中药
的唯一索引编码、中文正名以及该味中药的别名和子类药集。
一味中药的多个另Ｕ名，均以列入于别名（Ｂ）属性；子类药集
（ＳＵＢ）属性则使“多药一来源”现象可以在词典中得到查询，
裹２经方嗣规范化后蒙曩形式
ＡＰ
Ｚ２１５
ｚ５“
Ｚ３２６
ｚ１８７
Ｚ４５９
１９９３１ １０２１９ Ｉｏ ２９Ｍ＋０．７１ＨＩ Ｍ １０ ７１Ｌ＋ｏ．２９ＭＩｏ．７１Ｌ＋０．２９ＭＩｏ．７１Ｌ＋０．２９Ｍｌ
２．２萄剂量规范化
为实现数值型的数据挖掘，我们设计了一系列药剂量的 处理方法来继续处理“方剂组成”信息，步聚如图２所示。
针对以上问题，采用聚类的方法、数据归约技术、模糊 集理论等给出了一套适合中医药数据特点的预处理方法，再 通过数据挖掘得到了有用规则，为新药研制提供决策支持。
ｌ中药数据特点
中药专利数据共有２万多条记录，每一条记录包含专利 号、专利名称、发明人、发明人所在地、治疗病症、方剂组 成等属性。从中抽取出感兴趣的属性，数据的格式如表１所 示。从表中可以发现中医药数据的特点：
２中药数据顶处理
为解决上述问题，顺利对中医药数据进行分类数据挖掘， 我们提出了相应的一套预处理方法，分为３大步：（１）方剂规 范化；（２）药剂量规范化；（３）病症分离。 ２．１方荆规范化
方剂规范化主要完成方剂组成正交分解和消除冗余的处 理。属性“方剂组成”是一个长文本类型的字段，由一些无 规则的数据组成，不利于数据挖掘的进行，因此，须对其进 行正交分解，将每一味中药及其剂量分别存放，将“（）”中 的异名消除，以及清除不重要药名消息。具体操作如图１。
｜Ｋｅｙ ｗｏｒｄｓ｜Ｄａｔａ ｐｒｅｐｒｏｃｅｓｓｉｎｇ；Ｄａｔａ ｍｉｎｉｎｇ；Ｄａｔａ ｒｅｄｕｃｔｉｏｎ；Ｆｕｚｚｙ ｓｅｔ；Ｍｅｍｂｅｒｓｈｉｐ ｆｕｎｃｔｉｏｎ
经过上千年的发展和积累了丰富的经验，中医药成了我 国的国粹。国家对中医药信息化的重视，已经建成和完善了 大量的中医药数据库。为充分利用这些珍贵的中药专利数据， 我们已经初步设计了基于数据挖掘的新药研制决策支持系 统，从数据中提取有价值的规则信息，以期打破中医药数据 堆积而信息贫乏的局面，为新药的研制提供智能决策支持， 促进中医药事业的发展。