满足均匀分布的不确定数据关联规则挖掘算法_陈爱东

合集下载

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

首先依据泛化值之间可能的相交或包含关系将泛化值进行分层聚类为了保存与不确定数据集挖掘相关的重要信息给出了构建不确定频繁模式树的算法在此基础上提出了频繁项集挖掘子算法dataminingalgorithmforuncertainfrequentitemsetsufidm和关联规则生成子算法algorithmforgeneratingassociationrulesgar分别用于挖掘频繁项集和生成关联规则最后通过理论分析和实验比对论证了算法的可行性和有效性
Ａｂｓｔｒａｃｔｌｏｕｄｃｏｍｕｔｉｎｒｏｖｉｄｅｓａｄｉｓｌａａｎｄｓｈａｒｉｎｌａｔｆｏｒｍｆｏｒｂｉｄａｔａ．ＤａｔａｏｆｔｅｎｃｏｎｔａｉｎｓＣｐｇｐｐｙｇｐｇｒｅｖｅｎｔａｒｔｉｆｉｃｉａｌｕｎｃｅｒｔａｉｎｔｉｎｏｒｄｅｒｔｏｔｈｅｉｎｆｏｒｍａｔｉｏｎｄｉｓｃｌｏｓｕｒｅ．Ｈｏｗｔｏｍｉｎｅｔｈｅｕｎｃｅｒｔａｉｎｄａｔａｉｓｐｙｒｏｂｌｅｍｕｒｅｎｔｔｏｂｅｓｏｌｖｅｄｉｎｄａｔａｓｈａｒｉｎ．Ｔｈｅｕｎｃｅｒｔａｉｎｂｉｄａｔａｆｏｒｓｈａｒｉｎａｃｈｉｅｖｅｓｕｎｉｆｏｒｍａｎｐｇｇｇｇ，ｄｉｓｔｒｉｂｕｔｅｄｃｈａｒａｃｔｅｒｉｓｔｉｃｔｈｒｏｕｈｄａｔａｔｈｉｓｃｈａｒａｃｔｅｒｉｓｔｉｃｉｓｎｏｔｃｏｎｄｕｃｉｖｅｔｏｅｎｅｒａｌｉｚｉｎｒｅｃｉｓｅｇｇｇｐ，ｗ，ｈｅｒｅａｓｉｔｉｓｃｏｎｖｅｎｉｅｎｔｆｏｒａｓｓｏｃｉａｔｉｏｎｒｕｌｅｓｍｉｎｉｎ．Ｆｉｒｓｔｏｆａｌｌｔｈｅｒｅｃｉｓｅｕｅｒｅｎｅｒａｌｉｚａｔｉｏｎｇｐｑｙｇａｒｅｅｘａｍｉｎｅｄｗｉｔｈｈｉｅｒａｒｃｈｉｃａｌｃｌｕｓｔｅｒｉｎｂａｓｅｄｏｎｔｈｅｉｎｔｅｒｓｅｃｔｉｏｎｏｒｃｏｎｔａｉｎｍｅｎｔｒｏｂａｂｌｅｖａｌｕｅｓｇｐ，ｒｅｌａｔｉｏｎｓｈｉＴｈｅｎａｎｕｎｃｅｒｔａｉｎｆｒｅｕｅｎｔｔｒｅｅｉｓｃｏｎｓｔｒｕｃｔｅｄｔｏｓａｖｅｉｍｏｒｔａｎｔｉｎｆｏｒｍａｔｉｏｎａｔｔｅｒｎｐ．ｑｐｐ，ｔｏｕｎｃｅｒｔａｉｎｄａｔａｓｅｔｍｉｎｉｎ．ＮｅｘｔｔｈｅＵＦＩｓｕＲｓｕｂａｌｏｒｉｔｈｍａｒｅｒｅｌａｔｅｄ－ＤＭ－－ｇｇｇｒｏｏｓｅｄｗｉｔｈｔｈｅｆｏｒｍｅｒｕｓｅｄｆｏｒｍｉｎｉｎｆｒｅｕｅｎｔｉｔｅｍ－ｓｅｔｓｗｈｉｌｅｔｈｅｌａｔｔｅｒｕｓｅｄｆｏｒｅｎｅｒａｔｉｎｐｐｇｑｇｇ，ａｓｓｏｃｉａｔｉｏｎｒｕｌｅｓ．Ｌａｓｔｂｕｔｎｏｔｌｅａｓｔｗｅｄｅｍｏｎｓｔｒａｔｅｔｈｅｆｅａｓｉｂｉｌｉｔａｎｄｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅａｌｏｒｉｔｈｍｙｇｔｈｅｃｏｍａｒｉｓｏｎｏｆｔｈｅｏｒｅｔｉｃａｌａｎａｌｓｉｓａｎｄｅｘｅｒｉｍｅｎｔ．ｗｉｔｈｐｙｐ；ｕ；ｄ；；Ｋｅｗｏｒｄｓｂｉｄａｔａｎｉｆｏｒｍｄｉｓｔｒｉｂｕｔｅｄｕｎｃｅｒｔａｉｎｄａｔａａｔａｍｉｎｉｎａｓｓｏｃｉａｔｉｏｎｒｕｌｅｓｆｒｅｕｅｎｔｇｇｑｙｉｔｅｍｓｅｔｓ－为了防止隐私泄露，这些数据中往往包含人为添加摘要云计算为大数据提供了展示和共享的平台．的不确定因素，如何挖掘这些不确定数据是大数据共享亟待解决的问题．在用于共享的大数据中，不确定数据通过对精确数据的泛化处理来实现，具有均匀分布特性，这一特性不利于精确查询，但可为关联规则的挖掘提供便利条件．首先，依据泛化值之间可能的相交或包含关系，将泛化值进行分层聚类，为了保存与不确定数据集挖掘相关的重要信息，给出了构建不确定频繁模式树的算法，在此基础上，提出了，Ｕ频繁项集挖掘子算法（和关联规则生ｄａｔａｍｉｎｉｎａｌｏｒｉｔｈｍｆｏｒｕｎｃｅｒｔａｉｎｆｒｅｕｅｎｔｉｔｅｍｓｅｔｓＦＩ－－ＤＭ）ｇｇｑ，，成子算法（分别用于挖掘频繁项集和生成关联规则，ａｌｏｒｉｔｈｍｆｏｒａｓｓｏｃｉａｔｉｏｎｒｕｌｅｓＧＡＲ）ｅｎｅｒａｔｉｎｇｇｇ最后，通过理论分析和实验比对，论证了算法的可行性和有效性．均匀分布不确定数据；数据挖掘；关联规则；频繁项集关键词大数据；
［］２３－
２不确定频繁模式树
本文中关联规则的表示形式为Ｘ称Ｘ对应Ｙ，，集）为泛化标识符（的属性（ｅｎｅｒａｌｉｚａｔｉｏｎｉｄｅｎｔｉｆｉｅｒｇ），集）为敏感属性．设Ｉ＝｛ＧＩＹ对应的属性（ＩＩ＝１，２｝｛ …，表示项的集合，其中ＩｘｘＩ中项的１，ｎ｝１表示Ｇ集合，Ｉ２表示敏感属性中项的集合并满足如下关 …，设Ｄ系：ＩＩＩＩＩ．Ｓ＝ ?Ｔ１，Ｔ２，Ｔｎ ? １∩ ２＝，１∪ ２＝）表示一个数据集，其中Ｔ表示一条记ｉ∈ ［１，ｎ］ｉ（录，该记录有唯一标识符，并由Ｉ１中一个项和Ｉ２中多个项组成．记录（的支持数为ＤＡ，Ｂ）Ｓ中ＧＩ值包，，含Ａ同时敏感属性值包含Ｂ的记录数即Ａ∈ Ｉ１，当（的支持数不小于项Ａ对应的最小ＢＩＡ，Ｂ）２．支持数ξ Ａ时称项集Ｂ对项Ａ是频繁的．为更好地描述，引入以下示例．例１．设表１表示一个医疗数据集Ｄ表２表Ｓ，示与表１对应的泛化数据集ＵＤ其中，Ｓ，Ｄｉｓｅａｓｅｓ …，，｝，属性的值域为｛每个元素代表一种ａ，ｂ，ｓｎｏｎｅ假定最小支持数都为２．疾病．
满足均匀分布的不确定数据关联规则挖掘算法
陈爱东刘国华费凡周宇万小妹貟慧
（）东华大学计算机科学与技术学院上海２０１６００（ｃｈｅｎａｉｄｏｎ１６３＠１２６．ｃｏｍ）ｇｇ
ＡｓｓｏｃｉａｔｉｏｎＲｕｌｅｓＭｉｎｉｎＡｌｏｒｉｔｈｍｆｏｒＵｎｃｅｒｔａｉｎＤａｔａｗｉｔｈｔｈｅＵｎｉｆｏｒｍＤｉｓｔｒｉｂｕｔｉｏｎｇｇ
中图法分类号ＴＰ３１１
通云计算为大数据提供了展示和共享的平台．，过对大数据的分析与挖掘能够更好地发现数据中
－－２０１３０５１５收稿日期：
的价值，提高预测的准确性．出于隐私保护的目的，大数据中往往包含人为
计算机研究与发展ＪｏｕｒｎａｌｏｆＣｏｍｕｔｅｒＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｍｅｎｔｐｐ
ＩＳＳＮ１０００１２３９ＣＮ１１１７７７ＴＰ－ ? － ? （）：，５０Ｓｕｌ．１８６９５２０１３－１ｐｐ
，，，Ｗ，ＣｈｅｎＡｉｄｏｎＬｉｕＧｕｏｈｕａＦｅｉＦａｎ，ＺｈｏｕＹｕａｎＸｉａｏｍｅｉａｎｄＹｕｎＨｕｉｇ
（）ＳｃｈｏｏｌｏＣｏｍｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏＤｏｎｈｕａＵｎｉｖｅｒｓｉｔＳｈａｎｈａｉ２０１６００ｆｐｇｙ，ｇｙ，ｇ
）国家自然科学基金项目（６１０７００３２基金项目：
陈爱东等：满足均匀分布的不确定数据关联规则挖掘算法
１８７
［８］据的频繁项挖掘算法Ｕ等．不同于以上Ｆｒｏｗｔｈ１－ｇ
添加的不确定因素，现有的数据挖掘技术在应用到
１］，该类不确定数据时效率低下或不可行［如何有效
本文针对均匀分布的不确定数据，利用聚类和研究，树的优势，提出了一种有效的关联规则挖掘算法．
挖掘这些不确定数据是目前大数据共享亟待解决的在用于共享的大数据中，不确定数据通过对精问题．确数据的泛化处理来实现具有均匀分布的特性，这一特性不利于精确查询，但为关联规则的挖掘提供了便利条件．关联规则挖掘是数据挖掘领域最基本的分析方法，其目的是从大量数据中发现项集或属性间有价值的关联关系