毕业设计(v1.0)——柳汝滕

Items
A, C, D B, C, E A, B, C, E B, E Itemset {A, C} {B, C} {B, E} {C, E} sup 2 2 3 2
C1 1st scan C2
{A} {B} {C} {D}
L1
Itemset {A} {B} {C} {E}
sup 2 3 3 3
{E}


Apriori算法改进（一）
生成频繁集改进：
① 对于频繁集Lk,如果Lk中频繁集的个数n<k+1,则被挖掘的 事务数据库D最终生成的最大频繁集维度为k，即到此可以结 束频繁集的生成。 证明：当n<k+1时，假设可以生成频繁 (k+1)-项集，则频繁 (k+1)-项集存在k+1个维度为 k的子集，但由于n<k+1，故必 然存在至少一个子集不包括在Lk中，因此该(k+1)-项集必不 是频繁集。所以Lk即为最大维度的频繁集。
Apriori算法改进（二）

关联规则改进：

1）原因：
) 传统公式 P( B | A) PP((AB 缺陷，如果某一个项集 B 在事务集中出 A) 现的次数比较多，即P(B)本身是非常大的，则此时就很容 易出现AB同时发生的情况，同理CB,DB……等也是非常容 易出现的。如此就会出现很多与B相关联的项或项集。
C1 1st scan
Itemset {A} {B} {C} {D}
Hash地址 {0,2} {1,2,3} {0,1,2} {0}
sup 2 3 3 1
最小支持度=2
40
B, E
3 su p 1 2 1 2 3 2
sup 2 2 3 2
{E}
{1,2,3}
3
C2
Itemset {A, B} {A, C} {A, E} {B, C} {B, E} {C, E}

Apriori算法概念

连接步：
• 假设Apriori算法对事务中的项是按照字典序排列，即对于(k-1)项集li， li[1]<li[2]<…<li[k-1]。将Lk-1进行自身连接，如果(l1[1]=l2[1]) &&(l1[2]=l2[2])&&…&& (l1[k-2]=l2[k-2])&&(l1[k-1]<l2[k-1]),那 么可以认为l1和l2是可连接的。将l1与l2连接产生的k-项集是 {l1[1],l1[2],…,l1[k-1],l2[k-1]}。
sup 2 3 3 3
3rd scan
L3
Itemset
{B, C, E}
L2
Hash地 址 {1,2}
sup
2
生成互补子集核心代码
private List<Pair<List<Integer>, List<Integer>>> getSubStr(List<Integer> fre) { List<Pair<List<Integer>, List<Integer>>> list = new ArrayList<Pair<List<Integer>, List<Integer>>>();
P( AB) P( A) P( B) P( AB) P( A) P( B)
04
PART FOUR
系统实现
在线系统实现
文件合并
文件上传
在线系统规则展示
本地成绩分析系统
本地成绩分析系统四类规则

1.java -jar report.jar -combine score1.txt,score2.txt score.txt 该命令将score1.txt, score2.txt,score3.txt三个文件，按照相同的课程进 行一个整合，只保留公共的课程以及成绩。 2.java -jar report.jar -initscore score.txt -score score_rank.txt percent per_rank.txt 该命令是对数据进行预处理，有两个或三个必须的输入文件，score.txt是初 始的成绩文件，score_rank.txt作为成绩划分的等级的依据,per_rank.txt作 为百分比划分等级的依据,按照定义的格式输入 3.java -jar report.jar -apriori score_out.txt -titlecol 2 -minsup 0.3 -minconf 0.4 -infosection 0 0.4
基于关联规则的 成绩分析系统设计与实现
答辩人：柳汝滕
学号：201101051718
指导教师：倪维健
目 Contents 录
02
01
课题背景与目的
关联规则
03
04 05 总结
Apriori算法与改进
系统实现
01
PART ONE
课题背景与目的
数据挖掘
数据挖掘（DM, Data Mining ）是指的是从大量、模糊、 离散的数据捕捉有效的、新颖的、潜在有用的、最终可理解 的模式的非平凡过程。
// 集合A存在2^len次方个子集，去掉自身和空集 // 剩余(1 << sub.length)-1个 // 通过对len进行移位操作，产生互补子集
int len = fre.size();
for (int i = 1; i < (1 << len) - 1; i++) { List<Integer> fir = new ArrayList<Integer>(); List<Integer> sec = new ArrayList<Integer>(); for (int j = 0; j < len; j++) { if (((1 << j) & i) == 0) { fir.add(fre.get(j)); } }
设置最小支持度为1/2

③ 基于地址的改进仅需要扫描一次事务数据库，Ik项集 的生成仅需要求生成该Ik的两个Ik-1项集的地址的交集即 可，减少了事务数据的扫描次数。
Database D
Tid 10 20 30 Items A, C, D B, C, E A, B, C, E Hash 0 1 2


此时B本身对关联规则分析就不具有太大的意义。

2）改进
I( B | A) I ( B ) I ( B | A) I ( B )
1 p( B | A)
I ( B | A) 1 I ( B) ， Atte( A B) I ( B) 1， I ( B | A)
课题目的与意义
A 同学的 a 课程得分属于优秀，同时该学生的 b 课程得分 也属于优秀，是否可以推断a课程优秀的同学b课程相应的也 多数为优秀。
根据学生课程成绩信息，找到成绩与课程之间可能蕴含
的关联信息。如：找到不同的课程之间可能存在着开课顺序
对成绩的影响，为学生课程安排提供建议。某一门课程学习
较差的同学，可能会影响另外一门课程的成绩，方便老师有 针对性的辅导。
Itemset {A, C} {B, C} {B, E} {C, E}
Hash地址 {2} {0,2} {2} {1,2} {1,2,3} {1,2}
Hash地址 {0,2} {1,2} {1,2,3} {1,2}
L1
Itemset
2nd scan
{A} {B} {C} {E}
Hash地 址 {0,2} {1,2,3} {0,1,2} {1,2,3}





关联规则挖掘步骤

03
PART THREE
Apriori算法与改进
Apriori算法

Apriori算法是关联规则挖掘中最经典的算法

Apriori算法性质：任何频繁项集的所有非空子集也必然 是频繁的。
反证：如果P(I)<minSup,则P(A∩I)<=P(I)<minSup则A∩I 必然不是频繁集，性质得证。
02
PART TWO
关联规则
关联规则
关联规则（Association Rules）分析是数据挖掘方向的重要组成 部分。能够通过对大量的数据集的研究，发现其中隐含的让人感 兴趣的联系，并将所发现的联系采用频繁集和关联规则的形式展 示出来。 关联规则包含如下几个概念：

1.事务(t) 2.项与项集(i) 3.支持度（minSup） 4.置信度（minConf） 5.频繁集 6.关联规则(X->Y)

② 如果k维度的数据项集I={i1,i2,…,ik}中，存在某个 数据项i∈I,使得Count(Lk-1(i)) < k-1,则I不是频繁项 集。其中Count(Lk-1(i))代表频繁(k-1)-项集中包含i的 个数。

证明：假设Ik是频繁k-项集，则必存在包含i的维度为k-1 子集 k-1 个，在 Lk-1 中，每个项集的维度为 k-1 ，所以在 Lk-1中至少要含有k-1项包含有i，即Count(Lk-1(i)) >= k-1，与题设Count(Lk-1(i)) < k-1矛盾，所以Ik必然不 是频繁k-项集。






{B}—>{C,E},置信度=2/3 = 2/3; {C}—>{B,E},置信度=2/3 = 2/3;
{E}—>{B,C},置信度=2/3 < 2/3; 综上，对于频繁3-项集{B,C,E}生成的强关联规则为: