数据挖掘试验指导书
数据挖掘实验指导书
《数据仓库与数据挖掘》实验指导书主编张磊审校2012-1-11目录实验报告模板 (1)实验一、SSIS教程1-3课 (3)实验二、SSAS教程1-3课 (5)实验三、数据挖掘教程 (10)实验报告模板见下页。
青岛大学实验报告年月日姓名系年级组别同组者科目题目仪器编号[注：下面空白处明确实验目的、内容和要求，简要概括实验过程，适量拷屏部分关键界面放到实验报告中，评价最终结果是否正确，记录实验过程遇到的问题及解决结果，简单总结心得体会。
必要时加页，每个实验报告1-3页篇幅为宜。
]实验一、SSIS教程1-3课实验目的：采用SQL Server 2005的Integration Service，熟悉ETL工具的功能和使用方法实验内容：结合教材的ETL知识，打开SQL Server 2005的SSIS教程，按教程步骤完成1-3课，4学时，其中第1课2学时，第2、3课2学时。
实验要求：每次实验课结束前5分钟关闭SQL Server Business Intelligence Development Studio和SQL Server Management Studio，将项目文件夹拷贝到U盘或压缩后发到自己邮箱保存起来，以便下次实验课可以继续往下做或最后上交。
每次实验课开始时先使用SQL Server Configuration Manager启动必需的SQL Server 服务。
按时完成实验内容，整理实验报告。
实验说明：注意SQL Server 2005与SQL Server 2000的差异，如“框架”，访问表时必须使用框架名来限定，如SalesOrders.Employee；注意因中文教程是由英文教程翻译而来，所以有些地方出现名称翻译不足（即软件界面上是中文而教程中是英文）或过翻译（即软件界面上是英文而教程中是中文），因为大家懂英文所以这点应该不成问题；注意因为我们安装的SQL Server不是采用默认实例名（而是DWDM），而教程中假设的是采用默认实例名，所以有些地方的配置受到影响，需要进行更改；注意解决方案、项目和项的区别：解决方案可以包含多个项目；每个项目包含一个或多个项；按下图打开SSIS教程，做的过程中，注意以下问题：（1）创建的项目放到一个方便找到的自定义文件夹中以便每次下课时可以拷贝带走（2）第1课的“添加和配置平面文件连接管理器”步骤中的“重新映射列数据类型”部分，将【但现在，请不要进行任何更改，单击“取消”返回“平面文件连接管理器编辑器”对话框的“高级”窗格，查看建议的列数据类型。
数据仓库与数据挖掘实验指导
数据仓库与数据挖掘实验指导By TMS目录3第 1 课：创建SQL server2005的DT项目和基本包 ...................................................51.1 创建新的 Integration Services项目 .......................................................61.2 添加和配置平面文件连接管理器 ..............................................................1.3添加和配置 OLE DB 连接管理器 ............................................................881.4在包中添加数据流任务 .......................................................................91.5添加并配置平面文件源 .......................................................................1.6添加并配置查找转换 .........................................................................9101.7添加和配置 OLE DB 目标 ..................................................................111.8测试 Lesson 1 教程包 .....................................................................12第 2 课：添加循环 ................................................................................132．1 创建 Lesson 2 包 ........................................................................132.2添加和配置 Foreach 循环容器 ...............................................................13一、 添加 Foreach 循环容器 ................................................................14三、将枚举器映射为用户定义的变量 .........................................................14四、将数据流任务添加到循环中 .............................................................142．3修改平面文件连接管理器 ...................................................................152.4 测试 Lesson 2 教程包 .....................................................................16第 3 课：在 Analysis Services项目中定义数据源视图及多维数据集...................................16项目 ...........................................................一、 创建 Analysis Services18二、定义新的数据源 ...........................................................................22三、定义数据源视图 ...........................................................................25四、修改表的默认名称 .........................................................................27五、定义多维数据集 ...........................................................................32五、检查多维数据集和维度属性 .................................................................40项目 ...............................................................六、部署 Analysis Services第 1 课：创建SQL server2005的DT项目和基本包在本课中，您将创建一个简单 ETL 包，该包可以从单个平面文件源提取数据，使用两个查找转换组件转换该数据，然后将该数据写入 AdventureWorksDW 中的 FactCurrencyRate 事实数据表。
叶志伟数据挖掘实验指导书(算法编程部分)
《数据挖掘与数据仓库》实验指导书2013年计算机学院计算应用实验1 Apriori算法实现一、实验目的1、掌握Apriori算法对于关联规则挖掘中频繁集的产生以及关联规则集合的产生过程；2、根据算法描述编程实现算法，调试运行。
并结合相关实验数据进行应用，得到分析结果。
数据和删除数据的操作。
实验类型：综合计划课间：2学时二、实验内容1、频繁项集的生成与Apriori算法实现；2、关联规则的生成过程与Rule-generate算法实现；3、结合样例对算法进行分析；三、实验步骤编写程序完成下列算法：1、Apriori算法输入：数据集D；最小支持数minsup_count；输出：频繁项目集LL1={large 1-itemsets}For (k=2; Lk-1≠Φ; k++)Ck=apriori-gen (Lk-1); // Ck是k个元素的候选集For all transactions t∈D dobegin Ct=subset(Ck,t); //Ct是所有t包含的候选集元素for all candidates c ∈Ct do c.count++;endLk={c ∈Ck| c.count ≧ minsup_count }EndL=∪Lk;2、apriori-gen (Lk-1) 候选集产生算法输入： (k-1)-频繁项目集Lk-1输出： k-频繁项目集CkFor all itemset p∈Lk-1 doFor all itemset q∈Lk-1 doIf p.item1=q.item1, p.item2=q.item2, …,p.itemk-2=q.itemk-2, p.itemk-1<q.itemk-1 thenbegin c=p∞qif has_infrequent_subset(c, Lk-1)then delete celse add c to CkEndReturn Ck3、has_infrequent_subset(c, Lk-1)功能：判断候选集的元素输入：一个k-频繁项目集Lk-1 ，(k-1)-频繁项目集Lk-1输出：c是否从候选集中删除的布尔判断For all (k-1)-subsets of c doIf Not(S∈Lk-1) THEN return TRUE;Return FALSE;4、Rule-generate(L,minconf)输入：频繁项目集；最小信任度输出：强关联规则算法：FOR each frequent itemset lk in Lgenerules(lk,lk);5、Genrules递归算法：Genrules(lk:frequent k-itemset, xm:frequent m-itemset)X={(m-1)-itemsets xm-1 | xm-1 in xm};For each xm-1 in XBEGIN conf=support(lk)/support(xm-1);IF (conf≧minconf) THENBEGIN输出规则:xm-1->(lk-xm-1),support,confidence;IF (m-1)>1) THEN genrules(lk,xm-1);END;END;结合相关样例数据对算法进行调试，并根据相关实验结果对数据进行分析，四、实验报告要求1、用C语言或者其他语言实现上述相关算法。
数据仓库与数据挖掘实验指导书样本
实验一、DTS使用一、实验目:1.理解MS SQL Server 安装, 熟悉MS SQL Server 数据库使用环境2.理解数据库和数据仓库关系, 为数据仓库建立数据库3.纯熟使用MS SQL Server DTS, 可以将各种数据源数据按照数据仓库设计规定导入到数据仓库二、实验内容:1.熟悉MS SQL Server 数据库和表基本操作。
2.为数据仓库建立新数据库Mynorthwind。
3.使用DTS导入TXT文本文献到Mynorthwind。
4.使用DTS导入Access数据库到Mynorthwind。
5.使用DTS导入Excel文献到Mynorthwind。
6.使用DTS从Northwind导出Products和Categories两个表到Mynorthwind。
7、使用DTS查询导入, 从Northwind导出Employees表到Mynorthwind, 并将源表中first name和lastname列合成一种列fullname。
8、使用DTS查询导入, 从Northwind导出Orders表到Mynorthwind为Dates 表, 并将源表Orders表中OrderDate一列提成年、月、日、周、季五列, 同步保存OrderDate一列。
9、使用DTS查询导入, 从Northwind导出Order Details表到Mynorthwind 为Facts表。
一方面用Select语句将产品类别编号和员工编号等从各自表中取出, 另一方面计算共计列值, 计算办法为单价*(1-折扣)*数量, 然后将Order Details表内容复制到Facts表各列。
三、实验环节:1、启动Microsoft SQL Server“服务管理器”, 打开“公司管理器”, 在浮现“SQL Server Enterprise Manager”窗口中, 单击加号找到数据库, 右键选取“新建数据库…”, 打开对话框如图1.1所示, 输入数据库名：Mynorthwind, 点击拟定完毕创立。
数据仓库与数据挖掘实验指导书王浩畅资料.doc
数据仓库与数据挖掘实验指导书王浩畅资料.doc数据仓库与数据挖掘实验指导书东北⽯油⼤学计算机与信息技术系王浩畅实验⼀Weka实验环境初探⼀、实验名称:Weka实验环境初探⼆、实验⽬的：通过⼀个已有的数据集，在weka环境下，测试常⽤数据挖掘算法，熟悉Weka 环境。
三、实验要求1.熟悉weka的应⽤环境。
2.了解数据挖掘常⽤算法。
3.在weka环境下，测试常⽤数据挖掘算法。
四、实验平台新西兰怀卡托⼤学研制的Weka系统五、实验数据Weka安装⽬录下data⽂件夹中的数据集weather.nominal.arff，weather.arff六、实验⽅法和步骤1、⾸先，选择数据集weather.nominal.arff，操作步骤为点击Explorer，进⼊主界⾯，点击左上⾓的“Open file...”按钮，选择数据集weather.nominal.arff⽂件，该⽂件中存储着表格中的数据，点击区域2中的“Edit”可以看到相应的数据：选择上端的Associate选项页，即数据挖掘中的关联规则挖掘选项，此处要做的是从上述数据集中寻找关联规则。
点击后进⼊如下界⾯：2、现在打开weather.arff，数据集中的类别换成数字。
选择上端的Associate选项页，但是在Associate选项卡中Start按钮为灰⾊的，也就是说这个时候⽆法使⽤Apriori算法进⾏规则的挖掘，原因在于Apriori算法不能应⽤于连续型的数值类型。
所以现在需要对数值进⾏离散化，就是类似于将20-30℃划分为“热”，0-10℃定义为“冷”，这样经过对数值型属性的离散化，就可以应⽤Apriori算法了。
Weka提供了良好的数据预处理⽅法。
第⼀步：选择要预处理的属性temperrature从中可以看出，对于“温度”这⼀项，⼀共有12条不同的内容，最⼩值为64（单位：华⽒摄⽒度，下同），最⼤值为85，选择过滤器“choose”按钮，或者在同⾏的空⽩处点击⼀下，即可弹出过滤器选择框，逐级找到“Weka.filters.unsupervised.attribute.Discretize”，点击；若⽆法关闭这个树，在树之外的地⽅点击“Explorer”⾯板即可。
数据挖掘实验（一）bp神经网络实验指导书48
数据挖掘实验（一）BP神经网络实验吴诗乐通信7班20123100053一、实验目的初步熟悉MATLAB 工作环境，熟悉命令窗口，学会使用帮助窗口查找帮助信息。
二、实验内容1、网络设计，包括输入层、隐含层、输出层节点个数的设计。
2、算法步骤3、编程，注意原始数据的通用化，数据输入的随机性。
4、网络训练，注意训练数据与验证数据分开。
5、网络验证6、结果分析，修改隐含层节点个数，修改学习率，分别对结果的影响。
三、实验数据本实验以Fisher的Iris数据集作为神经网络程序的测试数据集。
Iris数据集可以在/wiki/Iris_flower_data_set 找到。
也可以在UCI数据集中下载。
Iris数据集中Iris花可分为3个品种，现需要对其进行分类。
不同品种的Iris 花的花萼长度、花萼宽度、花瓣长度、花瓣宽度会有差异。
现有一批已知品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度的数据。
要求用已有的数据训练一个神经网络用作分类器。
四、神经网络实现1. 数据预处理在训练神经网络前一般需要对数据进行预处理，一种重要的预处理手段是归一化处理。
下面简要介绍归一化处理的原理与方法。
(1) 什么是归一化？数据归一化，就是将数据映射到[0,1]或[-1,1]区间或更小的区间，比如(0.1,0.9) 。
(2) 为什么要归一化处理？<1>输入数据的单位不一样，有些数据的范围可能特别大，导致的结果是神经网络收敛慢、训练时间长。
<2>数据范围大的输入在模式分类中的作用可能会偏大，而数据范围小的输入作用就可能会偏小。
<3>由于神经网络输出层的激活函数的值域是有限制的，因此需要将网络训练的目标数据映射到激活函数的值域。
例如神经网络的输出层若采用S形激活函数，由于S形函数的值域限制在(0,1)，也就是说神经网络的输出只能限制在(0,1)，所以训练数据的输出就要归一化到[0,1]区间。
数据挖掘实验指导书
《商务数据分析》实验指导书（适用于国际经济与贸易专业）江西财经大学国际经贸学院编写人：戴爱明目录前言 (1)实验一、SPSS Clementine 软件功能演练 (5)实验二、SPSS Clementine 数据可视化 (9)实验三、决策树C5.0 建模 (17)实验四、关联规则挖掘 (30)实验五、聚类分析（异常值检测） (38)前言一、课程简介商务数据分析充分利用数据挖掘技术从大量商务数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。
数据挖掘的广义观点：数据挖掘就是从存放在数据库，数据仓库或其他信息库中的大量的数据中“挖掘”有趣知识的过程。
数据挖掘，又称为数据库中知识发现(Knowledge Discovery in Database, KDD)，因此，数据挖掘和数据仓库的协同工作，一方面，可以迎合和简化数据挖掘过程中的重要步骤，提高数据挖掘的效率和能力，确保数据挖掘中数据来源的广泛性和完整性。
另一方面，数据挖掘技术已经成为数据仓库应用中极为重要和相对独立的方面和工具。
数据挖掘有机结合了来自多学科技术，其中包括：数据库、数理统计、机器学习、高性能计算、模式识别、神经网络、数据可视化、信息检索、图像与信号处理、空间数据分析等，这里我们强调商务数据分析所处理的是大规模数据，且其算法应是高效的和可扩展的。
通过数据分析，可从数据库中挖掘出有意义的知识、规律，或更高层次的信息，并可以从多个角度对其进行浏览察看。
所挖掘出的知识可以帮助进行商务决策支持。
当前商务数据分析应用主要集中在电信、零售、农业、网络日志、银行等方面。
二、课程的任务和实验的教学目标课程编号：课程属性：专业任选课实验学时：8适用专业：国际经济与贸易先修课程：数据库技术、概率论与数理统计、统计学《商务数据分析》是一门理论和实践相结合的课程，其上机实验的目的主要是实现数据挖掘的主要算法，训练学生实际动手进行数据挖掘设计和软件应用的能力，加深对数据挖掘相关概念和算法的理解。
3,4-数据挖掘实验指导书
数据挖掘实验3——分类实验步骤：主要步骤：数据选择——〉数据挖掘——〉结果评价——〉应用模型预测——〉结果输出例1分类挖掘在贷款审批中的应用1、打开I-Miner软件（开始——程序——Insightful Miner，选择“创建新工作簿”——按“确定”；2、数据选择：按住“读Excel文件”图标（“数据读入”——“读Excel文件”），将其拉入右侧的“工作簿”（WorkSheet）中；然后进行如下属性设置：（右击“读Excel文件”图标，打开“属性”编辑框）1）通过“浏览”按钮选中待挖掘的数据（从FTP上下载的“Credit Screening”Excel文件）；2）选择工作簿为“Credit Screening”；3）设置缺省列类型为“Category”；4）点击“更新预览”按钮，查看是否能够读取出数据。
再后运行“读Excel文件”图标（右击“读Excel文件”图标，选择“运行至此”）。
3、创建分类模型：按住“分类型决策树”图标（“模型”——“分类型模型”——“分类型决策树”），将其拉入右侧的“工作簿”（WorkSheet）中，并将其与“读取Excel文件”连接起来；然后进行如下属性设置：（右击“分类型决策树”图标，打开“属性”编辑框）1）选择分类的目标属性：本实验中设置“因变量列”为列“Granted”；2）选择决策属性：本实验中将所剩下的“可用列”设置为“自变量列”；3）其他属性采用默认设置；再后运行“分类型决策树”图标（右击“分类型决策树”图标，选择“运行至此”）。
4）查看决策树：右击“分类型决策树”图标，选择“查看器”，就可以看到刚才创建的决策树模型。
5、应用模型预测：按住“预测”图标（“模型”——“预测方法”——“预测”），将其拉入右侧的“工作簿”（WorkSheet）中，并将其与“分类型决策树”连接起来；同时将其与一待预测的数据文件（可将预测的数据保存至Excel文件，如predict.xls，然后按步骤2所示方法进行设置）连接起来。
数据仓库与数据挖掘实验
数据仓库与数据挖掘实验《数据挖掘》实验指导书全文结束》》年3月1日长沙学院信息与计算科学系前言随着数据库技术的发展，特别是数据仓库以及Web 等新型数据源的日益普及，形成了数据丰富，知识缺乏的严重局面。
针对如何有效地利用这些海量的数据信息的挑战，数据挖掘技术应运而生，并显示出强大的生命力。
数据挖掘技术使数据处理技术进入了一个更高级的阶段，是对未来人类产生重大影响的大新兴技术之一。
因此加强数据挖掘领域的理论与实践学习也已成为专业学生的必修内容。
本实验指导书通过大量的实例，循序渐进地引导学生做好各章的实验。
根据实验教学大纲，我们编排了五个实验，每个实验又分了五部分内容：实验目的、实验内容、实验步骤、实验报告要求、注意事项。
在实验之前，由教师对实验作一定的讲解后，让学生明确实验目的，并对实验作好预习工作。
在实验中，学生根据实验指导中的内容进行验证与总结，然后再去完成实验步骤中安排的任务。
实验完成后，学生按要求完成实验报告。
整个教学和实验中，我们强调学生切实培养动手实践能力，掌握数据挖掘的基本方法。
实验一 K-Means聚类算法实现一、实验目的通过分析K-Means 聚类算法的聚类原理，利用Vc 编程工具编程实现K-Means 聚类算法，并通过对样本数据的聚类过程，加深对该聚类算法的理解与应用过程。
实验类型：验证计划课间：4学时二、实验内容1、分析K-Means 聚类算法；2、分析距离计算方法；3、分析聚类的评价准则；4、编程完成K-Means 聚类算法，并基于相关实验数据实现聚类过程；三、实验方法1、K-means 聚类算法原理K-means聚类算法以k 为参数，把n 个对象分为k 个簇，以使簇内的具有较高的相似度。
相似度的计算根据一个簇中对象的平均值来进行。
算法描述：输入：簇的数目k 和包含n 个对象的数据库输出：使平方误差准则最小的k 个簇过程：任选k 个对象作为初始的簇中心； Repeatfor j=1 to n DO根据簇中对象的平均值，将每个对象赋给最类似的簇 fori=1 to k DO 更新簇的平均值计算EUnitl E不再发生变化按簇输出相应的对象2、聚类评价准则：E 的计算为：E =∑∑|x邻域：给定对象在半径ε内的区域；● 核心对象：若一个对象ε-邻域至少包含最小数目MinPts 个对象，则称该对象为核心对象；● 直接密度可达：给定一个对象集合D ，若p 是在q 的ε-邻域内，而q 是一个核心对象，则称对象p 从对象q 出发是直接密度可达的；● 密度可达：若存在一个对象链p1,p2, …,pn,p1=q,pn=p,对pi ∈D,pi+1是从pi关于ε和MinPts 直接密度可达的，则称对象p 是从对象q 关于ε和MinPts 是密度可达的；● 密度相连：若对象集合D 中存在一个对象o ，使得对象p 和q 是从o 关于ε和MinPts 是密度可达的，则对象p 和q 是关于ε和MinPts 密度相连的；● 噪声：一个基于密度的簇是基于密度可达性的最大的密度相连对象的集合，不包含在任何簇中的对象被认为是噪声、实现的基本思想通过检查数据集中每个对象的ε-邻域来寻找聚类。
《数据挖掘技术与应用》实验指导书(排)
《数据挖掘技术与应用》实验指导书邓克文编重庆大学经济与工商管理学院2014年7月目录第一章数据挖掘及工具简介 (1)1.1数据挖掘的基本概念 (1)1.2数据挖掘的基本框架及流程 (1)1.3数据挖掘软件工具 (1)第二章基础实验篇 (2)2.1实验一分类 (2)2.2实验二预测 (21)2.3实验三聚类 (33)2.4实验四关联分析 (45)2.5实验五RFM模型 (51)2.6基于遗传算法的变量选择 (66)参考文献 (77)附录 (78)第一章数据挖掘及工具简介1.1数据挖掘的基本概念1.2数据挖掘的基本框架及流程1.3 数据挖掘软件工具第二章基础实验篇2.1 实验一分类一、实验目的通过本次实验，学会使Clememtine软件及R软件进行数据挖掘的分类实验，撑握以下知识点：(1) Logistic分类模型；(2) 决策树C5.0分类模型及其Cost矩阵设置的重要作用；(3) 贝叶斯网络分类模型；(5) 支持向量机模型；(6) 神经网络模型；(7) 运用R软件进行连续函数离散化数据预处理，并对该数据用上述3个模型进行挖掘，最后与连续性原始数据的挖掘结果进行对比，并得出相关结论；(8) 运用Clememtine软件解决数据预处理中的缺失值填充问题。
二、实验安排1．学时：本实验安排8个学时，主要用于完成实验及实验报告。
2．时间：由实验室统一安排3．地点：由实验室统一安排三、实验工具PC电脑1台，Windows 7系统，Clememtine 12.0 数据挖掘软件，R软件，以及上市公司ST数据集和Clememtine自带的telco.sav数据集。
四、知识准备五、实验背景六、实验过程实验1：基础模型1.按顺序拖动并设置以下节点。
（1）设置数据来源（source中的excel来源）。
（2）将320.xls指向table，运行table。
结果如下。
点击此处选择数据源。
Table节点运行后，我们可以看到数据源的具体内容，其包含320个上市公司的财务指标以及在该财务指标下第二年是否被ST的数据，ST＝1表示次年被ST，ST＝0则表示未被ST，其中X1至X18表示净利润率、资产收益率等18边续性的财务变量，最后一个变量为Flag类型ST变量。
《数据仓库与数据挖掘》实验指导书
五邑大学实验指导书数据仓库与数据挖掘Ｖ１．０执笔：何国辉 开课系部：计算机学院二零一三年十月实验一 数据仓库的建立一、实验目的：通过本实验加深在ＳＱＬ Ｓｅｒｖｅｒ ２００８环境下建立数据仓库，并对数据仓库进行管理的方法。
二、实验内容：使用ＳＱＬ Ｓｅｒｖｅｒ ２００８中的Analysis Server工具建立数据仓库和数据源，能察看和编辑数据仓库中的基本模型（即事实表与维度表之间的关系）。
三、实验要求：结合SQL Server 2008提供的示例数据库AdventureWorks建立数据仓库数据源，并能通过相关设置察看和编辑数据仓库中的基本模型，为数据挖掘做好准备。
四、实验学时：４学时 五、实验步骤：1．创建Analysis Service 项目步骤如下：开始－程序－Microsoft SQL Server 2008 R2－SQL Server Business Intelligence Development Studio，如图1所示，进入新建一个Business Intelligence Solution界面，如图2所示，为工程命名并保存。
【说明一】：即使你安装了vs2010 sp1，也不会有现成的Analysis Services项目模板（在线模板也没有）。
因此，还得在vs2008环境下新建BI项目。
图１ 进入ＢＩ界面 ２、创建数据源在解决方案资源管理器中的“数据源”中，右击“新建数据源”，创建数据源界面如图3所示，进入数据源向导。
图3 数据源向导界面图２ 新建工程界面 点击“Next”按钮，在图4界面中设置连接数据库参数，包括对应的服务器名、数据库名、登录帐号和密码。
图4 设置连接数据库参数界面通过点击“Test Connection”可以测试连接情况。
当确认连接无误后点击“OK”按钮，进入图5。
图５ 数据源向导界面点击“Next”按钮，进入设置Analysis Server连接数据源方式界面，如图6所示。
数据挖掘实验指导书
《数据挖掘》实验指导书2011年3月1日长沙学院信息与计算科学系前言随着数据库技术的发展，特别是数据仓库以及Web等新型数据源的日益普及，形成了数据丰富，知识缺乏的严重局面。
针对如何有效地利用这些海量的数据信息的挑战，数据挖掘技术应运而生，并显示出强大的生命力。
数据挖掘技术使数据处理技术进入了一个更高级的阶段，是对未来人类产生重大影响的十大新兴技术之一。
因此加强数据挖掘领域的理论与实践学习也已成为专业学生的必修内容。
本实验指导书通过大量的实例，循序渐进地引导学生做好各章的实验。
根据实验教学大纲，我们编排了五个实验，每个实验又分了五部分内容：实验目的、实验内容、实验步骤、实验报告要求、注意事项。
在实验之前，由教师对实验作一定的讲解后，让学生明确实验目的，并对实验作好预习工作。
在实验中，学生根据实验指导中的内容进行验证与总结，然后再去完成实验步骤中安排的任务。
实验完成后，学生按要求完成实验报告。
整个教学和实验中，我们强调学生切实培养动手实践能力，掌握数据挖掘的基本方法。
实验一 K-Means聚类算法实现一、实验目的通过分析K-Means聚类算法的聚类原理，利用Vc编程工具编程实现K-Means聚类算法，并通过对样本数据的聚类过程，加深对该聚类算法的理解与应用过程。
实验类型：验证计划课间：4学时二、实验内容1、分析K-Means聚类算法；2、分析距离计算方法；3、分析聚类的评价准则；4、编程完成K-Means聚类算法，并基于相关实验数据实现聚类过程；三、实验方法1、K-means聚类算法原理K-means聚类算法以k为参数，把n个对象分为k个簇，以使簇内的具有较高的相似度。
相似度的计算根据一个簇中对象的平均值来进行。
算法描述：输入：簇的数目k和包含n个对象的数据库输出：使平方误差准则最小的k个簇过程：任选k个对象作为初始的簇中心；Repeatfor j=1 to n DO根据簇中对象的平均值，将每个对象赋给最类似的簇for i=1 to k DO更新簇的平均值计算EUnitl E不再发生变化按簇输出相应的对象2、聚类评价准则：E的计算为：∑∑=∈-=ki Cx iix xE12| |四、实验步骤4.1 实验数据P192：154.2初始簇中心的选择选择k个样本作为簇中心For (i=0;i<k;i++)For (j=0;j<AttSetSize;j++)ClusterCenter[i][j]=DataBase[i][j]4.3 数据对象的重新分配Sim=某一较大数；ClusterNo=-1;For (i=0;i<k;i++)If (Distance(DataBase[j],ClusterCenter[i])<Sim){Sim=Distance(DataBase[j],ClusterCenter[i]);ClusterNo=i;}ObjectCluster[j]=ClusterNo;4.4 簇的更新For (i=0;i<k;i++){Temp=0;Num=0;For (j=0;j<n;j++)If (ObjectCluster[j]==i){Num++; Temp+=DataBase[j];}If (ClusterCenter[i]!=Temp) HasChanged=TRUE;ClusterCenter[i]=Temp;}4.5 结果的输出For (i=0;i<k;i++){Printf(“输出第%d个簇的对象:”，i);For (j=0;j<n;j++)If (ObjectCluster[j]==i) printf(“%d ”,j);Printf(“\n”);Printf(“\t\t\t 簇平均值为(%d,%d)\n”, ClusterCenter[i][0], ClusterCenter[i][1]);}五、注意事项1、距离函数的选择2、评价函数的计算实验二 DBSCAN算法实现一、实验目的要求掌握DBSCAN算法的聚类原理、了解DBSCAN算法的执行过程。
数据挖掘技术实验指导书
实验指导书数据挖掘技术适用专业：信息与计算科学及相关专业计算机与信息学院编2011年5月实验一一、实验名称WEKA的使用与数据准备二、实验目的熟悉数据挖掘的常用软件WEKA的安装和环境，理解weka的数据格式，掌握数据格式的转换，理解数据预处理的必要性和基本方法。
三、实验平台计算机、软件WEKA、UtraEdit四、实验数据bank-data.csv（在教材配套光盘的\CompanionCD\Datafiles\Chapter_7_AR 目录下）weather.arff（WEKA安装目录的“data”子目录）五、实验方法和步骤1、实验准备(1)访问WEKA网站/ml/weka，下载带JAVA虚拟机版本的WEKA,保存在U盘中。
(2)阅读课本第8章5.11-8.14小结的内容。
(3)将实验所需数据bank-data.csv 从光盘拷贝只U盘中。
2、了解weka的环境(1)安装weka，了解weka的环境(2)打WEKA自带的“weather.arff”文件，了解arff文件的格式3、数据准备（1）将原来的“bank-data.csv”文件转化为arff文件“bank-data.arff”。
（2）把“ID”属性去掉。
（3）把“Children”属性转换成数值型的值{0,1,2,3}。
（4）使用“Discretize”的Filter把“age”和“income”的离散化，另存文件为bank_data_final.arff六、实验指导1. 简介WEKA的全名是怀卡托智能分析环境（Waikato Environment for Knowledge Analysis），它的源代码可通过/ml/weka得到。
同时weka也是新西兰的一种鸟名，而WEKA的主要开发者来自新西兰。
WEKA作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则以及在新的交互式界面上的可视化。
数据挖掘实验指导2
实验3：微软决策树-挖掘模型建立及应用1.实验目的1) 学习使用Microsoft决策树创建 OLAP 数据挖掘模型。
2) 深入理解决策树分类的数据挖掘意义。
2.实验软硬件环境1）安装SQL Server 2000 Analysis Services的计算机系统。
2）Analysis Services中已经安装了FoodMart演示数据。
3.实验说明数据挖掘对查找和描述特定多维数据集中的隐藏模式非常有用。
随着多维数据集中的数据迅速增长，手动查找信息变得非常困难。
数据挖掘提供的算法允许自动模式查找及交互式分析。
为了重新定义会员卡方案，市场部想分析当前销售事务并找出客户人口统计信息（婚姻状况、年收入、在家子女数等等）和所申请卡之间的模式。
然后根据这些信息和申请会员卡的客户的特征重新定义会员卡。
本节将创建一个数据挖掘模型以训练销售数据，并使用“Microsoft 决策树”算法在客户群中找出会员卡选择模式。
请将要挖掘的维度（事例维度）设置为客户，再将Member_Card 成员的属性设置为数据挖掘算法识别模式时要使用的信息。
然后选择人口统计特征列表，算法将从中确定模式：婚姻状况、年收入、在家子女数和教育程度。
下一步需要训练模型，以便能够浏览树视图并从中读取模式。
市场部将根据这些模式设计新的会员卡，使其适应申请各类会员卡的客户类型。
4.实验内容和步骤4.1 建立决策树1).在 Analysis Manager 树视图中，展开“多维数据集”文件夹，右击“Sales”多维数据集，然后选择“新建挖掘模型”命令。
2).打开挖掘模型向导。
在“选择数据挖掘技术”步骤中的“技术”框中选择“Microsoft 决策树”。
单击“下一步”按钮。
3).在“选择事例”步骤中，在“维度”框中选择“Customer”。
在“级别”框中，确保选择了“Name”。
单击“下一步”按钮。
4).在“选择被预测实体”步骤中，选择“事例级别的成员属性”。
数据挖掘算法模型实验指导书
数据挖掘算法模型实验指导书目录实验一决策树和随机森林实验 (2)实验二逻辑回归分类实验 (8)实验三朴素贝叶斯分类器实验 (15)实验四svm分类器实验 (22)实验五K-means聚类实验 (29)实验六高斯混合模型实验 (35)实验七python线性回归实验 (40)实验八协同过滤实验 (51)实验九关联分析实验 (58)实验十TF-IDF实验 (63)实验十一BP神经网络实验 (68)实验十二LSTM神经网络实验 (77)实验一决策树和随机森林实验【实验名称】决策树和随机森林实验【实验目的】掌握决策树和随机森林实验模型应用过程，根据模型要求进行数据预处理，建模，评价与应用；【背景描述】决策树与随机森林，属于监督学习，通过纯化指标的计算，确定分支方式，逐步构建成树形结构。
决策树由节点（node）和有向边（directed edge）组成。
节点的类型有两种：内部节点和叶子节点。
其中，内部节点表示一个特征或属性的测试条件（用于分开具有不同特性的记录），叶子节点表示一个分类。
随机森林顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。
在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。
【知识准备】了解决策树与随机森林模型的使用场景，数据标准。
了解Python/Spark数据处理一般方法。
了解spark模型调用，训练以及应用方法【实验要求】完成决策树和随机森林实验【实验设备】Windows或Linux操作系统的计算机。
部署Spark，Python，本实验提供centos6.8环境。
【实验说明】采用UCI机器学习库中的wine数据集作为算法数据，训练决策树与随机森林模型，对样本进行聚类。
【实验环境】Spark 2.3.1，Pyrhon3.X，实验在命令行pyspark中进行，或者把代码写在py脚本，由于本次为实验，以学习模型为主，所以在命令行中逐步执行代码，以便更加清晰地了解整个建模流程。
数据仓库与数据挖掘SPSS实验指导书
《数据仓库与数据挖掘》实验指导书（适用于信息系统与信息管理专业）目录前言 (1)实验一、SPSS Clementine 软件功能演练 (6)实验二、SPSS Clementine 数据可视化 (10)实验三、决策树C5.0 建模 (18)实验四、关联规则挖掘 (31)实验五、欺诈屏蔽/异常检测/神经网络 (39)实验六、分类和回归树节点(C&RT) (52)实验七、多项Logistic 回归 (62)实验八、综合实验：电力负荷预测 (68)前言一、课程简介数据挖掘(Data Mining)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。
数据挖掘的广义观点：数据挖掘就是从存放在数据库，数据仓库或其他信息库中的大量的数据中“挖掘”有趣知识的过程。
数据挖掘，又称为数据库中知识发现(Knowledge Discovery in Database, KDD)，因此，数据挖掘和数据仓库的协同工作，一方面，可以迎合和简化数据挖掘过程中的重要步骤，提高数据挖掘的效率和能力，确保数据挖掘中数据来源的广泛性和完整性。
另一方面，数据挖掘技术已经成为数据仓库应用中极为重要和相对独立的方面和工具。
数据挖掘有机结合了来自多学科技术，其中包括：数据库、数理统计、机器学习、高性能计算、模式识别、神经网络、数据可视化、信息检索、图像与信号处理、空间数据分析等，这里我们强调数据挖掘所处理的是大规模数据，且其挖掘算法应是高效的和可扩展的。
通过数据挖掘，可从数据库中挖掘出有意义的知识、规律，或更高层次的信息，并可以从多个角度对其进行浏览察看。
所挖掘出的知识可以帮助进行决策支持、过程控制、信息管理、查询处理等等。
因此数据挖掘被认为是数据库系统最重要的前沿研究领域之一，也是信息工业中最富有前景的数据库应用领域之一。
当前数据挖掘应用主要集中在电信、零售、农业、网络日志、银行、电力、生物、天体、化工、医药等方面。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《商务数据分析》实验指导书（适用于国际经济与贸易专业）江西财经大学国际经贸学院编写人：戴爱明目录前言 (1)实验一、SPSS Clementine 软件功能演练 (5)实验二、SPSS Clementine 数据可视化 (9)实验三、决策树C5.0 建模 (17)实验四、关联规则挖掘 (30)实验五、聚类分析（异常值检测） (38)前言一、课程简介商务数据分析充分利用数据挖掘技术从大量商务数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。
数据挖掘的广义观点：数据挖掘就是从存放在数据库，数据仓库或其他信息库中的大量的数据中“挖掘”有趣知识的过程。
数据挖掘，又称为数据库中知识发现(Knowledge Discovery in Database, KDD)，因此，数据挖掘和数据仓库的协同工作，一方面，可以迎合和简化数据挖掘过程中的重要步骤，提高数据挖掘的效率和能力，确保数据挖掘中数据来源的广泛性和完整性。
另一方面，数据挖掘技术已经成为数据仓库应用中极为重要和相对独立的方面和工具。
数据挖掘有机结合了来自多学科技术，其中包括：数据库、数理统计、机器学习、高性能计算、模式识别、神经网络、数据可视化、信息检索、图像与信号处理、空间数据分析等，这里我们强调商务数据分析所处理的是大规模数据，且其算法应是高效的和可扩展的。
通过数据分析，可从数据库中挖掘出有意义的知识、规律，或更高层次的信息，并可以从多个角度对其进行浏览察看。
所挖掘出的知识可以帮助进行商务决策支持。
当前商务数据分析应用主要集中在电信、零售、农业、网络日志、银行等方面。
二、课程的任务和实验的教学目标课程编号：课程属性：专业任选课实验学时：8适用专业：国际经济与贸易先修课程：数据库技术、概率论与数理统计、统计学《商务数据分析》是一门理论和实践相结合的课程，其上机实验的目的主要是实现数据挖掘的主要算法，训练学生实际动手进行数据挖掘设计和软件应用的能力，加深对数据挖掘相关概念和算法的理解。
本课程具有技术性和实践性较强的特点，因此，配合基本原理的讲授，应当安排相应的实习操作。
通过实验和操作，使学生巩固和加深数据仓库与数据挖掘理论知识，进一步加强学生独立分析问题和解决问题的能力、综合设计及创新能力的培养，为今后工作打下良好的基础。
经过多层次、多方式的全面训练后，学生应达到下列要求：1．进一步巩固和加深数据挖掘基本知识的理解，提高综合运用所学知识，建立、管理和分析商务数据的能力。
2．能根据需要选学参考书，查阅相关的工具，通过独立思考，深入钻研有关问题，学会自己独立分析问题、解决问题，具有一定的创新能力。
3．能正确处理大规模数据，选择数据挖掘工具的开发平台和相关的软件解决实践问题。
4．能独立撰写实验报告，准确分析实验结果，总结有关的问题，提出相关的建议。
三、实验教材及参考书理论课教材及参考书：☞数据仓库与数据挖掘教程（丛书名：高等院校信息管理与信息系统专业系列教材）作者：陈文伟编著，清华大学出版社，2006.8☞数据仓库和数据挖掘，苏新宁等编著，清华大学出版社，2006.4☞数据仓库与数据挖掘技术（第2版），陈京民编著，电子工业出版社，2007.11☞Jiawei Han, Micheline Kamber. Data Mining: Concepts and Techniques.高等教育出版社（影印版）,2001.5.☞Ian H. Witten, Eibe Frank. Data Mining: Practical Machine Learning Tools and Techniques (第二版). 机械工业出版社（影印版），2005.☞Richard J. Roiger, Michael W. Geatz. Data Mining: A Tutorial-Based Primer.清华大学出版社，2003.实验教材：☞数据挖掘Clementine应用实务，谢邦昌主编，机械工业出版社，2008.4☞数据挖掘原理与SPSS Clementine应用宝典，元昌安主编，电子工业出版社，2009.8四、实验基本内容及学时分配按照《商务数据分析》实验教学大纲的要求，共设立实验4个，总计20学时。
试验基本内容与学时分配如下表：五、实验方式与基本要求1、本课程的实验为非单独设课，因此，应该课程的内容安排和进度，配合技术原理的讲授，进行相应的操作和实验。
2、该课以综合性实验为主，教师给出实验题目，实验前学生必须进行预习，3、在规定的时间内，由学生独立完成，出现问题，教师要引导学生独立分析、解决，不得包办代替。
4、实验中按要求做好学生实验情况及结果记录，实验后认真填写实验记录。
5、实验指导书仅作为上机时的参考步骤，不能作为唯一的依据，以教材和课堂讲授为准。
实验一、SPSS Clementine 软件功能演练【实验目的】1、熟悉SPSS Clementine 软件功能和操作特点。
2、了解SPSS Clementine 软件的各选项面板和操作方法。
3、熟练掌握SPSS Clementine 工作流程。
【实验内容】1、打开SPSS Clementine 软件，逐一操作各选项，熟悉软件功能。
2、打开一有数据库、或新建数据文件，读入SPSS Clementine，并使用各种输出节点，熟悉数据输入输出。
(要求：至少做access数据库文件、excel文件、txt文件、可变文件的导入、导出)【实验步骤】1、启动Clementine：请从Windows 的“开始”菜单中选择：所有程序SPSS Clementine 11.1SPSS Clementine client 11.12、Clementine窗口当第一次启动Clementine 时，工作区将以默认视图打开。
中间的区域称作流工作区。
在Clementine 中，这将是用来工作的主要区域。
Clementine 中绝大部分的数据和建模工具都在选项板中，该区域位于流工作区的下方。
每个选项卡都包含一组以图形表示数据挖掘任务的节点，例如访问和过滤数据，创建图形和构建模型。
释放。
随后可将各个图标连接以创建一个表示数据流动的流。
窗口的右上方是输出和对象管理器。
这些选项卡用于查看和管理各种Clementine 对象。
“流”选项卡包含了当前会话中打开的所有流。
可以将这些流保存并关闭，也可将其添加到工程中。
“输出”选项卡包含了由Clementine 中的流操作产生的各类文件。
可以显示、重命名和关闭此处所列的表格、图形和报告。
“模型”选项卡是一个功能强大的工具，包含了在一次会话中产生的所有模型（即，已在Clementine 中构建完毕的模型）。
通过它，可以对模型作更深入的查看、将其添加至流中、导出或为其加注解。
窗口右侧底部的部分是工程工具，它用来创建和管理数据挖掘工程。
查看在Clementine 中创建的工程有两种方式- 类视图或CRISP-DM 视图。
“CRISP-DM”选项卡提供了一种组织工程的方式。
“类”选项卡提供了一种在Clementine 中按类别（即，按照所创建对象的类别）组织工作的方式。
当要获取数据、流、模型等对象的详尽目录时，这种视图十分有用。
实验二、SPSS Clementine 数据可视化【实验目的】1、熟悉SPSS Clementine 绘图。
2、了解SPSS Clementine 图形选项面板各节点的使用方法。
3、熟练掌握SPSS Clementine 数据可视化流程。
【实验内容】1、打开SPSS Clementine 软件，逐一操作各图形选项面板，熟悉软件功能。
2、打开一有数据库、或新建数据文件，读入SPSS Clementine，并使用各种输出节点，熟悉数据输入输出。
(要求：至少做分布图、直方图、收集图、多重散点图、时间散点图)【实验步骤】1、启动Clementine：请从Windows 的“开始”菜单中选择：所有程序PSS Clementine 11.1SPSS Clementine client 11.12、建立一个流、导入相关数据，打开图形选项面板3、绘制以下各类图形（1）以颜色为层次的图（2）以大小为层次的图（3）以颜色、大小、形状和透明度为层次的图（4）以面板图为层次的图（5）三维收集图（6）动画散点图（8）直方图（10）多重散点图未标准化时的多重散点图标准化后的多重散点图（11）网络图实验三、决策树C5.0 建模【实验目的】1、熟悉SPSS Clementine建模方法。
2、掌握SPSS Clementine分布图、散点图、网络图的创建方法。
3、掌握决策树C5.0决策方法。
【实验内容】1、创建散点图。
2、创建分布图。
3、创建网络图。
【实验步骤】假设你是一位正在汇总研究数据的医学研究员。
已收集了一组患有同一疾病的患者的数据。
在治疗过程中，每位患者均对五种药物中的一种有明显反应。
的任务就是通过数据挖掘找出适合治疗此疾病的药物。
此示例使用名为druglearn.str 的流，此流引用名为DRUG1n 的数据文件。
可以从任何Clementine Client 安装软件的Demos 目录下找到这些文件，也可以通过从Windows 的“开始”菜单选择Start > [All] Programs > SPSS Clementine 11.1 > Demos访问这些文件。
文件druglearn.str 位于Classification_Module 目录中。
此 demo 中使用的数据字段包括：使用变量文件节点读取定界文本数据。
可以从选项板中添加变量文件节点，方法是单击源选项卡找到此节点，或者使用收藏夹选项卡（默认情况下，其中包含此节点）。
然后，双击新添加的节点以打开相应的对话框。
单击紧挨“文件”框右边以省略号“...”标记的按钮，浏览到系统中的Clementine 安装目录。
打开demos 目录，然后选择名为DRUG1n 的文件。
选择从文件读取字段名，并注意已载入此对话框中的字段和值。
单击数据选项卡，覆盖和更改某个字段的存储。
注意，存储不同于类型或数据字段的用途。
类型选项卡可帮助了解数据中的更多字段类型。
还可以选择读取值来查看各个字段的实际值，具体取决于在值列中的选择。
此过程称为实例化。
类型选项卡可帮助了解数据中的更多字段类型。
还可以选择读取值来查看各个字段的实际值，具体取决于在值列中的选择。
此过程称为实例化。
2、添加表。
现在已载入数据文件，可以浏览一下某些记录的值。
其中一个方法就是构建一个包含表节点的流。
要将表节点添加到流中，可双击选项板中的表节点图标或将其拖放到工作区。
双击选项板中的某个节点后，该节点将自动与流工作区中的选定节点相连接。