数据清洗与数据预处理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
➢ 非线性回归
噪声数据的处理——回归
y
Y2 Y1’
y=x+1
X1
x
数据集成
▪ 数据集成：将多个数据源中的数据整合到一 个一致的存储中
➢ 1.模式匹配 ➢ 2.数据冗余 ➢ 3.数据值冲突
数据集成——模式匹配
▪ 整合不同数据源中的元数据。 ▪ 实体识别问题：匹配来自不同数据源的现
实世界的实体，比如：
▪ 将数据按比例进行缩放，使之落入一个特 定的区域，以消除数值型属性因大小不一 而造成挖掘结果的偏差。如将工资收入属 性值映射到[-1.0,1.0]范围内。
▪ 方法：
（1）最小-最大规范化 （2）零-均值规范化（z-score规范化） （3）小数定标规范化
最小-最大规范化
▪ 已知属性的取值范围，将原取值区间 [old_min,old_max]映射到 new_min,new_max]
分箱方法，即如何分箱 数据平滑方法，即如何对每个箱子中的数据进行平
滑处理
噪声数据的处理——分箱
▪ 分箱的方法：分箱前对记录集按目标属性值的大 小进行排序。
➢ 等深分箱法 ➢ 等宽分箱法 ➢ 用户自定义区间 ➢ 最小熵
▪ 例：客户收入属性income排序后的值（人民币 元）：800 1000 1200 1500 1500 1800 2000 2300 2500 2800 3000 3500 4000 4500 4800 5000
数据清洗——处理空缺值
▪ 数据并不总是完整的
➢ 在分析一个商场销售数据时，发现有多个记录中的属性 值为空，如：顾客的收入属性对于为空的属性值
▪ 引起空缺值的原因
➢ 设备异常 ➢ 与其他已有数据不一致而被删除 ➢ 因为误解而没有被输入的数据 ➢ 在输入时，有些数据应为得不到重视而没有被输入 ➢ 对数据的改变没有进行日志记载
-log100/1000 + (-log10/1000) = -log10/1000 =log100
只要可能性范围缩小了，获得的信息量总是正的。如果为0， 获得的信息为○。如果为负，反而扩大了其可能性范围。
熵——信息的度量
▪ 信息量大小的单位用比特来衡量。1比特的信息量是指含 有两个独立均等概率状态的事件所具有的不确定性能被全 部消除所需要的信息。
▪ 信息量： H(x)=-∑ P(Xi)log2P(Xi) i=1,2,3,…,n 其中Xi表示第i个状态(共n个状态)； P(Xi)代表出现第i个状态时的概率； H(x)为消除不确定性所需的信息量，单位为比特(bit)。
▪ 例如:币下落可能有正反两种状态，出现这两种状态的概 率都是1/2，即：则，
噪声数据的处理——聚类
噪声数据的处理——回归
▪ 回归：发现两个相关的变量之间的变化模式，通过使数据 适合一个函数来平滑数据，即利用拟合函数对数据进行平 滑。
▪ 方法：
➢ 线性回归（简单回归）：利用直线建模，将一个变量看作另一个 变量的线性函数。 如：Y=aX+b，其中a、b称为回归系数，可用最小二乘法求得a、b 系数。
离期望值）的数据 5.高维度
数据预处理的方法
▪ 1.数据清洗
➢ 去掉噪声和无关数据
▪ 2.数据集成
➢ 将多个数据源中的数据结合起来存放在一个一致的数 据存储中
▪ 3.数据变换
➢ 把原始数据转换成为适合数据挖掘的形式
▪ 4.数据归约
➢ 主要方法包括：数据立方体聚集，维归约，数据压缩， 数值归约，离散化和概念分层等
➢ H(x)=-[P(X1)log2P(X1)+P(X2)log2P(X2)]=-(-0.5-0.5) =1比特。 ➢ 同理可得，投掷均匀正六面体骰子的H(X)＝2.6比特。
例子
硬币下落：硬币下落可能有正反两种状态，出现这两种状态的概 率都是1/2。 如果需要消除其不确定性，则就需要信息量：H(x)=[P(X1)log2P(X1)+P(X2)log2P(X2)]
A到1000人的学校去找B。传达室人告诉他，“B是信息管理系”，而管 理系有100人。他获得的信息是100/1000＝0.1，也就是将可能性空间缩 小到原来的1/10. 用概率来表示：－log(1/10)=log10 又有人告诉他：B在信息管理与信息系统教研室（10人），则第2个信息 的确定性又缩小到原来的100/1000*10/100=10/1000，其信息量为
=-(-0.5-0.5) =1比特为1比特的信息。
例2:张三到4000人的企业去找李四。当企业人事部门告诉张三： “李四是第四车间的”，而第四车间有1000人，如果第四车间的 人告诉张三，李四在第三班，第三班共有125位员工，计算张三所 获得的信息量？
噪声数据的处理——分箱
▪ 用户自定义区间
➢ 用户根据需要自定义区间。 ▪ 用户自定义：如将客户收入划分为1000元以下、
数据清洗
▪ 数据选取参考原则：
➢ 1.尽可能赋予属性名和属性值明确的含义 ➢ 2.统一多数据源的属性值编码 ➢ 3.去除惟一属性 ➢ 4.去除重复属性 ➢ 5.去除可忽略字段 ➢ 6.合理选择关联字段
▪ 进一步处理：
➢ 通过填补遗漏数据、消除异常数据、平滑噪声数据， 以及纠正不一致的数据,去掉数据中的噪音、填充空值、 丢失值和处理不一致数据
为什么要预处理数据？
▪ 现实世界的数据是“肮脏的”
➢ 不完整的 ➢ 含噪声的 ➢ 不一致的
▪ 没有高质量的数据，就没有高质量的挖掘结 果
➢ 高质量的决策必须依赖高质量的数据 ➢ 数据仓库需要对高质量的数据进行一致地集成
原始数据中存在的问题
1.不一致——数据内涵出现不一致情况 2.重复 3.不完整——感兴趣的属性没有值 4.含噪声——数据中存在着错误、或异常（偏
噪声数据的处理——分箱
▪ 等深分箱法（统一权重 ）
➢ 按记录行数分箱，每箱具有相同的记录数，每 箱记录数称为箱的权重，也称箱子的深度。
▪ 设定权重（箱子深度）为4，上述例子分箱 后的结果如下。
箱1：800 1000 1200 1500 箱2：1500 1800 2000 2300 箱3：2500 2800 3000 3500 箱4：4000 4500 4800 5000
▪ 例如：根据宽、高属性，可以构造一个新 属性：面积。
数据归约（数据消减）
▪ 对大规模数据库内容进行复杂的数据分析 通常需要耗费大量的时间。
▪ 数据归约（消减）技术用于帮助从原有庞 大数据集中获得一个精简的数据集合，并 使这一精简数据集保持原有数据集的完整 性，这样在精简数据集上进行数据挖掘显 然效率更高，并且挖掘出来的结果与使用 原有数据集所获得结果基本相同。
(1) 数据的一致性问题 (2)数据的噪声问题 (3)原始数据的不完整和高维 度问题
数据预处理 的方法
(1) 掌握数据清洗的主要任务 与常用方法
(2) 掌握数据集成的主要内容 和常用方法
(3) 掌握数据变换的主要内容 和常用方法
(4)掌握数据归约的主要内容和 常用方法
(1) 数据清洗 (2) 数据集成 (3) 数据变换 (4) 数据归约
噪声数据的处理——分箱
➢ 分箱：把待处理的数据按照一定的规则放进一 些箱子中，考察每一个箱子中的数据，采用某 种方法分别对各个箱子中的数据进行处理。
➢ 箱子：按照属性值划分的子区间，如果一个属 性值处于某个子区间范围内，就称把该属性值 放进这个子区间代表的“箱子”里。
➢ 分箱技术需要确定的主要问题：
▪ 聚类：将物理的或抽象对象的集合分组为由不同 簇，找出并清除那些落在簇之外的值（孤立点）， 这些孤立点被视为噪声。
▪ 通过聚类分析发现异常数据：相似或相邻近的数 据聚合在一起形成了各个聚类集合，而那些位于 这些聚类集合之外的数据对象，自然而然就被认 为是异常数据。
▪ 特点：直接形成簇并对簇进行描述，不需要任何 先验知识。
数据清洗——处理空缺值
▪ 空缺值要经过推断而补上
➢ 1.忽略该记录 ➢ 2.去掉属性 ➢ 3.手工填写空缺值 ➢ 4.使用默认值 ➢ 5.使用属性平均值 ➢ 6.使用同类样本平均值 ➢ 7.预测最可能的值
数据清洗——噪声数据的处理
▪ 噪声：在测量一个变量时可能出现的测量值相对 于真实值的偏差或者错误。
▪ 分箱后对数据进行平滑处理 ▪ 3种进行数据平滑方法：
➢ ①按平均值平滑
对同一箱值中的数据求平均值，用平均值替代该箱 子中的所有数据。
➢ ②按边界值平滑
用距离较小的边界值替代箱中每一数据。
➢ ③按中值平滑
取箱子的中值，用来替代箱子中的所有数据。
噪声数据的处理——聚类
▪ 簇：一组数据对象集合。同一簇内的所有对象具 有相似性，不同簇间对象具有较大差异性。
▪ 保留了原来数据中存在的关系。但若将来 遇到超过目前属性[old_min,old_max]取值 范围的数值，将会引起系统出错
最小-最大规范化
零-均值规范化（z-score规范化）
▪ 根据属性A的均值和偏差来对A进行规格化, 常用于属性最大值与最小值未知；或使用 最大最小规格化方法时会出现异常数据的 ຫໍສະໝຸດ Baidu况。
以获得每月或每年的总额。 ➢ 可以用来构造数据立方体
数据变换——数据概化
▪ 用更抽象（更高层次）的概念来取代低层 次或数据层的数据对象
▪ 例如：街道属性，就可以泛化到更高层次 的概念，诸如：城市、国家。同样对于数 值型的属性，如年龄属性，就可以映射到 更高层次概念，如：年轻、中年和老年。
数据变换——规范化
1000~2000、2000~3000、3000~4000和4000元 以上几组，分箱后
箱1：800 箱2：1000 1200 1500 1500 1800 2000 箱3：2300 2500 2800 3000 箱4：3500 4000 箱5：4500 4800 5000
噪声数据的处理——平滑处理
扫地机 http://www.chinachijie.c om/ wenku1
数据清洗和数据预处理
教学目标
▪ 认识数据挖掘前数据进行适当处理的必要 性
▪ 掌握常用数据预处理的方法。
教学要求
知识要点
能力要求
相关知识点
数据预处理 的原因
(1) 了解原始数据存在的主要 问题
(2) 明白数据预处理的作用和 工作任务
零-均值规范化（z-score规范化）
小数定标规范化
▪ 通过移动属性A值的小数位置，将属性A的 值映射到[0，1]之间，用小数的科学表示 法来达到规格化的目的。
▪ 移动的小数位数取决于属性A绝对值的最 大值。
小数定标规范化
数据变换——属性构造
▪ 利用已有属性集构造出新的属性，并加入 到现有属性集合中以帮助挖掘更深层次的 模式知识，提高挖掘结果准确性。
噪声数据的处理——分箱
▪ 最小熵
➢ 使在各区间分组内的记录具有最小的熵。
▪ 信息是信号、符号或消息所表示的内容， 用以消除对客观事物认识的不确定性
▪ 信息量的直观定义：信息量的大小取决于 信息内容消除人们认识的“不确定程度”， 所消除的不确定程度越大，则所包含的信 息量就越大。
熵——信息的度量（利用概率来度量）
数据归约标准
▪ 用于数据归约的时间不应当超过或“抵消”在归 约后的数据上挖掘节省的时间
▪ 产生的原因：表示的差异、比例尺度不同、 或编码的差异等。例如：重量属性在一个 系统中采用公制，而在另一个系统中却采 用英制。同样价格属性不同地点采用不同 货币单位。
数据变换——平滑
▪ 去除噪声，将连续的数据离散化，增加粒 度
➢ 分箱 ➢ 聚类 ➢ 回归
数据变换——聚集
▪ 对数据进行汇总
➢ avg(), count(), sum(), min(), max()… ➢ 例如：每天销售额（数据）可以进行合计操作
噪声数据的处理——分箱
▪ 等宽分箱法（统一区间）
➢ 在整个属性值的区间上平均分布，即每个箱的 区间范围是一个常量，称为箱子宽度。
▪ 设定区间范围（箱子宽度）为1000元人民 币，分箱后
箱1：800 1000 1200 1500 1500 1800 箱2：2000 2300 2500 2800 3000 箱3：3500 4000 4500 箱4：4800 5000
A.cust-id=B.customer_no 。
数据集成——数据冗余
▪ 同一属性在不同的数据库中会有不同的字 段名。
▪ 一个属性可以由另外一个表导出。如：一 个顾客数据表中的平均月收入属性，它可 以根据月收入属性计算出来。
▪ 有些冗余可以被相关分析检测到
数据集成——数据值冲突
▪ 对于一个现实世界实体，其来自不同数据 源的属性值或许不同。
噪声数据的处理——回归
y
Y2 Y1’
y=x+1
X1
x
数据集成
▪ 数据集成：将多个数据源中的数据整合到一 个一致的存储中
➢ 1.模式匹配 ➢ 2.数据冗余 ➢ 3.数据值冲突
数据集成——模式匹配
▪ 整合不同数据源中的元数据。 ▪ 实体识别问题：匹配来自不同数据源的现
实世界的实体，比如：
▪ 将数据按比例进行缩放，使之落入一个特 定的区域，以消除数值型属性因大小不一 而造成挖掘结果的偏差。如将工资收入属 性值映射到[-1.0,1.0]范围内。
▪ 方法：
（1）最小-最大规范化 （2）零-均值规范化（z-score规范化） （3）小数定标规范化
最小-最大规范化
▪ 已知属性的取值范围，将原取值区间 [old_min,old_max]映射到 new_min,new_max]
分箱方法，即如何分箱 数据平滑方法，即如何对每个箱子中的数据进行平
滑处理
噪声数据的处理——分箱
▪ 分箱的方法：分箱前对记录集按目标属性值的大 小进行排序。
➢ 等深分箱法 ➢ 等宽分箱法 ➢ 用户自定义区间 ➢ 最小熵
▪ 例：客户收入属性income排序后的值（人民币 元）：800 1000 1200 1500 1500 1800 2000 2300 2500 2800 3000 3500 4000 4500 4800 5000
数据清洗——处理空缺值
▪ 数据并不总是完整的
➢ 在分析一个商场销售数据时，发现有多个记录中的属性 值为空，如：顾客的收入属性对于为空的属性值
▪ 引起空缺值的原因
➢ 设备异常 ➢ 与其他已有数据不一致而被删除 ➢ 因为误解而没有被输入的数据 ➢ 在输入时，有些数据应为得不到重视而没有被输入 ➢ 对数据的改变没有进行日志记载
-log100/1000 + (-log10/1000) = -log10/1000 =log100
只要可能性范围缩小了，获得的信息量总是正的。如果为0， 获得的信息为○。如果为负，反而扩大了其可能性范围。
熵——信息的度量
▪ 信息量大小的单位用比特来衡量。1比特的信息量是指含 有两个独立均等概率状态的事件所具有的不确定性能被全 部消除所需要的信息。
▪ 信息量： H(x)=-∑ P(Xi)log2P(Xi) i=1,2,3,…,n 其中Xi表示第i个状态(共n个状态)； P(Xi)代表出现第i个状态时的概率； H(x)为消除不确定性所需的信息量，单位为比特(bit)。
▪ 例如:币下落可能有正反两种状态，出现这两种状态的概 率都是1/2，即：则，
噪声数据的处理——聚类
噪声数据的处理——回归
▪ 回归：发现两个相关的变量之间的变化模式，通过使数据 适合一个函数来平滑数据，即利用拟合函数对数据进行平 滑。
▪ 方法：
➢ 线性回归（简单回归）：利用直线建模，将一个变量看作另一个 变量的线性函数。 如：Y=aX+b，其中a、b称为回归系数，可用最小二乘法求得a、b 系数。
离期望值）的数据 5.高维度
数据预处理的方法
▪ 1.数据清洗
➢ 去掉噪声和无关数据
▪ 2.数据集成
➢ 将多个数据源中的数据结合起来存放在一个一致的数 据存储中
▪ 3.数据变换
➢ 把原始数据转换成为适合数据挖掘的形式
▪ 4.数据归约
➢ 主要方法包括：数据立方体聚集，维归约，数据压缩， 数值归约，离散化和概念分层等
➢ H(x)=-[P(X1)log2P(X1)+P(X2)log2P(X2)]=-(-0.5-0.5) =1比特。 ➢ 同理可得，投掷均匀正六面体骰子的H(X)＝2.6比特。
例子
硬币下落：硬币下落可能有正反两种状态，出现这两种状态的概 率都是1/2。 如果需要消除其不确定性，则就需要信息量：H(x)=[P(X1)log2P(X1)+P(X2)log2P(X2)]
A到1000人的学校去找B。传达室人告诉他，“B是信息管理系”，而管 理系有100人。他获得的信息是100/1000＝0.1，也就是将可能性空间缩 小到原来的1/10. 用概率来表示：－log(1/10)=log10 又有人告诉他：B在信息管理与信息系统教研室（10人），则第2个信息 的确定性又缩小到原来的100/1000*10/100=10/1000，其信息量为
=-(-0.5-0.5) =1比特为1比特的信息。
例2:张三到4000人的企业去找李四。当企业人事部门告诉张三： “李四是第四车间的”，而第四车间有1000人，如果第四车间的 人告诉张三，李四在第三班，第三班共有125位员工，计算张三所 获得的信息量？
噪声数据的处理——分箱
▪ 用户自定义区间
➢ 用户根据需要自定义区间。 ▪ 用户自定义：如将客户收入划分为1000元以下、
数据清洗
▪ 数据选取参考原则：
➢ 1.尽可能赋予属性名和属性值明确的含义 ➢ 2.统一多数据源的属性值编码 ➢ 3.去除惟一属性 ➢ 4.去除重复属性 ➢ 5.去除可忽略字段 ➢ 6.合理选择关联字段
▪ 进一步处理：
➢ 通过填补遗漏数据、消除异常数据、平滑噪声数据， 以及纠正不一致的数据,去掉数据中的噪音、填充空值、 丢失值和处理不一致数据
为什么要预处理数据？
▪ 现实世界的数据是“肮脏的”
➢ 不完整的 ➢ 含噪声的 ➢ 不一致的
▪ 没有高质量的数据，就没有高质量的挖掘结 果
➢ 高质量的决策必须依赖高质量的数据 ➢ 数据仓库需要对高质量的数据进行一致地集成
原始数据中存在的问题
1.不一致——数据内涵出现不一致情况 2.重复 3.不完整——感兴趣的属性没有值 4.含噪声——数据中存在着错误、或异常（偏
噪声数据的处理——分箱
▪ 等深分箱法（统一权重 ）
➢ 按记录行数分箱，每箱具有相同的记录数，每 箱记录数称为箱的权重，也称箱子的深度。
▪ 设定权重（箱子深度）为4，上述例子分箱 后的结果如下。
箱1：800 1000 1200 1500 箱2：1500 1800 2000 2300 箱3：2500 2800 3000 3500 箱4：4000 4500 4800 5000
▪ 例如：根据宽、高属性，可以构造一个新 属性：面积。
数据归约（数据消减）
▪ 对大规模数据库内容进行复杂的数据分析 通常需要耗费大量的时间。
▪ 数据归约（消减）技术用于帮助从原有庞 大数据集中获得一个精简的数据集合，并 使这一精简数据集保持原有数据集的完整 性，这样在精简数据集上进行数据挖掘显 然效率更高，并且挖掘出来的结果与使用 原有数据集所获得结果基本相同。
(1) 数据的一致性问题 (2)数据的噪声问题 (3)原始数据的不完整和高维 度问题
数据预处理 的方法
(1) 掌握数据清洗的主要任务 与常用方法
(2) 掌握数据集成的主要内容 和常用方法
(3) 掌握数据变换的主要内容 和常用方法
(4)掌握数据归约的主要内容和 常用方法
(1) 数据清洗 (2) 数据集成 (3) 数据变换 (4) 数据归约
噪声数据的处理——分箱
➢ 分箱：把待处理的数据按照一定的规则放进一 些箱子中，考察每一个箱子中的数据，采用某 种方法分别对各个箱子中的数据进行处理。
➢ 箱子：按照属性值划分的子区间，如果一个属 性值处于某个子区间范围内，就称把该属性值 放进这个子区间代表的“箱子”里。
➢ 分箱技术需要确定的主要问题：
▪ 聚类：将物理的或抽象对象的集合分组为由不同 簇，找出并清除那些落在簇之外的值（孤立点）， 这些孤立点被视为噪声。
▪ 通过聚类分析发现异常数据：相似或相邻近的数 据聚合在一起形成了各个聚类集合，而那些位于 这些聚类集合之外的数据对象，自然而然就被认 为是异常数据。
▪ 特点：直接形成簇并对簇进行描述，不需要任何 先验知识。
数据清洗——处理空缺值
▪ 空缺值要经过推断而补上
➢ 1.忽略该记录 ➢ 2.去掉属性 ➢ 3.手工填写空缺值 ➢ 4.使用默认值 ➢ 5.使用属性平均值 ➢ 6.使用同类样本平均值 ➢ 7.预测最可能的值
数据清洗——噪声数据的处理
▪ 噪声：在测量一个变量时可能出现的测量值相对 于真实值的偏差或者错误。
▪ 分箱后对数据进行平滑处理 ▪ 3种进行数据平滑方法：
➢ ①按平均值平滑
对同一箱值中的数据求平均值，用平均值替代该箱 子中的所有数据。
➢ ②按边界值平滑
用距离较小的边界值替代箱中每一数据。
➢ ③按中值平滑
取箱子的中值，用来替代箱子中的所有数据。
噪声数据的处理——聚类
▪ 簇：一组数据对象集合。同一簇内的所有对象具 有相似性，不同簇间对象具有较大差异性。
▪ 保留了原来数据中存在的关系。但若将来 遇到超过目前属性[old_min,old_max]取值 范围的数值，将会引起系统出错
最小-最大规范化
零-均值规范化（z-score规范化）
▪ 根据属性A的均值和偏差来对A进行规格化, 常用于属性最大值与最小值未知；或使用 最大最小规格化方法时会出现异常数据的 ຫໍສະໝຸດ Baidu况。
以获得每月或每年的总额。 ➢ 可以用来构造数据立方体
数据变换——数据概化
▪ 用更抽象（更高层次）的概念来取代低层 次或数据层的数据对象
▪ 例如：街道属性，就可以泛化到更高层次 的概念，诸如：城市、国家。同样对于数 值型的属性，如年龄属性，就可以映射到 更高层次概念，如：年轻、中年和老年。
数据变换——规范化
1000~2000、2000~3000、3000~4000和4000元 以上几组，分箱后
箱1：800 箱2：1000 1200 1500 1500 1800 2000 箱3：2300 2500 2800 3000 箱4：3500 4000 箱5：4500 4800 5000
噪声数据的处理——平滑处理
扫地机 http://www.chinachijie.c om/ wenku1
数据清洗和数据预处理
教学目标
▪ 认识数据挖掘前数据进行适当处理的必要 性
▪ 掌握常用数据预处理的方法。
教学要求
知识要点
能力要求
相关知识点
数据预处理 的原因
(1) 了解原始数据存在的主要 问题
(2) 明白数据预处理的作用和 工作任务
零-均值规范化（z-score规范化）
小数定标规范化
▪ 通过移动属性A值的小数位置，将属性A的 值映射到[0，1]之间，用小数的科学表示 法来达到规格化的目的。
▪ 移动的小数位数取决于属性A绝对值的最 大值。
小数定标规范化
数据变换——属性构造
▪ 利用已有属性集构造出新的属性，并加入 到现有属性集合中以帮助挖掘更深层次的 模式知识，提高挖掘结果准确性。
噪声数据的处理——分箱
▪ 最小熵
➢ 使在各区间分组内的记录具有最小的熵。
▪ 信息是信号、符号或消息所表示的内容， 用以消除对客观事物认识的不确定性
▪ 信息量的直观定义：信息量的大小取决于 信息内容消除人们认识的“不确定程度”， 所消除的不确定程度越大，则所包含的信 息量就越大。
熵——信息的度量（利用概率来度量）
数据归约标准
▪ 用于数据归约的时间不应当超过或“抵消”在归 约后的数据上挖掘节省的时间
▪ 产生的原因：表示的差异、比例尺度不同、 或编码的差异等。例如：重量属性在一个 系统中采用公制，而在另一个系统中却采 用英制。同样价格属性不同地点采用不同 货币单位。
数据变换——平滑
▪ 去除噪声，将连续的数据离散化，增加粒 度
➢ 分箱 ➢ 聚类 ➢ 回归
数据变换——聚集
▪ 对数据进行汇总
➢ avg(), count(), sum(), min(), max()… ➢ 例如：每天销售额（数据）可以进行合计操作
噪声数据的处理——分箱
▪ 等宽分箱法（统一区间）
➢ 在整个属性值的区间上平均分布，即每个箱的 区间范围是一个常量，称为箱子宽度。
▪ 设定区间范围（箱子宽度）为1000元人民 币，分箱后
箱1：800 1000 1200 1500 1500 1800 箱2：2000 2300 2500 2800 3000 箱3：3500 4000 4500 箱4：4800 5000
A.cust-id=B.customer_no 。
数据集成——数据冗余
▪ 同一属性在不同的数据库中会有不同的字 段名。
▪ 一个属性可以由另外一个表导出。如：一 个顾客数据表中的平均月收入属性，它可 以根据月收入属性计算出来。
▪ 有些冗余可以被相关分析检测到
数据集成——数据值冲突
▪ 对于一个现实世界实体，其来自不同数据 源的属性值或许不同。