高级人工智能知识发现

可视化：
2019/11/3
11
KDD的技术难点
动态变化的数据 噪声 数据不完整 冗余信息 数据稀疏 超大数据量
Biblioteka Baidu
2019/11/3
12
数据仓库
在过去几十年，数据库技术，特别是OLTP（联机事务处理），主要是为自动化生 产、精简工作任务和高速采集数据服务。它是事务驱动的、面向应用的。 20世纪80年代，人们要利用现有的数据，进行分析和推理，从而为决策提供依据。 这种需求既要求联机服务，又涉及大量用于决策的数据。而传统的数据库系统已无 法满足这种需求：
聚类：
根据数据的不同特征，将其划分为不同的类。无导师学习
2019/11/3
7
知识发现的任务
相关性分析：
发现特征之间或数据之间的相互依赖关系 关联规则
偏差分析：
基本思想是寻找观察结果与参照量之间的有意义的差别。通过发现异常, 可以引 起人们对特殊情况的加倍注意。
建模：
构造描述一种活动或状态的数学模型
规则、科学规律、方程或概念网。
2019/11/3
3
数据库知识发现
目前, 关系型数据库技术成熟、应用广泛。 因此, 数据库知识发现(Knowledge Discovery in Databases KDD)的研究非常活跃。
该术语于1989年出现，Fayyad定义为 “KDD是从数据集中识别出有效的、新颖的、 潜在有用的，以及最终可理解的模式的非平凡 过程”
2019/11/3
17
元数据的重要性
数据仓库使用者往往将使用元数据作为分析的第一 步。元数据如同数据指示图，指出了数据仓库内各种 信息的位置和含义
从操作型数据环境到数据仓库的数据转换是复杂的、 多方面的，是数据仓库建设的关键性步骤，元数据要 包含对这种转换的清晰描述，保证这种转换是正确、 适当和合理的，并且是灵活可变的
数据仓库中的数据是集成的
在数据进入数据仓库之前，必然要经过加工与集成。 要统一原始数据中的所有矛盾之处，还要进行数据综 合和计算
2019/11/3
15
数据仓库的特征
数据仓库中的数据是稳定的
数据仓库的数据主要供决策分析之用，所涉及的操 作主要是数据查询，一般不进行修改操作
数据仓库中的数据又是随时间不断变化的
2019/11/3
8
知识发现的方法
统计方法：
传统方法： 回归分析、判别分析、聚类分析、探索性分析
模糊集(fuzzy set) Zadeh 1965 支持向量机(Support Vector Machine) Vapnik 90
年代初 粗糙集(Rough Set) Pawlak 80年代初
数据仓库的数据不是实时更新的，但并不是永远不 变的，也要随着时间的变化不断地更新、增删和重新 综合。
更新周期
2019/11/3
16
元数据
元数据（Metadata）是关于数据的数据，它描述了数 据的结构、内容、编码、索引等内容。传统数据库中 的数据字典是一种元数据，但在数据仓库中，元数据 的内容比数据库中的数据字典更加丰富和复杂。设计 一个描述能力强、内容完善的元数据，是有效管理数 据仓库的具有决定意义的重要前提
所需历史数据量很大，而传统数据库一般只存储短期数据。 涉及许多部门的数据，而不同系统的数据难以集成。 对大量数据的访问性能明显下降
2019/11/3
13
数据仓库的定义
信息处理技术的发展趋势是：从大量的事务型数据库中抽取数据，并将其清理、 转换为新的存储格。随着此过程的发展和完善，这种九十年代初出现的支持决策 的、特殊的数据存储即被称为数据仓库（Data Warehouse）。
元数据还管理粒度的划分、索引的建立以及抽取更 新的周期等，以便管理好数据仓库中的大规模数据
Inmon将数据仓库明确定义为：
数据仓库（Data Warehouse）是面向主题的， 集成的，内容相对稳定的、不同时间的数据集合，用 以支持经营管理中的决策制定过程。
2019/11/3
14
数据仓库的特征
数据仓库中的数据是面向主题的
与传统数据库面向应用相对应的。主题是一个在较 高层次将数据归类的标准，每一个主题基本对应一个 宏观的分析领域
2019/11/3
5
2019/11/3
6
知识发现的任务
数据总结：
对数据进行总结与概括。传统的最简单的数据总结方法是计算出数据库的各个字段 上的求和值、平均值、方差值等统计值,或者用直方图、饼状图等图形方式表示。
分类：
根据分类模型对数据集合分类。分类属于有导师学习，一般需要有一个训练样 本数据集作为输入。
2019/11/3
4
不同的术语名称
知识发现是一门来自不同领域的研究者关注的交叉 性学科，因此导致了很多不同的术语名称。
知识发现:人工智能和机器学习界。
数据挖掘(data mining):
统计界、数据分析、数据库和管理信息系统界 知识抽取 (information extraction)、 信息发现 (information discovery)、 智能数据分析 (intelligent data analysis)、 探索式数据分析 (exploratory data analysis) 信息收获 (information harvesting) 数据考古 (data archeology)
高级人工智能 知识发现
2019/11/3
1
知识发现
概述 知识发现的任务 数据仓库 知识发现工具
2019/11/3
2
知识发现
知识发现是指从数据集中抽取和精炼新的模式。 范围非常广泛：经济、工业、农业、军事、社会 数据的形态多样化：数字、符号、图形、图像、声音 数据组织各不相同：结构化、半结构化和非结构 发现的知识可以表示成各种形式
2019/11/3
9
知识发现的方法
机器学习：
规则归纳：AQ算法 决策树：ID3、C4.5 范例推理:CBR 遗传算法:GA 贝叶斯信念网络
2019/11/3
10
知识发现的方法
神经计算：
神经网络是指一类新的计算模型，它是模仿人脑神经网络的结构和某些工作机
制而建立的一种计算模型。常用的模型： Hopfield网 多层感知机 自组织特征映射 反传网络