2数据仓库与数据挖掘项目建设-讲义

数据仓库与数据挖掘项目建设

1、数据仓库知识简介

1、1软件质量控制

软件质量控制得主要目得就是为了获得更高得开发效率,避免返工,提高产品得市场竞争力,从而为客户提高符合质量需求得稳定可靠得软件产品,同时它也就是控制方法得集合,包括软件建模、度量、评审以及其她活动。

1、2用于软件控制得一般性方法如下:

1.目标问题度量法,即通过软件质量目标并持续观察这些目标就是否达到软件质量控制得一

种方法

2.风险管理法,即识别与控制软件开发中对成功达到质量目标危害最大得哪些因素得系统性

方法

3.PDCA循环。这种方法发源于日本,就是指计划plan,做do,检查check,与行动action

1、3信息化得需求:

随着信息化得高速发展,各行各业,各组织单位积累了大量得业务数据,这些数据存在于各单位得数据库,各种报表、文档中,真可谓就是数据得海洋。这些数据中蕴含着组织业务活动得大量规则,包含着组织管理决策所需要得重要知识,从这些数据中挖掘出有价值得信息,为管理决策提供支持就是政府与企业事业单位共同面临得问题。

解决这个问题主要依赖于亮相技术:

一就是对整个组织各部门生产得各种业务数据进行统一与综合,把业务数据转化为商业信息,支持决策,即数据仓库。

二就是发现隐藏在各种数据之中有用得知识,即数据挖掘。

1、4以银行为案例得IT整体架构

1、5数据仓库得定义

数据仓库系统就是指面向主题得、集成得、稳定得同时又就是随时间变化得大量得数据集合。在综合使用一些应用软件下,用户获得想要得信息,最终为经营管理得决策提供有力得帮助

数据仓库系统得业务特征就是业务需求得范围与内容,不像业务系统那样清晰与明确:系统建设得一个主要风险就是体现在软件工程质量与串接方面存在较大得过程风险:系统建设得成功标准应该由应用系统得用户数及其使用频率作为重要参考依据。

1、6数据仓库得建设过程得挑战

如何来控制风险、如何来保证质量呢？把质量控制作为数据仓库建设得生命线,把它贯穿于数据仓库建设整个过程得始终。那么质量控制得中心环节又就是什么呢？

简单而言,包括事前控制:对方案与计划进行充分得咨询与论证;事中管理:对建设开发阶段进行持续不断得过程控制;事后控制:对于建设成果通过测试、评审、验收、试运行等方式进行

面向结果得管理控制。

1、7数据仓库得质量控制

➢关于数据仓库中得质量管理问题得研究,目前有几个主要得切入点:

（1）从数据仓库得设计入手,简历适合全方位质量控制得体系结构

（2）遵从生命周期观点,全过程控制数据仓库建设质量

（3）按照数据仓库凶得工作机制与部件构成来制定质量控制标准

数据仓库质量从本质上说就是总体数据质量得问题。数据仓库得质量问题就是一个主观得标准问题,不同层次得人员对数据仓库得质量有不同得要求,必须根据追求得目标来制定质量得测评、预测标准并加以实现,才能真正达到质量控制得目得

1、8数据仓库得精确定义

上世纪80年代中期,“数据仓库之父”William、H、Inmon先生在其《建立数据仓库》一书中定义了数据仓库得概念,随后又给出了更为精确得定义:数据仓库就是在企业管理与决策中面向主题得、集成得、与时间相关得数据集合。与其她数据库应用不同得就是,数据仓库更像就是一种过程,就是对分布在企业内部各处得业务数据整合、加工与分析得过程。而不就是一种可以购买得产品。

1、9数据仓库得特点

1、9、1 数据仓库就是面向主题得

主题就是一个比较抽象得概念,就是一种在较高层次上将企业信息系统中得数据综合、归类后进行分析利用得抽象。在逻辑意义上,它就是对应企业中某一宏观分析领域所涉及得分析对象,就是针对某一决策问题而设置得

面向主题得数据组织方式,就就是在较高层次上对分析对象数据得一个完整、统一、一致得描述,能完整及统一地描述出各个分析对象所设计得相关企业得分项数据,以及数据之间得联系

1、9、2 数据仓库就是集成得

全面而正确得数据就是进行有效分析与决策得首要前提。在某一个主题得统帅下,需要对数据进行抽取、清晰、转换与加载等集成操作。因为:

数据仓库得数据不就是直接从原有数据库系统复制得到,因为原有数据库系统记录得就是每一项业务处理得流水账,这类数据不适合用于分析处理。在进入数据仓库之前必须经过综合计算,抛弃分析处理不需要得数据项,增加一些可能涉及得外部数据。

数据仓库每一个主题所对应得源数据在原数据库中有可能有许多重复或不一致之处,必须将这些数据转换成全局统一得定义,消除不一致与错误之处,以保证数据得质量。显而易见得就是,对不准确,甚至不正确得数据进行分析得出得结果将不能用于知道企业领导者做出科学得决策

1、9、3数据仓库就是相对稳定得

操作型数据库中得数据通常实时更新,数据根据需要发生变化。数据仓库得数据主要供企业领导者决策分析之用,所涉及得数据操作主要就是数据查询与分析,一旦某个数据进入数据操作主要就是数据查询与分析,一旦某个数据进入数据仓库之后,一般情况下将会被长期保留,也就就是数据仓库中一般有大量得查询操作与分析,修改与删除操作一般不多,通常只需要定期得加载、刷新。

1、9、4数据仓库就是相对时间变化得

由于数据仓库中得数据就是为了分析用得,这使得数据仓库中得数据总就是拥有时间维度。数据仓库实际上就就是记录系统得各个瞬态,并将各个瞬态连续起来形成动画,从而在数据分析得时候再现系统运动得全过程。数据提取得周期决定了动画间隔得时间,数据提取得周期越短,则动画得速度越快

1、10数据成熟度

*商业智能包含(数据仓库与数据挖掘)

1、11商业智能(仓库与挖掘)能够帮助我们做什么

➢增加销售额

➢深化客户关系

➢研发客户关系