技术篇-数据资源管理技术.

(27)
人工管理
时期 40年代中--50年 代中 产生的背景 应用需求：科学 计算 硬件水平：无直 接存取存储设备 软件水平：没有 操作系统 处理方式：批处 理 特点
数据的管理者：应用程序，数据不 保存。
数据面向的对象：某一应用程序
数据共享：无共享、冗余度极大 数据独立性：不独立，完全依赖于 程序 数据结构化：无结构 数据控制：应用程序自己控制
面向 信息使用者
几种文件组织方式
• 文件是数据库组织的基础。 • 文件的逻辑组织形式将直接影响整个信息系统的 效率。 • 几种文件组织方式
–顺序文件 –索引文件 –链表文件 –倒排文件
Robotding, All Rights Reserved, 2018/9/25
(16)
顺序文件
顺序文件是最简单的文件，文件的各个记录按逻辑顺序 存放在外存的连续区中，即顺序文件中物理记录的顺序 和逻辑记录的顺序一致。如果文件按关键字有序输入， 则形成的顺序文件称为顺序有序文件；否则称为顺序无 序文件。 顺序文件根据记录的序号或记录的相对位置来进行存取， 其特点是当存取第i个记录时，必须先搜索在它之前的i1个记录；插入新的记录时，只能加在文件的末尾；若要 更新文件中的某个记录，则必须将整个文件进行复制。
Robotding, All Rights Reserved, 2018/9/25
(8)
OLTP
联机事务处理 (OLTP：OnLine Transaction Processing) 基本特征： 顾客的原始数据可以立即传送到计算中心进行处理，并在很短 的时间内给出处理结果。 一个重要性能指标是实时响应时间(Response Time)
企业从事务中获取信息后，需要对信息进行分析， 以便从事各项决策任务。 OLAP是一种为支持决策而进行的信息处理方式。 数据仓库能支持联机分析处理信息的功能
Robotding, All Rights Reserved, 2018/9/25
(10)
OLTP vs OLAP
OLTP 数据特性 数据时间性 原始、细节性数据 当时的运算资料 OLAP 汇总、提炼性资料 包含历史数据
文件——数据库的基础
1
企业中的数据一般是以文件的形式组织起来的，并按 档案的方式存放在光盘、磁盘等存储介质上，应用时 根据用户的指令，用特定的程序对文件的内容进行操 纵。
2 人们总是以文件为单位，操纵数据库中的数据。
Robotding, All Rights Reserved, 2018/9/25
Robotding, All Rights Reserved, 2018/9/25
(20)
工程索引（EI） 《工程索引》（The Engineering Index，简称EI） 创刊于1884年，是美国工程信息公司 (Engineering information Inc.)出版的著名工 程技术类综合性检索工具。
Robotding, All Rights Reserved, 2018/9/25
(24)
三、数据库系统
• 数据库处理
• 数据库管理系统
• 数据库模型和数据库组织结构 • 数据库设计 • 数据库技术发展趋势
Robotding, All Rights Reserved, 2018/9/25
(25)
数据库处理
Robotding, All Rights Reserved, 2018/9/25
(22)
三者比较
• SCI最能反映基础学科研究水平和论文质量，该检 索系统收录的科技期刊比较全面，可以说它是集 中各个学科高质优秀论文的精粹，该检索系统历 来成为世界科技界密切注视的中心和焦点。
• ISTP、EI这两个检索系统评定科技论文和科技期 刊的质量标准方面相比之下较为宽松。
管理信息系统-基础技术篇
数据资源管理技术
Robotding, All Rights Reserved, 2018/9/25
引言
• 现在企业的问题不是数据太少，而是数据太多！
Robotding, All Rights Reserved, 2018/9/25
(2)
引言
“信息爆炸”面临的问题
访问
共享 安全
变化频率
主题性 数据处理量 使用者 性能要求
经常
功能导向、交易驱动 一次处理的数据量小 针对操作人员、日常操作 可快速更新资料
少有变化，大多为查询
分析导向、分析驱动 一次处理的资料量大 针对决策人员、支持管理需要 可快速得到查询结果
Robotding, All Rights Reserved, 2018/9/25
时期 – 50年代末--60年代中 产生的背景 – 应用需求：科学计算、 管理 – 硬件水平：磁盘、磁 鼓 – 软件水平：文件系统 – 处理方式：联机实时 处理、批处理
特点 数据管理者：文件系统，数据可长 期保存 数据面向对象：某一应用程序 数据共享程度：共享性差、冗余度 大 数据结构化：记录内有结构,整体 无结构 数据独立性：独立性差，数据的逻 辑结构改变必须修改应用程序 数据控制能力：应用程序自己控制
Robotding, All Rights Reserved, 2018/9/25
(30)
应用程序１ 应用程序２
.. . …
文件１ 文件2
.. . …
存取 方法
应用程序ｎ
文件n
应用程序与数据的对应关系(文件系统阶段)
Robotding, All Rights Reserved, 2018/9/25
Robotding, All Rights Reserved, 2018/9/25
(19)
三大索引介绍
科学引文索引（SCI)
–《科学引文索引》（Science Citation Index,简称 SCI）是美国科学情报研究所（Institute Scientific Information，简称ISI，http://www.isinet.com）出 版的一种世界著名的综合性科技引文检索刊物。
Robotding, All Rights Reserved, 2018/9/25
(21)
《科技会议录索引》 ISTP
创刊于1978年，由美国科学情报研究所编辑出版。 该索引收录生命科学、物理与化学科学、农业、 生物和环境科学、工程技术和应用科学等学科的 会议文献，包括一般性会议、座谈会、研究会、 讨论会、发表会等。其中工程技术与应用科学类 文献约占35%，其他涉及学科基本与SCI相同。
(11)
OLTP vs OLAP
Robotding, All Rights Reserved, 2018/9/25
(12)
二、文件组织
• 文件——数据库的基础 • 数据的物理组织和逻辑组织 • 几种文件组织方式
Robotding, All Rights Reserved, 2018/9/25
(13)
存储
信息爆炸
Robotding, All Rights Reserved, 2018/9/25
(3)
引言
Robotding, All Rights Reserved, 2018/9/25
(4)
引言
数据是重要的组织资源，它同企业其他资源：劳动力、
原材料、资金和设备一样，应该放在同等重要的位置 上进行管理。 许多组织由于缺乏关于企业内部运作和外部环境的高 质量的信息，因而在竞争中失败。
Robotding, All Rights Reserved, 2018/9/25
(28)
应用程序１
数据集１
应用程序２
... …
数据集２
... …
应用程序ｎ
数据集n
应用程序与数据的对应关系(人工管理)
Robotding, All Rights Reserved, 2018/9/25
(29)
文件系统
(31)
Robotding, All Rights Reserved, 2018/9/25
(32)
数据库系统
时期
– 60年代末以来
特点
数据的管理者：DBMS 数据面向的对象：现实世界 数据的共享程度：共享性高 数据的独立性：高度的物理独 立性和一定的逻辑独立性 数据的结构化：整体结构化 数据控制能力：由DBMS统一管 理和控制
(14)
数据的物理组织和逻辑组织
• 信息的物理组织是面向机器、面向存储设备 • 信息的逻辑组织是面向用户的应用需求
物理组织 存储单位 比特 字节 字 面向机器 面向存储设备 数据库 数据库管理系统 数据仓库 数据仓库管理系统 技术界面 逻辑组织
字符 字段 文件 数据库 数据仓库
Robotding, All Rights Reserved, 2018/9/25 (15)
产生的背景
– 应用背景：大规模管理 – 硬件背景：大容量磁盘 – 软件背景：有数据库管理 系统 – 处理方式：联机实时处理, 分布处理,批处理
Robotding, All Rights Reserved, 2018/9/25
(23)
扬大跻身全国高校五十强
• 北美普林斯顿大学中国大学研究专家菲莱德公布2006年 中国大学100强排名，我省有13家高校入选，扬州大学排 名46位，跻身前五十强。该排名主要依据2005年各高校 在ＳＣＩ上及在美国的影响力。 • 高校2004年生物类SCI论文排序，扬州大学37位，8篇。
Robotding, All Rights Reserved, 2018/9/25
(17)
顺序文件：应用场合
最佳应用场合，是在对诸记录进行批量存取时，即每次 要读或写一大批记录。此时，对顺序文件的存取效率是 所有逻辑文件中最高的。
在交互应用的场合，如果用户(程序)要求查找或修改单 个记录，为此系统便要去逐个地查找存诸记录。这时， 顺序文件所表现出来的性能就可能很差，尤其是当文件 较大时，情况更为严重。 增加或删除一个记录，比较困难。
即用户在终端上送入数据之后，到计算机对这个请求给出
答复所需要的时间。 目前大多数企业运用业务数据库（Operational database）和
数据库管理系统（DBMS）对OLTP提供支持。
Robotding, All Rights Reserved, 2018/9/25
(9)
OLAP-OnLine Analytical Processing联机分析处理
Robotding, All Rights Reserved, 2018/9/25
(18)
索引文件
具有索引表的文件成为索引文件。 索引表中的每一项称作索引项。不论主文件是否 按关键字有序，索引表中的索引项总是按关键字 （或逻辑记录号）顺序排列。 若数据区中的记录也按关键字顺序排列，则称索 引顺序文件。反之，若数据区中记录不按关键字 顺序排列，则称非顺序文件。 索引文件可以大大提高表查找的速度。因为索引 表容量小，且索引表按关键字有序。
Robotding, All Rights Reserved, 2018/9/25
(5)
引言
• 广义的数据资源管理包
括：
文件组织
数据库和数据仓库
数据规划和数据管理 一．企业数据处理方式 二．文件组织 三．数据库系统
Robotding, All Rights Reserved, 2018/9/25
(6)
• 文件系统的缺点
– 数据冗余与数据不一致 性 – 数据结构的不一致性 – 数据信息共享性低
客户交易系统 查询
核对帐户 程序
存款帐目 程序
wk.baidu.com
分期贷款 程序
数据库管理系统
• 数据库系统克服了文件 系统的这些缺点。
客户 数据库
Robotding, All Rights Reserved, 2018/9/25
(26)
数据管理技术的产生和发展 什么是数据管理
对数据进行分类、组织、编码、存储、检索和维护，是数据处 理的中心问题
数据管理技术的发展过程
人工管理阶段(40年代中--50年代中)
文件系统阶段(50年代末--60年代中) 数据库系统阶段(60年代末--现在)
Robotding, All Rights Reserved, 2018/9/25
主要内容：
• 企业数据处理方式
• 文件组织 • 数据库系统
Robotding, All Rights Reserved, 2018/9/25
(7)
一、企业数据处理方式
• 现代企业处理信息的方式主要有以下两种：
–以联机事务处理形式处理信息（OLTP）
–以联机分析处理（OLAP）形式处理信息，并利用信息进 行决策