网络信息资源整合

整合机制－数据仓库整合机制
数据仓库整合机制是一种物理集成方式，它将 不同来源的数字资源按特定的方式（通常是按 主题或其它多维方式）建模并存储在同一物理 位置（称为数据仓库），提供给用户一个新的、 统一的目标数据模式（schema），使得用户能 够一站式地访问各种数字资源，从而达到整合 的目的。
下图概略地示出了数据仓库整合机制的基本原 理
（2）信息抽取技术
信息抽取技术应用于整合系统的目的是将参 与整合的半结构化、非结构化信息源中的数 字资源转化成结构性更强、语义更清晰的格 式，以提高查询速度。目前，信息抽取技术 已经成为了生成wrapper的关键技术之一， 广泛应用于面向网络数字资源的整合系统中。
（3）查询处理技术
查询处理技术是mediator/wrapper整合机制中的最 重要的技术之一，是对查询进行检验、重构、优化 的技术。 用户对整合系统查询时，整合系统需首先对用户查 询进行语法分析和检验，确保查询符合系统全局模 式的要求，这部分工作主要由查询检验技术完成。 此后，整合系统再将经过检验的查询按一定的规则 转换为面向不同信息源模式（本地模式）的多个查 询，这个过程称为查询重构。 整合系统面对的是不同的信息源，由于各个信息源 有其自身的特点，例如有不同的传输带宽和传输延 时，加之当前运行情况有不确定性，如当前的信息 源访问量是大还是小、信息源是否能很快与整合系 统建立连接等等，这就要求整合系统根据各信息源 的当前运行情况制定最优查询计划和查询调配方案， 并据此对各信息源进行查询，这个过程称为查询优 化。
（4）结果整合技术
整合系统提供对各信息源的一站式访问，因 而对信息源访问完毕后需要用mediator对来 自不同信息源的结果信息进行整合及合成， 以统一的形式呈现给用户。 结果整合主要是对不同信息源的结果做并操 作，并且重新计算结果的相关度。 一般地说，对一个信息源进行查询会形成一 个相应的查询子视图，结果整合的目的就是 将这些子视图连接起来，形成一个完整的视 图，提供给用户。
第6讲 网络信息资源整合
信息技术对信息服务的影响 信息资源整合
信息技术对信息服务的影响
随着计算机技术、多媒体以及网络技术的飞速 发展，信息载体的不断电子化、网络化，信息 服务机构（如图书馆、情报机构）的信息技术 也随之计算机化、网络化，以满足不断变化和 发展的文献信息服务的需求。 信息技术既对信息服务机构带来了机遇、也带 来了挑战。
与数据仓库整合机制相比，mediator/wrapper 整合机制能够有效地保持各个异构信息源的自 治性，满足局部的应用，并且能够充分发挥 mediator的作用，满足全局性应用。同时，使 用这种机制的整合系统不需要在本地储存大量 的数字资源，因而能够适应网络环境下信息源 高度自治、数量多、更新变化快等特点，而且， 在mediator中引入Ontology等语义相关技术后， 能够有效解决知识整合、个性化服务等问题。 因而，mediator/wrapper整合机制是目前实现 数字资源整合的主流方式。
campus portal
course material text book RSS aggregator
Personal environments
library
user environments resource environment
Institutional repository Digital collections E-reserve Catalog Cataloging, ILL
数据仓库整合机制所涉及的技术主要有：
（1）海量数据存储 （2）ETL技术 （3）信息源的监控与更新
（1）海量数据存储
数据仓库的数据来源于多个信息源（即参与 整合的系统中的数字资源），因此具有数据 量大、类型复杂的特点，属于海量数据。 解决海量数据的存储问题，除了需要相应的 专门设备如磁盘阵列、光盘库、磁带库等， 还需要精心地设计存储结构和存储算法，既 要保证数字资源有合理的物理存储结构，又 要保证有较快的存取速度。
从挑战谈起……
现有图书馆工作模式 流水线式的工作 目录为中心的工作模式 以文献为单元的工作模式
现代信息技术环境下图书馆工作面临的转变 工作的中心由面向馆藏的转变成面向用户的 从基于载体的信息提供转变成是基于内容的 信息提供 从馆内服务或面对面的服务转变成网络服务 或远程服务 技术和设备在很大程度上会影响工作效果
mediator/wrapper整合机制是一种虚拟整合方 式，在基于这种机制的整合系统中，并不真正 存储需要整合的数字资源，而是通过mediator 和wrapper来实现整合。 mediator和wrapper均为软件组件，位于用户 和数据源之间，mediator负责处理用户提问和 查询结果的整合，wrapper则负责对信息源的 连接和具体查询。
（2）ETL技术
ETL技术是对要加以整合的数字资源进行抽取 （Extract）、转换（Transform）、清洗 （Cleaning）、装载（Loading）的技术。 对不同来源的数字资源进行物理集成，首先需要从 参与整合的系统中抽取出相关数字资源，这需要使 用信息抽取技术。 由于信息源是异构的，因此，还必须利用转换技术 将不同结构的数字资源规范化，消除异构数字资源 之间的不一致性，为来自不同系统的数字资源之间 的比较、整合以及统一存储奠定基础； 清洗技术主要是解决信息冗余的去重以及错误和不 完整信息的修正、剔除问题； 装载技术则是将清洗后的数字资源按一定的规则加 载至数据仓库，形成数据仓库的物理存储结构和逻 辑存储结构。
目标模式
数据仓库
数据源
从上图中可以看出，数据仓库整合机制的最根本的特 点是物理地存放数字资源，对不同来源的数字资源进 行集中管理，简化了用户访问信息的复杂度，提高了 数字资源的访问速度和整合系统的性能。 而且，由于实现了不同来源的数字资源的一致性存储， 这种整合机制还有利于实施比信息检索更复杂、更深 入的数据挖掘、知识发现等服务。 采用数据仓库整合机制进行整合的前提是必须能合法 地（例如通过授权）获得来源系统中的数字资源，而 且，由于是集中存储要整合的数字资源，因而难以适 应网络数字资源类型多样、变化快等特点，同时还会 增加本地系统存储与维护的负担。 数据仓库整合机制较适用于自建资源。
再看看机遇……
如果我们转变观念 从图书馆的用户到用户的图书馆 如果我们改变流程 从分立的资源服务到集成整合的服务 如果我们用新技术 从简单的信息检索到个性化的推送
从图书馆的用户到 用户的图书馆
learning management systems
Search engine
PDAs the library in the user environment, Not the user in the library environment.
reading lists
Virtual reference
Flexible assembly of services from multiple sources.
Aggregations Licensed collections
总之，要…… 围绕着用户的工作流程构建相关的信息服务； 使用户不离开其工作环境就可使用信息资源； 按照用户的使用习惯组织信息资源和服务； 能根据用户的不同为其组织和装配不同的资源和服 务 彻底解决…… 用户看到的一个个孤立的系统，是一个个的建设成 果展示； 服务系统自成体系，系统互连性差，不能被相互调 用； 系统之的连接关系是零散、无序、任意的甚至是混 乱的，没有一个清晰的流程； …… 用户不了解、不明白、不易用、不会用、不能用、 不爱用…..
mediator/wrapper整合机制涉及的主要技术有： （1）信息源选择技术 （2）信息抽取技术 （3）查询处理技术 （4）结果整合技术 （5）语义整合技术
（1）信息源选择技术
mediator/wrapper整合机制是一种虚拟整合 方式，整合系统本身并不存储被整合的数字 资源，当用户进行查询时，如果将用户查询 不加区别地发送给参与整合的所有信息源， 必然会导致占用较多的带宽并增加系统的负 担，这就需要利用信息源选择技术来确定相 关度高的信息源，以提高整合系统的效率。 信息源选择技术主要包括信息源描述和信息 源选择两个方面，前者是按一定的算法建立 对各信息源的描述模型，后者是在信息源描 述模型的基础上，根据用户查询，按一定算 法选出相关度高的信息源作为查询对象。
整合机制－Agent整合机制
Agent是处于一定的环境中或者作为环境的一部分存在 的一种软件系统，它利用传感器（Sensor）感应环境， 获取相关信息，然后根据这些信息和指定的目标执行 相应操作。近年来，研究人员将Agent技术应用于整合 系统中，形成了Agent整合机制。 Agent整合机制以Agent作为核心模块，以ontology作 为核心技术，比较适合于整合分布性较强的数字资源， 其原理是：将整合系统框架中的各个（或主要）功能 模块封装为Agent，各Agent之间进行通信、交互和合 作，从而有效地实现整合。
（5）语义整合技术
随着整合研究理论和实践不断深入， Ontology、语言建模、机器学习等语义相关 技术逐渐应用于数字资源整合。 语义整合技术被用来在系统运行期间获取和 处理数字资源的意义及其之间的关联，使整 合系统能够建立用户提问与各信息源之间的 语义联系，消除各种数字资源的异构性，并 能够将分散存储、表现形式不同的信息源中 的有用资源进行再组织，真正满足用户的信 息需求，从而提高数字资源整合的质量。
机遇 提供了先进的技术手段
过去手工条件做到的，现在提高了效率 过去想到了，但因条件的限制做不到，现在能做了 过去没想到的，现在也能做了
挑战
过去的很多认识，现在不灵了（观念问题） 运行方式和作业环境发生了翻天覆地的变化（还是图书馆 吗？） 用户的要求越来越高了（需求总是很难满足）
mediator/wrapper整合机制的基本原理如图所 示。
提问 全局模式 （Global Schema ）
中介器（mediator）
信息源模式 （Source/Local Schema） 封装器（wrapper） 封装器（wrapper） 封装器（wrapper）
分布式资源
分布式资源
分布式资源
解决方案
信息资源整合
主要内容
信息技术对信息服务的影响 信息资源整合
信息资源整合
整合机制 整合技术
整合机制
目前数字资源整合系统的实现机制可以概括为 四种 数据仓库整合机制 Mediator/Wrapper整合机制(中介器/封装器 整合机制)、 Agent整合机制 P2P整合机制
Agent整合机制的基本原理如图所示
用户Agent 用户Agent
在基于这种机制的整合系统中，用户按全局模 式（Global Schema）进行查询，mediator接 收用户查询并将其转换成中间格式，然后提交 给相应的wrapper，wrapper进一步将中间格式 的查询转化为信息源模式或本地模式 （Source/Local Schema）的查询，并与参加 整合的相应信息源进行连接，实现对相应信息 源的查询，将查询结果返回给mediator， mediator对结果进行处理，以统一的形式提供 给用户。
Baidu Nhomakorabea
（3）信息源的监控与更新 如前所述，数据仓库整合机制是一种 物理整合方式，数据仓库本身与信息 源在物理上是分离的，因此必须要解 决数据仓库与信息源的同步问题。也 就是说，必须要监控参与整合的信息 源的变化，同步更新数据仓库，确保 用户在整合系统中查询到的是各个信 息源中的最新数字资源。
整合机制－M/W整合