基于海量数据的集群服务管理模型

M odel of cluster service manager based on m ass data
L IH u i yun , Y IN Ren kun , RAN W ang
1 2 3
(1 . G radua te S ch ool , Chinese A cademy of S ciences , B eijing 100049 , China; 2 . D epa rt m en t of C omputer Science and Technology, Tsinghua Universi ty, Be ijing 100084, Ch ina; 3. Tongfang K n ow ledg e N et w ork T echnology ( Be ijing ) Corpora tion L im ited, B eijing 100084 , Ch ina )
图 2 CSM 集群体系结构 表 1 数据表分布模型 数据 数据表 1 数据表 2 数据表 3 数据表 4 服务器 机器 1 # ∀ ∀ ∀ 机器 2 ∀ # ∀ ∀ 机器 3 ∀ ∀ # ∀ 机器 4 ∀ ∀ ∀ # 机器 5 # # # # 图 3 服务器节点和集群的分布信息
1. 2 CS M 集群管理流程 当系统启动之后 , 对于管理节点 和检索 & 数 据服务 器会 通过读取自带的 配置文 件 C s m serve r . tx t 获取配 置参 数 , 并 以 此初始化一 些资 源和 线程 [ 7] 。作 为专 门的 集群 管理 节点 的 服务器即表 1 里的机器 5, 会收 集各数据 服务器的负 载、 心跳 信息 [ 8] 和本地表的信息 , 并定时将 全局的 负载和 表分布 信息 广播给所有的 数据 服务器 。其中的 负 载信 息 指当 前服 务 器的资源利用情况 ( 硬件指标 + 输 入指标 ), 具体 参数和 计算 公式由系统内部根据 一定的算法计算 得到 ; 心跳信 息 指检 索服务器定期向管理节点发送 的信息 , 以表明自身依然存活 ; 本地表信息 指 本地 表名 的集合。 即如表 1 所 示的 数据 表 1~ 数据表 4 , 因为在整个检索系统里 数据表的 表名具有 唯一 性 , 所以如果两张表表名相同 , 则视为同一张表。 集群模型里其他 的检索 & 数据服务器 , 即 表 1 里的 机器 1~ 机器 4 作为数据服务器提供数据的同时 , 还作为检索 服务 器对外提供检索服务。同时这 4 台机器还要接受来自集 群管
理节点的全局负载信息 和全局 的表分 布信息 , 当某 台检索 & 数据服务器接收到检索请求时 , 如果要访问的表不在本地 , 而 在其他机器上 , 它 将根据接收 到的全 局负载 信息和 全局的 表 分布信息选择最小负载的拥有该表的服务器进行访问。当 某 台检索 & 数据服务器的本地表信 息发生变 化时 , 由 检索服 务 器上的 H otstar( 此动态库为 K Base服 务器的 全文搜 索引擎 和 针对上层模块的接口 ) 负责通知 CSM C lient 发送新 的本地 表 信息到管理节点 ; 在对远程并行表进行检 索时 H otstar负责 增 加任务调度 , 即选 择拥有目标表的最小负载机器进行连接 ; 由 于对于 CSM Server来说 , 全局的负载 信息和 表分布 信息是 定 时接收到的 , 在实 时性上不能完全精确 , 所以不能排除在某 一 时刻的检索出现单点失效的情况 , 如果这 种情况发 生 , H otstar 会选择一台拥有此表的 其他机 器进行 连接 , 此时不 考虑负 载 大小 , 只 考虑连通性。当下次全局负载和表分部信息更新时 , 则会将此单点失效的 机器排 除 , 直 至其重 新正常 工作。如 图 3 和图 4 为 此 集群 的 实 际 效果 图 , 在 KBase 的客 户 端 程 序 KBase企业管理器中显示集群的工 作状态和相 关参数。其 中 图 3 显示了服务器节点 和集群 的分布 信息 , 图 4 显示 了各 集 群节点的状态信息。
第 28 卷第 5期 2008 年 5 月
文章编号 : 1001- 9081( 2008) 05- 1316- 03
计算机应用 C ompu ter App lications
wenku.baidu.com
V o. l 28 No. 5 M ay 2008
基于海量数据的集群服务管理模型
李慧云 , 殷人昆 , 冉
(1 . 中国科学院 研究生院 , 北京 100049 ; ( kelly207@ 263 . net)
第 5期
李慧云等 : 基于海量数据的集群服务管理模型
1317
户提供 7 ! 24 小时不间 断连续 服务 , 为了不 影响用 户的实 际 使用 , 减少此次系统升级带来的后续维护工作量 , 同时充分利 用现有系统的 数据 并行 服务 , 保证 现有 系统 的检 索响 应 [ 6] , 所以此体系结构采用 多检索 入口集 群 , 由 一台集 群管理 节点 ( CS M Server) 和多台 检索 & 数 据服 务器 ( CSM C lient) 组成 , 其中管理节点不对外 提供服 务 , 整个系统 通过外 层的检 索 & 数据服务器对外提 供服务 , 外层 服务器 上除了 安装 KBase 数 据库服务器和 W eb 服务外 , 每台机器上还按 一定规则放 置了 数百张数据表 , 这些数据表在集群内机器上互相备份数据 , 也 即相同 的表在 机器 A 有 一套 , 同时在 机器 B 也有一 套 , 具体 每张表的备份数目要 根据集群的复杂度和表的规模大小来进 行一定比例的分配。 由于篇幅 有限 , 此处 以四台机 器为例 来 进行说明 , 如表 1 所示 , 标记 ∀ 表 明在此 机器 上有 数据 表 存放 , 其中机器 5 为集群管理节点 , 从表 1 可看出数据 表 1 分 别在机器 2、 机器 3、 机器 4 上有备份 , 而机器 2 除了放置 数据 表 1 以外 , 还放置了数据表 3 和数据表 4, 其他数 据表的 放置 情况依此类推 , 从而达到对数据表的多重备份目的。
基金项目 : 国家 十一五 计划资助项目 ( 2006BAH 03B 04 ) 。
作者简介 : 李慧云 ( 1975- ) , 女 , 山西运城人, 硕士研究生 , 主要研究方向 : 数据库理论与系统、 软件工 程 ; 殷人昆 ( 1945 - ) , 男 , 北京 人, 教 授 , 主要研究方向 : 数据结构、 软件工程 ; 冉望 ( 1979 - ), 男 , 四川万县人 , 工程师 , 主要研究方向 : 计算机软件、 软件工程。
1 2
望
3
2 . 清华大学 计算机科学与技术系 , 北京 100084 ;
3. 同方知网 (北京 ) 技术有限公司 , 北京 100084 )
摘
要 : 针对海量数据 W eb 服务器并行方式下的数据 表管理问题 , 引入集 群服务 管理模 型 ( CS M ) 。 对该 模型从
体系结构 、 管理流程进行详细的分析和论述 , 通 过实际 测试 , 与现有 非集群 模型的 对比 , 得出此 集群管 理模型 在解决 了并行方式下的数据表管理问题的同时 , 没有增加系统开销和降低系统响应时间 。 关键词 : 海量数据 ; 集群服务器 ; 集群管理 ; 性能测试 中图分类号 : T P393 文献标志码 : A
图 1 W eb服务器并行方式
1
CS M 集群管理技术
CSM 包括 Server和 C lient两个角 色 , 为 了提高 检索的 并
发性 [ 4] , 避免单点 失效 即某 一个 数据 表因 某种 原因 损 坏 , 导 致不能 进行正 常检索 操作 , 而将集 群的概 念应用 到 K Base[ 5] 中 , 其中 Se rver和 C lient 分别以 DLL 的形 式嵌 入到数 据库 服 务器即 K Base中。 KBase是以管理海量非结 构化数 据对象 为 主 , 以中文信息处 理为特色的数据库管理系统 , 且对异构数 据 源提供统一访问和统一 管理手 段 , 本 文提到 的后台 数据库 服 务器即指 K base服务器。 1 . 1 CSM 集群体系结构图 图 2 所示为 CSM 集群 体系结 构图 , 由于 CNK I网 站为 用
0 引言
随着信息科技的 日益发展 , 数据 时代已 经悄然 来到人 们 身边 , 每一个现 代人 无不 感受 着数 据应 用带 来的 巨大 变化。 研究表明 , 人类社会已经被波涛汹涌的海量数据包围 , 在过去 几年 , 全球的数据存储量在以每年 64% 的速度 增长 [ 1] 。面对 数据存储量的快速增 加 , 使 用数据 的过程 也必将 面临海 量数 据的搜索 , 而对于传统的数 据库提 供商也 必将面 临海量 数据 的存 储 和 服 务 。针 对 此 现 状 , 以 中 国 知 识 基 础 设 施 工 程 ( China N ationalK now ledge Infrastructure , CNK I) 为典型代表的 一批数据库和网络 出版 提供 商欲采 用一 种新的 W eb 服务 器 集群 [ 2] 模型来适应信息时代的发展需求。 CNK I的目的是为海内外用 户提供 海量数 据检 索和下 载 服务 , 其上 , 数据存储量达 1 . 5T B 之 多 , 同 时在线 用户数 以万 计 , 用户同时进行检索的 数据表 有数百 个。面对如 此海量 的 数据和同时在线用户 数 , 除 了要对 服务器 的性能 有一定 的要 求之外 , 还需要针对各个数据表进行有效管理 , 试想如果存放 数据表的服务器出现 了什么 故障 , 将直接 影响用 户的检 索结 果 , 导致返回给用户的检索结果不全或为零 , 影响此门户网站 的形象。 针对此现状 , 目 前普 通采 用的 方式 是 数据 并行 [ 3] 技术 , 因为如此海量的数据 表如果 放在同 一台机器 上风险 太大 , 为 了规 避风 险 , 将此数 百个 表存 放在多 台服 务器上 , 通 过 W eb 服务器并行方式 , 如图 1 所示 , 此种方式虽然从某种程度 上大 大降低了一台服务器 出现硬件故障而导致整个检索系统不能
Abstract : T he prob lem o f data m anagem ent in the w eb para lle l based on m ass data w as explo red in this paper . T he m ode l of cluster se rv ice m anager w as introduced . T he a rchitecture and m anagem ent process of C luste r Serv ice M odel ( CSM ) were analyzed and d iscussed in deta i. l T he result o f testing was compare w ith non CSM. F ina lly , it is conc lude that the m ode l of CSM can no t on ly m anag e the da ta base we ll but a lso m ainta in the syste m w ithout increasing the sy stem cost or reduc ing the response ti me . K ey words : m ass da ta ; c luster server ; c luster m anage ; perfor m ance testing
收稿日期 : 2007- 11- 17 ; 修回日期 : 2008- 01- 14。
正常服务的风险 , 但没有从根 本上解 决数据 表丢失 或者损 坏 而影响用户检索结果的问题。为了彻底解决此问题 , CNK I引 入并行 W eb 服 务 器 集 群 管 理 模 型 , 即 集 群 服 务 管 理 器 ( C luster Serv ice M anager , CSM ) 管理技术。