一种集群服务器配置和管理工具

1
概述
集群是由很多连在一起 的独立 计算机 节点组成 的集 合 , 可以像一个单独集成的计算资源一样协同工作。计算机节点 可以是一个单处理器或多处理器的系统 , 拥有 内存、 I/ O 设备 和操作系统 [ 1] 。 单一系统映像 ( SSI) [ 1, 2] 是集群 系统的 基础 , 处于 操作系 统和用户层环 境中 间。 SSI 是一 个虚 像 , 由硬 件和 软件 创建 的 , 使分散的 资源 集合 起 来成 为一 个 统一 的整 合 资源。 SSI 可以用应用程序和子系统来使多个在一起工作的部件对于用 户和系统管理员来说就像一个单 一的应 用程序 一样。 SSI 层 允许用户在对系统结构不了解的前提下容易并有效地使用和 管理集群。如何实现 SSI 层 , 使 集群能 够像 单机 一样使 用和 管理 , 成为集群系统设计的重点。 集群服务器基 础软 件 采用 LV S+ M on+ Hear tbeat, 目标 就是创建一个具有可扩展性、 高可靠性、 高性能和高可用性的 集群服务器。 LV S[ 3] ( L inux Virtual Server) 利用 IP 负 载均衡 技术和基于 内容请求分发 技术 , 将一组 服务器 构成了 一个对 客户透明的高性能、 高可用的虚拟服务器 , 在应用层实现了高 度的 SSI。文中实 现了 一个 集群 服务 器的 图形 化配 置工 具 , 并设计和实 现了一个集群 监控管理 工具 , 能够 对集群 实现单 点控制和管理 , 在集群管理层面 上实现 SSI , 减 轻系统 管理员 配置和管理集群的负担。
图2
2. 2
集群服务器配置设计 集群服务器配置提供基于 Web 的图形化 配置界面 , 可以
进行远程配置和对主节点 ( 负载均衡器 ) 进行管理。集群服务 器的配置主 要包括负载均 衡器的配 置、 心跳检 测的配 置和服 务检测的配置。 1) 负 载均衡器上采用 IP 负载 均衡技 术 , 提 供了 三种 IP 负载均衡技术和八种连接调度算法 , 支持持久的虚拟服 务 , 支 持不同服务归 组对 外提供 服务 , 对 大规 模拒 绝服 务 ( DoS) 攻 击采用了三种防卫措施 , 主、 从负载均衡器能周期性地进行状 态同步 , 从而实现更高的可用性 ; 2) 心 跳检测配置主要是配置主、 从负 载均衡器 之间心跳 检测时间 , 对外虚拟 I P。从负载均衡 器接管主 负载均 衡器时 需要启动的 程序和服务 , 以保证 从负载 均衡器 能完全 接替主 负载均衡器的工作 ; 3) 服 务检测配置包括 : 设置对后台服 务状态进 行检测的 时间间隔 ; 后台服务出现异常发出警报的方式 ; 后台服务器出 现异常时将从集群中自动移出 , 避免新的请求 发到此后台上。 2. 3 集群监控管理设计 目前的服务器集群系统对集群后台节点的管理都集中于
第 23 卷第 1 期 2003 年 1 月
文章编号 : 1001- 9081( 2003) 01- 0036- 03
计算机应用 Comput er Applications
Vol. 23, No. 1 Jan. , 2003
一种集群服务器配置和管理工具
王 华 , 万木春 , 彭勤科, 胡保生 ( 西安交通大学 系统工程研究所, 陕西 西安 710049) 摘 要: 文中设计和实现了一个集群服务器的配置和管理的工具, 可以利用它来创建一个单系统 映像集群服务器系统, 并对集群系统的全局状态信息 、 后台各个单独节点的状态信息进行监控 , 对后 台节点的运行状态进行控制 。 关键词: 集群 ; 集群服务器; 集群监控管理; 单系统映像 ; 虚拟服务器 中图分类号: T P311 文献标识码: A
服务的运行状态 , 缺乏对集群运行的各种参数的监控 , 也就是 说管理只是分散的 , 在集群管理层面 上没有实现 SSI 的。 可以使用 工具将 整个集 群的管 理和监控 用一个 GU I 显 示出来 , 简化操作。在集群中 , 采用给每个节点安装用户代理 的方式跟踪它们的使用、 负载、 网络流量统计和其它一切相应 数据 , 以便调整操作系统 , 寻找 I/ O 瓶颈 , 预料可能的问题 , 或 平衡未来系统投入。 集群管理和监控设计的目标就是在管理和监控层面上实 现 SSI。一个好的集 群管理工具应该提 供一个 单点管 理和控 制的 SSI 服务。系统管理员 可以 在一点 上管 理整个 集群 , 减 少了对系统 管理员的要求 , 并且 使得一 个应用 程序的 多个共 。因 此 , 建立一个集群监控管 理软件 来实现 集中管 理是非 常必要
第 1期
王华等: 一种集群服务器配置和管理工具
37
和修改。集群配置管理系统框架图如图 2 所示。
同工作的部件在系统管理员看来 好像一个应用程序。这样能 大大简化系统管理 , 用一个 命令就 可以执 行影响 多个资 源的 操作。 2. 3. 1 集群监控 集群监控主要包括 以下方面 : 1) 物理环境的监控。在所有的环 境变量中 , 由于环 境参 数较容易 控制 , 本文 只 监 控硬 件 参数 , 如 风扇 的 运 行 状态、 CPU 的温度、 网卡运行状态等 ; 2) 服务运行状态 监控 由虚拟 服务 器中的 服务 检测来 完 成。集群监控流程如图 3 所示。
图1
以下是集群服务器的配置和 管理软件设计方案。在配置 方面既能够随着虚拟 服务器 的升级而 简便的 添加新 功能 , 也 能简便地去除过时的 功能 ; 在集群 管理方 面能够 监控集 群内 所有节点的运行情况 , 不仅仅是服务的运行情况 , 还包括系统 的运行情况 , 诸如 进程、 负 载、 日 志、 网络 流量 以及 硬 件参 数 等 , 如果出现异常情况将用 特定方 式通知 系统管 理员并 将其 异常情况保存于数 据库 , 便于统 计和查 询。同时将 集群配 置 的相应文件和系统的 服务配 置文件存 于数据 库中 , 以便 查询
[ 4, 5]
图3
2. 3. 2
集群管理
集群管理主要包括 以下三个方面 : 1) 全局信息浏览 获 取后台节点的硬件 信息 , 诸 如 CPU 速度、 内 存大小、 网卡型号等硬件配置信 息和在运行过程中出现的硬件异常信 息; 查看后台日志记录和服务检测记录 , 能根据日志记录信 息的重要程度分为错 误、 警 告和一 般浏览 三部分 提供给 系统 管理员 , 并把错误、 警告 信息和 服务检 测记录 保存到 数据库 , 供日后统计和查询 , 而一般 信息是 通过节 点代理 直接从 后台 存取 ; 实时获取后台节点的运行状态信息 , 诸如 CP U 负载、 内 存使用情况、 运行的进程、 当前活 动用户、 磁盘使用情况等 ; 流量检测 , 它可以 轻松的 看出网 络流量 , 判断 出系统 的 网络瓶颈 , 并可依据统计信息对系统进行调整 , 比如对相应的 服务增减节点。 2) 集群管理应该提供目录服务 , 集群应 能随时保持 所有 节点的映像。这就意味 着软件 是相同 的或至 少是兼 容的 , 并 且意味着如用户信 息、 网 络路由 等也是 相同的。这 是集群 系 统安全运行的重要保证 。 3) 集群 管 理 提 供了 服 务 配 置和 人 机 交 互的 相 关 方 面 后台服务的 配置。文 中提供 一个 基于 Web 页面 的强 大
2
设计
收稿日期 : 2002- 07- 15 基金项目 : 国家自然科学基金资助项目 ( 60175015) 作者简介 : 王华 ( 1977- ) , ຫໍສະໝຸດ Baidu , 四川眉山人 , 硕士研究生 , 主要研究方 向 : 集群服务器、 高 性能计算 ; 万木 春 ( 1976- ) , 男 , 江 苏宜兴人 , 硕士 研究生 , 主要研究方向 : 集群服务器、 分布 式管 理 ; 彭勤 科 ( 1962 - ) , 男 , 教 授 , 主 要研究 方向 : 集群 系 统、 分 布式 系统、 网络 安 全; 胡保 生 ( 1930- ) , 男 , 博士生导师 , 主要研究方向 : 集群系统、 并行计算 .
A Configuration and Management Tool for Cluster Servers
WANG H ua, WAN Mu chun, PENG Qin ke, HU Bao sheng
(System Engineer ing I ns titute, Xi an Jiaotong Univer sity ,X i an Shaanx i 710049 ,China) Abstract: T he paper pr esents the tool for the configuration and management of cluster server. T his tool is easy to set up a pow er ful cluster server based on Single System Imag e, it can also monitor the global status of cluster serv er and the respective status of nodes of cluster serv er . Fur thermore, it allows a machine independent scheme for managing the cluster from a single point of control. Key words: cluster; cluster server; monitor and management of cluster; single system image; L V S 2. 1 集群服务器管理系统软件结构 集群服务器的体系 结构如图 1 所示。
38
计算机应用
面。
2003 年
的服务配置工具 , 支持多国语言 , 而且提供了几乎所有服务的 配置 , 安全性也非常好 ; 提供 了一个 命令行 接口 , 可以有 选择 的在相应的后台机子上运行一些命令。服务配置和人机交互 的事务流程图如图 4 所示。
图5
图4
图 4 只是现有的设计 , 其功能可能会根据监控对象 、 集群 系统功能和系统管理员 要求的 不同而 进行调整。 例如 , 现有 功能都是在 Linux 上实 现的 , 而 以后希 望能 提供 跨平台 的服 务应用。所以 , 程序要有非常好的可维护性、 可扩展性和高可 靠性。 集群系统虽然对外表现 为一个 整体 , 但是在 设计集 群监 控管理软件 时应 该把 集群 看成 是一 个需 要集 中控 制 [ 6] 的分 布式系统 , 这样更符合 实际情 况。本文的 集群管 理监控 软件 采用节点代理 / 主控程序模式来提供对所有节点的透明 访问 , 后台节点代 理提供系统资 源的活动 性和使 用情况 的信息 , 主 控程序收集集群实时信息 并提供 可视化 界面和相 应的处 理。 把集群监控管理的各个部分的功能做成一个个独立的用户代 理程序并将 其部署到每个 后台节点 上 , 由用户 代理监 控后台 节点的运行情况 , 并保持与主控节点的联系 , 这样便于实现节 点资源的透明 访问。对 后台 节点 的控 制由 主控 程序 统 一完 成 , 主控程序根据用户代 理提供 的信息 产生相 应的动 作来实 现对后台节点运行状况的控制。 如果想添加新的监控程 序 ( 例如对 某些特 定部件或 特定 程序进行监控 ) , 只需将其做成相应的用户代理部署到后台节 点 , 并在主控节点上的主 控程序 中加入 相应的 调用接 口和通 信部分即可。相应的 , 功 能的删 除和调 整也很 容易 实现。这 样不仅系统结构清晰明了 , 还提高了系统的可靠性、 可维护性 和扩展性。同时 , 由于集 群服务 器采用主 从负载 均衡器 的方 式来防止单点失败 , 它也 可以采 用相同 的方式 来防止 集群监 控管理软件的单点失败 [ 7] 。