Windows+NT环境下的进程检查点设置与回卷恢复

中图法分类号
CHECKPOINTING AND ROLLBACK RECO ER WINDOWS NT APPLICATIONS
ZHANG You-Hui，WANG Don g-Shen g，and ZHENG Wei-Min
OR
（ Department of Computer Science and Technology ， Tsinghua Uniuersity ，Bei ing 100084）
第 38 卷 第 1 期
计算机研究与发展
Voi. 38， No . 1
2001 年 1 月 Jan . 2001 JOURNAL OF COMPU TER RESEARCH & DEVELOPMEN T ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! !
随着 PC 机使用范围的不断扩大， Windows NT 系统已经成为一个日益流行的桌面平台， 尤其是在中 低端市场， 运行 UNIX 系统的高级工作站逐渐被价格 低廉、 使用方便且符合行业开放性标准的运行 Win机群系统由于具 dows NT 的 PC 机所取代 . 与此同时，
原稿收到日期： 修改稿收到日期： 1999-12-24； 2000-03-28
Windows NT 环境下的进程检查点设置与回卷恢复
张悠慧 汪东升 郑纬民
（清华大学计算机科学与技术系 北京 100084） （ Zyh74 @ 263 . net）
摘
要
阐述了 Windows N T 环境下应用程序的检查点设置与回卷恢复机制， 并介绍了设计和实现的检查点设置
通过代码动态注入和对系统调用进行包裹的方 与恢复工具 WinN TCkpt . WinN TCkpt 采用标准 Windows API 函数， 法进行检查点设置与回卷恢复 . 与同类工具相比， 不需对应用程序进行 WinN TCkpt 具有不需修改应用程序源代码， 重新编译或连接， 支持对用户文件内容的检查点设置与回卷恢复的特点 . WinN TCkpt 是正在研制开发的高可用性 机群计算环境的核心， 也是在机群环境下实现进程迁移和负载平衡的技术基础 . 关键词 函数包裹 Windows N T ，检查点设置与回卷恢复，进程迁移， TP302 . 8
本课题得到国家 “八六三” 高技术研究发展计划基金资助 （863-306-ZD01-02-01）
52
计算机研究与发展
2OOl 年
个线程组成， 因此在设置与恢复检查点时也必须考 虑线程状态 . 对于 Windows N T 系统 ， 进程状态又有其 特殊性， 抽象地说， 进程是为执行程序 Windows N T 的线程而保留的资源集 . 进程的组成如下： （l）一个可执行程序， 它定义了初始代码与数 据； （2）一个专用的虚拟地址空间； （3）系统资源， 如信号量、 文件等 . 它们是执行 过程中， 当线程打开这些资源时操作系统分配给进 程的； （4）至少一个执行线程； 线程是 Windows N T 调度执行的进程内的实 体， 线程包括下列基本组件： 即线 ! 表示处理器状态的一组寄存器的内容， 程上下文， 包括程序计数器 Pc、 程序状态字 栈指针 SP . PSW、 一个在核心态使用， " 两个由线程使用的栈， 另一个在用户态使用 . （ T LS） . # 线程专用存储区 进程在执行过程中打开的文件 （称为活动文件） 的状态也是十分重要的， 这些状态包括文件描述符、 访问方式、 文件大小、 读写指针等 . 但对以读写方式 打开的文件， 并进行交替读写的情形下， 只保存这些 文件信息很可能导致卷回恢复后文件内容与全局状 态不一致， 产生不易觉察的执行错误 . 因此检查点保 存的内容还应包括与进程执行有关的所有用户文件 内容 . !." 线程信息的保存与恢复 线程上下文的保存比想象的要简单得多， Win32 API 中的 GetthreadContext 函数即可用于保存任一 线程的运行上下文， 保存的内容包括控制寄存器 （包 括线程栈地址） 、 段寄存器、 浮点寄存器、 整数寄存器 和扩展寄存器； 相应的 SetthreadContext 可以恢复线 程上下文 . 线程栈的保存包括在下一部分 “进程虚存 空间保存与恢复” 的内容中； 而目前的 WinNTckpt 实 现暂不支持线程局部存储 . 如果在状态回卷时， 进程的线程数与保存检查 点时不同， WinN Tckp t 会自动地创建或中止一定数 量的线程 . 有一点要注意的是， 每一个创建的线程均 有一个线程句柄， 一般的与线程相关的调用均需用 到此句柄， 而设置检查点时的句柄值与保存时的极 有可能不一样 . 为了实现对应用程序的完全透明， 必 须要使用线程句柄映射表来完成恢复前后线程句柄
图l
N T 进程空间划分
!.#
文件
WinN Tckp t 利用了对系统调用进行动态包裹 的机制来实现对于文件信息的保存与恢复， 如 cre-
l期
张悠慧等： Windows N T 环境下的进程检查点设置与回卷恢复
53
atefiIe，WritefiIe 等 . 我们采用了 2 种方式来进行 文件信息保存 . 第 l 种是由 WinN Tckp t 记录下每 一个应用进程的活动文件的名称， 打开模式等参数， 同时记录文件的读写指针位置 . 在恢复时， 以相同模 式重新打开这些文件， 并设定相应的文件指针位置 及重置文件大小 （有必要的话） ， 这种措施对于处理 只读或只写文件是正确的， 但无法保证被交替读写 文件内容的正确性 . 为弥补这一欠缺， 我们增加了第 即用 MOB 方法 来实现高效的文件内容 2 种方法， 保存 . 其基本思想是将每相邻两个检查点之间的任 何文件修改作为一种原子操作， 即要么所有的操作 在设置下一检查点前全部提交 （若进程运行正常的 话） ； 要么取消所有操作 （若发生故障） . 对活动文件 的修改是在 WinN Tckp t 提供的缓冲区内进行的， 在设置下一个检查点前才将磁盘上的文件内容作真 正更新， 同时清空此缓冲区 . 2.4 其它资源对象 如通 Windows N T 中提供了许多类型的对象， 信对象 （管道、 邮件槽等） 、 同步对象 （事件、 信号灯、 临界区等） 及图形对象 （窗口、 菜单、 图标等） ， 对于这 些 WinN Tckp t 给予了不同程度的支持 . WinN Tckp t 完全支持同步对象的保存与恢复， 与处理文件信息类似， 我们对所有涉及到创建与销 毁此类对象的系统调用进行了包裹， 从而能准确掌 握这些对象的信息以便在恢复时重新生成它们 . 对 原因在 于通信对象 WinN Tckp t 给予了部分支持， 于这些 对 象 往 往 用 于 进 程 间 通 信， 而 WinN Tckp t 是无法取得对方进程的信息， 在这种情况下对通信 对象 的 保 存 没 有 什 么 意 义 . 对 于 图 形 对 象 Win主要原因是 WinN Tckp t 是作为 N Tckp t 不予支持， 我们正在研制的基于 Windows N T 平台的并行计算 高可用性运行系统的主要模块而开发的， 支持的是 科学计算类的应用， 因此对图形界面的要求不高 . 2.5 动态函数包裹与线程注入 在上文中函数包裹技术被一再提及， 其实质就 是在用户用到的系统调用与实际实现的功能之间插 入代码， 以便截获用户程序的调用参数等信息 . 一般 而言， 这种技术是通过函数换名或重写函数所在的 库来实现的； 但 WinN Tckp t 采用了 Detours 技术， 在应用程序的执行文件中插入代码， 通过重写执行 文件所调用的目标函数在内存中的映像来实现函数 包裹， 这样就能在用户无需修改源代码、 无需重新编 译连接及不替换任何动态连接库的前提下实现所需 的功能 .
［8］
在应用程序启动时， WinN Tckp t 在此进程中插 入一个检查点设置线程 （称为注入线程） . 这个线程 有 3 个功能： （l）检查点设置与回卷恢复 . 一旦需要设置检 查点， 就由此线程挂起其它所有线程 （称为应用线 程） ， 并将当时的进程状态记录于检查点文件中； 进 行回卷操作时， 也由此线程挂起其它线程， 并从检查 点文件中恢复进程状态 . （2）确保检查点设置与恢复的正确 . 在开发的 过程中我们发现保存进程上下文时， 进程必须运行 在用户代码段， 否则恢复就不正确 . 这是因为线程在 执行 系 统 调 用 （指 的 是 user32 . dII， kerneI32 . dII， 时， 是在核心栈内运行， 而 g di32 . dII 中输出的调用） 系统的安全机制又不可能允许用户程序访问核心态 的空间， 所以此时保存的上下文内容是无法恢复的 . 因此这个线程包裹了 Windows N T 下的所有系统调 用， 应用进程进入系统调用时先将某个标志位置 l， 退出时清 0， 这样在欲设置检查点时可通过检查此 标志位确定当前的进程是否运行在用户代码段中 . （3）系统调用的动态包裹 . 此线程对某些系统 调用的信息进行了记录， 如与文件操作相关的参数， 以便在回卷恢复时重新打开用户文件， 并恢复指针 位置 . 同时进行 （2） 中的标志位设置与清 0 . 动态函数包裹与线程注入的实现参见图 2 .
（ CRR）mechanism for Windows N T apIn this paper a checkpointin g and roiiback recover y piications is introduced and a checkpointin g and recover y tooi，WinN TCkp t is presented . WinN TCkp t Abstract can be used transparentiy to checkpoint and recover appiications on Windows N T environment . D y namic function wrapper and standard Win32 APIs are em pio yed to im piement this tooi. WinN TCkp t is aiso the pivotai part of the hig h avaiiabiiit y paraiiei-com putin g environment under research and deveiop ment . Furthermore，CRR is the technicai basis for process mig ration to im piement ioad-baiance and im prove system avaiiabiiit y on Windows N T . Key words wrappin g （ CRR ） ，process mig ration， function Windows N T ，checkpoint and roiiback recover y