轻量级内存数据库的研究与实现
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
能相 对 简单 ， 内存组 织灵 活 ， 但 开发 可扩展 性好 的轻 量级 内存数 据 库的 实现 方法 。经过测
试， 系统能 支持 非嵌套 ￣Ｓ （ ＱＬ 结构化 查询语 言 ） 令语 句， 命 并具备 较 高的数据 处理 速度 。 关键词 内存 数据 库 ；语 法 分析 器 ；命令 处理 器；数 据 结构
验证 。经过 身份 验证 的用 户会被 赋予 相应 的数 据操
弱化 了数据库 管理 方面 的功能 ，而专 注于 数据处 理
的效率 。
本 文实现 的 内存 数据 库具备 以下 功能 ：ａ 基 本 ）
的数据 库管理 功能 。如创 建或删 除用 户 、 改密码 、 更
启 动或 关闭数 据库 、 建 或删除 数据库 、 配 内存 大 创 分 小 等 。ｂ 支持 查询 、 新 、 ） 更 删除 、 入 、 建或 删除数 插 创
信 息 ， 询数 据 表信 息 ， 询索 引信 息 ， 据 批量 加 查 查 数
载等 。 ） ｃ 支持 多 客户端 的并 发连接 （ 即对 数据 的并发 操作 ） 同时具 备 连接管 理功 能 。 ，
都 提 出了更高 的要求 。这些 变化使 当前 的 电信业务 运营 支撑 系统面 ｌ 临挑战 。传统 的磁 盘数据 库 已无 法
发人 员使 用 。 方便 与 系统 相关 的应 用 程序 的开 发 。
２２ 网 络 协 议 处 理 模 块 设 计 ．
实 例 化
实 例 化
实 例 化
网络协 议 模块 主要 用 于处 理 网络 连接 、数 据传 送 的处 理 等 。 为保证 数据 完 整性 ， 持连 接类 型 的 多 支 样 性及 协议 的的可 扩展 性 ，协议 处 理模 块使 用 改进
作权 限 。 问操作 权 限 以外 的数 据会被 系统拒 绝 。 访 登
录 系统后 ， 系统 每隔一 定时 间 自动 同步 数据 。
３ ６
璁 ，
２１ ０ ０年 第 １ Ｏ期
２１ 客 户 端 模 块 设 计 ．
’
客 户 端模 块 最 主 要 的 功能 是 数 据 处 理 与 显示 。
２１ ０ ０年 第 １ ０期
梁恒洲
（ 京邮 电大学信 息 网络技 术研 究所 ，江苏省 南京 市 ２ ０ ０ ） 南 １０ ３
摘 要 随 着现 代 通信 技 术 的 高速发 展 ， 系统 用 户量 日益 庞 大 ， 直接 导 致 海 量数据 规 模
的迅速扩 大 。 对电信运 营 支撑 系统 的 实时性和 准确性提 出了更 高要 求。文章提 出了一种功
满足 电信业 务数据 实时性 处理需 要 。要有 效提 升海
量数据 记 录处 理 的效率 。必须 采取 内存数 据库模 式
进行数 据处理 。
根据 以上 对 内存 数据 库功 能 的描 述 ，设 计 出一
个 系统 实 现模 型 （ 图 １ 示 ） 主要 由客户 端 、 如 所 ， 网络
协议 模块 和服 务端 三部分 组成 。
的关注 。
器议 …
围 １ 系 统 实 现 模 型
共享 内存数 据库 本身也 是数 据库 系统 ，但 它主
要需 解决 的问题 是数据 访 问的低 时延和 高吞 吐量 的
访 问。 同时 ， 因为大部 分数据 放在 内存 中 ， 以相对 所
服 务端 开启后 ，用 户可 以使用 客户端 登 录或直 接使 用服务 端进 行操 作 。 用 客户端 连接 时 ， 使 服务端 会新 建一个 客户 端处 理线程 来处 理所 有与该 客户端 相关 的操作 。所 有使 用系统 的用 户都 必须经 过身份
的ＨＴ Ｐ 超 文本 传输 协 议 ） Ｔ （ 对数 据进 行封 装 。
臣 臣 薹
臣
图２ 客户 端 处 理 模 块 流 程 图
Hale Waihona Puke Baidu
语 法分 析算 法 如下 ： １ 为各 命令 建立 相应 的模 （）
板 字符 串 ， 供语 法检 查使 用 。例 如 。 询命 令对 应 的 查 模 板 为 “ｅｅｔ ｃ ｌ ａ ｌ ｒｍ ｔ ｌ＇ 『 ｈ ｒ ｓｌ ｏ ｌｅ ｏ ｃ ｉ ｌ ｉ ｆ ｂ ｌ ｌｅ ｗ ｅｅ ａ Ｄ
客 户端 利用 网络 协议 模块 封 装数 据 ， 发送 命令 请 求 ，
接 收到 服务 端返 回的数据 后 ，利 用协 议处 理 模块 解
析 报文 ， 取得 数 据 ， 对 数据 缓 存 ， 支持 用 户 对 终 并 且
端显 示格 式 的各 种要 求 。 时 ， 户端 的各 种 操作 可 同 客 以封 装 成 Ａ Ｉ 应 用 程 序 编 程 接 口） 提 供 给 程 序 开 Ｐ（ ，
协 议处 理模 块 规定 了通 信 双方 连接 方式 及 通信
协议 。客户 端 和服 务端 的连 接有 长 连接 和短 连 接两
ｃｎ ｘ ｒ” 其 中 ｃ ｌｎ ｍｅ 需 要 查 询 的 列 名 ， ｏ ｄｅｐ ］， ｏ ａ 为
共享 内存数 据 库技 术 特别 适 用 于 以下 场景 ：） ａ 应用需 要对数 据进 行低 时延 和高吞 吐量 的访 问。ｂ ） 加载到 共享 内存 数据 库 中的数据 会被频 繁地 重复访 问。ｃ 应用 的交 易特点 是单个 交易 时 间很 短但 是要 ） 同时处理 大量 的交 易等 。 于 电信 行业 ， 对 共享 内存数 据 库可 以应 用于 电信 行业 的Ｃ Ｍ（ 户关 系管 理 ） Ｒ 客 、 实时计 费 、 服务 开通 等众 多领域 ， 它作 为应对 更大规 模 数据 处理 的新 的关 键技 术模 型 。得 到 了越 来越 多
随着 现代通 信技 术的 高速发展 ．系统用 户量 日 益 庞大 ， 功能复 杂度不 断提 高 ， 的价值链 模式 以及 新 新 的计费 方式不 断 出现 ．直 接导致 海量 数据规 模 的 迅 速扩大 ．对 电信运 营支撑 系统 的实 时性和 准确性
据 表 ， 建或 删 除索 引 ， 加或 删 除列 ， 询 数据 库 创 增 查
试， 系统能 支持 非嵌套 ￣Ｓ （ ＱＬ 结构化 查询语 言 ） 令语 句， 命 并具备 较 高的数据 处理 速度 。 关键词 内存 数据 库 ；语 法 分析 器 ；命令 处理 器；数 据 结构
验证 。经过 身份 验证 的用 户会被 赋予 相应 的数 据操
弱化 了数据库 管理 方面 的功能 ，而专 注于 数据处 理
的效率 。
本 文实现 的 内存 数据 库具备 以下 功能 ：ａ 基 本 ）
的数据 库管理 功能 。如创 建或删 除用 户 、 改密码 、 更
启 动或 关闭数 据库 、 建 或删除 数据库 、 配 内存 大 创 分 小 等 。ｂ 支持 查询 、 新 、 ） 更 删除 、 入 、 建或 删除数 插 创
信 息 ， 询数 据 表信 息 ， 询索 引信 息 ， 据 批量 加 查 查 数
载等 。 ） ｃ 支持 多 客户端 的并 发连接 （ 即对 数据 的并发 操作 ） 同时具 备 连接管 理功 能 。 ，
都 提 出了更高 的要求 。这些 变化使 当前 的 电信业务 运营 支撑 系统面 ｌ 临挑战 。传统 的磁 盘数据 库 已无 法
发人 员使 用 。 方便 与 系统 相关 的应 用 程序 的开 发 。
２２ 网 络 协 议 处 理 模 块 设 计 ．
实 例 化
实 例 化
实 例 化
网络协 议 模块 主要 用 于处 理 网络 连接 、数 据传 送 的处 理 等 。 为保证 数据 完 整性 ， 持连 接类 型 的 多 支 样 性及 协议 的的可 扩展 性 ，协议 处 理模 块使 用 改进
作权 限 。 问操作 权 限 以外 的数 据会被 系统拒 绝 。 访 登
录 系统后 ， 系统 每隔一 定时 间 自动 同步 数据 。
３ ６
璁 ，
２１ ０ ０年 第 １ Ｏ期
２１ 客 户 端 模 块 设 计 ．
’
客 户 端模 块 最 主 要 的 功能 是 数 据 处 理 与 显示 。
２１ ０ ０年 第 １ ０期
梁恒洲
（ 京邮 电大学信 息 网络技 术研 究所 ，江苏省 南京 市 ２ ０ ０ ） 南 １０ ３
摘 要 随 着现 代 通信 技 术 的 高速发 展 ， 系统 用 户量 日益 庞 大 ， 直接 导 致 海 量数据 规 模
的迅速扩 大 。 对电信运 营 支撑 系统 的 实时性和 准确性提 出了更 高要 求。文章提 出了一种功
满足 电信业 务数据 实时性 处理需 要 。要有 效提 升海
量数据 记 录处 理 的效率 。必须 采取 内存数 据库模 式
进行数 据处理 。
根据 以上 对 内存 数据 库功 能 的描 述 ，设 计 出一
个 系统 实 现模 型 （ 图 １ 示 ） 主要 由客户 端 、 如 所 ， 网络
协议 模块 和服 务端 三部分 组成 。
的关注 。
器议 …
围 １ 系 统 实 现 模 型
共享 内存数 据库 本身也 是数 据库 系统 ，但 它主
要需 解决 的问题 是数据 访 问的低 时延和 高吞 吐量 的
访 问。 同时 ， 因为大部 分数据 放在 内存 中 ， 以相对 所
服 务端 开启后 ，用 户可 以使用 客户端 登 录或直 接使 用服务 端进 行操 作 。 用 客户端 连接 时 ， 使 服务端 会新 建一个 客户 端处 理线程 来处 理所 有与该 客户端 相关 的操作 。所 有使 用系统 的用 户都 必须经 过身份
的ＨＴ Ｐ 超 文本 传输 协 议 ） Ｔ （ 对数 据进 行封 装 。
臣 臣 薹
臣
图２ 客户 端 处 理 模 块 流 程 图
Hale Waihona Puke Baidu
语 法分 析算 法 如下 ： １ 为各 命令 建立 相应 的模 （）
板 字符 串 ， 供语 法检 查使 用 。例 如 。 询命 令对 应 的 查 模 板 为 “ｅｅｔ ｃ ｌ ａ ｌ ｒｍ ｔ ｌ＇ 『 ｈ ｒ ｓｌ ｏ ｌｅ ｏ ｃ ｉ ｌ ｉ ｆ ｂ ｌ ｌｅ ｗ ｅｅ ａ Ｄ
客 户端 利用 网络 协议 模块 封 装数 据 ， 发送 命令 请 求 ，
接 收到 服务 端返 回的数据 后 ，利 用协 议处 理 模块 解
析 报文 ， 取得 数 据 ， 对 数据 缓 存 ， 支持 用 户 对 终 并 且
端显 示格 式 的各 种要 求 。 时 ， 户端 的各 种 操作 可 同 客 以封 装 成 Ａ Ｉ 应 用 程 序 编 程 接 口） 提 供 给 程 序 开 Ｐ（ ，
协 议处 理模 块 规定 了通 信 双方 连接 方式 及 通信
协议 。客户 端 和服 务端 的连 接有 长 连接 和短 连 接两
ｃｎ ｘ ｒ” 其 中 ｃ ｌｎ ｍｅ 需 要 查 询 的 列 名 ， ｏ ｄｅｐ ］， ｏ ａ 为
共享 内存数 据 库技 术 特别 适 用 于 以下 场景 ：） ａ 应用需 要对数 据进 行低 时延 和高吞 吐量 的访 问。ｂ ） 加载到 共享 内存 数据 库 中的数据 会被频 繁地 重复访 问。ｃ 应用 的交 易特点 是单个 交易 时 间很 短但 是要 ） 同时处理 大量 的交 易等 。 于 电信 行业 ， 对 共享 内存数 据 库可 以应 用于 电信 行业 的Ｃ Ｍ（ 户关 系管 理 ） Ｒ 客 、 实时计 费 、 服务 开通 等众 多领域 ， 它作 为应对 更大规 模 数据 处理 的新 的关 键技 术模 型 。得 到 了越 来越 多
随着 现代通 信技 术的 高速发展 ．系统用 户量 日 益 庞大 ， 功能复 杂度不 断提 高 ， 的价值链 模式 以及 新 新 的计费 方式不 断 出现 ．直 接导致 海量 数据规 模 的 迅 速扩大 ．对 电信运 营支撑 系统 的实 时性和 准确性
据 表 ， 建或 删 除索 引 ， 加或 删 除列 ， 询 数据 库 创 增 查