超高速数据采集存储系统的设计与实现
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（2）卡上数据缓冲区。在采集卡上设置数据缓冲区 是为了实现数据的 DMA 传输，它使接口卡的局部总线
和系统的 PCI 总线工作在不同的总线时钟上。设计中采 用 IDT 公司双口 SRAM 实现卡上的数据缓冲区，缓冲区 分 为 两 个，这 样 可 以 轮 换 接 收 数 据 流，保 持 数 据 的 连 续
扩展至 500GB 以上，并详细讨论了该高速设计中采用的关键技术。
关键词：超高速；数据采集；数据存储；实时
中图法分类号：TN919 . 3
文献标识码：A
文章编号：1001-369（5 2003）08-0139-03
Design and ImpIementation of an UItra-high Speed Data Acguisition and Storage System
设备。在 33Mhz 总线时钟下，32 位 PCI 总线峰值传输速 度为 l32Mbps；在 66Mhz 总线时钟下，64 位 PCI 总线峰值 传输速度可达到 528Mbps。使 PCI 总线可以达到如此高 的传输速度主要因素有：!PCI 总线规范默认每一次数 据传输都 是突发 传输，即一 个总 线 地 址 传 输 若 干 个 数
ZHOU Oian，CHEN Jin-shu
（ Laboratory of Remote Sensing，Dept . of Electronics Engineering，Tsinghua Uniuersity，Beijing 100084，China）
Abstract：In the modern industriaI measurement and controI，high-speed data need to be transferred to computer for further processing and storage. In this paper，an uItra-high speed data acguisition and storage system is designed and impIemented to handIe data within constrained time. The data transfer rate can reach up to 400mbps and the storage capacity can be extended to over 500GB. Specific technigues used in this system design are detaiIed in this paper. Key words：UItra-high Speed；Data Acguisition；Data Storage；ReaI-time
图 2 PCI 数据采集卡原理框图 （l）中 央 处 理 控 制 单 元 。 它 由 几 块 LATTICE 公 司 的 CPLD 可 编 程 逻 辑 器 件 ispLSI2l28E 构成。该器件有 6 000 个 PLD 门，最高工作频率为 l80Mhz。
可编程逻辑器件 以“ 与 ”矩 阵 和“ 或 ”矩 阵 的 结 构 为 基础。经典 的 可 编 程 逻 辑 器 件 包 括 可 编 程 逻 辑（ Programmabie Array Logic，PAL）和 通 用 可 编 程 阵 列 逻 辑 （Generic-programmabie Array Logic，GAL）两 大 类。传 统 的 PAL 和 GAL 器件 密 度 比 较 低，一 般 只 能 达 到 几 百 门 水 平，在规模上远不及现场可编程门阵列 FPGA。而 LATTICE 公司的 ispLSI2000E 系列可编程逻辑芯片是一种系 统内可编程（In System Programmabie）的高密度 PLD，它既 保持了 PLD 性能和使用上的优点，又具有 FPGA 那样的 高密度和系统内可编程的特点。与 FPGA 相比，它具有 电气上的不挥发性以及延时固定等优点，更适合应用于 对时序要求非常严格的高速系统设计。
片，它的主要优点如下：
! 它拥有两条独立的带有双向 FIF0 的可编程 DMA 通道，使它不占用系统的 DMA 通道，避免了系统资源的 竞争；
第8期
周 骞等：超高速数据采集存储系统的设计与实现
· 141 ·
通用 逻 辑 块（ Generic Logic Biock，GLB）是 构 成 ispLSI2l28E 的基本可编程逻辑单元。每块 ispLSI2l28E 包 含 32 个 GLB，每个 GLB 又由 4 个宏单元组成，精细的划 分使该芯片在 逻 辑 很 不 规 则 的 应 用 中 也 能 达 到 很 高 的 利用率。芯片内部各部分之间的连接是通过全局布线 池（Giobai Routing Pooi，GRP）完成的。每个 GLB 由 l8 个 输入、l 个可编程的与 / 或 / 异或阵列和 4 个输出组成，每 一个输出均 可 编 程 设 为 组 合 输 出 或 寄 存 器 输 出。GLB 的输入来自于 GRP 或者专用输入管脚，而输出可以编程 反馈到 GRP 为其它 GLB 提供输入。对 GRP 来说，其输 入可以来自于任何 GLB 的输入或输出以及双向 I / 0 单 元，而这些信号通过 GRP 又都可以作为 GLB 的输入。
（3）PCI 接口电路。数据采集卡使用 PCI 总线接口 传送 数据。PC（I Peripherai Component Interface）总 线诞 生 于 l992 年，是一种性能优越的地址数据线复用的 32 位 或 64 位 局 部 总 线。它 是 一 种 在 高 集 成 的 外 围 控 制 元 件、外 设 插 板 以 及 处 理 器、存 储 子 系 统 之 间 进 行 互 连 的
本文设计并实现了一种超高速的数据采集存储系 统，它的数据总传输速率超过 400mbps，解决了外设与计 算机主机之间的高速的接口设计问题。同时，由于采用 合理的服务器架构及先进的存储总线设备，使它的存储
收稿日期：2002-09-15
速度可达到 50mbps 以上，存储容 量可扩 展至 500GB 以 上。采用多通道的设计，以及设计了各种电平的输入接 口，本系统（图 1）可应用于多种用途的数据采集。
众所周知，计算机的外设与主机之间存在着数据传 输的瓶颈问题，如果不能将高速的数据实时地接收进入 计算机，那么现代计算机强大的处理运算能力就无法得 到 有 效 的 发 挥；另 外，接 收 进 入 计 算 机 的 数 据 能 否 及 时 地存盘并且能 与 接 收 部 分 同 步 协 调 地 工 作 也 是 设 计 的 一大难题。
Leabharlann Baidu
2003 年
服务器结构，这是一个系统集成问题。
2 .1 PCI 数据采集卡的设计 PCI 数据采集卡的原理框图如图 2 所示，电路主要
由电平转换模块、中央控制处理单元、数据缓冲模块，以 及接口电路所组成。输入数据信号可为 ECL，TTL，LVDS 电 平 信 号，经 过 卡 上 高 速 电 平 转 换 芯 片，数 据 信 号 统 一 转换为 TTL 电平进入下一级逻辑电路。
通过对可编程逻辑芯片编程，实现了 PCI 数据采集卡 上的数据控制与处理单元电路。它主要完成数据流的串、 并转换和双缓冲区的数据 / 地址管理，由于数据输入的控制 逻辑对具体数据格式、内容并不敏感，是以整体摄入数据信 号为目的，因此适用于各种采样信息源的数据的原始存储。 当需要针对某种具体应用场合的数据进行简单处理时，可 通过对可编程逻辑芯片重新编程并加载，在芯片资源足够 的前提下实现对卫星数据的简单处理与运算。
! 前言
数据采集，顾名思义就是采集来自现实中测量得到 的各种信号，将其转换为适合计算机记录的数据信号并 存储到磁 介 质 中。 随 着 现 代 科 技 的 飞 速 发 展 以 及 计 算 机的普及和广泛应用，各种数据采集系统被广泛地应用 到生产、遥控、监测等各个领域，如工业监控图像数据采 集、雷 达 回 波 信 号 数 据 采 集，以 及 高 码 率 卫 星 数 据 信 号 的采集等。然而随着测量仪器精度以及实际需求指标 的 不 断 提 高，数 据 传 输 的 速 度 越 来 越 高，而 绝 大 多 数 数 据 采 集 需 要 实 时 地 传 输、存 储 数 据 并 处 理，这 对 数 据 采 集及存储系统的设计提出了更高的要求。
性和完整性。 工 作 的 时 候，当 填 满 一 个 缓 冲 区 时，数 据
开始填充另一个缓冲区，同时发动 DMA 传输将填满数 据的缓冲区中的数据送入主机内存。因为 DMA 传输速 度非常快，经过实验证实，在持续传输时，PCI 总线上数 据传输速度可达到 96Mbps，在突发情况下可以达到峰值 速度 l32Mbps，远远大于应用中的数据速率。所以当数 据在填充另一个缓冲区时，DMA 操作将完成对已填满缓 冲 区 的 数 据 清 仓，并 恢 复 至 初 始 状 态 等 待 下 一 次 传 输，
另外引入双端口 SRAM 也是系统高速设计的需要。所谓 双端口就是该芯片分别有两套地址和数据线，可将一组
地址数据线连接数据源，而另一组输出数据到 PCI 总线。 如果采用单端口 RAM 设计，则势必在写入和读出数据 时做频繁的数据和地址切换，同时引入的延时等待将影
响到存取速度。双端口 SRAM 很好地解决了此问题，同 时设计相对简单，但缺点是价格比较昂贵。
PCI 总线高性能的同时也带来了设计上的复杂性。 设计中采用了使用 PCI 桥芯片的方法设计 PCI 接口，其 优点是性能可靠，缩短了研发周期。实际选用的 PCI 接 口芯片是 PLX 公司的 PLX9080，它的功能非常强大。针 对高速数 据传输 的设 计要求，相 对 于 其 它 公 司 接 口 芯
图 1 超高速数据采集存储系统工作原理框图
" 硬件设计
超高速数据采集存储系统硬件由两个部分组成： （1）负责将数据从 PCI 总线读入计算机主存
其功能主 要 由 一 块 硬 件 记 录 卡 完 成 实 现。 这 部 分 工作包括 CPLD 逻辑电路的设计、卡上缓存设计以及 PCI 接口电路的设计与实现，从而完成数据的串、并转换，部 分检测数据的分离与提取，以及 PCI 接口的 DmA 传输等 工作。
（2）负责将数据从计算机主存存储至 SCSI 磁盘阵列 它是存储子系统，采用 RAID 技术架构 RAID0 磁盘
阵列，解决 了 磁 盘 读 写 的 高 速 问 题。 同 时，设 计 存 储 子 系统也包括选 择 合 适 的 存 储 总 线 接 口 以 及 应 用 合 理 的
· l40 ·
计算机应用研究
第8期
周 骞等：超高速数据采集存储系统的设计与实现
· 139 ·
超高速数据采集存储系统的设计与实现
周 骞，陈金树
（清华大学 电子工程系 遥感实验室，北京 100084）
摘 要：现代工业测控领域很多应用中需要将高速的数据信号实时地接收进计算机进行处理并存储。
设计实现了一种超高速的实时数据采集存储系统，该系统数据传输总速率可高达 400mbps，存储容量可以
如此循环下去。
IDT 高速的双端口 SRAM，它的速度达到 l5 纳秒，能 够完成高速的数据传输。另外，它的容量是 64 X l6bit， 即 l28KB，一组缓冲区的大小为 256KB，大容量缓冲区对 提高总线传输速度十分有利。因为总线上采用 DMA 技 术，而 DMA 每次传输块的大小将影响整个数据持续传 输的速度，因为每次系统准备 DMA 传输时都要引入额 外 的 开 销，次 数 过 于 频 繁 将 影 响 整 体 数 据 的 传 输 速 率。
据，提高了数据传输的效率；" PCI 支持多个 总线主 设 备，支 持 直 接 从 设 备 到 设 备 的 传 输；# 中 央 总 线 仲 裁 在 数据传 输 的 同 时 进 行，不 占 用 单 独 的 总 线 周 期；$ 在 CPU 与 PCI 总线之间的桥芯片执行高速缓存功能，提高 了 CPU 的利用率。
和系统的 PCI 总线工作在不同的总线时钟上。设计中采 用 IDT 公司双口 SRAM 实现卡上的数据缓冲区，缓冲区 分 为 两 个，这 样 可 以 轮 换 接 收 数 据 流，保 持 数 据 的 连 续
扩展至 500GB 以上，并详细讨论了该高速设计中采用的关键技术。
关键词：超高速；数据采集；数据存储；实时
中图法分类号：TN919 . 3
文献标识码：A
文章编号：1001-369（5 2003）08-0139-03
Design and ImpIementation of an UItra-high Speed Data Acguisition and Storage System
设备。在 33Mhz 总线时钟下，32 位 PCI 总线峰值传输速 度为 l32Mbps；在 66Mhz 总线时钟下，64 位 PCI 总线峰值 传输速度可达到 528Mbps。使 PCI 总线可以达到如此高 的传输速度主要因素有：!PCI 总线规范默认每一次数 据传输都 是突发 传输，即一 个总 线 地 址 传 输 若 干 个 数
ZHOU Oian，CHEN Jin-shu
（ Laboratory of Remote Sensing，Dept . of Electronics Engineering，Tsinghua Uniuersity，Beijing 100084，China）
Abstract：In the modern industriaI measurement and controI，high-speed data need to be transferred to computer for further processing and storage. In this paper，an uItra-high speed data acguisition and storage system is designed and impIemented to handIe data within constrained time. The data transfer rate can reach up to 400mbps and the storage capacity can be extended to over 500GB. Specific technigues used in this system design are detaiIed in this paper. Key words：UItra-high Speed；Data Acguisition；Data Storage；ReaI-time
图 2 PCI 数据采集卡原理框图 （l）中 央 处 理 控 制 单 元 。 它 由 几 块 LATTICE 公 司 的 CPLD 可 编 程 逻 辑 器 件 ispLSI2l28E 构成。该器件有 6 000 个 PLD 门，最高工作频率为 l80Mhz。
可编程逻辑器件 以“ 与 ”矩 阵 和“ 或 ”矩 阵 的 结 构 为 基础。经典 的 可 编 程 逻 辑 器 件 包 括 可 编 程 逻 辑（ Programmabie Array Logic，PAL）和 通 用 可 编 程 阵 列 逻 辑 （Generic-programmabie Array Logic，GAL）两 大 类。传 统 的 PAL 和 GAL 器件 密 度 比 较 低，一 般 只 能 达 到 几 百 门 水 平，在规模上远不及现场可编程门阵列 FPGA。而 LATTICE 公司的 ispLSI2000E 系列可编程逻辑芯片是一种系 统内可编程（In System Programmabie）的高密度 PLD，它既 保持了 PLD 性能和使用上的优点，又具有 FPGA 那样的 高密度和系统内可编程的特点。与 FPGA 相比，它具有 电气上的不挥发性以及延时固定等优点，更适合应用于 对时序要求非常严格的高速系统设计。
片，它的主要优点如下：
! 它拥有两条独立的带有双向 FIF0 的可编程 DMA 通道，使它不占用系统的 DMA 通道，避免了系统资源的 竞争；
第8期
周 骞等：超高速数据采集存储系统的设计与实现
· 141 ·
通用 逻 辑 块（ Generic Logic Biock，GLB）是 构 成 ispLSI2l28E 的基本可编程逻辑单元。每块 ispLSI2l28E 包 含 32 个 GLB，每个 GLB 又由 4 个宏单元组成，精细的划 分使该芯片在 逻 辑 很 不 规 则 的 应 用 中 也 能 达 到 很 高 的 利用率。芯片内部各部分之间的连接是通过全局布线 池（Giobai Routing Pooi，GRP）完成的。每个 GLB 由 l8 个 输入、l 个可编程的与 / 或 / 异或阵列和 4 个输出组成，每 一个输出均 可 编 程 设 为 组 合 输 出 或 寄 存 器 输 出。GLB 的输入来自于 GRP 或者专用输入管脚，而输出可以编程 反馈到 GRP 为其它 GLB 提供输入。对 GRP 来说，其输 入可以来自于任何 GLB 的输入或输出以及双向 I / 0 单 元，而这些信号通过 GRP 又都可以作为 GLB 的输入。
（3）PCI 接口电路。数据采集卡使用 PCI 总线接口 传送 数据。PC（I Peripherai Component Interface）总 线诞 生 于 l992 年，是一种性能优越的地址数据线复用的 32 位 或 64 位 局 部 总 线。它 是 一 种 在 高 集 成 的 外 围 控 制 元 件、外 设 插 板 以 及 处 理 器、存 储 子 系 统 之 间 进 行 互 连 的
本文设计并实现了一种超高速的数据采集存储系 统，它的数据总传输速率超过 400mbps，解决了外设与计 算机主机之间的高速的接口设计问题。同时，由于采用 合理的服务器架构及先进的存储总线设备，使它的存储
收稿日期：2002-09-15
速度可达到 50mbps 以上，存储容 量可扩 展至 500GB 以 上。采用多通道的设计，以及设计了各种电平的输入接 口，本系统（图 1）可应用于多种用途的数据采集。
众所周知，计算机的外设与主机之间存在着数据传 输的瓶颈问题，如果不能将高速的数据实时地接收进入 计算机，那么现代计算机强大的处理运算能力就无法得 到 有 效 的 发 挥；另 外，接 收 进 入 计 算 机 的 数 据 能 否 及 时 地存盘并且能 与 接 收 部 分 同 步 协 调 地 工 作 也 是 设 计 的 一大难题。
Leabharlann Baidu
2003 年
服务器结构，这是一个系统集成问题。
2 .1 PCI 数据采集卡的设计 PCI 数据采集卡的原理框图如图 2 所示，电路主要
由电平转换模块、中央控制处理单元、数据缓冲模块，以 及接口电路所组成。输入数据信号可为 ECL，TTL，LVDS 电 平 信 号，经 过 卡 上 高 速 电 平 转 换 芯 片，数 据 信 号 统 一 转换为 TTL 电平进入下一级逻辑电路。
通过对可编程逻辑芯片编程，实现了 PCI 数据采集卡 上的数据控制与处理单元电路。它主要完成数据流的串、 并转换和双缓冲区的数据 / 地址管理，由于数据输入的控制 逻辑对具体数据格式、内容并不敏感，是以整体摄入数据信 号为目的，因此适用于各种采样信息源的数据的原始存储。 当需要针对某种具体应用场合的数据进行简单处理时，可 通过对可编程逻辑芯片重新编程并加载，在芯片资源足够 的前提下实现对卫星数据的简单处理与运算。
! 前言
数据采集，顾名思义就是采集来自现实中测量得到 的各种信号，将其转换为适合计算机记录的数据信号并 存储到磁 介 质 中。 随 着 现 代 科 技 的 飞 速 发 展 以 及 计 算 机的普及和广泛应用，各种数据采集系统被广泛地应用 到生产、遥控、监测等各个领域，如工业监控图像数据采 集、雷 达 回 波 信 号 数 据 采 集，以 及 高 码 率 卫 星 数 据 信 号 的采集等。然而随着测量仪器精度以及实际需求指标 的 不 断 提 高，数 据 传 输 的 速 度 越 来 越 高，而 绝 大 多 数 数 据 采 集 需 要 实 时 地 传 输、存 储 数 据 并 处 理，这 对 数 据 采 集及存储系统的设计提出了更高的要求。
性和完整性。 工 作 的 时 候，当 填 满 一 个 缓 冲 区 时，数 据
开始填充另一个缓冲区，同时发动 DMA 传输将填满数 据的缓冲区中的数据送入主机内存。因为 DMA 传输速 度非常快，经过实验证实，在持续传输时，PCI 总线上数 据传输速度可达到 96Mbps，在突发情况下可以达到峰值 速度 l32Mbps，远远大于应用中的数据速率。所以当数 据在填充另一个缓冲区时，DMA 操作将完成对已填满缓 冲 区 的 数 据 清 仓，并 恢 复 至 初 始 状 态 等 待 下 一 次 传 输，
另外引入双端口 SRAM 也是系统高速设计的需要。所谓 双端口就是该芯片分别有两套地址和数据线，可将一组
地址数据线连接数据源，而另一组输出数据到 PCI 总线。 如果采用单端口 RAM 设计，则势必在写入和读出数据 时做频繁的数据和地址切换，同时引入的延时等待将影
响到存取速度。双端口 SRAM 很好地解决了此问题，同 时设计相对简单，但缺点是价格比较昂贵。
PCI 总线高性能的同时也带来了设计上的复杂性。 设计中采用了使用 PCI 桥芯片的方法设计 PCI 接口，其 优点是性能可靠，缩短了研发周期。实际选用的 PCI 接 口芯片是 PLX 公司的 PLX9080，它的功能非常强大。针 对高速数 据传输 的设 计要求，相 对 于 其 它 公 司 接 口 芯
图 1 超高速数据采集存储系统工作原理框图
" 硬件设计
超高速数据采集存储系统硬件由两个部分组成： （1）负责将数据从 PCI 总线读入计算机主存
其功能主 要 由 一 块 硬 件 记 录 卡 完 成 实 现。 这 部 分 工作包括 CPLD 逻辑电路的设计、卡上缓存设计以及 PCI 接口电路的设计与实现，从而完成数据的串、并转换，部 分检测数据的分离与提取，以及 PCI 接口的 DmA 传输等 工作。
（2）负责将数据从计算机主存存储至 SCSI 磁盘阵列 它是存储子系统，采用 RAID 技术架构 RAID0 磁盘
阵列，解决 了 磁 盘 读 写 的 高 速 问 题。 同 时，设 计 存 储 子 系统也包括选 择 合 适 的 存 储 总 线 接 口 以 及 应 用 合 理 的
· l40 ·
计算机应用研究
第8期
周 骞等：超高速数据采集存储系统的设计与实现
· 139 ·
超高速数据采集存储系统的设计与实现
周 骞，陈金树
（清华大学 电子工程系 遥感实验室，北京 100084）
摘 要：现代工业测控领域很多应用中需要将高速的数据信号实时地接收进计算机进行处理并存储。
设计实现了一种超高速的实时数据采集存储系统，该系统数据传输总速率可高达 400mbps，存储容量可以
如此循环下去。
IDT 高速的双端口 SRAM，它的速度达到 l5 纳秒，能 够完成高速的数据传输。另外，它的容量是 64 X l6bit， 即 l28KB，一组缓冲区的大小为 256KB，大容量缓冲区对 提高总线传输速度十分有利。因为总线上采用 DMA 技 术，而 DMA 每次传输块的大小将影响整个数据持续传 输的速度，因为每次系统准备 DMA 传输时都要引入额 外 的 开 销，次 数 过 于 频 繁 将 影 响 整 体 数 据 的 传 输 速 率。
据，提高了数据传输的效率；" PCI 支持多个 总线主 设 备，支 持 直 接 从 设 备 到 设 备 的 传 输；# 中 央 总 线 仲 裁 在 数据传 输 的 同 时 进 行，不 占 用 单 独 的 总 线 周 期；$ 在 CPU 与 PCI 总线之间的桥芯片执行高速缓存功能，提高 了 CPU 的利用率。