cTrans高速数据传输系统

cTrans高速数据传输系统产品手册Product Brochure简介目前普遍采用的TCP/IP网络传输协议已经有30多年历史，它主要是针对低效、复杂的网络而设计的，用在高带宽的数据链路上已经不能适应用户需求。

我国地面光纤网络的传输效率普遍在带宽的20%以下，其结果是：一方面很难实时获取数据，另一方面也大大增加了带宽建设或租用成本。

为此，我们经过多年积累，专门针对地面数据传输研究出高性能可靠文件传输协议cTrans，采用并行流水线方式、将传输与存储作联合优化，并支持多点中继高效传输。

经过多项实地远程传输试验，结果表明该技术的传输效率在1Gb/s光纤线路上达到了带宽的80%左右，处于国际最高水平。

cTrans建立在UDP协议之上，可以通用于互联网中。

图1 cTrans在实际测试中的性能TCP/IP的缺陷许多应用系统需要在不同的机器之间传输海量的数据，需要高速远距离网络传输的支持，这可能需要网络速度达到数百兆比特每秒或是更高。

在这种情况下，传统的TCP算法就不太适用了。

主要有以下三方面的原因：传统的TCP拥塞控制机制在高速网络中反应性比较差，这是因为TCP在高速网络中对分组丢失的反应要敏感得多。

这主要是由于它的拥塞避免算法是基于AIMD（Additive Increase Multiplicative Decrease，加性增乘性减）的。

传统的TCP总是把分组丢失解释为拥塞，而假定链路错误造成的分组丢失是可以忽略的，但是在高速网络中，由链路错误引起的分组丢失和由网络拥塞引起的分组丢失的可能性是相同的。

因此，不能笼统地认为分组丢失都是由网络拥塞引起的。

传统的TCP不能使用网络链路的所有容量。

下面，让我们首先分析TCP的基本原理，TCP工作在两种状态之下：缓慢启动拥塞避免TCP会在检测到分组丢失之后进行状态更改，状态更改模式如下图所示：图2 TCP行为我们现在考虑10Gbps连接，首先要估计的是交换组件中的可用缓冲容量。

假定在队列达到饱和之前，网络路径上的可用队列容量为256MB，那么工作在拥塞避免模式下的TCP会话将会在达到最高传输速率（即10Gbps）之后的大约590个RTT间隔（或者大约41秒之后）发生丢包。

这时，处于拥塞避免模式下的TCP的发送速率为10.1Gbps。

在实用情况下，TCP 拥塞避免模式会在5.0Gbps到10.1Gbps之间，导致这种理想的TCP会话产生锯齿式振荡。

单个锯齿振荡周期长为2062秒，即34分钟22秒。

这意味着网络必须在几十分钟内（或者在传输数十亿个分组期间），在网络路径上稳定地保持无丢包运行，而且相应的传输比特错误率低于10-14。

它还意味着这种方式能够传输庞大的数据集，因为在一个TCP拥塞避免周期中传输的数据量高达1.95TB（即1.95×1012字节）。

这也表明，TCP会话无法充分地利用可用的网络带宽，因为在这些情况下的平均数据传输速率为7.55Gbps，而不是10Gbps（参见图3）。

图3 高速网络下的TCP行为特性与优势系统原理cTrans(high performance reliable file transfer)系统的结构如图4所示：图4 cTrans结构图传输协议cTrans双方都有发送和接收两个实体。

发送实体根据流量控制和速率控制来发送（和重传）报文。

接收实体负责数据报文和控制报文的接收，同时负责触发和处理所有的控制事件：包括拥塞控制、可靠性控制、RTT估计、带宽估计、应答和重传等。

cTrans双方需要通信时，客户端首先发送连接请求报文，并在收到服务器端响应后，建立连接。

传输过程中双方还将定时发送握手报文来维持连接。

传输结束后，可以由客户端发起请求，主动关闭连接；也可以通过客户端停止发送握手包，使接收方握手超时，从而被动关闭连接。

进行数据发送时，cTrans将应用层数据切割成固定长度的报文进行发送。

如果报文长度超过MTU，那么网络层将对该报文进行分片，下层的协议对于分片到达的可靠性是没有任何保证措施的，因此任何一个分片的丢失，都将导致整个报文的重传，从而使报文一次正确到达的几率降低。

基于上述考虑，应当避免报文分片。

因此报文的最大长度为MTU，同时考虑到下层的协议开销，报文的实际长度略小于网络的MTU。

高效传输机制TCP协议通常采用AIMD算法，该算法在网络拥塞情况下，可以彻底减小TCP拥塞窗口，但不能快速的恢复可用带宽。

这对于网络带宽可以得到保证的专有线路，将会大大降低带宽的利用率。

cTrans基于UDP协议，不受TCP拥塞控制机制的影响，从而可以针对线路特性，设计特定的拥塞控制算法。

cTrans拥塞控制机制将速率控制和流量控制两者结合起来：前者通过调整包的发送间隔来控制包的发送速率；后者则通过限制可以发送的包的最大序号来调整发送方一次可以发送的数据。

由于专有线路网络的带宽和误码率等网络参数都位于可控范围，此外专有线路上占用网络带宽的应用也比较确定，因此网络状况并不复杂，当出现网络拥塞时，cTrans将按照特定的算法平缓地降低发送速率，直至拥塞消除，同时又兼顾了带宽利用率。

开销固定的报文确认机制与TCP不同，cTrans将数据接收和确认分开，数据接收方定期地发送方报告数据包的接收情况，包括接收到的和未接收到的包的序号。

由于确认数据的发送速率保持恒定，从而确保“确认”的开销为常量。

随着带宽的增大，报文确认的开销所占总带宽的比例将随之减少，带宽利用率进一步提高。

保障可靠性机制和TCP一样，cTrans提供端到端的面向连接的可靠服务。

数据发送方将待发送的报文进行统一编号，然后根据窗口的大小进行发送。

每一个报文发送后都将启动一个软定时器进行记时。

如果等待超时，发送方将重发该报文。

如果在规定的时间内当收到接收确认，发送方将会检查该报文序号之前的报文是否全部收到，如是则移动窗口下沿至该报文的后一个。

接收方则按序号依次向上递交接收到的数据。

文件并行传输与存储应用流水线思想，将文件发送端的流程划分为文件读取和数据发送两个独立的部分，同时增加读取队列和发送队列来取消步骤之间的资源相关性，运用多线程技术，实现发送和传输重叠执行，达到性能优化的目的。

同理在接收端将文件存储和数据接收分解成独立的部分。

中间节点的快速转发由于采集到的数据要经过跨网段的多个节点进行相应处理，如果直接从数据采集的源端同各个节点建立连接进行传输，则会浪费宝贵的带宽资源、增加源端的负载，并且不利于系统的扩展。

为此cTrans将数据的传输和处理进行分离，既可以将接收到数据实时转发到其它的cTrans，同时又可以将数据进行本地存储。

这种结构既节省了从数据源端到转发器之间的宝贵带宽，又实现了数据的快速并行处理，同时还具有良好的扩展性，可以方便地实现级连，构建大规模的联网系统。

应用流水线的思想，将网络数据的接收、存储、转发分解成流水线上的独立单元，网络数据顺序进入以上单元进行处理。

这样既提高了并行程度，同时也减少了数据的内存拷贝次数，从而提高了系统整体性能。

优势cTrans传输协议的实现主要由转发模块、存储模块、可靠传输模块构成，底层基于UDP协议。

其主要优点在于：流水线并行传输技术传输与存储并行优化建立了特殊的可靠传输机制，确保数据有序正确到达（数据的正确性已经过长时间的测试得到验证），并且其开销不因为速度的增加而增长。

灵活的拥塞控制框架，可以根据线路特性，实现相应的拥塞控制机制，进行专门优化。

灵活的转发框架，转发的节点个数不受限制，并且可以实现转发的多级级联。

图4和图5分别为TCP/IP性能柱状图和cTrans性能柱状图图4 TCP/IP性能柱状图图5 cTrans性能柱状图使用环境与界面使用环境：目前提供Linux下的cTrans版本，可根据客户需要定制Windows下版本。

使用界面：支持Shell下命令行操作界面，同时提供类似FTP软件的操作界面，如图6所示：图6 cTrans软件界面测试测试系统有A、B、C三台机器，以千兆以太网连接。

数据从服务器A依次发送到B，C。

进行存储测试时，A向B发送数据，B接收后，在本地进行存储，同时将数据转发给C，C 接收到后进行存储。

测试环境的硬件配置如表1-1所示。

表1-1硬件配置采用Ipfer和Iometer分别对机器的实际最大网络速度(采用UDP协议)和I/O速度进行测试，结果如表1-2所示。

表1-2采用Ipfer，速度测试结果采用cTrans后，A-B不转发，测试结果如表1-3所示。

表1-3采用cTrans后，A-B不转发，速度测试结果采用cTrans后，A-B-C转发，测试结果如表1-4所示。

表1-4采用cTrans后，A-B-C转发，速度测试结果实际应用以天华云分发系统为例，为您以截图的形式介绍cTrans的实际使用过程。

1.进入起始页面，如图7所示。

图7 cTrans天华云分发系统起始界面2.创建传输任务，如图8所示。

图8 cTrans天华云分发系统任务创建界面3.任务创建后的管理客户端，如图9所示。

图9 cTrans天华云分发系统起始界面4.文件传输监控界面，如图10所示。

图10 cTrans天华云分发系统监控界面5.文件传输系统传输状态界面，如图11所示。

图11 cTrans天华云分发系统状态界面。