LIFO或FIFO:测量数据中心以太网时延方法探讨
网络传输时延的测量方法_过晓冰
网络传输测试按照其承载的协议可分为如下 3 类 : (1)利用 ICMP 协议实 现 。这是最 常用的 测量方式 , 最典型的应用就 是操 作系统 里自带 的“Ping” 命令 。Ping 是基于 ICMP 请求应答(Echo Request)报文 开发的应用软 件 ,Ping 发送 ICMP 的 Echo(类型 08)回应 请求报文 , 当接 收方收 到该 报 文 后 , 会 马 上 返回 一 个 Echo Reply(类型 00)回应应 答报 文 , 这 样发 送方 收到 反馈 报文 后就 可以 计算得出网络的传输时延 。Ping 在 Windows 平台上默认 方式是连续发送 4 次 Echo 报文 , 报文长 度为 60 字节 , 不 过可以根 据参 数改 变测试 次数 和报 文长 度 。需要 指出 的是 :Ping 报文容易造成网络攻击 , 比较典型的有 Ping of Death 攻击(利用大于 65 535 字节的非法报文长度去 Ping 主机 ,使得目标主机没有足够 空间组装 该报文 而产生死 机等现象 , 对 Windows 系统有效)和 Net-ping-flooding 攻击 (利用大量的 Ping 报文 造成 DOS 攻击)。 由于其 安全性 不高 ,因此现在 许多 主机 和防 火墙 开始 过滤 ICMP 协议 的报文 。 (2)利用 UDP 协议实现 。当对方的主 机或者中间节 点(包括 防 火墙)出于 安 全等 原 因而 过 滤掉 ICMP 报文 后 ,可以 使 用 UDP 报 文 来 实 现 网 络 的 传 输 时 延 测量 。 UDP 报文的实现和 ICMP 报文较为 相似 , 都是 无连接的 。 不同的是 UDP 协议需 要指定 一个 端口 , 在 实际 使用时 , 可以任选一个端口 , 当接收方 该端口对 应的服 务不存在 时 ,会立即返回一个“端口 不可到达”的 ICMP 报 文(类型 03 , 码值 03)。因此 , 在使用 UDP 报文 进行测量 时 , 要注 意发送方 发送 一个 UDP 报 文 , 接 收 方反 馈 的不 一 定是 UDP 报文 , 也有可能是 ICMP 报文 , 这两 种返回 的报文都 可以用来计算网络的 传输时 延 。此外 , UDP 协 议在实现 时要注意其最 大报 文长 度与 ICMP 报 文不同 , 通常 应小 于 500 字节 。 (3)利用 TCP 协议实现 网络传 输时延的 测量 。这是 我们针对目前防火墙设置 , 在 本项目中 提出的 一种新方 法 。该方法的实现比较复杂 , 但可适用于 (下转第 61 页)
存货的计价方法及公式
存货的计价方法及公式
存货的计价方法主要有三种:先进先出法(FIFO)、后进先出法(LIFO)和加权平均法。
1. 先进先出法(FIFO):
FIFO法是指按照存货的购入时间顺序来计算存货成本和存货价值。
这种方法假定最早购入的存货最先销售,最后购入的存货最后销售。
计算公式如下:
存货成本 = 单位成本×实际销售数量
存货价值 = 存货成本×剩余数量
2. 后进先出法(LIFO):
LIFO法是指按照存货的购入时间倒序来计算存货成本和存货价值。
这种方法假定最后购入的存货最先销售,最早购入的存货最后销售。
计算公式如下:
存货成本 = 单位成本×实际销售数量
存货价值 = 存货成本×剩余数量
3. 加权平均法:
加权平均法是指将存货的总成本除以总数量,得到平均成本,然后按照平均成本来计算存货成本和存货价值。
计算公式如下:平均成本 = 总成本 / 总数量
存货成本 = 平均成本×实际销售数量
存货价值 = 存货成本×剩余数量
这三种计价方法适用于不同的经营环境和需求,企业可以根据自
身情况选择合适的方法来计算存货成本和存货价值。
数据中心网络时延测量关键技术研究V5.3
摘要随着互联网络的发展,信息服务的集约化和专业化使得数据中心已经成为支持网络服务、计算和存储的关键基础设施。
对数据中心网络性能进行测量和研究的需求日益增长,已经成为当今网络发展的热点。
数据中心网络具有高带宽、低延迟的特点,但是目前的性能测量方法大多针对互联网,不能很好地适应数据中心网络。
因此研究针对数据中心网络特性的性能测量方法是未来研究的发展趋势。
本文立足现实需求,从数据中心网络性能测量的发展现状入手,针对在性能测量中服务质量敏感的单向时延测量进行了深入的研究。
有损差分聚合模型是一种能够应用在低延迟网络中,高精度、低开销的单向时延测量方法。
结合数据中心的特点,采用软件的方式实现该模型,搭建实验环境进行验证,结果表明该模型可以应用在数据中心网络中。
在此基础上提出了符合实际环境的,能够测量数据中心网络中任意端到端单向时延的分布式有损差分聚合测量方法,对该方法进行了详细的设计。
采用Web Service提供测量服务,具有良好的跨语言性,使用分布式支持后台计算程序,提高大规模计算的效率。
在研究和设计成果的基础上,开发验证原型系统,性能测量程序采用接口规范开发,提高了系统的扩展性,运行结果表明系统可以满足实际应用需求。
时钟同步是单向时延测量的前提,针对数据中心集中式的特点,比较目前流行的高精度时钟同步协议IEEE 1588和IEEE 802.1AS,提出基于WIFI的802.1AS时钟同步方案,为今后的研究提供了重要的参考价值。
本文通过对有损差分聚合单向时延测量方法的研究,扩展和应用,设计开发出满足实际应用需求的测量原型系统,并提出可行的时钟同步方案,对数据中心网络性能测量的发展具有很好的参考价值和实际应用价值。
关键词:数据中心网络,单向时延测量,有损差分聚合,IEEE 802.1ASAbstractAs the Internet developing, the information services are becoming more and more concentrating and professional, and that makes data centers turning into important infrastructural facilities which support network services, computing and storage. The requirement studying and measuring performance of data center network is an urgent need which is the topic of network development. High bandwidth and low latency are characteristics of data center network, but most of the actual performance measurement methods are aimed at internet that are not good at data center network. So studying performance measurement methods fitting into the data center characteristics is a development trend.Beginning with data center network performance measurement’s development status, we studied the one way delay measurement deeply which is the most sensitive index of performance measurement to services based on the reality demand. Lossy Difference Aggregator is a high precision and low cost one way delay measurement method that can be used in a low latency network. Thinking about data center specialty, we use software way to realize that and design a simulation environment to test, the result show that method can be used in a data center network. We propose a distributed lossy difference aggregator method based on those researches which is designed detailedly and can be implemented to measure any end-to-end one way delay in data center network. Measurement service is provided through Web Service which is good at cross-language, a distributed computation system is running on background to improve computational efficiency. We design a prototype system on the basis of research beforehand, and performance measurement process is developed to comply with the interface development specification to improve the scalability of the system, the running results indicate that can satisfy applications’ demand. Clock synchronization is a precondition of one way delay measurement, we propose a WIFI 802.1AS clock synchronization solution in the light of the characteristics of centralized of data center after comparing IEEE 1588 with IEEE 802.1AS which are popular at present. Thatprovides an important reference value for future research.This paper designs a measurement prototype system satisfying applications’ demand on the basis of research and application of Lossy Difference Aggregator and proposes a feasible clock synchronization solution, those have a practical application value and a great reference value to the development of data center network performance measurement.Key words: data center network, one way delay measurement, Lossy Difference Aggregator, IEEE 802.1AS目录摘要 0第一章绪论 (5)1.1网络单向时延测量研究 (5)1.1.1网络性能测量概述 (5)1.1.2 网络单向时延测量技术 (7)1.2数据中心网络与时延测量研究现状 (9)1.3 本论文研究工作 (13)1.4 本论文组织 (15)第二章LDA单向时延测量软件实现方法研究 (16)2.1 LDA单向时延测量方法 (16)2.2 网络抓包方法研究 (18)2.2.1 网络抓包原理 (19)2.2.2网络抓包工具 (20)2.3 LDA实现方案 (23)2.4 LDA时延测量分析 (24)2.5 本章小结 (26)第三章D-LDA分布式单向时延测量方法 (27)3.1 D-LDA分布式单向时延测量算法 (27)3.2 D-LDA分布式单向时延测量架构 (29)3.3 D-LDA分布式单向时延测量实现 (29)3.3.1分布式框架选择 (29)3.3.2 D-LDA实现 (33)3.5 本章小结 (34)第四章分布式时延测量系统的设计实现 (35)4.1 分布式时延测量系统总体设计 (35)4.2 分布式时延测量系统总控端设计 (36)4.3 分布式时延测量系统感知点设计 (45)4.4 分布式时延测量系统测量程序设计 (46)4.5分布式时延测量系统后台计算设计 (48)4.5.1 控制点程序设计 (49)4.5.2 计算点程序设计 (51)4.6 本章小结 (52)第五章时钟同步研究及原型系统实现 (53)5.1 时钟同步概念 (53)5.1.1频率同步和时间同步 (53)5.1.2 时间同步和频率同步的关系 (53)5.2 高精度时钟同步技术选择 (54)5.2.1 IEEE 1588标准 (54)5.2.2 IEEE 802.1AS标准 (55)5.2.3 IEEE 802.1AS与IEEE 1588异同点 (57)5.3 基于IEEE 802.1AS的WIFI时钟同步方案 (58)5.4 系统环境搭建 (60)5.4.1 系统环境软件配置 (60)5.4.2 系统物理运行环境 (60)5.5 系统运行展现 (61)5.6 本章小结 (65)第六章总结与展望 (66)6.1 论文工作总结 (66)6.2 论文的不足 (67)6.3 下一步工作 (67)致谢 (68)参考文献 (68)第一章绪论信息服务的发展使得数据、服务和资源向数据中心进行迁移,数据中心已经成为互联网基础设施的重要组成部分。
数据网端到端时延测量
➢ IPPM工作组定义了一套用来定量表征互联网数据传送业务的质量、性能 和可靠性的一组标准度量。在其公布的RFC中给出了指标的定义、测量过 程和结果描述方法。
2
测量指标定义必须遵守的标准:
(1)测量指标必须是具体和严格定义的; (2)对该指标的测量方法必须是可重复的; (3)测量指标必须是无偏的; (4)测量指标必须具有区分性; (5)测量指标对用户和网络运营商了解网络性能必须是有用的; (6)测量指标必须是能避免人为影响的性能指标。
传输时延(Transmission delay):指发送节点在传输链路上 开始发送分组的第一个比特至发完该分组的最后一个比特所需 的时间。Tt主要由连接速度或容量决定,对于每一个探测包, 传输时延被认为是相同的。
传播时延(Propagation delay):指发送节点在传输链路上发 送第一个比特时刻至该比特到达接收节点的时间。Tg由电磁波 通过通信链路的物理信道的传播时间所决定。
数据网端到端时延测量
概述
两个工作组: ➢ IETF的基准测试方法学工作组(Benchmarking Methodology Working Group,BMWG)
➢ BMWG主要关注在实验室环境下测试IP性能,主要目标是对各种网络互 联技术性能特征的测量方法给出建议,进而主要集中在基于这些技术的系 统和服务上。
3
IPPM定义和正在定义的指标
(1)连通性(Connectivity,RFC2678) (2)单向时延(one-way delay,RFC2679) (3)往返时延(round-trip delay,RFC2681) (4)时延抖动(delay variation,RFC3393) (5)单向丢弃率(one-way loss,RFC2680) (6)双向丢弃率(round-trip loss) (7)丢弃模式(loss patterns,RFC3357) (8)数据包乱序(packet reordering,RFC4737) (9)单向数据包复制(one-way packet duplication,草案阶段) (10)批量传输容量(bulk transfer capacity,RFC3148) ……
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
时延是数据中心以太网的一个关键性能指标。
这是因为在高频率金融交易(HFT)、高性能计算(HPC)和类似的性能敏感型环境中,超低时延10GbE交换功能是处理巨大网络流量的关键,这常常意味着每天上百万次的交易。
电子交易中价格和交易数据速率的不断攀升以及保持竞争力的需求推动着金融市场股东们投资最新技术,以便支持螺旋式上升的带宽要求,并降低数据流时延。
因此,现在时延测量已经成为数据中心以太网交换机供应商测试报告的一个重要部分。
在评估这些系统所用的交换IC时,设计师需要明白时延测量方法有好多种,采用不正确的方法可能是一种错误,因为有些方法并不能测出真实性能。
近来在测试中使用的其中一些测量方法使得LAN交换芯片供应商声称具有超低时延。
这是怎么做到的呢?使用末位进、首位出(LIFO)方法,存储转发交换机确实可以报告亚微秒的时延。
然而,这不符合RFC1242,该文档建议优先采用首位进到首位出(FIFO)方法:“理想情况下所有设备的测量都应从帧前导位之后的第一个实际位开始。
”这种方法能够更精确地测量数据包穿透交换机时遇到的任何存储或处理时间。
交换机架构和时延
2006年推出的第一台低时延10GbE交换机使用直通工作模式取得了十分优异的时延性能,这种模式下交换机可以在帧被完整接收之前就开始发送。
而存储转发交换机不能取得低时延,这是因为数据包在从出口发送出去之前必须完全存储在内存中。
但并不是所有直通交换机都有相同的时延性能,因为它们采用的交换架构有很大的区别。
存储器存取带宽一直是交换芯片架构师心头的痛。
在使用传统的交叉开关矩阵和内存设计时,将没有足够的片上带宽允许每个输入端口同时写入相同的输出队列。
为了解决这种阻塞问题,芯片架构可以在每个交换输入端使用虚拟输出队列,即所谓的组合式输入/输出队列(CIQQ)架构(图1)。
图1 组合式输入/输出队列(CIQQ)架构
虚拟输出队列可以在每个输入端口为每个交换输出端口(出口)提供一个队列。
如果某个特定的出口队列临时受阻,那么与之对应的入口队列将实行流控,而以其它出口为目的地的数据包可以避过这个受阻队列,将数据发送给其它无阻塞的出口。
然而,对于一个N端口交换机而言,这意味着N*N输入队列和关联调度器,从而增加了很大的复杂性。
同时还会增加数据包时延,因为每个数据包通过交换机时必须排队两次。
鉴于VOQ和关联调度器的复杂性,许多交换机设计通过一定程度的内部阻塞来降低复杂性,这将进一步增加时延。
新的共享式内存交换技术第一次通过SRAM IP实现性能提升,使交换机能够支持具有特别低时延、完全无阻塞输出排队、共享的内存架构,见图2。
通过使用专有的高带宽内存结构,交换架构可以做得更简单,进而消除入口VoQ的复杂性和所需的额外内存。
另外,组播数据包只需存储一次,从而进一步降低了对片上内存的要求。
由于只有一次内存入队/出队和非常低的内部阻塞,因此这种技术可以提供最低的时延。
图2 具有特别低时延的输出排队、共享内存架构
时延测量方法
测量通过交换机的时延有多种方法:首位进到末位出(FILO)、末位进到首位出(LIFO)、首位进到首位出(FIFO)和末位进到末位出(LILO)。
每种方法的时延测量都是在交换机入口和出口进行的。
这种方法测量的是交换机的时延加上数据包从出口发送出来的时间。
虽然这种方法对于服务器群集中的应用到应用时延等的测量足够了,但不是一种非常好的交换机时延测量方法。
为了更好地表明这个观点,可以想像一个电气连接器。
FILO方法意味着连接器具有与数据包大小相关的时延,但事实上连接器具有零时延。
大数据包会给这些测量结果增加较大的时延,使得提取实际交换机时延变得更加困难。
最后,考虑两个串联的直通交换机。
当使用FILO方法时,通过两个交换机的时延不能通过累加单个交换机的测量时延计算得到。
鉴于这些因素,这种方法并不是测量交换机时延的正确方法。
LIFO方法在20世纪80年代晚期和90年代早期用于测量传输单元大小固定的电信网络中的时延。
一些测试报告仍参考1991年发表的RFC 1242,这个时间比直通交换技术的发明早很多。
对于只提供存储和转发交换机的供应商来说,这种测量方法可以使结果看起来更好,因为这种方法不考虑数据包在转发之前被完整存储在交换机中的时间。
从图3可以看出,直通交换机的时延不能用这种方法精确测量。
图3 使用FIFO和LIFO方法的测量结果
这两种方法从效果上看是相同的,是正确测量通过直通交换机的时延的唯一方法。
为了说明这些方法的工作原理以及与LIFO测试的区别,让我们对最近使用
Fulcrum“Monaco”10GE交换机做的现场测试结果做一下评估。
FIFO与LIFO实际测试结果
Monaco参考平台例子包含有一个交换芯片,在1U外形尺寸内提供24个SFP+端口。
这个平台中的时延包含了通过交换机的时延和通过SFP+ PHY的时延。
这张图显示了交换机工作在直通模式时使用FIFO和LIFO方法的时延测量结果。
从图中可以看到,FIFO结果表明了交换机的实际直通时延,而LIFO数值是人工减去了完整接收一个帧所需的时间。
对10GbE链路来说,这两种测量方法之间的关系可以用以下等式描述:
LIFO时延=FIFO时延-(帧长度+20)*0.8nS
由于LIFO测量方法可能导致像Monaco这样的直通交换机出现负时延,因此测试仪器将这种情况报告为“零”时延。
这意味着在较大数据包情况下比较直通交换机将是无意义的,因为它们都显示为零时延。
结论
在为数据中心选择网络设备时时延是一个关键参数。
网络设计师可能使用测试报告比较不同供应商的交换机,但必须仔细检查这些报告,因为测试时延有多种方法,而只有比较使用相同的方法测量竞争性芯片得到的时延才有意义。
直通交换机可以为数据中心提供最低时延的网络解决方案。
本文明确了测量直通交换机时延的唯一正确方法是首位进至首位出(FIFO)方法。