基于数据位图的滑动分块算法

合集下载

数据流处理中的滑动窗口算法

数据流处理中的滑动窗口算法随着物联网和智能设备的普及，数据流处理成为了一项重要的技术。

数据流处理是指对无限数据流进行实时处理和分析的方法。

在这个过程中，数据通常以流的形式传输，因此需要使用一些特殊的算法来处理这些数据流。

其中，滑动窗口算法是常用的一种。

什么是滑动窗口算法？滑动窗口算法是一种基于区间的算法，它可以在固定大小的区间内对数据流进行处理。

这个固定大小的区间就是滑动窗口。

滑动窗口由一个起点和一个终点组成，起点和终点都会随着数据流的更新而进行滑动。

当新的数据流进入滑动窗口时，算法会对滑动窗口内的数据进行分析和处理，然后将结果输出。

滑动窗口的大小可以根据不同的需求来设置。

例如，在网络流量分析中，如果我们想要知道最近10秒钟的网络带宽使用情况，我们可以将滑动窗口的大小设置为10秒钟，然后对这个滑动窗口内的数据进行统计。

滑动窗口算法的应用滑动窗口算法在数据流处理中有着广泛的应用。

下面列举一些常见的例子：1. 最近K次查询的平均响应时间在计算机网络中，我们通常需要对最近K次的查询响应时间进行统计来了解系统的负载情况。

这个问题可以通过滑动窗口算法来解决。

我们可以将滑动窗口的大小设置为K，然后在滑动窗口中计算查询响应时间的平均值。

2. 判定数据流中是否存在某个子序列在某些情况下，我们需要判断一个数据流中是否包含某个子序列。

这个问题可以使用滑动窗口算法来解决。

我们可以将滑动窗口的大小设置为子序列的长度，然后在滑动窗口内判断是否包含这个子序列。

3. 实时数据分析在实时数据分析中，我们需要对数据流进行实时处理和分析。

滑动窗口算法可以对数据流进行连续的实时处理和分析。

我们可以将滑动窗口的大小设置为一定的时间窗口，然后在滑动窗口内进行数据分析和处理。

滑动窗口算法的优点和缺点滑动窗口算法有着一些优点和缺点。

下面是一些常见的优点和缺点：优点：1. 实时性好：滑动窗口算法可以对数据流进行实时处理，这对于实时数据分析非常有用。

基于数据流块的空间指令调度方法_刘炳涛

计算机研究与发展ＤＯＩ：１０．７５４４／ｉｓｓｎ１０００－１２３９．２０１７．２０１６０１３８Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｒｅｓｅａｒｃｈ　ａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ　５４（４）：７５０－７６３，２０１７基于数据流块的空间指令调度方法刘炳涛１，２，３　王　达１　叶笑春１　范东睿１，２　张志敏１　唐志敏１１（计算机体系结构国家重点实验室（中国科学院计算技术研究所）　北京　１００１９０）２（中国科学院大学计算机与控制学院　北京　１０００４９）３（杭州电子科技大学信息与控制研究所　３１００１８）（ｌｉｕｂｉｎｇｔａｏ＠ｉｃｔ．ａｃ．ｃｎ）Ｔｈｅ　Ｄａｔａ－Ｆｌｏｗ　Ｂｌｏｃｋ　Ｂａｓｅｄ　Ｓｐａｔｉａｌ　Ｉｎｓｔｒｕｃｔｉｏｎ　Ｓｃｈｅｄｕｌｉｎｇ　ＭｅｔｈｏｄＬｉｕ　Ｂｉｎｇｔａｏ１，２，３，Ｗａｎｇ　Ｄａ１，Ｙｅ　Ｘｉａｏｃｈｕｎ１，Ｆａｎ　Ｄｏｎｇｒｕｉ　１，２，Ｚｈａｎｇ　Ｚｈｉｍｉｎ１，ａｎｄ　Ｔａｎｇ　Ｚｈｉｍｉｎ１１（Ｓｔａｔｅ　Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ａｒｃｈｉｔｅｃｔｕｒｅ（Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｃｏｍｐｕｔｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ），Ｂｅｉｊｉｎｇ１００１９０）２（Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　ａｎｄ　Ｃｏｎｔｒｏｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１０００４９）３（Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｃｏｎｔｒｏｌ，Ｈａｎｇｚｈｏｕ　Ｄｉａｎｚｉ　Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ３１００１８）Ａｂｓｔｒａｃｔ　Ｃｌｕｓｔｅｒｅｄ　ｓｕｐｅｒｓｃａｌａｒ　ｐｒｏｃｅｓｓｏｒｓ　ｐａｒｔｉｔｉｏｎ　ｈａｒｄｗａｒｅ　ｒｅｓｏｕｒｃｅｓ　ｔｏ　ｃｉｒｃｕｍｖｅｎｔ　ｔｈｅ　ｅｎｅｒｇｙ　ａｎｄｃｙｃｌｅ　ｔｉｍｅ　ｐｅｎａｌｔｉｅｓ　ｉｎｃｕｒｒｅｄ　ｂｙ　ｌａｒｇｅ，ｍｏｎｏｌｉｔｈｉｃ　ｓｔｒｕｃｔｕｒｅｓ．Ｄｙｎａｍｉｃ　ｍｕｌｔｉ－ｃｏｒｅ　ｐｒｏｃｅｓｓｏｒｓ　ｆｕｓｅｈａｒｄｗａｒｅ　ｒｅｓｏｕｒｃｅｓ　ｏｆ　ｓｅｖｅｒａｌ　ｐｈｙｓｉｃａｌ　ｃｏｒｅｓ　ｔｏ　ｐｒｏｖｉｄｅ　ｔｈｅ　ｃｏｍｐｕｔａｔｉｏｎ　ｃａｐａｂｉｌｉｔｙ　ａｄａｐｔｉｎｇ　ｔｏａｐｐｌｉｃａｔｉｏｎｓ．Ｅｎｅｒｇｙ－ｅｆｆｉｃｉｅｎｔ　ｃｏｍｐｕｔａｔｉｏｎ　ｉｓ　ａｃｈｉｅｖｅｄ　ｉｎ　ｔｈｅｓｅ　ａｒｃｈｉｔｅｃｔｕｒｅｓ　ｗｉｔｈ　ａ　ｃａｒｅｆｕｌｌｙｏｒｃｈｅｓｔｒａｔｅｄ　ｕｔｉｌｉｚａｔｉｏｎ　ｏｆ　ｓｐａｔｉａｌｌｙ　ｄｉｓｔｒｉｂｕｔｅｄ　ｈａｒｄｗａｒｅ　ｒｅｓｏｕｒｃｅｓ．Ｐｒｏｂｌｅｍｓ　ｓｕｃｈ　ａｓ　ｉｎｓｔｒｕｃｔｉｏｎ　ｌｏａｄｉｍｂａｌａｎｃｅ　ａｎｄ　ｏｐｅｒａｎｄ　ｆｏｒｗａｒｄｉｎｇ　ｌａｔｅｎｃｙ　ｂｅｔｗｅｅｎ　ｐａｒｔｉｔｉｏｎｓ　ｍａｙ　ｃａｕｓｅ　ｐｅｒｆｏｒｍａｎｃｅ　ｐｅｎａｌｔｉｅｓ，ｓｏ　ａｎｅｆｆｅｃｔｉｖｅ　ｓｐａｔｉａｌ　ｉｎｓｔｒｕｃｔｉｏｎ　ｓｃｈｅｄｕｌｉｎｇ　ｍｅｔｈｏｄ　ｉｓ　ｎｅｅｄｅｄ　ｔｏ　ｄｉｓｔｒｉｂｕｔｅ　ｔｈｅ　ｃｏｍｐｕｔａｔｉｏｎ　ａｍｏｎｇ　ｔｈｅｐａｒｔｉｔｉｏｎｓ　ｏｆ　ｓｐａｔｉａｌ　ａｒｃｈｉｔｅｃｔｕｒｅｓ．Ｗｅ　ｐｒｅｓｅｎｔ　ｔｈｅ　ｄａｔａ－ｆｌｏｗ　ｂｌｏｃｋ（ＤＦＢ）ｂａｓｅｄ　ｓｐａｔｉａｌ　ｉｎｓｔｒｕｃｔｉｏｎｓｃｈｅｄｕｌｉｎｇ　ｍｅｔｈｏｄ．ＤＦＢｓ　ａｒｅ　ｄｙｎａｍｉｃａｌｌｙ　ｃｏｎｓｔｒｕｃｔｅｄ，ｃａｃｈｅｄ　ａｎｄ　ｒｅｕｓｅｄ　ｓｃｈｅｄｕｌｅ　ｐａｔｔｅｒｎｓ　ｆｏｒ　ｏｎｅ　ｏｒｍｏｒｅ　ｓｅｑｕｅｎｔｉａｌｌｙ　ｅｘｅｃｕｔｅｄ　ｉｎｓｔｒｕｃｔｉｏｎ　ｂａｓｉｃ　ｂｌｏｃｋｓ．ＤＦＢ　ｓｃｈｅｄｕｌｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｍｏｄｅｌｓ　ｔｈｅ　ｄａｔａ－ｆｌｏｗｃｏｎｓｔｒａｉｎｔｓ　ｏｆ　ｄｙｎａｍｉｃ　ｉｎｓｔｒｕｃｔｉｏｎ　ｓｔｒｅａｍ　ａｎｄ　ｔｈｅ　ｓｃｈｅｄｕｌｉｎｇ　ｓｐａｃｅ　ｄｅｆｉｎｅｄ　ｂｙ　ｈａｒｄｗａｒｅ　ｒｅｓｏｕｒｃｅｓ，ｔｈｅｎ　ｍａｋｅｓ　ｔｈｅ　ｓｃｈｅｄｕｌｉｎｇ　ｄｅｃｉｓｉｏｎ　ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｒｅｌａｔｉｖｅ　ｃｒｉｔｉｃａｌｉｔｙ，ｗｈｉｃｈ　ｉｓ　ｔｈｅ　ｑｕａｎｔｉｔａｔｉｖｅｓｃｈｅｄｕｌｉｎｇ　ｓｌａｃｋ　ｏｆ　ｉｎｓｔｒｕｃｔｉｏｎｓ．Ｗｅ　ｐｒｅｓｅｎｔ　ｔｈｅ　ｆｒａｍｅｗｏｒｋ　ａｎｄ　ａｌｇｏｒｉｔｈｍ　ｒｅｌａｔｅｄ　ｔｏ　ＤＦＢ　ｓｃｈｅｄｕｌｉｎｇ．Ｔｈｒｏｕｇｈ　ｅｘｐｅｒｉｍｅｎｔｉｎｇ　ｗｉｔｈ　ｖａｒｉｏｕｓ　ｍｉｃｒｏａｒｃｈｉｔｅｃｔｕｒｅ　ｐａｒａｍｅｔｅｒｓ　ｃｌｏｓｅｌｙ　ｒｅｌａｔｅｄ　ｔｏ　ｓｃｈｅｄｕｌｉｎｇｍｅｔｈｏｄ　ｓｕｃｈ　ａｓ　ｐａｒｔｉｔｉｏｎ　ｃｏｕｎｔ，ｉｎｔｅｒ－ｐａｒｔｉｔｉｏｎ　ｌａｔｅｎｃｙ　ａｎｄ　ｓｃｈｅｄｕｌｅ　ｗｉｎｄｏｗ　ｃａｐａｃｉｔｙ，ｗｅ　ｐｒｏｖｅ　ｔｈａｔｉｄｅａｌ　ＤＦＢ　ｓｃｈｅｄｕｌｉｎｇ　ｐｅｒｆｏｒｍｓ　ｂｅｔｔｅｒ　ａｎｄ　ｓｔａｂｌｅｒ　ｔｈａｎ　ｒｏｕｎｄ－ｒｏｂｉｎ　ａｎｄ　ｄｅｐｅｎｄｅｎｃｅ－ｂａｓｅｄ　ｓｃｈｅｄｕｌｉｎｇ．Ａｔ　ｌａｓｔ，ｗｅ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｓｃｈｅｄｕｌｉｎｇ　ｐｅｒｆｏｒｍａｎｃｅ　ｗｉｔｈ　ａ　ＤＦＢ　ｃａｃｈｅ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｅｘａｍｐｌｅ　ｃｌｏｓｅｓ　ｔｏｉｄｅａｌ　ＤＦＢ　ｓｃｈｅｄｕｌｉｎｇ．Ｋｅｙ　ｗｏｒｄｓ　ｐｒｏｃｅｓｓｏｒ　ｍｉｃｒｏａｒｃｈｉｔｅｃｔｕｒｅ；ｌｏａｄ　ｂａｌａｎｃｉｎｇ；ｉｎｓｔｒｕｃｔｉｏｎ　ｓｃｈｅｄｕｌｉｎｇ；ｄａｔａ－ｆｌｏｗ；ｃｒｉｔｉｃａｌ　ｐａｔｈ摘　要　分簇超标量处理器将硬件资源分区来避免大的单体部件导致的功耗与周期惩罚，动态多核处理器融合多个物理核的硬件资源提供适应程序需求的计算能力，这些结构合理使用空间分布的硬件资源　收稿日期：２０１６－０３－１０；修回日期：２０１６－０６－０７　基金项目：国家重点研发计划项目（２０１６ＹＦＢ０２００５０１）；国家自然科学基金项目（６１３３２００９，６１５２１０９２，６１６７１１９６，６１３２７９０２）；数学工程与先进计算国家重点实验室开放基金项目（２０１６Ａ０４）；北京市科委科技计划专项项目（Ｚ１５０１０１０１００９）Ｔｈｉｓ　ｗｏｒｋ　ｗａｓ　ｓｕｐｐｏｒｔｅｄ　ｂｙ　ｔｈｅ　Ｎａｔｉｏｎａｌ　Ｋｅｙ　Ｒｅｓｅａｒｃｈ　ａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｐｒｏｇｒａｍ　ｏｆ　Ｃｈｉｎａ（２０１６ＹＦＢ０２００５０１），ｔｈｅ　ＮａｔｉｏｎａｌＮａｔｕｒａｌ　Ｓｃｉｅｎｃｅ　Ｆｏｕｎｄａｔｉｏｎ　ｏｆ　Ｃｈｉｎａ（６１３３２００９，６１５２１０９２，６１６７１１９６，６１３２７９０２），ｔｈｅ　Ｏｐｅｎ　Ｐｒｏｇｒａｍ　ｏｆ　ｔｈｅ　Ｓｔａｔｅ　ＫｅｙＬａｂｏｒａｔｏｒｙ　ｏｆ　Ｍａｔｈｅｍａｔｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｄｖａｎｃｅｄ　Ｃｏｍｐｕｔｉｎｇ（２０１６Ａ０４），ａｎｄ　Ｂｅｉｊｉｎｇ　Ｍｕｎｉｃｉｐａｌ　Ｓｃｉｅｎｃｅ　ａｎｄ　ＴｅｃｈｎｏｌｏｇｙＣｏｍｍｉｓｓｉｏｎ　Ｐｒｏｇｒａｍ（Ｚ１５０１０１０１００９）．实现高能效的计算．空间分区结构中指令负载不均衡和跨区操作数传递延迟等问题可导致性能惩罚，需要有效的指令调度方法将计算在分区间进行分布．提出了基于数据流块（ｄａｔａ－ｆｌｏｗ　ｂｌｏｃｋ，ＤＦＢ）的空间指令调度方法．ＤＦＢ是动态构建、缓存并重用的一个或数个顺序执行的指令基本块的调度模式．ＤＦＢ调度算法建模动态指令流中的数据流约束和硬件资源定义的调度空间，然后根据指令量化的相对关键性完成调度决策．介绍了ＤＦＢ调度的微结构框架和算法．通过对分区数、分区间延迟和调度窗口容量等与调度方法密切相关的微结构参数的实验，证明了ＤＦＢ调度的性能和稳定性优于负载均衡调度和基于依赖的调度．最后举例证明结合一种数据流块缓存实现的ＤＦＢ调度达到的调度效果接近理想化的ＤＦＢ调度．关键词　处理器微结构；负载均衡；指令调度；数据流；关键路径中图法分类号　ＴＰ３０３超标量处理器发掘指令级并行性（ｉｎｓｔｒｕｃｔｉｏｎｌｅｖｅｌ　ｐａｒａｌｌｅｌｉｓｍ，ＩＬＰ）的能力随着发射宽度和调度窗口的增大而提升，然而发射队列和操作数传递网络等关键部件的复杂度随着发射宽度和调度窗口的增大呈平方增长的趋势［１］．分簇超标量处理器［２］将硬件资源分区来避开大的单体部件带来的功耗与周期惩罚．如图１所示，分簇超标量处理器负责完成指令执行的流水线后端划分为多个区，各分区有独立的发射队列、物理寄存器文件和功能单元，跨分区传递操作数需要额外的周期，我们称之为分区间延迟（ｉｎｔｅｒ－ｐａｒｔｉｔｉｏｎ　ｌａｔｅｎｃｙ，ＩＰＬ）．Ｆｉｇ．１　Ｃｌｕｓｔｅｒｅｄ　ｓｕｐｅｒｓｃａｌａｒ　ｐｒｏｃｅｓｓｏｒ　ｍｉｃｒｏａｒｃｈｉｔｅｃｔｕｒｅ图１　分簇超标量处理器微结构处理器单核的性能和频率提升受限于结构复杂度和功耗墙［３］等问题，为了提升计算能效，善于发掘线程级并行性（ｔｈｒｅａｄ　ｌｅｖｅｌ　ｐａｒａｌｌｅｌｉｓｍ，ＴＬＰ）的多核处理器逐渐成为主流［４］．但处理器的单线程处理能力仍然重要，Ｈｉｌｌ与Ｍａｒｔｙ［５］指出，依据阿姆达法则，随着并行部分的加速，串行部分逐渐成为继续降低程序运行时间的瓶颈．动态多核处理器（ｄｙｎａｍｉｃｍｕｌｔｉ－ｃｏｒｅ，ＤＭＣ）［５］融合数个物理核的资源来提供适应需求的计算能力．如图２所示，含８个物理核的ＤＭＣ处理器可以提供相当于２个或４个物理核计算能力的虚拟核．物理核有独立的硬件资源，虚拟核内跨越物理核边界传递操作数也存在ＩＰＬ．超标量处理器采用同时多线程技术（ｓｉｍｕｌｔａｎｅｏｕｓｍｕｌｔｉｔｈｒｅａｄｉｎｇ，ＳＭＴ）［６］可以发掘ＴＬＰ．ＳＭＴ技术在Ｆｉｇ．２　Ｄｙｎａｍｉｃ　ｍｕｌｔｉ－ｃｏｒｅ　ｐｒｏｃｅｓｓｏｒ　ｍｉｃｒｏａｒｃｈｉｔｅｃｔｕｒｅ图２　动态多核处理器微结构单核中发掘ＴＬＰ，ＤＭＣ技术在多核中发掘ＩＬＰ．殊途同归，它们都是通过合理使用在空间分布的硬件资源实现高能效计算．分区结构能以较低功耗与周期开销提供可扩展的计算能力，但负载不均衡和ＩＰＬ可能导致性能惩罚，分区结构需要有效的指令调度方法分布指令到各分区．负载均衡倾向于将指令分布到不同分区，而减少ＩＰＬ惩罚则倾向于将指令根据依赖关系分布到同一分区，存在冲突的策略需要根据指令的关键性进行权衡决策，这就是空间指令调度问题．为解决空间指令调度问题，我们提出了基于数据流块（ｄａｔａ－ｆｌｏｗ　ｂｌｏｃｋ，ＤＦＢ）的空间指令调度方法，简称ＤＦＢ调度．ＤＦＢ是动态构建、缓存并重用的一个或数个顺序执行的指令基本块的调度模式．ＤＦＢ调度算法用数据流约束模型描述动态指令序列中的依赖关系，用调度空间模型描述硬件资源约束，量化分析每条指令的调度裕量，根据指令间的相对关键性完成调度决策，生成周期跨度尽量小的调度模式，ＤＦＢ调度缓存重用这种调度模式．我们介绍了ＤＦＢ调度的微结构框架和算法．通过对分区数、ＩＰＬ和调度窗口容量等与调度方法密切相关的微结构参数的实验，我们证明了ＤＦＢ调度的性能和稳定性优于负载均衡调度和基于指令绝对关键性的依赖调度．最后举例证明结合一种数据流块缓存实现的ＤＦＢ调度达到的调度效果接近理想化的ＤＦＢ调度．１５７刘炳涛等：基于数据流块的空间指令调度方法本文贡献主要存在于３方面：１）我们构造了描述指令依赖关系的数据流约束模型并提出了基于量化指标的指令相对关键性的概念；２）我们构造了描述分区结构资源限制的调度空间模型并分析了空间指令调度问题；３）我们提出了ＤＦＢ调度并进行了评估．１　相关工作Ｐａｌａｃｈａｒｌａ等人［１］研究了发射队列的复杂度与时钟周期的关系，指出随着发射宽度和调度窗口增大，唤醒和选择逻辑成为关键路径．该文提出了多体发射队列，利用分区结构解决超标量处理器可扩展性问题．指令预调度［７－９］从时间维度调度指令，提升发射队列效率．根据生产者指令执行延迟，指令在预调度窗口内重新排列，然后逐行进入发射队列，这样减少了指令在发射队列内的等待周期数．ＷＩＢ［１０］和Ｃｙｃｌｏｎｅ［１１］将阻塞指令从发射队列中暂时取出，也属于时间指令调度．较多研究［１２－１５］关注分簇超标量处理器中指令空间调度问题．已有方法首先判断指令是否是关键路径指令，然后做出调度决策，研究重点在于指令关键性的判定．Ｆｉｅｌｄｓ等人［１６］通过指令依赖链的长度做出指令关键性预测．Ｓａｌｖｅｒｄａ等人［１７］通过指令的历史执行信息做出关键性预测．本文提出的ＤＦＢ调度量化指令的调度裕量并参照硬件资源约束做出调度决策．动态多核处理器［１８－２２］通过重构虚拟核的硬件资源来适应计算需求．Ｃｏｒｅ　Ｆｕｓｉｏｎ［１８］融合片上多核处理器（ｃｈｉｐ　ｍｕｌｔｉ－ｃｏｒｅ　ｐｒｏｃｅｓｓｏｒ，ＣＭＰ）中多个物理核提供发射宽度可变的虚拟核．ＴＦｌｅｘ［１９］采用ＥＤＧＥ指令集，借助编译器进行指令调度．ＤＣＭ（ｄｙｎａｍｉｃｃｏｒｅ　ｍｏｒｐｈｉｎｇ）［２０］可以根据应用的阶段性特征，提供合适的后端完成计算．Ｖｏｌｔｒｏｎ［２１］实现宽发射的ＶＬＩＷ虚拟核和能进行细粒度通信的多ＶＬＩＷ核双模式计算．ＷｉＤＧＥＴ［２２］根据需求分配合适数量的功能单元来实现与功耗成比例的计算．部分动态多核结构借助编译器完成静态指令调度，部分动态多核结构采用基于依赖的动态指令调度．除了动态多核处理器外，其他类型的空间结构［２３－２６］多借助编译器完成指令调度．ＤＦＢ调度缓存、优化并重用指令调度策略．ＤＩＦ［２７］结构将调度完成的指令组缓存．再次遇到时，指令组由ＶＬＩＷ后端加速执行．Ｆｉｌｌ　ｕｎｉｔ［２８］将执行的指令压缩并缓存，提高发射带宽．基于ＴｒａｃｅＣａｃｈｅ［２９］，处理器可以对缓存的指令进行动态优化以提升其执行性能［３０］．ｒｅＰＬａｙ［３１］提出了支持动态优化的框架．２　空间指令调度问题描述与建模分簇超标量处理器与动态多核处理器中负责执行指令的流水线后端都可抽象为分区结构．硬件资源由单体实现变为分区实现带来的变化主要有３点：１）单个分区分得的功能单元减少；２）跨分区传递操作数有额外的延迟；３）单个分区的发射队列变小．分区结构的指令调度可以看作优化问题，尝试减弱或消除上述３要素导致的性能惩罚，使分区实现接近单体实现的执行效率．Ｆｉｇ．３　Ｓｃｈｅｄｕｌｉｎｇ　ｓｐａｃｅ　ｍｏｄｅｌ　ｆｏｒ　ｓｐａｔｉａｌ　ａｒｃｈｉｔｅｃｔｕｒｅ图３　分区结构的调度空间模型单个分区的指令发射带宽、功能单元组成和发射队列容量等限制指令调度，我们用调度块（ｓｃｈｅｄｕｌｅｂｌｏｃｋ，ＳｃＢ）描述这些资源约束．随着周期的增长，所有分区的ＳｃＢ构成了矩阵形式的调度空间约束模型，矩阵行坐标Ｔ表示指令的预期发射周期，列坐标Ｃ表示指令的分区指派，矩阵的第ｉ行第ｊ列的元素ＳｃＢｉｊ描述了第ｊ个分区在第ｉ个周期的资源约束．空间指令调度为动态指令片段中的指令确定分区指派Ｃ，在不违反调度空间约束模型的情况下，尽量减小指令片段调度模式的周期跨度．图３展示了４分区结构的调度空间约束模型，单个分区每周期可发射２条指令，有２个整型、１个浮点、１个访存和１个分支功能单元．调度空间约束模型的术语定义如表１所示．２５７计算机研究与发展　２０１７，５４（４）Ｔａｂｌｅ　１　Ｔｅｒｍｉｎｏｌｏｇｙ　ｏｆ　Ｓｃｈｅｄｕｌｅ　Ｓｐａｃｅ　Ｃｏｎｓｔｒａｉｎｔｓ　Ｍｏｄｅｌ表１　调度空间约束模型术语Ｔｅｒｍｉｎｏｌｏｇｙ　Ｓｙｍｂｏｌ　ＤｅｆｉｎｉｔｉｏｎＩｓｓｕｅ　Ｗｉｄｔｈ　Ｃｏｎｓｔｒａｉｎｔ　Ｅ　Ｅ（ＳｃＢｉｊ）ｄｅｓｃｒｉｂｅｓ　ｔｈｅ　ａｖａｉｌａｂｌｅ　ｉｓｓｕｅ　ｓｌｏｔｓ　ｉｎ　ＳｃＢｉｊ．Ｆｕｎｃｔｉｏｎ　Ｕｎｉｔｓ　Ｃｏｎｓｔｒａｉｎｔ　Ｆ　Ｆｃｏｎｓｔｒａｉｎｓ　ｉｎｓｔｒｕｃｔｉｏｎ　ｍｉｘ　ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｃｏｍｂｉｎａｔｉｏｎ　ｏｆ　ｆｕｎｃｔｉｏｎｓ　ｕｎｉｔｓ．Ｉｓｓｕｅ　Ｑｕｅｕｅ　Ｃａｐａｃｉｔｙ　Ｃｏｎｓｔｒａｉｎｔ　ＩＱ＿Ｌｏａｄ　ＩＱ＿Ｌｏａｄｄｅｓｃｒｉｂｅｓ　ｔｈｅ　ｉｎｓｔｒｕｃｔｉｏｎ　ｌｏａｄ　ｏｆ　ｉｎｓｔｒｕｃｔｉｏｎ　ｑｕｅｕｅ．Ｐａｒｔｉｔｉｏｎ　Ａｓｓｉｇｎｍｅｎｔ　Ｃ　Ｃ（Ｉ）ｒｅｃｏｒｄｓ　ｔｈｅ　ａｓｓｉｇｎｅｄ　ｐａｒｔｉｔｉｏｎ　ｏｆ　ｉｎｓｔｒｕｃｔｉｏｎ　Ｉ．Ｉｎｓｔｒｕｃｔｉｏｎ　Ｅｘｅｃｕｔｉｏｎ　Ｌａｔｅｎｃｙ　Ｌａｔ　Ｌａｔ（Ｉ）ｉｓ　ｔｈｅ　ｏｐｔｉｍｉｓｔｉｃ　ｅｓｔｉｍａｔｅ　ｏｆ　ｅｘｅｃｕｔｉｏｎ　ｌａｔｅｎｃｙ　ｏｆ　ｉｎｓｔｒｕｃｔｉｏｎ　Ｉ．Ｉｎｓｔｒｕｃｔｉｏｎ　Ｓｔｅｅｒｉｎｇ　Ｔｉｍｅ　ＳｔｅｅｒＴ　ＳｔｅｅｒＴ（Ｉ）ｒｅｃｏｒｄｓ　ｗｈｅｎ　ｉｎｓｔｒｕｃｔｉｏｎ　Ｉｅｎｔｅｒｓ　ｉｓｓｕｅ　ｑｕｅｕｅ．Ｉｎｓｔｒｕｃｔｉｏｎ　Ｉｓｓｕｉｎｇ　Ｔｉｍｅ　ＩｓｓＴ　ＩｓｓＴ（Ｉ）ｒｅｃｏｒｄｓ　ｗｈｅｎ　ｉｎｓｔｒｕｃｔｉｏｎ　Ｉｉｓ　ｉｓｓｕｅｄ　ｔｏ　ｆｕｎｃｔｉｏｎ　ｕｎｉｔ．Ｉｎｓｔｒｕｃｔｉｏｎ　Ｅｘｅｃｕｔｅｄ　Ｔｉｍｅ　ＥｘｅｄＴ　ＥｘｅｄＴ（Ｉ）ｒｅｃｏｒｄｓ　ｗｈｅｎ　ｔｈｅ　ｄｅｓｔｉｎａｔｉｏｎ　ｒｅｇｉｓｔｅｒ　ｏｆ　ｉｎｓｔｒｕｃｔｉｏｎ　Ｉｉｓ　ａｖａｉｌａｂｌｅ．指令Ｉ调度到ＳｃＢｉｊ意味着ＩｓｓＴ（Ｉ）＝ｉ，Ｃ（Ｉ）＝ｊ．指令执行完成周期等于发射周期加上指令的执行延迟ＥｘｅｄＴ（Ｉ）＝ＩｓｓＴ（Ｉ）＋Ｌａｔ（Ｉ）．举例说明在调度空间约束模型下如何完成指令调度．如图３所示，Ｉ１依赖Ｉ０，假设Ｉ１调度到ＳｃＢｉｊ，则需要满足４项约束：Ｅ（ＳｃＢｉｊ）＞０，（１）Ｆ（ＳｃＢｉｊ）［ｔｙｐｅ（Ｉ１）］＞０，（２）ＩＱ＿Ｌｏａｄ（ＳｃＢｉｊ）＜ＩＱ＿Ｓｉｚｅ，（３）ＩｓｓＴ（Ｉ１）≥ＥｘｅｄＴ（Ｉ０）＋ＩＰＬ，Ｃ（Ｉ１）≠Ｃ（Ｉ０）；ＥｘｅｄＴ（Ｉ０），Ｃ（Ｉ１）＝Ｃ（Ｉ０）｛．（４）其中，ｔｙｐｅ（Ｉ）表示取执行指令Ｉ的功能单元类型，ＩＱ＿Ｓｉｚｅ是单个分区的发射队列容量，ＩＰＬ为分区间延迟．式（１）～（３）为资源约束，式（４）为生产者指令对消费者指令的调度约束．ＩＰＬ设定为１周期，假设Ｉ０调度到ＳｃＢ００，且Ｌａｔ（Ｉ０）＝３，则Ｉ１在Ｉ０的约束下的调度备选ＳｃＢ如图３所示．如何完成调度使指令序列在调度空间约束模型的Ｔ方向上分布尽量窄，即指令调度问题．指令空间调度通过改变指令的Ｃ（Ｉ）来权衡负载均衡与ＩＰＬ．已有调度方法考察指令位于关键路径的可能性，然后依照其关键性预测做负载均衡和依赖调度２选１的即时决策，我们称这种定性的决策标准为指令的绝对关键性．我们认为依据绝对关键性进行调度存在不足，原因有２个：１）实时关键性难以准确预测，指令位于不同执行路径时，其关键性存在差异；２）调度决策会反馈影响指令关键性，根据依赖进行调度会加重负载的不均衡，根据负载进行调度会使得路径的延迟增长，非关键路径可转化为关键路径．ＤＦＢ调度根据指令上下文分析其调度裕量，不违反调度空间约束模型生成合理的调度模式并缓存复用．关注指令调度需求与资源约束的互动，通过对比竞争资源的多个指令的调度裕量做出调度决策，我们称这种定量的决策标准为指令的相对关键性．第３节介绍定量描述程序调度需求的数据流约束模型．３　数据流约束模型“操作数准备好，指令开始执行．”是数据流计算的基本思想，也为指令调度提供依据．我们在数据流概念的基础上做出扩展，定义指令的数据流约束为与指令有依赖关系的生产者与消费者指令对指令调度附加的周期约束．数据流约束有２个特点：１）量化约束关系，计算指令的调度裕量；２）参考指令的消费者依赖关系，即反向数据流依赖．传统指令调度方法逐条完成指令调度，无法参考反向数据流依赖关系，ＤＦＢ调度缓存并重用指令调度模式，能够参考指令的消费者对其附加的数据流约束．数据流约束模型的术语的定义如表２所示．数据流约束的计算举例如图４所示．动态指令序列可表示为无环的有向数据流图，如图４中①所示，边表示指令间的依赖关系，边的权值表示估计的指令执行延迟Ｌａｔ（Ｉ），虚线框表示指令是Ｔｅｒｍｉｎａｌ．数据流约束的计算有３步：１）按指令序遍历所有指令，计算得到指令的调度上限ｓｃｈｅｄ＿ｕｂ．如图４中②所示，Ｉ０，Ｉ１等没有生产者指令约束的指令ｓｃｈｅｄ＿ｕｂ为周期０，ＥｘｅｄＴ（Ｉ０）＝１且ＥｘｅｄＴ（Ｉ１）＝３，则ｓｃｈｅｄ＿ｕｂ（Ｉ２）＝３．２）设置Ｔｅｒｍｉｎａｌ的ｓｃｈｅｄ＿ｌｂ为其ｓｃｈｅｄ＿ｕｂ，如图４中③所示，然后逐个遍历Ｄ－Ｔｒｅｅ追踪反向数据流依赖关系，更新ｌｂ＿ｍａｔ，如图４中④⑤所示．３）ｌｂ＿ｍａｔ中指令约束最紧值即为指令的ｓｃｈｅｄ＿ｌｂ，（ｓｃｈｅｄ＿ｕｂ，ｓｃｈｅｄ＿ｌｂ）定义指令的调度区间，差值为调度裕量，如图４中⑥所示．３５７刘炳涛等：基于数据流块的空间指令调度方法Ｔａｂｌｅ　２　Ｔｅｒｍｉｎｏｌｏｇｙ　ｏｆ　Ｄａｔａ－Ｆｌｏｗ　Ｃｏｎｓｔｒａｉｎｔｓ　Ｍｏｄｅｌ表２　数据流约束模型术语Ｔｅｒｍｉｎｏｌｏｇｙ　Ｓｙｍｂｏｌ　ＤｅｆｉｎｉｔｉｏｎＴｅｒｍｉｎａｌ　ｔｅｒｍ　Ｉｎｓｔｒｕｃｔｉｏｎｓ　ｗｈｉｃｈ　ｈａｖｅ　ｎｏ　ｃｏｎｓｕｍｅｒ　ｉｎ　ＤＦＢ．Ｄｅｐｅｎｄｅｎｃｅ　Ｔｒｅｅ　Ｄ－Ｔｒｅｅ　Ｔｈｅ　ｔｒｅｅ　ｓｔｒｕｃｔｕｒｅ　ｗｉｔｈ　ａ　ｔｅｒｍｉｎａｌ　ａｓ　ｉｔｓ　ｒｏｏｔ，ｏｂｔａｉｎｅｄ　ｂｙ　ｂａｃｋ　ｔｒａｃｉｎｇ　ｔｈｅ　ｄｅｐｅｎｃｅｎｃｅ．ＳｃｈｅｄｕｌｅＵｐｐｅｒｂｏｕｎｄｓｃｈｅｄ＿ｕｂｓｃｈｅｄ＿ｕｂ（Ｉ）ｄｅｓｃｒｉｂｅｓ　ｗｈｅｎ　ｉｎｓｔｒｕｃｔｉｏｎ　Ｉｃａｎ　ｂｅ　ｗａｋｅｎ　ｕｐ，ｗｈｉｃｈ　ｉｓ　ｄｅｔｅｒｍｉｎｅｄ　ｂｙ　ｉｔｓ　ｏｐｅｒａｎｄｐｒｏｄｕｃｅｒｓ．ＳｃｈｅｄｕｌｅＬｏｗｅｒｂｏｕｎｄｓｃｈｅｄ＿ｌｂｓｃｈｅｄ＿ｌｂ（Ｉ）ｄｅｓｃｒｉｂｅｓ　ｗｈｅｎ　ｉｎｓｔｒｕｃｔｉｏｎ　Ｉｓｈｏｕｌｄ　ｂｅ　ｉｓｓｕｅｄ，ｗｈｉｃｈ　ｉｓ　ｄｅｔｅｒｍｉｎｅｄ　ｂｙ　ｉｔｓ　ｏｐｅｒａｎｄｃｏｎｓｕｍｅｒｓ．Ｌｏｗｅｒｂｏｕｎｄ　Ｍａｔｒｉｘ　ｌｂ＿ｍａｔ　ｌｂ＿ｍａｔ　ｒｅｃｏｒｄｓ　ｔｈｅ　ｓｃｈｅｄ＿ｌｂ　ｃｏｎｓｔｒａｉｎｔｓ　ｔｏ　ｉｎｓｔｒｕｃｔｉｏｎｓ　ｂｙ　ｄｉｆｆｅｒｅｎｔ　Ｄ－Ｔｒｅｅ　．Ｆｉｇ．４　Ｄａｔａ－ｆｌｏｗ　ｃｏｎｓｔｒａｉｎｔｓ　ｃｏｍｐｕｔａｔｉｏｎ图４　数据流约束的计算数据流约束描述了程序的细粒度计算需求，调度上下限差值为指令的调度裕量：１）调度裕量量化表示了指令的相对关键性强弱，调度裕量越大其相对关键性越弱，当多条指令竞争调度资源时，优先满足相对关键性强的指令；２）调度裕量是考虑了调度策略影响的动态指标，当指令跨分区传递操作数时，ＩＰＬ消耗指令的调度裕量，其相对关键性得到提升．调度裕量表示的相对关键性是与上下文相关的、量化的、动态的指令关键性指标．４　基于数据流块的空间指令调度的框架ＤＦＢ是动态构建、缓存并重用的调度模式．扩展支持ＤＦＢ调度的处理器微结构框图如图５所示．在传统分区结构的基础上，添加了ＤＦＢ构建、缓存和重用的逻辑．ＤＦＢ调度的实现基于集成数据流缓存的处理器前端设计［３２］，该设计解耦合指令转换与分支预测，ＤＦＢ　Ｃａｃｈｅ利用程序的计算局部性覆盖大部分的动态指令流，从而降低ＤＦＢ构建的执行频率，减少ＤＦＢ　Ｔｒａｉｎｅｒ的功耗开销．ＤＦＢ　Ｔｒａｉｎｅｒ可以被芯片上多个物理核复用，降低其平均面积开销．Ｆｉｇ．５　Ｍｉｃｒｏａｒｃｈｉｔｅｃｔｕｒｅ　ａｕｇｍｅｎｔｅｄ　ｗｉｔｈ　ＤＦＢ　ｓｃｈｅｄｕｌｉｎｇ图５　扩展支持ＤＦＢ调度后的微结构分支预测器给出取指地址来查询ＤＦＢ　Ｃａｃｈｅ：１）命中，ＤＦＢ　Ｓｃｈｅｄｕｌｅｒ取出缓存的ＤＦＢ，指导指令的空间调度；２）未命中，ＤＦＢ　Ｔｒａｉｎｅｒ采样指令，并执行ＤＦＢ调度算法，将调度模式存入ＤＦＢ　Ｃａｃｈｅ．在程序的计算局部性支持下，经过一段时间的训练，ＤＦＢ　Ｃａｃｈｅ可以覆盖大部分的动态指令．４５７计算机研究与发展　２０１７，５４（４）ＤＦＢ内指令依赖的表示采用前向数据流指针［３２］，操作数由生产者指令主动传递给消费者指令，ＤＦＢＴｒａｉｎｅｒ在ＤＦＢ内插入额外的ｃｏｐｙ指令完成操作数的跨分区传递．指令不需要跨分区广播操作数或访问物理寄存器文件．主分区维护ＲＯＢ（ｒｅｏｒｄｅｒｂｕｆｆｅｒ）信息，每个ＤＦＢ占用ＲＯＢ的１个空位，当ＤＦＢ的最后１条指令达到提交阶段时，整个ＤＦＢ一起提交．物理寄存器和ＲＯＢ的实现不会限制结构的可扩展性．５　ＤＦＢ空间调度算法ＤＦＢ　Ｔｒａｉｎｅｒ使用ＤＦＢ调度算法，输入动态指令序列，参照数据流约束模型和调度空间约束模型完成指令调度，输出指令序列的调度模式．ＤＦＢ调度算法的目标是在不违反资源限制的前提下，尽量满足程序的计算需求，生成时间跨度尽量小的调度模式．在数据流约束表示的指令相对关键性的指导下，ＤＦＢ调度算法对每条指令做依赖调度和负载均衡调度的权衡，为其指派分区．当指令的数据流约束无法满足时，放宽约束所在Ｄ－Ｔｒｅｅ上指令的ｓｃｈｅｄ＿ｌｂ，继续尝试调度当前指令，直到所有指令调度完成．Ｆｉｇ．６　Ｄｅｐｅｎｄｅｎｃｅ　ｂａｓｅｄ　ｓｃｈｅｄｕｌｉｎｇ　ｃｏｎｓｔｒａｉｎｔｓ图６　基于依赖的调度约束５．１　基于依赖的调度调度依指令序逐条进行，当某指令开始调度时，其生产者指令已经调度完成，对其调度上限构成约束．图６展示指令Ｉ２开始调度的周期，其依赖的指令Ｉ０调度在ＳｃＢ００，Ｉ１调度在ＳｃＢ１２．假设Ｌａｔ（Ｉ０）＝３，Ｌａｔ（Ｉ１）＝１，ＩＰＬ＝１，则Ｉ０与Ｉ１附加的调度上限约束分别如图６中虚线和点划线所示．基于依赖的调度要求ＩｓｓＴ（Ｉ２）同时满足２个约束，灰色ＳｃＢ为备选位置．考虑Ｉ２的相对关键性．当Ｉ２的调度下限大于周期３时，可以将Ｉ２调度到分区０以外，此时Ｉ０附加的调度约束如图７中虚线所示．将Ｉ２调度到分区０之外，让出了分区０的执行机会或者使负载更均衡．Ｆｉｇ．７　Ｓｃｈｅｄｕｌｉｎｇ　ａｃｃｏｒｄｉｎｇ　ｔｏ　ｒｅｌａｔｉｖｅ　ｃｒｉｔｉｃａｌｉｔｙ图７　依据相对关键性进行调度Ｆｉｇ．８　Ｌｏｏｓｅｎ　ｄａｔａ－ｆｌｏｗ　ｃｏｎｓｔｒａｉｎｔｓ　ｗｈｅｎ　ｎｅｅｄｅｄ图８　适时放松数据流约束根据依赖关系和相对关键性确定了备选ＳｃＢ后，按照ＩｓｓＴ从小到大的顺序考察ＳｃＢ，若找到不违反资源限制约束的且ＩｓｓＴ满足ｓｃｈｅｄ＿ｌｂ要求的ＳｃＢ开始下条指令的调度；否则，放松数据流约束，继续尝试调度当前指令．如图８所示，Ｉ１调度在了５５７刘炳涛等：基于数据流块的空间指令调度方法ＳｃＢ２２，则ｓｃｈｅｄ＿ｌｂ（Ｉ２）＝３的数据流约束无法满足．追踪约束来源的Ｄ－Ｔｒｅｅ，将对应的Ｔｅｒｍｉｎａｌ的ｓｃｈｅｄ＿ｌｂ增１，更新ｌｂ＿ｍａｔ，计算ｓｃｈｅｄ＿ｌｂ约束，重新尝试调度Ｉ２，重复该过程直到调度成功．５．２　基于负载均衡的调度ＤＦＢ空间调度算法使用调度空间约束模型对功能单元计算能力建模，而采用计数排序的方法应对发射队列负载均衡的问题，优先考虑指令数少的分区，对于指令数相等的分区，优先调度到最久没有被使用的分区．根据分区负载确定调度优先级的电路示意图如图９所示：Ｆｉｇ．９　Ｐｒｉｏｒｉｔｙ　ｕｐｄａｔｉｎｇ　ｃｉｒｃｕｉｔ　ｆｏｒ　ｌｏａｄ　ｂａｌａｎｃｉｎｇ图９　负载均衡优先级更新电路电路主要维护２组寄存器，ＣＳＩＺＥ寄存器组存储各分区已经指派的指令数量，ＯＲＤＥＲ寄存器组按负载均衡优先级输出调度分区编号．ＤＦＢ开始构建时ＣＳＩＺＥ寄存器清０，每调度１条指令，ＣＳＩＺＥ寄存器和ＯＲＤＥＲ寄存器依次变化，更新优先级：１）指令调度的分区号Ｃ控制对应的ＣＳＩＺＥ寄存器加１；２）更新ＯＲＤＥＲ寄存器，ＣＳＩＺＥ越大的分区优先级越低，ＣＳＩＺＥ相等的分区，维持优先级顺序．５．３　算法伪代码与分析ＤＦＢ调度算法依指令序逐条调度指令．调度单条指令分为３步：１）根据依赖关系和数据流约束表示的相对关键性确定备选ＳｃＢ；２）按照ＩｓｓＴ递增的顺序在备选的ＳｃＢ中尝试调度指令，相同ＩｓｓＴ的ＳｃＢ依负载均衡优先级调度，若成功则完成当前指令调度；３）放松当前指令ｓｃｈｅｄ＿ｌｂ所在Ｄ－Ｔｒｅｅ的约束，并返回步骤１继续尝试进行调度．ＤＦＢ的所有指令调度完成时算法结束．伪代码中，ｎ为指令数，ｎＣ为分区数，ＩＰＬ为跨分区操作数传递延迟．ｉｎｓｔ是输入指令序列，ＳｃＢ是调度空间模型矩阵，ｓｃｈｅｄ＿ｃｏｎ记录指令的关键消费者；输出是分区指派Ｃ和预期发射周期ＩｓｓＴ．算法如下：算法１．ＤＦＢ空间指令调度．输入：ｉｎｓｔ［］，ＳｃＢ［］［］，ｓｃｈｅｄ＿ｕｂ［］，ｓｃｈｅｄ＿ｌｂ［］，ｓｃｈｅｄ＿ｃｏｎ［］；输出：Ｃ［０：ｎ－１］，ＩｓｓＴ［０：ｎ－１］．伪代码：函数ＳＣＨＥＤ＿ＭＡＩＮ（）／＊初始化负载均衡优先级电路＊／①ｆｏｒ　ａｌｌ：ＯＲＤＥＲ［ｉ］＝（ｒｒ＿ｔｏｋｅｎ＋ｉ）％ｎＣ；②ｆｏｒ　ａｌｌ：ＣＳＩＺＥ［ｉ］＝０；③ｒｒ＿ｔｏｋｅｎ＝（ｒｒ＿ｔｏｋｅｎ＋Ｐ）％ｎＣ；／＊按指令序依次调度＊／④ｆｏｒ　ｅａｃｈ　ｉ　ｉｎ［０：ｎ－１］⑤　ｗｈｉｌｅ（ＳＣＨＥＤ＿ＩＮＳＴ（ｉ）≠ｔｒｕｅ）／＊调度失败则放松数据流约束，直到调度成功＊／／＊ｔｅｒｍ为指令约束所在Ｄ－Ｔｒｅｅ的根＊／⑥ ｓｃｈｅｄ＿ｌｂ［ｔｅｒｍ］＋＋；⑦ ｒｅｃａｌｃ＿ｌｂ（）；⑧　ｅｎｄ　ｗｈｉｌｅ／＊更新负载均衡优先级＊／⑨　ｆｏｒ　ｅａｃｈ　ｊｉｎ［０：ｎＣ－１］⑩ ｖｅｃ．ａｄｄ（ＣＳＩＺＥ［ＯＲＤＥＲ［ｊ］］４｜ｊ２｜ＯＲＤＥＲ［ｊ］）；瑏瑡　ｅｎｄ　ｆｏｒ瑏瑢　ｖｅｃ．ｓｏｒｔ（‘＜’）；瑏瑣　ｆｏｒ　ｅａｃｈ　ｊｉｎ［０：ｎＣ－１］瑏瑤ＯＲＤＥＲ［ｊ］＝ｖｅｃ［ｊ］％ｎＣ；瑏瑥　ｅｎｄ　ｆｏｒ瑏瑦ｅｎｄ　ｆｏｒ函数ＳＣＨＥＤ＿ＩＮＳＴ（ｉｄｘ）瑏瑧ｉｆ（ｉｎｓｔ［ｉｄｘ］ｓ　ｓｒｃ１ｉｓ　ｖａｌｉｄ）：／＊操作数１有依赖＊／瑏瑨　ＥｘｅｄＴ［ｓｒｃ１］＝ＩｓｓＴ［ｓｒｃ１］＋Ｌａｔ［ｓｒｃ１］；瑏瑩　ｉｆ（ｓｃｈｅｄ＿ｃｏｎ［ｓｒｃ１］≠ｉｄｘ　＆＆（ＳｃＢ［ＥｘｅｄＴ［ｓｒｃ１］］［Ｃ［ｓｒｃ１］］ｉｓｎｅａｒｌｙ　ｆｕｌｌ‖ｓｃｈｅｄ＿ｌｂ［ｉｄｘ］＞ＥｘｅｄＴ［ｓｒｃ１］））ｙｉｅｌｄ＝ｔｒｕｅ；瑐瑠　ｅｎｄ　ｉｆ瑐瑡　ｆｏｒ　ｅａｃｈ　ｉ　ｉｎ［０：ｎＣ－１］瑐瑢ｉｆ（ｉ＝＝Ｃ［ｓｒｃ１］）瑐瑣ｉｆ（ｙｉｅｌｄ）Ｙ１［ｉ］＝ｍａｘＩＮＴ；／＊最大整数＊／瑐瑤ｅｌｓｅ　Ｙ１［ｉ］＝ＥｘｅｄＴ［ｓｒｃ１］；瑐瑥ｅｎｄ　ｉｆ瑐瑦ｅｌｓｅ　Ｙ１［ｉ］＝ＥｘｅｄＴ［ｓｒｃ１］＋ＩＰＬ；６５７计算机研究与发展　２０１７，５４（４）瑐瑧ｅｎｄ　ｉｆ瑐瑨　ｅｎｄ　ｆｏｒ瑐瑩ｅｎｄ　ｉｆ瑑瑠ｉｆ（ｉｎｓｔ［ｉｄｘ］ｓ　ｓｒｃ２ｉｓ　ｖａｌｉｄ）／＊操作数２有依赖＊／瑑瑡Ｙ［：］＝ｍａｘ（Ｙ１［：］，Ｙ２［：］）；瑑瑢ｍｉｎＹ＝ｍｉｎ（Ｙ［：］）；瑑瑣ｅｎｄ　ｉｆ瑑瑤ｉｆ（ｍｉｎＹ＞ｓｃｈｅｄ＿ｌｂ［ｉｄｘ］）ｒｅｔｕｒｎ　ｆａｌｓｅ；瑑瑥ｅｎｄ　ｆｏｒ瑑瑦ｆｏｒ　ｅａｃｈ　ｉ　ｉｎ（ｍｉｎＹ：ｓｃｈｅｄ＿ｌｂ［ｉｄｘ］）瑑瑧　ｆｏｒ　ｅａｃｈ　ｊｉｎ［０：ｎＣ－１］瑑瑨ｉｆ（Ｙ［ＯＲＤＥＲ［ｊ］］≤ｉ）瑑瑩ｉｆ（ＳｃＢ［ｉ］［ＯＲＤＥＲ［ｊ］］ｓａｔｉｓｆｉｅｓｉｎｓｔ［ｉｄｘ］）瑒瑠Ｃ［ｉｄｘ］＝ＯＲＤＥＲ［ｊ］；瑒瑡ＩｓｓＴ［ｉｄｘ］＝ｉ；瑒瑢ＣＳＩＺＥ［ＯＲＤＥＲ［ｊ］］＋＋；瑒瑣ｒｅｔｕｒｎ　ｔｒｕｅ；瑒瑤ｅｎｄ　ｉｆ瑒瑥ｅｎｄ　ｉｆ瑒瑦　ｅｎｄ　ｆｏｒ瑒瑧ｅｎｄ　ｆｏｒ瑒瑨ｒｅｔｕｒｎ　ｆａｌｓｅ．时间复杂度简要分析如下：函数ＳＣＨＥＤ＿ＩＮＳＴ调度单条指令，Ｙ１和Ｙ２分别表示２条生产者指令对当前指令的调度上限约束，Ｙ由Ｙ１和Ｙ２共同确定，Ｙ的最小值ｍｉｎＹ表示当前指令最早的ＩｓｓＴ，行瑏瑧～瑑瑤计算的时间复杂度为Ｏ（１）．Ｙ与ｓｃｈｅｄ＿ｌｂ确定了ＩｓｓＴ的取指范围，各分区最顶部的ＳｃＢ作为调度目标，算法在硬件实现时可以维护各分区各功能单元的发射机会向量，其与调度范围求交集后，顶部的ＳｃＢ即是各分区的候选，对最多ｎＣ个备选的ＳｃＢ，按照小的ＩｓｓＴ第１优先，ＯＲＤＥＲ寄存器第２优先的顺序确定调度到的ＳｃＢ，行瑑瑦～瑒瑨计算的时间复杂度为Ｏ（１）．所以，ＳＣＨＥＤ＿ＩＮＳＴ的时间复杂度为Ｏ（１）．ＳＣＨＥＤ＿ＭＡＩＮ负责指令序列的调度．行⑨～瑏瑥更新负载均衡优先级电路，其时间复杂度为Ｏ（ｎ）．行④～⑤确定２层循环，行⑤～⑦为最内层循环体，每进行１次约束放松，至少有１条指令的ｓｃｈｅｄ＿ｌｂ增１．任何１条指令的ｓｃｈｅｄ＿ｌｂ不会超过ｎ×（ｍａｘ（Ｌａｔ）＋ＩＰＬ），行⑥～⑦进行约束放松为Ｏ（ｎ２）次，行⑤调用ＳＣＨＥＤ＿ＩＮＳＴ的次数等于约束放松的次数加ｎ．因此算法总的时间复杂度为Ｏ（ｎ２）．６　实验评估６．１　实验设置我们为ＥＳＥＳＣ模拟器［３３］添加了ＤＦＢ调度后运行ＳＰＥＣＩＮＴ　ＣＰＵ２００６测试程序集，使用ｒｅｆ输入数据．我们略过初始的１亿条指令后，模拟１亿条指令的连续执行．因为ＤＦＢ　Ｃａｃｈｅ依赖程序的计算局部性，关闭模拟器的采样执行模式使模拟的动态指令流的计算局部性尽量接近程序实际执行情况．支持乱序执行的流水线的指令执行性能受到多个结构参数的影响，取指带宽、指令窗口容量、调度窗口容量、功能单元配置等都会影响程序的执行．为了评估指令空间调度方法，使指令执行性能体现调度方法的差异，我们对结构参数进行了差异化的设置，重点关注３个与指令空间调度方法密切相关的结构参数：分区数、ＩＰＬ和调度窗口容量．部分结构参数配置如表３所示．ＲＯＢ、寄存器文件等后端部件使用多端口ＲＡＭ实现，可扩展性强于调度器，它们的设置根据调度窗口容量和功能单元配置合理设定，尽量减少对性能的影响．Ｔａｂｌｅ　３　Ｐｒｏｃｅｓｓｏｒ　Ｍｏｄｅｌ　Ｃｏｎｆｉｇｕｒａｔｉｏｎ表３　处理器模型配置Ｐａｒａｍｅｔｅｒ　ＳｅｔｕｐＢＰｒｅｄＨｙｂｒｉｄ　ｌｏｃａｌ／ｇｌｏｂａｌ　ｐｒｅｄｉｃｔｏｒ，１１ｂｉｔ　ｈｉｓｔｏｒｙｒｅｇｉｓｔｅｒ，２ｂｉｔ　ｓａｔｕｒａｔｅ　ｃｏｕｎｔｅｒ，１６Ｋ－ｅｎｔｒｙ　ＰＨＴｆｏｒ　ｇｌｏｂａｌ／ｌｏｃａｌ／ｃｈｏｉｃｅ　ｅａｃｈＩｓｓｕｅ　Ｗｉｄｔｈ　８ｉｎｓｔｒｕｃｔｉｏｎｓ　ｐｅｒ　ｃｙｃｌｅＦＵ　８ｕｎｉｖｅｒｓａｌＦＵ　ＬａｔｅｎｃｙＩＮＴ：ｍｕｌ　５ｃｙｃｌｅｓ，ｄｉｖ　８ｃｙｃｌｅｓ，ｏｔｈｅｒｓ　１ｃｙｃｌｅ，ＦＰ：ｍｕｌ　７ｃｙｃｌｅｓ，ｄｉｖ　２８ｃｙｃｌｅｓ，ｏｔｈｅｒｓ　４ｃｙｃｌｅｓＬ１ＤＣａｃｈｅ　６４ＫＢ，４－ｗａｙ，３２Ｂｌｉｎｅ，２－ｃｙｃｌｅ　ｈｉｔ　ｌａｔｅｎｃｙＬ２Ｃａｃｈｅ　Ｕｎｌｉｍｉｔｅｄ，２０－ｃｙｃｌｅ　ｌａｔｅｎｃｙＳｃｈｅｄｕｌｅｒ　Ｓｉｚｅ　６４／１２８／２５６ｅｎｔｒｉｅｓＩＰＬ　１／２／３ｃｙｃｌｅＰａｒｔｉｔｉｏｎ　Ｃｏｕｎｔ　１／２／４／８Ｓｃｈｅｄｕｌｅ　Ｍｅｔｈｏｄ　ＲＲ／ＤＥＰ／ＤＦＢ已有的指令调度方法对指令关键性的判定存在差异，但调度策略可以归为负载均衡和依赖调度２类．我们设置２个参照的调度方法：ＲＲ调度轮转分配指令到各分区，维持负载均衡；ＤＥＰ调度基于生产者依赖关系调度指令，没有依赖时按照ＬＲＵ（ｌｅａｓｔ　ｒｅｃｅｎｔｌｙ　ｕｓｅｄ）策略选择分区；ＤＦＢ调度即本文提出的依据指令的相对关键性构建调度模式并缓存重用的调度方法．７５７刘炳涛等：基于数据流块的空间指令调度方法６．２　ＤＦＢ调度算法的评估与分析算法评估基于理想ＤＦＢ调度，假设所有动态指令都被ＤＦＢ　Ｃａｃｈｅ覆盖．对分区数量、ＩＰＬ和调度窗口容量３个结构参数，每次变化其中１个，观察不同调度方法的性能差异．调度效果评价有２个指标：１）每指令周期数（ｃｙｃｌｅ　ｐｅｒ　ｉｎｓｔｒｕｃｔｉｏｎ，ＣＰＩ），ＣＰＩ越低调度效果越好，我们以ＣＰＩ最低的配置为基准对ＣＰＩ进行归一化处理，方便比较；２）调度阻塞率（ｓｃｈｅｄｕｌｅ　ｂｌｏｃｋｉｎｇ　ｒａｔｅ，ＳＢＲ），如果调度方法为指令选择的分区发射队列已满，则阻塞流水线，直至调度成功，ＳＢＲ表示阻塞周期数占总周期数的比率，ＳＢＲ越小通常调度效果越好．６．２．１　分区数与调度效果不考虑分区结构在功耗、时序以及可扩展性等方面存在的优势．分区越多，单个分区的资源越少，负载不均衡和ＩＰＬ对性能产生负面影响的可能性越大．我们设置ＩＰＬ为１个周期，总调度窗口容量为１２８条指令．分区数为２，４，８的配置下，各调度方法的测试结果分别如图１０～１２所示．折线表示程序的ＣＰＩ，绘制在主纵轴上；柱状图表示程序的ＳＢＲ，绘制在辅纵轴，用百分比表示．Ｆｉｇ．１０　Ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔ　ｆｏｒ　２ｐａｒｔｉｔｉｏｎｓ图１０　分区数为２的实验结果程序的并行性特征不同导致其对调度方法存在偏好．ｐｅｒｌｂｅｎｃｈ的ＩＬＰ有限，指令依赖较多，偏好ＤＥＰ调度；ｂｚｉｐ２的ＩＬＰ较高，负载均衡压力大，调度窗口易阻塞，偏好ＲＲ调度；ｏｍｎｅｔｐｐ和ｘａｌａｎｃｂｍｋ在分区数较小时偏好ＤＥＰ调度，随着分区数增大逐渐偏好ＲＲ调度．不同程序对调度方法的偏好不同，同一个程序对调度方法的偏好也随分区数改变，所以ＲＲ调度和ＤＥＰ调度之间不存在绝对的性能优劣，适应程序并行性特征的调度方法的调度效果较Ｆｉｇ．１１　Ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔ　ｆｏｒ　４ｐａｒｔｉｔｉｏｎｓ图１１　分区数为４的实验结果Ｆｉｇ．１２　Ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔ　ｆｏｒ　８ｐａｒｔｉｔｉｏｎｓ图１２　分区数为８的实验结果好．ＤＦＢ调度量化程序的数据流约束，参照硬件资源约束生成调度模式并缓存重用，可以ＤＦＢ调度的质量和稳定性优于ＲＲ和ＤＥＰ调度．Ｆｉｇ．１３　Ｐｅｒｆｏｒｍａｎｃｅ　ｔｒｅｎｄ　ｗｉｔｈ　ｉｎｃｒｅａｓｉｎｇ　ｐａｒｔｉｔｉｏｎ　ｃｏｕｎｔ图１３　随着分区数增加性能的变化趋势程序平均性能随分区数变化的趋势如图１３所示．随着分区数增加，ＣＰＩ和ＳＢＲ逐渐上升，负载均８５７计算机研究与发展　２０１７，５４（４）衡和ＩＰＬ对性能影响逐渐增大．ＲＲ调度有最低的ＳＢＲ；ＤＥＰ调度容易导致调度窗口阻塞，ＳＢＲ较高；ＤＦＢ调度维持负载均衡的效果弱于ＲＲ，但其性能强于ＲＲ，说明ＤＦＢ调度对指令关键性把握较好，照顾负载均衡的同时并没有使得关键路径过多受到ＩＰＬ的惩罚．６．２．２　跨区操作数传递延迟与调度效果芯片上的功能单元互相传递操作数需要通信网络．单体实现时，操作数的传递延迟为１个周期，但周期较长．分区实现时，邻近功能单元操作数的传递延迟为１个周期，而距离越远延迟周期数越多，但周期较短．ＩＰＬ定量描述了功能单元间通信延迟不均匀的程度，比如，分簇超标量处理器中调度到同簇的指令可以背靠背执行，延迟为０周期，跨越簇的边界广播操作数，需要１周期．动态多核处理器中虚拟核的物理分区之间传递操作数需要配对的复制或同步指令，需要２或３周期．基于片上网络在更多的核间传递操作数的延迟与核间的曼哈顿距离成比例．我们设置总调度窗口容量为１２８条指令，分区数为８．ＩＰＬ为１，２，３周期时，各调度方法的测试结果分别如图１４～１６所示．Ｆｉｇ．１４　Ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔ　ｆｏｒ　１－ｃｙｃｌｅ　ＩＰＬ图１４　ＩＰＬ为１周期的实验结果ＩＰＬ增加会增大跨分区传递操作数导致的性能惩罚．ＲＲ调度不考虑指令的依赖关系，随ＩＰＬ增加性能下降最明显；ＤＥＰ调度的ＳＢＲ随着ＩＰＬ增加基本没有变化，因为存在依赖关系的指令被分到同一分区的概率较高，性能变化较小．程序的平均性能随ＩＰＬ变化的趋势如图１７所示．ＤＦＢ调度具有最佳调度效果．随着ＩＰＬ增长，调度裕量消耗加快，负载均衡调度的机会减少，调度结果逐渐趋近于ＤＥＰ调度．Ｆｉｇ．１５　Ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔ　ｆｏｒ　２－ｃｙｃｌｅ　ＩＰＬ图１５　ＩＰＬ为２周期的实验结果Ｆｉｇ．１６　Ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔ　ｆｏｒ　３－ｃｙｃｌｅ　ＩＰＬ图１６　ＩＰＬ为３周期的实验结果Ｆｉｇ．１７　Ｐｅｒｆｏｒｍａｎｃｅ　ｔｒｅｎｄ　ｗｉｔｈ　ｉｎｃｒｅａｓｉｎｇ　ＩＰＬ图１７　随着ＩＰＬ增加性能的变化趋势６．２．３　调度窗口容量与调度效果发射队列影响周期长度．小的发射队列容易被阻塞导致性能损失．我们设置分区数为８，ＩＰＬ为１个周期．总调度窗口容量为６４，１２８，２５６条指令时，各调度方法的测试结果见图１８～２０所示．９５７刘炳涛等：基于数据流块的空间指令调度方法。

基于等高线的delaunay缝合算法分析与实现

II
To sum up, the research showed that the method presented in the thesis combined the advantages of
the Incremental Insertion Algorithm and Divide-and-conquer Algorithm. The method is easy to understand and its time complexity is close to linear. In conclusion, it’s a really practical algorithm.
Firstly，the experimental data was obtained through DXF-file. The 3D data on the contour lines was read and homogenized. Then the block-number was selected or input by the dialog interface. And the blocked data was stored in txt files block by block. Secondly, Delaunay Triangulation Networks were built according to the blocks, and the flat triangles of every network were converted after that. Thirdly, by searching and accessing the suturing edges, the suturing points were clockwise stored and divided into four parts according to four directions like top, right, bottom and left. In addition, the up and down blocks were sutured in the horizontal direction, after which the left and right blocks were sutured in the vertical direction. Finally, by optimizing the sutured triangulation network with the Local Optimal Procedure (LOP) algorithm, and converting the flat triangles, the Delaunay Triangulation model was established at last.

一种基于动态分块和差值直方图平移的可逆水印算法

一种基于动态分块和差值直方图平移的可逆水印算法何文广;王耀民【摘要】基于图像内容的自适应嵌入已成为可逆水印算法的研究热点.探讨图像分块对算法性能的影响,得出基于差值直方图平移的可逆水印算法不存在最优分块尺寸这一结论,继而提出一种动态分块的差值计算方法.算法的基本思想是以多种分块替代固定分块,动态分块时充分考虑图像纹理复杂度,使得多种分块的数量比例能自适应于嵌入级别,解决传统差值计算方法中因较小分块引起的水印容量有限问题,以及因较大分块引起的分块内像素相似性下降问题.实验结果表明算法在嵌入容量和图像质量方面均有较大优势,为提高差值扩展的效率提供一种新思路.【期刊名称】《现代计算机（专业版）》【年(卷),期】2016(000)023【总页数】7页(P57-63)【关键词】图像纹理;动态分块;直方图平移;可逆水印【作者】何文广;王耀民【作者单位】广东医学院信息工程学院,湛江524023;广东医学院信息工程学院,湛江524023【正文语种】中文图像数字水印技术根据含水印图像是否可恢复分为可逆和不可逆水印技术［1］。

可逆水印又称无损水印，它对信号的篡改非常敏感并且能在提取出水印后无损地恢复原始图像，适用于图像完整性认证。

因此，可逆图像水印技术可用于医学、军事和遥感等特殊领域。

现有可逆水印算法中空域算法可进一步划分为差值扩展、误差扩展和直方图平移三大类。

差值扩展（Difference Expansion，DE）的方法首先由Tian［1］提出，算法思想是通过扩展相邻像素的差值实现水印嵌入。

Alattar［2］随后通过扩展相邻的多个像素差值扩展了DE算法，进一步提升了水印嵌入率。

误差扩展（Prediction Error Expansion，PEE）在差值扩展的基础上引入了误差预测技术，像素灰度值与预测值的差值被用于嵌入水印。

由于预测值能基于多个相邻像素计算产生，因此误差扩展能获得相对更优的数据冗余。

误差扩展的方法由Thodi［3］首先提出，并衍生出一系列的改进算法，包括Hu［4］等提出的定位图压缩方法，Luo［5］等提出的线性插值方法，Chen［6］等提出多重预测方法，以及Li［7］等提出的单遍多比特嵌入方法。

一种基于分块随机匹配移位的图像加密算法

ＣＨＩＮＡＳＣＩＥＮＣＥＡＮＤＴＥＣＨＮＯＬＯＧＹＩＮＦＯＲＭＡｌＩＯＮＪ／ｌＩ２０１６中国科技信息２０１６年第１４期
基评２估值２０万
２０１万～５００万 ◎
ＤＯＩ１０．３９６９８．ｉｓｓｎ．１００１—８９７２．２０１６．１４．０３１
ｌｉｎｋ
ａｐｐｒａｉｓｅｍｅｎｔ
随着互联网技术的不断发展，如今已深度进入信息时代，各种数字信息通过电子设备不断传输转播。其中，数字图像作为直观生动的信息，其安全性显得十分重要，特别是对一些机密和私密的图像信息。因此需要对数字图像进行加密，以保证其安全性。数字图像加密技术已成为当前相关领域的重要研究课题。
扰乱改变，从而达到加密效果。相对于传统方法混沌图像加密具有密钥空间大，执行简单，加密速度快等特点，且由于混沌序列对初始值非常敏感，攻击者很难破译加密后的图像信息，提高了加密安全。
本文利用广义Ａｒｎｏｌｄ映射，提出一种新的基于图像像素位置置乱与像素值改变ＡｇｔＪ１］密方案。首先把明文图像等分成若干个子块，若不能等分，则通过裁减的方式去掉一小部分像素，使裁剪后的图像可以等分。然后，通过广义Ａｒｎｏｌｄ混沌映射，产生一对混沌序列，利用其中一个混沌序列来把上述子块进行两两随机匹配，并对匹配后的子块对分别在水平和垂直方向进行随机首尾相接和循环移位。其中，移位步长和首尾相接的方式，即子块对像素的行对行（列对列）匹配连接方式也是由混沌序列控制。接着，再利用之前的一对混沌序列分别生成两个与明文图像一样规模的ｕｉｎｔ８类型矩阵，并对他们执行按位异或运算，得到一个新的矩阵，称该矩阵为模板图像。最后，对模板图像进行同样的分块随机匹配移位置乱，并进一步把置乱后的模板图像与置乱后的明文图像再进行按位异或运算，得到最终ＡｇｔＪｌ：］密图像。对加密算法进行了安全性分析，实验结果显示本算法能够有效地抵御常见的恶意攻击，具有较高的安全性。

图像空间域平滑的简单算法

图像空间域平滑的几种简单算法摘要：图像平滑或去噪就是为了抑制噪声，以达到改善图像质量的目的，既可以在空间域又可以频率域中实现，在数字图像处理中起着重要的作用。

本文将主要介绍空间域的几种平滑法的算法：邻点平均法、K 个邻点平均法、最大均匀性平滑，其中操作平台是matlab 7.1。

关键字：数字图像处理，图像平滑，K 个邻点平均法，最大均匀性平滑一、局部平滑法（邻域平均法） 1、算法介绍局部平滑法是一种直接在空间域上进行平滑处理的技术。

假设图像是由许多灰度恒定的小块组成，相邻像素间存在很高的空间相关性，而噪声则是统计独立的。

因此，可以用邻域内各像素的灰度平均值代替该像素原来的灰度值，以去除噪声，实现图像的平滑。

设有一幅 N ×N 的图像f(x,y)，若平滑图像为g(x,y),则有可知邻域平均法就是将当前像素邻域内各像素的灰度平均值作为其输出值的一种简单的去噪方法。

)12.4-如图所示：在3*3的窗口中将中心像素所包括的邻域和中心像素的均值作为中心像素的灰度值在实际中由于第一行、最后一行、第一列、最后一列，不能满足有八个邻域的条件，因此将它们的数据保存不变，最后把这些数据和变化后的数据一起组成图像的灰度矩阵并显示出来。

2、软件流程图3、算法处理效果图与分析3.1算法效果图图（1）图（2）3.2算法效果图分析如图（1）：对于picture(2,2)=106,其邻域有picture(1,1) ，picture(1,2)，picture(1,3)，picture(2,1)，picture(2,3)，picture(3,1)，picture(3,2)，picture(3,3)其邻域平均后的值zuihou(2,1)= (picture(1,1) +picture(1,2)+picture(1,3)+ picture(2,1)+picture(2,2)+picture(2,3)+picture(3,1)+picture(3,2)+picture(3,3))/9=968/9=107.5555 56=108而在图示中zuihou(2,1)=108和我们计算的结果吻合，说明算法正确4、算法程序picture =imread('pout.tif');n=291;m=240;I=im2double(picture) ; %由于matlab中读入的图像是uint8的，在求平均值时很容易溢出，因此将其转换成double型进行运算for h=1:mX(1,h)=I(1,h);X(291,h)=I(291,h);endfor j=1:n%由于第一行第一列以及最后一行最后一列的值不改变，因此将他们的值单独取出来X(j,1)=I(j,1);X(j,240)=I(j,240);endfor i=2:n-1for j=2:m-1X(i,j)=(I(i-1,j-1)+I(i-1,j)+I(i-1,j+1)+I(i,j-1)+I(i,j)+I(i,j+1)+I(i+1,j-1)+I(i+1,j)+I(i+1,j+1))/9;%将中心像素的邻域和中心像素相加求平均值endendzuihou=im2uint8(X);%将double型数据转换成uint8imshow(picture),title('原图');figure;imshow(zuihou),title('3*3窗口邻点平均后的图像');二、灰度最相近的K个邻点平均法1、算法介绍该算法的出发点是：在n×n的窗口内，属于同一集合体的像素，它们的灰度值的高度相关。

物联网数据处理中的滑动窗口算法

物联网数据处理中的滑动窗口算法随着物联网的快速发展，越来越多的设备和传感器连接到互联
网上，产生了海量的数据。

这些数据包含着许多有价值的信息，
可以为企业和个人提供更好的决策依据和服务。

然而，物联网数据的处理也面临着许多挑战，其中之一就是数
据的实时处理和分析。

要在数据流中快速识别和提取有用的信息，就需要用到滑动窗口算法。

滑动窗口算法是一种数据分析技术，它适用于对数据流进行实
时分析和处理。

它利用一个固定大小的窗口，对数据流进行滑动
计算，以便及时发现和处理数据中的异常和趋势变化。

具体地说，滑动窗口算法将数据流分成若干个相等的时间段，
每个时间段称为一个窗口。

在每个窗口中，算法会计算一组数据
的总和、平均值、方差等统计量，并根据这些统计量检测数据是
否符合一些预定义的模型。

如果数据的统计量超出了预定义的范围，就说明数据可能存在
异常或趋势变化。

这时，滑动窗口算法就会触发一些预警或响应
机制，如发送警报、启动任务或调整参数等，以便尽快地对数据
进行处理和修正。

滑动窗口算法能够帮助企业和个人更好地管理物联网数据，提
高预测和决策的准确性。

例如，在物流领域，滑动窗口算法可以
帮助企业实时监测货物的位置、状态和运输情况，以便及时调整
路线、调整装载量、提高货运效率。

在医疗领域，滑动窗口算法可以帮助医生实时监测患者的生命
体征、用药情况和治疗效果，以便及时判断病情和调整治疗方案。

总之，滑动窗口算法是一种简单而有效的数据处理技术，它可
以帮助我们更好地利用物联网数据，快速发现和解决问题，提高
生产力和生活质量。

数据的滑动处理原理是什么

数据的滑动处理原理是什么
数据的滑动处理原理是指将数据按照一定的规则进行分割，并通过滑动窗口的方式进行处理。

滑动窗口是一种数据处理的技术，通过定义窗口的大小和滑动的步长，将数据按照窗口大小进行分割，并在每个窗口中进行相应的处理操作。

滑动处理通常用于对连续的数据流进行分析，例如时间序列数据或实时传感器数据等。

它可以对数据进行实时处理，不需要等待所有数据都到达再进行处理。

其基本原理如下：
1. 定义滑动窗口的大小和滑动的步长：滑动窗口的大小决定了每次处理的数据量，而滑动的步长决定了每次移动的距离。

2. 将数据按照窗口大小进行分割：数据流按照窗口的大小进行划分，每个窗口中包含一定数量的数据。

3. 在每个窗口中进行处理操作：对于每个窗口中的数据，可以进行各种处理操作，例如计算平均值、最大值、最小值等，或进行模型训练、特征提取等。

4. 移动窗口并重复处理：移动窗口的位置，将处理过的数据移除，并将新的数据加入到窗口中，然后重复进行处理操作。

通过滑动窗口可以实现对连续数据的实时处理和分析。

它可以根据实际需要调整
窗口大小和滑动步长，以便适应不同的数据特征和处理需求。

滑动处理可以应用于各种领域，如金融市场分析、网络流量分析、智能交通等。

bitmap原理

bitmap原理
Bitmap（位图）是一种用来存储图像信息的数据格式，它主要用于显示二进制信息的位图。

它的主要作用是用于表示图像信息，其实它也可以用于显示文本和图形。

因为它节省了内存空间，所以被广泛应用在许多地方，如：图像处理，几何图形学，网页设计，游戏等等。

Bitmap原理是一种基于位图（Bitmap）的显示系统，用于显示
图像信息以及可视化文本和图形信息。

它有一个简单的数据格式，包括了闪烁，色彩，缩放，旋转，延伸，平移等功能。

它的运作原理是：通过将每一个数据通过位操作放在屏幕的指定位置，形成不同的图案，显示出来。

Bitmap原理的背后是一种位操作（bitwise operation）机制，它可以把图像信息分解成以位为单位的模式。

在存储时，它可以将图像以比特（bit）存储，这样也就节省内存空间。

在显示时，它将每
一位按照图像的色彩来显示出来，从而显示出图像的效果。

Bitmap原理的优势在于它可以快速地将图像转换为可视化的信息，它还允许用户在屏幕上进行可视的操作，如缩放图像，旋转图像，伸展图像，平移图像。

Bitmap原理受益于其节省内存空间的特点，
使得它可以广泛地被应用在许多地方，如图像处理，几何图形学，网页设计，游戏，以及跨平台图像处理等等。

因此，Bitmap原理在图像处理，几何图形学，网页设计等领域
中得以应用，并受到了广泛的应用。

它在实现图像显示效果上拥有显著的优势，因而被广泛使用。

板块模型滑动距离计算公式

板块模型滑动距离计算公式在现代科技发展迅猛的时代，移动设备已经成为人们日常生活中不可或缺的一部分。

而移动设备的操作方式也在不断地进行创新和改进，其中板块模型滑动距离计算公式就是其中之一。

本文将介绍板块模型滑动距离计算公式的原理和应用。

一、板块模型滑动距离计算公式的原理。

板块模型滑动距离计算公式是一种基于数学模型的算法，它通过对用户操作的轨迹进行分析和计算，来确定用户的滑动距离。

其原理主要包括以下几个方面：1. 用户操作轨迹的采集，在用户进行滑动操作时，设备会通过传感器等技术手段实时采集用户的手指轨迹数据，包括手指的位置、速度、加速度等信息。

2. 轨迹数据的处理，采集到的轨迹数据会经过一定的处理和筛选，去除噪声和干扰，保留有效的操作轨迹信息。

3. 滑动距离的计算，通过对处理后的轨迹数据进行分析和计算，可以得到用户的滑动距离。

这个计算过程通常会涉及到一些数学模型和算法，如曲线拟合、积分计算等。

通过以上原理，板块模型滑动距离计算公式可以准确地确定用户的滑动距离，为移动设备的操作提供了更加精准和便捷的方式。

二、板块模型滑动距离计算公式的应用。

板块模型滑动距离计算公式在移动设备的操作中有着广泛的应用，主要体现在以下几个方面：1. 触摸屏操作，在触摸屏设备上，用户可以通过手指在屏幕上进行滑动操作来实现页面的滚动、内容的拖拽等功能。

板块模型滑动距离计算公式可以准确地计算用户的滑动距离，从而实现更加精准和流畅的操作体验。

2. 手势识别，除了基本的滑动操作外，板块模型滑动距离计算公式还可以用于识别和分析用户的手势操作，如旋转、缩放、双指操作等。

通过对用户手势操作的跟踪和计算，可以实现更加丰富和多样的交互方式。

3. 游戏交互，在移动游戏中，板块模型滑动距离计算公式也有着重要的应用。

例如，在赛车游戏中，玩家可以通过手指在屏幕上的滑动来控制车辆的转向和速度，而板块模型滑动距离计算公式可以帮助游戏引擎准确地捕捉玩家的操作，从而实现更加真实和灵活的游戏交互。

字节滑块算法

字节滑块算法字节滑块算法是一种用于数据加密和解密的算法。

它通过将数据分成固定大小的块，并对每个块进行加密或解密操作，从而实现数据的安全传输和存储。

字节滑块算法的核心思想是将数据分为若干个字节大小的块，然后对每个块进行加密或解密操作。

加密操作将明文块转换为密文块，而解密操作则将密文块转换为明文块。

加密和解密过程中使用的密钥是保密的，并且需要与加密和解密方进行共享。

在字节滑块算法中，每个块的大小可以根据实际需求进行调整。

通常情况下，块的大小为8个字节，即64位。

这样的块大小在实际应用中既能保证数据的安全性，又能提高算法的效率。

字节滑块算法的加密过程可以分为以下几个步骤：1. 密钥扩展：根据输入的密钥生成一系列的轮密钥，用于后续的轮函数。

2. 初始化：将明文块分成若干个字节，并进行一些初始化操作，如填充字节、生成初始向量等。

3. 轮函数：对每个块进行一系列的轮函数操作，包括字节替换、行移位、列混淆等。

每一轮函数都会改变块中的字节值。

4. 轮密钥加：将轮密钥与块中的字节进行按位异或运算，以增加加密的复杂度。

5. 输出：将加密后的块转换为密文，并输出。

解密过程与加密过程相反，主要是将加密的操作逆转。

具体步骤如下：1. 密钥扩展：与加密过程相同，根据输入的密钥生成一系列的轮密钥。

2. 初始化：同样将密文块分成若干个字节，并进行一些初始化操作。

3. 逆向轮函数：对每个块进行一系列的逆向轮函数操作，包括逆向字节替换、逆向行移位、逆向列混淆等。

4. 逆向轮密钥加：同样将轮密钥与块中的字节进行按位异或运算。

5. 输出：将解密后的块转换为明文，并输出。

字节滑块算法的安全性主要取决于密钥的长度和轮函数的复杂度。

较长的密钥长度可以增加破解难度，而复杂的轮函数可以增加加密的复杂度。

此外，字节滑块算法还可以通过多次迭代加密来增加安全性。

字节滑块算法是一种常用的数据加密和解密算法，通过将数据分成固定大小的块，并对每个块进行加密或解密操作，实现数据的安全传输和存储。

基于分块和滑动窗口的车牌定位方法

基于分块和滑动窗口的车牌定位方法车牌定位是汽车识别的关键部分，它是指从车辆图像或视频序列中自动识别出车辆的牌照号码，是智能交通系统中的关键技术之一。

近年来，随着计算机技术和数字图像处理技术的不断发展，车牌定位技术也得到了广泛应用。

本文将介绍一种基于分块和滑动窗口的车牌定位方法。

一、图像预处理首先，需要进行图像预处理。

图像预处理的目的是消除图像中的噪声，使得车牌能够更加准确地被定位。

这里我们采用灰度化、高斯滤波、图片二值化、边缘检测等方法对图片进行预处理。

二、分块和滑动窗口在对图像进行预处理之后，我们可以采用分块和滑动窗口的方式进行车牌定位。

具体步骤如下：1. 首先，将图像分为若干个小块。

这里我们可以采用分块的方式进行，将图像分为若干个大小相等的小块。

2. 对于每个小块，我们设定一个滑动窗口，将滑动窗口从小块的左上角开始进行滑动。

每次滑动一个像素，将滑动窗口内的图像进行处理，得到车牌的位置。

3. 在滑动窗口的过程中，我们可以采用不同的特征检测方法来得到车牌的位置。

例如，可以采用轮廓检测、颜色检测等方法来检测车牌的位置。

4. 最后，我们将得到的车牌位置进行整合，并进行精细化处理，得到最终的车牌定位结果。

三、实验结果通过对多组实验数据进行测试，我们可以得到这种基于分块和滑动窗口的车牌定位方法的实验效果如下：1. 车牌定位准确率达到了90%以上。

2. 定位速度较快，处理时间不超过1秒。

3. 对于不同的车牌类型、颜色、光照等情况，具有较好的适应性。

四、结论综上所述，基于分块和滑动窗口的车牌定位方法具有定位准确率高、定位速度快、适应性好等优点，是一种较为成熟的车牌定位方法。

未来，我们还可以进一步优化该方法，提高定位效果和精度。

数据块划分算法简介

1，简介重复数据块检测技术分为，固定分块检测技术(Fixed-Sized Partition, FSP)，可变分块检测技术(Variable-Sized Partition, VSP)，滑动块技术(Sliding Block)。

固定分块将数据流按固定的长度分块，实现很简单，但某一处数据的变化将导致之后的所有分块都发生变化，从而无法进行匹配。

因此，固定分块技术在实际中应用较少。

可变分块技术则可弥补固定分块技术的这一局限性，能更加灵活的找出重复数据。

基于内容可变长度分块(Content-Defined Chunking, CDC)是可变分块(Variable-Sized Partition, VSP)的一种。

2，理论基础CDC的理论基础是rabin fingerprint，请参照Michael O. Rabin的Fingerprinting by Random Polynomials.3，具体实现文件被分为长度可变的数据块,数据块的长度在一个规定的最小值和最大值之间。

可变长度的数据块用一个滑动窗口来划分,当滑动窗口的 hash 值与一个基准值相匹配时就创建一个分块,这样数据块的尺寸就可达到一个期望的分布。

Rabin’s fingerprint 预先定义两个整数 D 和 r(r<D) 一个大小为 w 的固定窗口在文件上滑动,。

假如在位置 k,固定窗口内数据的 hash 值为 f。

如果f mod D = r,则该位置为数据块的一个边界。

重复这个过程,直至整个文件都被分块。

实现起来也不是很复杂，但需要对每一次滑动都计算依次窗口内的hash值，计算量增加。

分块算法(简洁易懂)

分块算法（简洁易懂）分块算法（也称为分块查找算法）是一种常用的查找算法，它通过将数据分割成若干块来提高查找效率。

在分块算法中，数据被组织成一个或多个块，每个块中的数据按一定的顺序排列。

通过对块进行预处理，可以在查找过程中快速定位到目标数据所在的块，并在目标块内使用其他的查找算法（如二分查找）来进一步确定目标数据的位置。

分块算法的实现主要包括以下几个步骤：1.数据分块：将待查找的数据按照一定的顺序划分为若干个块，每个块中可以包含不同数量的数据，但是每个块中的数据必须按照一定的顺序排列。

常用的划分方式包括均匀划分和根据数据分布特点进行划分。

2.块索引构建：根据每个块中的数据，构建一个块索引表，该表可以用数组或链表等数据结构表示。

每个索引项包含块的起始位置和结束位置以及该块中的最大值或最小值等信息。

3.块内查找：根据块索引表，可以快速定位到目标数据所在的块。

然后，在目标块内使用其他的查找算法（如二分查找、线性查找等）来进一步确定目标数据的位置。

如果目标块中的数据量较小，可以直接使用线性查找；如果目标块中的数据量较大，可以使用二分查找或其他更高效的查找算法。

4.查找结果返回：根据块内查找的结果，可以确定目标数据的位置，并返回给用户。

分块算法的优点在于可以结合不同的查找算法和数据分布特点，实现高效的查找。

相对于一般的顺序查找和二分查找，分块算法在查找效率上有较大的提高。

尤其是当数据分布比较均匀，并且块的数量适中时，分块算法可以达到较好的性能。

然而，分块算法也存在一些限制和适用性问题。

首先，分块算法需要对数据进行预处理和组织，这在一些场景下可能会增加额外的开销。

其次，分块算法对数据的分布有一定的要求，如果数据分布特别不均匀或者块的数量设置不合理，可能会导致查找效率下降。

总而言之，分块算法是一种简洁易懂的查找算法，可以通过将数据分割成若干块来提高查找效率。

它可以根据数据的特点和具体的需求选择不同的数据分块方式和查找算法，从而实现更高效的查找。

基于字节指纹极值特征的数据分块算法

关健诃：数据分块算法；哈希指纹；存储算法
ＤａａＣｈｎｉｇＡｌｏｉｔｕｋｎｇｒｔｈｍＢａｅｎＢｙｅｆｎｅｐｒｎｔｅｕａａｔｒｓｉｓｓｄ０ｔ— ｇｒｉｔｉＥｘｒｍｍＣｈｒｃｅ最大块长区间，通过定义字节指纹极值域半径函数，并利用函数Ｆ值的分布特性，以概率１在允许的最大块长的区间内确定下一个块边界点。该算法克服了基本滑动窗１等分块算法不能确定最大分块长度的不足，其时问复杂度为Ｄｎ。３（）
ｓｏａｅｉｄｏａａｃｕｋｎｌｏｉｈｂｓｄｏｈｅｅｔｅｔｒｇ，ａｋｎｆｄｔｈｎｉｇａｇｒｍａｅｎｔｘｒｍｕｃａａｔｒｓｉｆｂｔ— ｎｅｐｎｓｉｒｓｎｅ．Ｉｃｎｔｔｈｅｉｔｒｌｗｉｉｔｍｈｒｃｅｉｔｏｙｅｆｇｒｒｔｓｐｅｅｔｄｔｏｓｒｓｔｎｅｖａｔｎｃｉｉｕｃｈ
［ｙｗｏｄ］ｄｔｃｕｋｎｌｏｔｍ；ｓｎｅｒｔｓｒｇｌｏｉｍＫｅｒｓａａｈｎｉｇａｇｒｈＨａｈｆｇｒｉ；ｔａｅａｇｒｈｉｉｐｎｏｔ
１概述
在低带宽网络文件系统…、文件相关查找Ｊ、冗余数据删
函数（Ｒｂｎ指纹）如ａｉ计算Ｂ的滑动窗口内数据指纹，如果ｍｏｄＤ＝，，则令ｋ为一个边界点，见图１。
ＳＵＮｉｚｏｇＭＡｏｇｑａｇＬＩＹｈａＪ－ｈｎ，Ｙｎ－ｉｎ，ｕ－ｕ

位图的处理算法

第七届“认证杯”数学中国第七届“认证杯”数学中国数学建模网络挑战赛承诺书我们仔细阅读了第七届“认证杯”数学中国数学建模网络挑战赛的竞赛规则。

我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电话、电子邮件、网上咨询等）与队外的任何人（包括指导教师）研究、讨论与赛题有关的问题。

我们知道，抄袭别人的成果是违反竞赛规则的, 如果引用别人的成果或其他公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。

我们郑重承诺，严格遵守竞赛规则，以保证竞赛的公正、公平性。

如有违反竞赛规则的行为，我们接受相应处理结果。

我们允许数学中国网站()公布论文，以供网友之间学习交流，数学中国网站以非商业目的的论文交流不需要提前取得我们的同意。

我们的参赛队号为：我们的参赛队号为：参赛队员(签名) ：队员1：徐振辉队员2：江楠队员3：于千山参赛队教练员(签名)：参赛队伍组别：参赛队伍组别：第七届“认证杯”数学中国第七届“认证杯”数学中国数学建模网络挑战赛编号专用页参赛队伍的参赛队号：（请各个参赛队提前填写好）：竞赛统一编号（由竞赛组委会送至评委团前编号）：竞赛评阅编号（由竞赛评委团评阅前进行编号）：2014年第七届“认证杯”数学中国数学建模网络挑战赛第一阶段论文题目位图的处理算法模型关键词图像二值化、模拟退火、遗传算法、二次拟合、整体平方误差(ISE)摘要：在工程制图、标志、字体等场合，我们需要使用矢量图，这样在图形缩放时仍然可以保证其清晰度。

然而为了方便计算机存储，大多时候都要把矢量图经栅格化转换成位图，位图具有固定的分辨率，因而在放大时会产生明显的模糊。

位图的矢量化可以大大增加图像的使用范围，使之不仅限于显示或打印。

本文给出简单图标位图的矢量化方法，以实现位图边界线条的提取，并从而得到位图边界线条的方程。

首先进行图像处理。

用Matlab将原位图灰度化，然后选取合适的阈值把灰度化的图像二值化。

位图的处理算法

承诺书我们仔细阅读了四川理工学院大学生数学建模竞赛的竞赛规则。

我们完全明白，在竞赛开始后参赛队员不能以任何方式(包括电话、电子邮件、网上咨询等)与队外的任何人(包括指导教师)研究、讨论与赛题有关的问题。

我们知道，抄袭别人的成果实违反竞赛规则的，如果引用别人的成果后其他公开的资料(包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。

我们郑重承诺，严格遵守竞赛规则，以保证竞赛的公平、公正性。

如有违反竞赛规则的行为，我们将受到严肃处理。

我们参赛选择的题号是(从A/B/C/D中选择一项填写)：我们的参赛队(组)号为：所属学校(请填写完整的全名)：参赛队员(打印并签名) ：1.2.3.日期：年月日评阅编号(由评委团评阅前进行编号，学生不填)：编号专用页评阅编号(由评委团评阅前进行编号)：评阅记录表C题位图的处理算法摘要本文主要对位图的一系列的处理问题进行了分析，建立了多种模型，较好的解决了题目所提出的问题。

针对问题一，我们首先对位图矢量化课题进行了深入研究，然后针对位图矢量化过程中的几个关键点问题与技术, 特别针对图像轮廓的提取, 跟踪及关键特征点提取和曲线拟合, 提出行之有效的解决算法，比如为准确地提取出图案的边界线条，并将其用方程表示出来的曲线拟合算法；接着在matlab环境下对算法进行处理，得出了边界线条的拟合曲线函数；最后我们运用罗曼诺夫斯基R一检验方法对本问算法进行了模型的检验，得出了这种思路与方法，其处理速度快、曲线拟合光滑、失真小, 验证了算法的可行性, 为其在位图与矢量图转化邻域的初步应用奠定了基础。

针对问题二，首先，我们对位图的具体背景进行了详细的分析，总的来说，即：“在用户眼里,位图是形成视觉图象的象素矩形；然而,对于开发者来说,位图则是指定或包含下列元素的一组结构”这种理论；然后，我们通过采用一种将BMP位图图片进行平滑放大的技术,该技术即利用埃特金插值算法,用此法建立模型；最后，我们将埃特金插值算法得出的数据在matlab中处理，并在最后用改进埃特金插值法进行模型的检验，得出了该方法能够使BMP位图图片缩放后的颜色或灰度变化过程较为平缓,同时有效地清除了边界锯齿及交接处模糊不清的结论。

分块算法（简洁易懂）

分块算法（简洁易懂）
分块算法（简洁易懂）
分块
先简单介绍⼀下分块算法。

分块算法是⼀种很常见的根号算法，⼀般它的时间复杂度会带根号。

分块和线段树的区别在于，分块算法可以维护⼀些线段树维护不了的东西，例如单调队列等，线段树能维护的东西必须能够进⾏信息合并，⽽分块则不需要。

不过，它们也有共同点，分块和线段树⼀样，分块需要⽀持类似标记合并的东西。

简单来说，分块算法就是优化过后的暴⼒。

现在讲⼀下这种算法的实现。

这种算法会将序列（序列长度为N）进⾏分块，通常设置⼀个上限K，每⼀块有⾄多K个元素。

在序列分块问题上，⼀般会严格要求每个块都要有K个元素，这样就会分成约NK块。

（最后⼀个块除外）
我们⼀般都会设K=N−−√，这样块数也就只有NK=N−−√块数可能多⼀。

通常实现时，我们⽤bei表⽰第i个位置所属的块。

对于每个块都进⾏信息维护。

单点修改时，我们⼀般先将对应块的标记下传，再暴⼒更新被修改块的状态。

时间复杂度O(n−−√)。

如果是区间[L,R]修改的话，对于被[L,R]整块跨过的块直接打标记，两端剩余的部分暴⼒重构块的状态即可。

中间最多经过n−−√块，两边暴⼒修改也是n−−√次的，所以时间复杂度为O(n−−√)。

⾄于询问操作，和区间修改类似，对于中间跨过的整块，直接利⽤块保存的信息统计答案，两端剩余部分任然可以暴⼒扫描统计。

时间复杂度和区间修改⼀样，也是O(n−−√)。

如果询问次数为m，那总的时间复杂度即为O(mn−−√)。

这就是最简单的分块思想，虽然思路很简单，但实现起来，本⼈觉得有点复杂。

参考：。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

———————————————收稿日期：年-月-日*投稿时不填写此项*；最终修改稿收到日期：年-月-日 *投稿时不填写此项*. 基金项目：中国农业大学研究生科研创新专项基金（2013YJ008）基于数据位图的滑动分块算法邓雪峰,孙瑞志,张永瀚,聂娟(中国农业大学农业部农业信息获取技术重点实验室北京100083) (北京农学院计算机与信息工程学院北京 100083) (dxf75@)Sliding blocking algorithm based on data bitmapDeng Xuefeng, Sun Ruizhi, Zhang Yonghan, Nie Juan(Key laboratory of Agricultural information acquisition technology （Beijing ）,Ministry of Agriculture P.R.China, China Agricultural University, Beijing, 100083)(College of Computer and Information Engineering in Beijing University of Agriculture, Beijing, 102206 China)Abstract During similar data synchronization and storage, data blocking is an important step to detect duplication of data. Only after effective data blocking can you find difference between data accurately. This paper first summarizes and analyzes the methods of data blocking, then re-organize data files in the form similar to bitmap based on the sliding blocking algorithm. After that we read data bitmap by column to form a new data chunk and compute fingerprint information of the column. To improve its ability to locate difference in data, fingerprint of column serve as supplement for sliding bolcking algorithm to acquire more accurate information of data difference. Experimental results show that this method is better than sliding blocking algorithm in data duplication detection under the same conditions.Key words Sliding blocking algorithm; Duplicate data detection; data bitmap; data difference; datasynchronization摘要网络中相似的数据文件进行同步与存储的过程中，对数据进行分块，是检测数据重复的重要步骤之一，在有效的对数据分块的基础上才能更准确的定位数据间的差异部分。

本文就数据分块方法予以分析总结，在滑动分块算法的基础上，重新将数据文件组织成类似位图的排列形式，对数据位图以列向读取数据信息，形成新的数据分块，并计算列向读取数据的分块指纹信息，以列向数据指纹为补充校正滑动分块算法定位差异数据的能力的不足之处，从而获得更精确的数据差异信息。

经实验证明，本方法在同源文件的数据重复检测中效果好于相同条件下的滑动分块方法。

关键词滑动分块算法；重复数据检测；数据位图；数据差异；数据同步中图法分类号 TP31；TP39 随着大数据时代的到来，大量的数据将通过网络进行更新与存储。

在这些数据文件中存在着大量的同源或类似文件。

对同源的数据文件进行同步更新的过程中如何降低网络的占用；对内容大部分相同的文件如何利用更少的存储空间进行存储一直是计算机领域研究的热点问题之一。

同源或内容相近的数据文件进行网络同步过程中，经常采用基于差异的数据传输方法。

这种方法是低带宽网络中文件同步的高效方案之一，利用这个技术可以减少网络流量的开销，同时也能提升数据同步更新的速度。

利用这种技术为核心定制了相当多的应用系统[1]。

该技术在文件的传输过程中，非常重要的一个处理过程就是将数据分块，数据分块的方法是提升查找差异数据精确度的重要手段。

同源或内容相近的文件存储采用的去重技术，也是一个重要的研究方向。

存储类似数据文件的方案中，对相同内容的数据去重处理时最重要的步骤也是将数据进行分块，这种数据分块方法不同于基于差异传输数据时的数据分块方案，一般是采用基于内容的数据分块技术。

但基于差异的数据传输中用到的核心分块方案，固定数据块大小的滑动分块技术同样也可以应用于该领域。

因此，数据分块技术是对同源或内容相近的数据文件进行同步更新与去重存储的必要技术。

本文在分析了各种数据分块技术的基础上，以基于差异的数据传输模型为应用场景，提出了一种基于数据位图的分块方案，这个方案提升了查询内容相近数据文件中相同数据内容的能力，应用于差异数据传输方案中将在不提升数据指纹交换次数的情况下直接达到多轮交换数据指纹的效果，且此方案也可以用于数据存储领域中，用于更精确的检测文件重复信息。

1相关研究数据分块技术把数据文件划分为较小的数据块，通过计算这些小数据块的哈希值，将其作为数据指纹，对比不同的内容相似的数据文件中小数据块的指纹信息，从而确定不同的内容相近的数据文件中的重复数据块。

利用检测出的结果可以对数据进行基于差异的传输与去重存储等操作，这样可以只传输或存储数据文件中差异部分的数据，减少网络带宽与存储空间的占用。

对数据文件进行分块的方法主要有固定分块技术(Fixed-Sized Partition, FSP)，可变分块技术(Variable-Sized Partition, VSP)和滑动块技术(Sliding Block)[2][3]。

固定分块技术（FSP）是把数据流按固定长度的字节数进行切割，然后对固定长度的数据分块计算其数据指纹的方法。

可变分块技术（VSP）主要代表是基于内容可变长度分块(Content-Defined Chunking, CDC)算法。

CDC算法[4]利用一个固定的滑动窗口为边界切分数据文件的数据，形成可变长的数据分块，滑动窗口顺序的从数据文件的起始位置部向后逐一字节滑动，当滑动窗口的hash值（CDC算法中采用的是Rabin[5]指纹）与预设的值匹配时，就产生一个分块。

这个数据块的长度被指定在一个区间范围内获取。

滑动块技术(Sliding Block,SB)是在文献[6]中被提出的，在文中提出了一种用于同步远程内容相近的数据文件的同步算法，即Rsync算法，在Rsync算法中提出了一种对划分的数据块进行滑动分块的数据分块技术。

这种数据分块方法以固定数据分块技术为基础，利用滑动块技术更准确的获得较小的数据分块的位置信息，从而在一定程度上规避了在内容相似文件中对插入、删除等操作对固定分块技术查找重复数据影响较大的问题。

在数据分块的分析中，利用数据分块技术更精确的获取差异数据信息是一个研究的重点内容。

在数据文件同步方面对数据分块技术的改进主要集中于多轮(多次交换指纹信息)同步算法[7]~[10]，算法对数据分块采用逐渐减小数据块的粒度的方法，更精确的获取差异数据的在数据文件中的位置，减少传输差异数据的带宽占用。

其中固定分块技术与基于内容的可变长分块技术都被利用到其中，用于缩小数据分块粒度，例如文献[7]中将基于内容的分块方法与滑动分块技术结合，形成两轮数据指纹交换，从而确定同源文件的差异信息。

文献[11]中对于文件信息交换的次数有一个界定，这个结论说明不可以无限次的交换文件的指纹信息，一般来说多轮同步算法在实际应用中由于信息的交换在网络上进行，出于对系统稳定性的考虑以及具体的节省带宽的效果两方面原因，在实际中应用还比较少。

2数据分块技术分析本节对FSP、VSP及以Rsync算法为原型的SB等几种对数据进行分块的方法进行分析，总结利用各种数据分块技术对数据文件分割产生的问题。

FSP分块方法中新文件示意图如图1所示的排列形式，假设新文件为一个顺序排列的字符组成，按数据流顺序排列成图中所示的字符串，固定分块技术将文件按固定的分块方式拆分成数据块，而旧文件以同样的长度拆分数据，图1中，假设在数据中，分块长度为图中示意的间隔长度，新文件分块为ABCD 、EFGH 、IJKL ……，不妨设待更新的旧文件与新文件有如下差异，在第二块数据由EF 与GH 间插入新的数据23、在第四块在第9块7890中删除0。

利用FSP 分块的方法，在图1中所示的情况下，第二块数据由于插入引起数据的改动直接影响到其后的分块，待更新的旧文件中只有第1块数据块可以在新文件中找到对应的相同数据分块，新文件中第2块数据块其后的数据块均无法在图1 FSP 数据分块方法示意图固定分块的方法对于文件的更新，尤其是插入或删除操作是非常敏感的，在数据文件某个位置发生改变后，其后的所有的分块内容都将受到影响，从而使相似文件的匹配度降低。

因此在实际应用中利用这种技术实现的系统不常见。

变方式同前文中FSP 数据分块方案中的数据变动情况，假设在示意图中（E ，F ）、（K ，L ）、（P ，Q ）、（U ，V ）、（Z ，1）、（6，7）、（6，5）、（1，Z ）、（U ，T ）、（Q ，P ）、（L ，K ）等处获得的数据内容指纹相同。

分块形式如图2所示。

图2 VSP 数据分块方法示意图在VSP 分块方法分割数据时，可以以内容区别分块的边界，这种方案可以把仅被改动过的分块区分出来，并且如果不是修改了边界的内容，可以达到仅识别修改后的区块的目的，检测精确度较固定分块技术有极大的提升，也一定程度上消除了插入及删除的影响。

进行数据分块对比结果的示意图如图3所示，由于采用了滑动分块的方法查找待更新的旧文件中的区块，可以将固定数据分块的缺点得以消除，在对插入与删除的情况中，利用区块窗口滑动的方法可以消除修改部分对后续分块分割的影响，提升了固定分块技术的现实可用性。