面向机器学习的高性能SIMT处理器cache的设计与实现

第 ７期
许晓燕等：面向机器学习的高性能 ＳＩＭＴ处理器 ｃａｃｈｅBiblioteka Baidu设计与实现
２８３
ｃａｃｈｅ来改善它们之间的性能。目前 ｃａｃｈｅ设计有普林 斯顿、哈佛两种结构。普林斯顿结构将指令 ｃａｃｈｅ与数 据 ｃａｃｈｅ统一存放，哈佛结构将指令 ｃａｃｈｅ和数据 ｃａｃｈｅ 分开存放［６］。哈佛结构相对普林斯顿结构有利于解决 指令和数据冲突的问题，便于指令 ｃａｃｈｅ与数据 ｃａｃｈｅ 的并行执行，方便对指令 ｃａｃｈｅ和数据 ｃａｃｈｅ的优化，因 此 ｃａｃｈｅ设计中普遍使用哈佛结构。本设计采用哈佛 结构，并根据指令 ｃａｃｈｅ、数据 ｃａｃｈｅ的局部性和连续 性［７］，为指令 ｃａｃｈｅ、数据 ｃａｃｈｅ设置不同的参数；根据 设计需求为 ｃａｃｈｅ设计了可配置的替换算法，包括轮询、 ＬＦＵ（ｌｅａｓｔｆｒｅｑｕｅｎｔｌｙｕｓｅｄ）、ＬＲＵ（ＬｅａｓｔＲｅｃｅｎｔｌｙＵｓｅｄ） 和专用的伪 ＬＲＵ替换算法。本文重点介绍基于自主 研发的 ＳＩＭＴ架构的 ｃａｃｈｅ设计与实现。
第 ３６卷第 ７期 ２０１９年 ７月
计算机应用与软件 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ
Ｖｏｌ３６ Ｎｏ．７ Ｊｕｌ．２０１９
面向机器学习的高性能 ＳＩＭＴ处理器 ｃａｃｈｅ的设计与实现
许晓燕 李 涛 孙 哲 邢立冬
（西安邮电大学电子工程学院 陕西 西安 ７１０１２１）
摘 要 为了满足机器学习中大数据、并行计算及降低处理器与主存之间的差距等要求，设计基于自主研发的 ＳＩＭＴ处理器的流水线 ｃａｃｈｅ结构。依据局部性原理与 ＬＲＵ替换算法相结合设计专用的伪 ＬＲＵ替换算法，与通 用的轮询、ＬＦＵ、ＬＲＵ替换算法共同完成 ｃａｃｈｅ替换算法的可配置要求，实现处理器与主存之间的快速交互。采用 Ｘｉｌｉｎｘ公司 ｖｉｒｔｅｘｕｌｔｒａｓｃａｌｅ系列的 ｘｃｖｕ４４０ｆｌｇａ２８９２２ｅＦＰＧＡ芯片对设计进行综合。结果表明该结构指令 ｃａｃｈｅ 最大时延为 ２．９２３ｎｓ，数据 ｃａｃｈｅ最大时延为 ３．２５８ｎｓ，满足 ＳＩＭＴ处理器性能要求。 关键词 ＳＩＭＴ处理器 流水线 ｃａｃｈｅ结构 替换算法 中图分类号 ＴＰ３３３ 文献标识码 Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１９．０７．０４８
２００６年 １１月，ＮＶＩＤＩＡ在其 ＴｅｓｌａＧＰＵ架构中提出了 一条指令同时驱动多个不相关线程的 ＳＩＭＴ处 理 方 式［３］。随后不久，ＡＴＩ公司在 ２００７年推出了采用类似 处理架构的 ＴｅｒａＳｃａｌｅ引擎，及相关产品 Ｒ６００ＧＰＵ芯 片［４］。ＳＩＭＴ架构具有多个执行流程［３］，可以利用多线 程隐藏存储延时，减少取指、取数开销，而且执行时不 需要将数据凑成合适的矢量长度，便可以进行运算，更 有利于适应机器学习处理大规模数据的要求。
Ａｂｓｔｒａｃｔ Ｉｎｏｒｄｅｒｔｏｍｅｅｔｔｈｅｒｅｑｕｉｒｅｍｅｎｔｓｏｆｂｉｇｄａｔａ，ｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇａｎｄｒｅｄｕｃｅｔｈｅｇａｐｂｅｔｗｅｅｎｐｒｏｃｅｓｓｏｒ ａｎｄｍａｉｎｍｅｍｏｒｙｉｎｍａｃｈｉｎｅｌｅａｒｎｉｎｇ，ｗｅｄｅｓｉｇｎｅｄａｐｉｐｅｌｉｎｅｃａｃｈｅｓｔｒｕｃｔｕｒｅｂａｓｅｄｏｎｓｅｌｆｄｅｖｅｌｏｐｅｄＳＩＭＴｐｒｏｃｅｓｓｏｒ． ＩｔｗａｓｄｅｓｉｇｎｅｄａｃｃｏｒｄｉｎｇｔｏｔｈｅｐｒｉｎｃｉｐｌｅｏｆｌｏｃａｌｉｔｙａｎｄＬＲＵ ｒｅｐｌａｃｅｍｅｎｔａｌｇｏｒｉｔｈｍ．ＴｈｅｄｅｄｉｃａｔｅｄｐｓｅｕｄｏＬＲＵ ｒｅｐｌａｃｅｍｅｎｔａｌｇｏｒｉｔｈｍ，ｔｏｇｅｔｈｅｒｗｉｔｈｔｈｅｇｅｎｅｒａｌＲｏｕｎｄＲｏｂｉｎ，ＬＦＵ，ａｎｄＬＲＵｒｅｐｌａｃｅｍｅｎｔａｌｇｏｒｉｔｈｍｓ，ｃｏｍｐｌｅｔｅｄｔｈｅ ｃｏｎｆｉｇｕｒａｂｌｅｒｅｑｕｉｒｅｍｅｎｔｓｏｆｔｈｅｃａｃｈｅｒｅｐｌａｃｅｍｅｎｔａｌｇｏｒｉｔｈｍ ｔｏａｃｈｉｅｖｅｆａｓｔｉｎｔｅｒａｃｔｉｏｎｂｅｔｗｅｅｎｔｈｅｐｒｏｃｅｓｓｏｒａｎｄｔｈｅ ｍａｉｎｍｅｍｏｒｙ．Ｔｈｅｄｅｓｉｇｎｗａｓｉｎｔｅｇｒａｔｅｄｗｉｔｈｔｈｅｘｃｖｕ４４０ｆｌｇａ２８９２２ｅＦＰＧＡ ｃｈｉｐｏｆＸｉｌｉｎｘｖｉｒｔｅｘｕｌｔｒａｓｃａｌｅｓｅｒｉｅｓ． Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｍａｘｉｍｕｍｌａｔｅｎｃｙｏｆｔｈｅｓｔｒｕｃｔｕｒｅｉｎｓｔｒｕｃｔｉｏｎｃａｃｈｅｉｓ２．９２３ｎｓ，ａｎｄｔｈｅｍａｘｉｍｕｍｄｅｌａｙｏｆｔｈｅ ｄａｔａｃａｃｈｅｉｓ３．２５８ｎｓ，ｗｈｉｃｈｓａｔｉｓｆｉｅｓｔｈｅｐｅｒｆｏｒｍａｎｃｅｒｅｑｕｉｒｅｍｅｎｔｓｏｆＳＩＭＴｐｒｏｃｅｓｓｏｒ．
ＤＥＳＩＧＮＡＮＤＩＭＰＬＥＭＥＮＴＡＴＩＯＮＯＦＨＩＧＨ ＰＥＲＦＯＲＭＡＮＣＥ ＳＩＭＴＰＲＯＣＥＳＳＯＲ ＣＡＣＨＥＦＯＲ ＭＡＣＨＩＮＥＬＥＡＲＮＩＮＧ
ＸｕＸｉａｏｙａｎ ＬｉＴａｏ ＳｕｎＺｈｅ ＸｉｎｇＬｉｄｏｎｇ
（ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ，Ｘｉ’ａｎＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｘｉ’ａｎ７１０１２１，Ｓｈａａｎｘｉ，Ｃｈｉｎａ）
本文基于自主研发的 ＳＩＭＴ架构进行设计，为了解 决 ＳＩＭＴ处理器与主存速度不匹配问题［５］，设计使用
收稿日期：２０１８－１２－２３。陕西省重点研发计划项目（２０１７ＺＤＸＭＧＹ００５）；西安市科技局项目（２０１８０５０４０ＹＤ１８ＣＧ２４（５））。许 晓燕，硕士生，主研领域：电路，系统。李涛，教授。孙哲，硕士生。邢立冬，博士。
Ｋｅｙｗｏｒｄｓ ＳＩＭＴｐｒｏｃｅｓｓｏｒ Ｐｉｐｅｌｉｎｅｄｃａｃｈｅｓｔｒｕｃｔｕｒｅ Ｒｅｐｌａｃｅｍｅｎｔａｌｇｏｒｉｔｈｍ
０ 引 言
随着大数据时代的到来，机器学习已经应用到人 类生活的各个方面。机器学习的本质是基于互联网的 海量数据以及系统强大的并行运算能力，让机器自主 模拟人类学习的过程，通过不断“学习”数据来做出智 能决策行为［１］。为了解决机器学习中大数据、并行运 算需求，本文基于 ＳＩＭＴ架构进行设计。ＳＩＭＴ概念首 先被 ＧＰＵ制 造 商 ＮＶＩＤＩＡ在 产 品 微 架 构 中 提 出［２］。