中国科学院--数字集成系统设计--第七次作业+马路+2011E8007361063
探秘神奇世界“芯”藏电子蓝图——记中科院上海微系统与信息技术研究所教授田彤
![探秘神奇世界“芯”藏电子蓝图——记中科院上海微系统与信息技术研究所教授田彤](https://img.taocdn.com/s3/m/fdbb650910661ed9ad51f3d0.png)
创新人物Innovation Character2018年,集成电路再次被写入政府工作报告,位列实体经济发展第一位。
作为影响社会、经济和国防安全的国家战略性新兴产业,集成电路是信息时代的基石,是一个国家的“工业粮草”。
当前,我国集成电路产业发展处于关键时期,国家高度重视集成电路产业的发展并出台了一系列政策,《国家集成电路产业发展推进纲要》和《中国制造2025》的出台,为我国集成电路产业实现跨越式发展注入了强劲动力。
在2018年的全国网络安全和信息化工作会议上,习近平总书记强调:“核心技术是国之重器。
要下定决心、保持恒心、找准重心,加速推动信息领域核心技术突破。
”这一消息令中科院上海微系统与信息技术研究所田彤教授备受鼓舞,多年来,他一直为推动集成电路核心技术研发四处奔走。
“象牙塔”中的教授、商场上的总裁、重点实验室的领军人物……田彤的角色很多,但主题都与集成电路有关。
他是模拟/射频集成电路及系统设计研发领域的领军人,用自己的专业技能开辟了集成电路的新领域,并带领企业以高科技产品服务走向世界。
立足前沿,描绘微电子蓝图少年时期,田彤就对微电子领域充满了浓厚的兴趣,喜欢动手摆弄各种东西。
20世纪80年代,硅谷成为美国高科技人才的集中地,更是美国信息产业人才的集中地,关于硅谷的故事令他心驰神往。
1986年,田彤考入华中理工大学,顺理成章地选择了固体电子学系半导体物理与器件专业,沿着自己的兴趣之路继续学习。
接着,他又先后在西安电子科技大学电路与系统专业、西安交通大学电子科学与技术专业接连完成了硕士、博士阶段的学习,建立了完备的工艺、电路和微电子学科知识体系,同时,将研究目光渐渐聚焦于射频集成电路及系统设计研发这一研究方向。
田彤始终保持着对学科专业的关注,他把自己的专业发展规划和国家战略需求结合起来,并且为此付出了不懈的努力。
一路走来,罗晋生教授、林金庭教授、陈堂胜教授给予他很多帮助,老一辈科学家的谆谆教诲指引着他在科研的道路上勇往直前。
中科院数字集成系统设计(段成华)作业答案
![中科院数字集成系统设计(段成华)作业答案](https://img.taocdn.com/s3/m/1a147ef8f705cc17552709c9.png)
Assignment 1:1.ITRS:International Technology Roadmap for Semiconductors 中文:国际半导体技术蓝图Gate-Equivalent:gate equivalent (GE) stands for a unit of measure which allows to specify manufacturing-technology-independent complexity of digital electronic circuitsTechnology Nodes:A technology node is defined as the ground rules of a process governed by the smallest feature printed in a repetitive arrayFeature size: The size of the elements on a chip, which is designated by the DRAM half pitch(动态随机存取存储器半间距). The smallest feature size is generally smaller than the feature size for a technology generation (technology node).Behavioral representation: representing a design as a Black Box and describe its outputs in term of its input and time行为表示:表示一种设计,这个设计只描述它们的输入和输出以及具体的时序结构。
Structural representation: A Black Box is represented as a set of components and connections结构表示:表示一种设计结构,其中的结构是由一系列的组件和连线构成Geometrical representation: it ignores what the design is supposed to do and binds its structure in space or to silicon.It entails the specification of all geometric patterns defining the physical layout of the chip, as well as their position几何表示:在这个结构中,不注意设计的目的是什么,只关心具体的几何实现,这种设计结构通过定义在芯片上的所有器件的物理布局甚至是具体位置来实现所有的几何设计。
中国科学院大学 段成华 VLSI 超大规模集成电路 期末复习笔记(1到10章)
![中国科学院大学 段成华 VLSI 超大规模集成电路 期末复习笔记(1到10章)](https://img.taocdn.com/s3/m/b2e71e141ed9ad51f11df241.png)
MOS 管 耗尽区电荷以及宽度
阈值电压的定义,饱和区线性区等阶段的电流
阈值电压:强反型发生时
饱和区: 与 Vgs-Vt 平方成正比
线性区:
ID
n
(VGS
VT
)VDS
VDS 2
2
Vds 较小时忽略平方项,就是线性关系
沟调效应
增加 Vds 会使漏结的耗尽区变大,缩小了有效沟道长度。 影响为:Vds 会增大 ID
Vdd Vdd 0 'Supply' VgspVdd gatep dc='Supply' Vgsngaten Gnd dc='Supply'
.dc Vgsp0 'Supply' 'Supply/20' .dc Vgsn0 'Supply' 'Supply/20'
.print dc I1(mp) .print dc I1(mn)
* Set TSMC 0.18um library
*.model pch PMOS level=49 version = 3.1 *.model nch NMOS level=49 version = 3.1
.options list node post measout * Option List: Prints a list of netlist elements, node connections, and values for components, voltage and current sources, parameters, and more. * Option Node: Prints a node cross-reference table. * Option Post: Saves simulation results for viewing by an interactive waveform viewer. * Option Measout: Outputs .MEASURE statement values and sweep parameters into an ASCII file.
广州市先进的公共交通系统工程建设实践
![广州市先进的公共交通系统工程建设实践](https://img.taocdn.com/s3/m/42fd0048e45c3b3567ec8b90.png)
交通服务呼叫电话 96900
APTS 总监控调度中心
ITS 共用信息平台 互联网
中国移动Biblioteka 一汽监控中心二汽监控中心
三汽监控中心
电车监控中心
GPRS/GSM
(主要用于传输定位信 息,调度指令等)
枢纽站、加气站、 电车总站
车载终端
车载终端
电子站牌
图 1 系统架构 Fig.1 System structure
2 系统整体架构及功能
2.1 主要组成部分
广州市 APTS 初期建设覆盖了广州市 63 条公
87
共汽(电)车线路,包括市公共交通总监控调度中 心、4 个公交公司监控调度中心、310 块电子站牌 (总站 110 块,中途停靠站 200 块),以及 1 424 台公 共汽(电)车车载终端系统。系统架构如图 1 所示。
1) 地图匹配基本思想应用。比较车辆路线和 接近先前匹配点的已知道路,把路线形状与当前路 线和先前匹配路线相似的道路作为车辆行驶道路。
2) 通过 GPS 道路数据库制作平台,制作公共 交通线路地理信息数据库。数据库中包含停靠 站、进站标志、出站标志、起始站标志、终点站 标志、道路转弯标志、停车场及修理厂标志等内 容,并按上下行线路顺序生成一个多条公共汽 (电)车线路序列数据库。公共交通系统的运行特 点是:在固定线路上行驶,不需要非常精确的地 图匹配结果,仅需满足业务需求,这可以大大简 化问题和工作量。但是,公共交通线路是按上下 行运营的,所以需要对上下行分别建立相应数据 库。其基本思路是:在考虑公交车辆运行连续性 及运行方向的情况下,多次比较待匹配点与待匹 配线路的数据,若该匹配点不是粗大误差,且满 足事先设定的阈值,则就以该点在线路上的投影 点作为目标点进行匹配。
21764055
![21764055](https://img.taocdn.com/s3/m/39bcbff1770bf78a652954a6.png)
te c i o lxt , n h ra i rv me t f p rt n s e d t d t n l rb a d c n t ok p o e y b c u e o t en u n e o te h hp c mpe i a dt ege t mp o e n o eai p e ,r i o a o e c r a ’ w r rp r e a s f h f e c f h y o o a i p l l
o t 6w ih ae a h otmi p hc l tteb t o o e il sg d c n i ' r . h s d n lc
me t f h isi b s d o h o io so t eDU ' a s T e n t et o p s a e nte p s in f h t T sP d , h
的正常工作造成影响 , 难以得 到正确的测试结果 。结合先进 的 M M E S技术 , 出了一种采 用铝通孔 导电 、 属 自隔 离结构 提 金 的MM E S探卡 , 卡 由台阶结构的 悬臂 梁探针 陈列构成 , 探 探针 的具体结构排列依 据待测 芯片( u ) D T 的管脚分 布 , 同时测试 探针 电学导通 电阻小于 l 详 细叙述 了探 卡的结构设 计和制造 方法 。 Q, 关键词 : 悬臂 梁; 探卡 ; E S MM 中图分类号 :P 1 T 22 文献标识码 : A 文章编号 :02—14 (060 0 1 —0 10 8 120 )4— 02 3
Ab ta t w frlv l C t t rb a d i an y u e n te t t f h psee t c c a a tr eoe p c a i Wi e ice s f sr c : ae - e e o e c r sm il s d i s i ’ lcr h r cesb fr a k g I e I sp h e oc i , t t ra e o h h n
CMOS数字电路低功耗的层次化设计
![CMOS数字电路低功耗的层次化设计](https://img.taocdn.com/s3/m/95d593207375a417866f8ff5.png)
CM OS数字电路低功耗的层次化设计高 丹,刘海涛(中国科学院上海微系统与信息技术研究所,上海200050)摘 要:随着芯片上可以集成越来越多的管子,电路规模在不断扩大,工作频率在不断提高,这直接导致芯片功耗的迅速增长,无论是从电路可靠性来看,还是从能量受限角度来讲,低功耗都已成为CM O S数字电路设计的重要内容。
由于不同设计抽象层次对电路功耗的影响不同,对各有侧重的低功耗设计方法和技术进行了讨论,涉及到工艺,版图,电路,逻辑,结构,算法和系统等不同层次。
在实际设计中,根据具体应用环境,综合不同层次全面考虑功耗问题,可以明显降低电路功耗。
关键词:低功耗;CM OS;抽象层次中图分类号:T N432 文献标识码:A 文章编号:1000-7180(2008)01-0100-04 Design of Low Power C MOS Digital Circuits at Abstraction LevelsGAO Dan,LIU Ha-i tao(Shanghai Institute of M icrosystem and Information Technology,Chinese A cademy of Sciences,Shanghai200050,China)Abstract:As the density,size and frequency of the chip co ntinue to increase,power dissipation has emer ged as an impor-tant design parameter in CM O S dig ital cir cuits,for the portable applicatio ns and the system reliability.T hi s paper surveys design techniques targeting low power dissipation in CM OS digital cir cuits at various levels of abstraction,including pro-cess,layout,circuit,logic,architectural,alg orithmic and system.Actually power dissipation can be reduced obviously w ith some differ ent techniques together.Key words:lo w pow er;CM OS;abstraction levels1 引言但近年来,随着电路规模的不断增大,以及便携式计算和无线传感网的推广应用,对电路低功耗的要求,逐渐成为新的设计方向。
面向车路协同的路侧感知仿真系统
![面向车路协同的路侧感知仿真系统](https://img.taocdn.com/s3/m/bdfa79d4aff8941ea76e58fafab069dc51224778.png)
面向车路协同的路侧感知仿真系统①郭云鹏, 邹 凯, 陈升东, 袁 峰(广州中国科学院软件应用技术研究所, 广州 511458)通讯作者: 郭云鹏摘 要: 路侧感知是车路协同应用开发的重要组成部分, 通过在路侧部署传感器, 将采集到的路面信息经V2X 通信给到车辆, 使车辆拥有超视距的感知能力. 在实际应用中, 为达到最优的路侧感知效果, 不同的场景往往需要不同的RSU 配置, RSU 的选型及安装是一个耗时耗力的过程. 交通参与者的识别是路侧感知的核心, 基于机器学习的识别算法需要大量的标签数据, 而人工打标签被验证是一个效率极其低下的方式. 通过构建路侧感知仿真系统可以很好地解决RSU 配置及样本数据生成的问题, 实验一通过在仿真系统中调整激光雷达的高度和角度, 得到极端情况下的车辆遮挡情况, 从而为激光雷达的实际安装高度提供参考, 实验二在仿真环境中输出带标签的激光雷达点云数据, 通过与实际采集的点云数据进行融合对比, 验证仿真系统输出的激光雷达点云数据可以作为模型训练的数据补充.关键词: 车路协同; 路侧感知; 模拟仿真; LGSVL; 激光雷达; ROS引用格式: 郭云鹏,邹凯,陈升东,袁峰.面向车路协同的路侧感知仿真系统.计算机系统应用,2021,30(5):92–98. /1003-3254/7907.htmlRoad-Side Sensing Simulation Toward Cooperative Vehicle Infrastructure SystemGUO Yun-Peng, ZOU Kai, CHEN Sheng-Dong, YUAN Feng(Institute of Software Application Technology, Guangzhou & Chinese Academy of Sciences, Guangzhou 511458, China)Abstract : Road-side sensing is indispensable for a cooperative vehicle infrastructure system, through which vehicles could have sensing ability beyond the visual range by receiving road information via V2X communication. For the optimal sensing results in reality, RSU configuration needs to vary according to scenarios, which is both time consuming and labor intensive. Meanwhile, recognition of traffic participants based on machine learning is crucial to road-side sensing, requiring a huge amount of labeled data, and it is proven to be an inefficient way to label manually. However,these two problems can be solved by building a simulation system of road-side sensing. Experiment I shows the vehicle occlusion on extreme occasions by adjusting the height and orientation of lidar in the simulation system, which provides a recommended height for installment in reality. Experiment II proves the virtual data derived from the simulation system can be complementary to real data by mutual verification.Key words : cooperative vehicle infrastructure system; road-side sensing; simulation; LGSVL; lidar; ROS计算机系统应用 ISSN 1003-3254, CODEN CSAOBNE-mail: Computer Systems & Applications,2021,30(5):92−98 [doi: 10.15888/ki.csa.007907] ©中国科学院软件研究所版权所有.Tel: +86-10-62661041① 基金项目: 广东省重点领域研发计划-新能源汽车专项(2019B090912002); 广州市科技计划-产业技术重大攻关计划-现代产业技术专题(201802010006);广州市科技计划-对外科技合作计划-对外研发合作专题(201807010049)Foundation item: Special Project of New Energy Vehicle, Research and Development Plan of Key Areas of Guangdong Province (2019B090912002); Special Topics on Modern Industrial Technology, Major Industrial Technology Research Plan, Science and Technology Plan of Guangzhou Municipality (201802010006); Special Topics on External Research and Development Cooperation, External Science and Technology Cooperation Program, Science and Technology Plan of Guangzhou Municipality (201807010049)收稿时间: 2020-09-11; 修改时间: 2020-10-09; 采用时间: 2020-10-21; csa 在线出版时间: 2021-04-28智能交通系统(Intelligent Transport System, ITS)通过人工智能与信息通讯技术可以有效提升道路交通的安全和效率[1,2], 目前已经得到广泛的认可, 它包含“聪明的车”和“智慧的路”两部分. 车路协同是ITS发展的高级阶段, 用来实现车与车以及车与路侧系统之间的通信, 使车辆能够更好地感知周围环境, 接受辅助驾驶的相关信息, 让道路监管部门能够更有效地处理交通事故[3,4].其中, 路侧感知是车路协同应用开发的重要组成部分, 通过在路侧部署传感器, 将采集到的路面信息经V2X通信给到车辆, 使车辆拥有超视距的感知能力. 在实际应用中, 为达到最优的路侧感知效果, 不同的场景往往需要不同的RSU配置, RSU的选型及安装是一个耗时耗力的过程, 另外, 交通参与者的识别是路侧感知的核心, 基于机器学习的识别算法需要大量的标签数据, 而人工打标签被验证是一个效率极其低下的方式.而随着近些年计算机硬件性能的不断提升, 将仿真技术应用于智能交通领域成为了各类研发机构加速开发进程的必要手段[5,6].当前智能交通领域的模拟仿真主要围绕自动驾驶算法验证, 车路协同V2X通讯, 车载传感器数据采集等几个方面展开. Gelbal等基于dSPACE Scalexio系统和Carsim仿真软件构建了一套用于自动驾驶算法开发的硬件在环模拟仿真系统[7], Amini等提出了一种基于虚拟图像合成和变换, 以数据为驱动的仿真工具, 用于端到端的自动驾驶控制策略研究[8], Szendrei等基于SUMO设计了一套用于车路协同应用快速建模和测试的硬件在环V2X模拟仿真架构[9], Choudhury等搭建了集成VISSIM、Matlab和NS3, 用于V2X协议和应用的模拟仿真测试环境[10], Su等提出了一种采用GPU 计算虚拟环境中三维物体点云的车载激光雷达仿真方法[11], 百度采用真实点云背景结合虚拟交通体的方式来模拟车载激光雷达感知虚拟环境的方式[12], Dworak等则利用CARLA仿真软件模拟激光雷达采集纯虚拟的点云数据, 通过与公开测试集中的数据对比, 发现仿真环境中的模拟点云可以作为真实数据的补充[13].从分析来看, 针对路侧感知的模拟仿真目前还很少人涉及, 但作为车路协同的应用开发却同样是不可或缺的, 本文将从路侧感知的模拟仿真入手, 介绍相关的系统搭建工作以及在此基础上的两个应用案例.1 仿真系统架构经典的自动驾驶仿真平台包括虚拟场景、动态案例仿真、传感器仿真、车辆动力学仿真等独立模块[14],如图1所示. 针对路侧感知的模拟仿真侧重于路侧传感器与车辆以及环境之间的交互, 因此, 跟自动驾驶仿真平台的最大区别在于传感器类型为路侧传感器而非车载传感器, 但为了最大限度还原真实世界的相关特性, 仍然需要包括图形引擎、物理引擎以及与外界通讯的中间件系统作为基础支撑, 如图2所示.图1 自动驾驶仿真系统典型架构图2 路侧感知仿真系统架构文献[15]从V2X、交通流、非自动驾驶车辆、传感器、图形渲染、自动驾驶车辆动态模型等几方面总结了当前用于智能交通领域的主流模拟仿真软件情况, 如表1所示. 其中, TF代表交通流, DM代表非自动驾驶车辆的驾驶模型, SE代表传感器, VI代表渲染画质, VD代表自动驾驶车辆动态模型. 另外, 表格内, i表2021 年 第 30 卷 第 5 期计算机系统应用示需要二次开发, o表示没有相关功能, – –表示非常差,– 表示较差, +表示较好, ++表示非常好.表1 各类仿真软件对比名称V2X TF DM SE VI VD Open Source?Carla i+++++YesCognata o+++++o NoLGSVL i+++++YesGazebo o o o+o+YesUSARSim o o o+−o YesAirSim o o o+++YesMORSE o o o+−o YesTORCS o o+o o+YesSynCity o o o+++++NoPreScan++++++−o NoRighthook o++++++NoSCANeR++++++NoVTD i+++++++No Autono Vi-Sim o+−+++No Vissim i+++– –– –−NoSumo i+++– –– –– –YesAimsun i+++– –– –– –NoCarMaker++++++++No由图2可知, 本文设计的路侧感知仿真系统需要突出包括传感器仿真, 环境和交通渲染, 车辆动力学模拟等, 通过表1的数据分析可以得到满足这些要求的有Carla、LGSVL、Righthook、SCANeR、VTD以及CarMaker, 其中Carla和LGSVL为开源软件.LGSVL是基于游戏引擎Unity开发的一款主要用于自动驾驶开发和测试的模拟仿真软件, 它支持包括仿真环境、传感器以及通讯内容的自定义, 图3为LGSVL 的工作流程[16], 本文将基于LGSVL开发适用于路侧感知的仿真系统. 其中, 利用自定义场景功能开发适用于路侧感知的模拟环境, 利用自定义车辆及传感器模型功能创建路侧感知单元, 利用自定义通讯内容实现路侧感知数据的采集与传输.环境创建高清地图自定义场景测试场景自定义Player测试Player数字地图真实世界PythonAPI自定义虚拟车辆及传感器模型虚拟车辆及传感器模型真实车辆及传感器模型仿真器分析及可视化日志(地面真值)日志(传感器值)仿真Bridge自动驾驶算法路测LGSVL自定义模块第三方模块图3 LGSVL工作流程2 模拟场景构建确定模拟场景是仿真测试的前提, 本文模拟的场景为所在团队进行无人驾驶的车辆测试场, 图4为其平面示意图, 其中由正门通往东门的L型主干道及其周边为本次重点模拟区域. 路侧感知仿真系统的模拟场景构建内容包括静态环境、动态交通、路侧单元等,模拟场景的构建手段通常包括基于建模软件构建场景,基于已经完成的游戏搭建场景, 基于增强现实方法构建场景, 基于高精地图生成场景等方式, 本文采用基于建模软件构建虚拟场景, 建模软件为开源3D建模软件blender[17].无人驾驶车辆测试调试场C 栋A 栋B 栋图4 模拟场景整体平面示意图2.1 静态环境静态环境主要包括用于车辆行驶的车道, 场景内的建筑, 区域内的绿植、路灯等, 这些构成了模拟场景的客观环境, 并且不随仿真测试过程中其它条件的变化而改变, 通过blender建模后经Unity高清渲染后得到本次模拟仿真系统的静态环境如图5所示.图5 仿真系统静态环境2.2 动态交通动态交通是仿真测试场景的关键组成, 主要指仿真中具备动态特性的管控、车流、人流等部分, 包括红绿灯仿真, 机动车仿真, 行人仿真等. 动态交通仿真场景构建方法主要有基于真实交通案例数据的构建,基于真实案例数据的泛化构建, 以及基于微观交通仿计算机系统应用2021 年 第 30 卷 第 5 期真系统的构建. LGSVL 通过微观仿真方法构建动态交通, 内置地图标注工具用来完成三维环境中高清地图的创建, 基于高清地图实现车辆按照车道行驶, 遵循交通信号灯, 限速, 交叉口决策等功能. 图6为在行驶车道上进行地图标注.图6 高清地图标注LGSVL 内置丰富的车辆模型, 包括两厢车, 三厢车, SUV, 吉普车, 卡车, 校车等, 通过组合不同的颜色外观, 可以产生数十种车辆模型, 基本涵盖了路面上常见的车辆种类. 同时, LGSVL 支持更多类型车辆的自定义与创建. 图7为在静态环境中添加车辆模型后的效果.图7 添加动态交通后的仿真环境2.3 路侧单元路侧单元是车路协同的核心部件, 负责车路信息的采集、处理与传输, 也是本文提出的面向车路协同的路侧感知仿真系统的重点研究对象. LGSVL 作为一款主要面向自动驾驶的仿真软件, 本身并不具备路侧单元这一组成类型, 但是LGSVL 支持车辆及传感器模型的高度自定义, 本文即利用LGSVL 的该功能进行面向车路协同的路侧感知单元的新建.常见路侧单元包括摄像头、激光雷达、毫米波雷达、工控机等, 本文根据园区内实际情况, 将路侧单元与太阳能路灯结合, 在blender 中构建路侧单元三维模型如图8(a)所示, 在LGSVL 中, 通过与新建车辆模型相同的方法得到路侧单元对应的可加载资源, 最终在LGSVL 中加载路侧单元并配置相应的传感器参数后如图8(b)所示.(a) 路侧单元(b) 添加路侧单元后的仿真环境图8 路测单元仿真3 数据采集与处理数据采集是路侧传感器的本质用途, 根据传感器类型不同, 数据采集的内容及处理方式也不一样, 如摄像头采集的是图像信息, 而激光雷达采集的则是三维点云数据. 由于激光雷达的成本较高, 且三维数据的后期处理较为复杂, 运用仿真手段实现激光雷达的物理特性模拟以及对应数据收集和处理已然成为了真实路测的重要补充. 本文以路侧激光雷达为例介绍其仿真数据的生成及处理和输出过程.3.1 模拟点云数据生成激光雷达仿真的思路是参照真实激光雷达的扫描方式, 模拟每一条真实雷达射线的发射, 通过与场景中所有物体求交, 若在激光雷达的最大探测距离内存在交点, 则返回相应的点云坐标. 假设模拟激光雷达为L 线, 水平分辨率为R , 水平扫描范围为360°, 得到每一帧发射射线的数量N 为:若探测距离为D ,场景内模拟点云数据生成的伪代码如图9所示.图9 模拟点云数据生成由式(1)和图9可知, 当激光雷达频率较高, 场景内环境较为复杂且模型足够精细时, 通过模拟射线求2021 年 第 30 卷 第 5 期计算机系统应用交的计算量极大, 以激光雷达为64线, 水平分辨率0.4°,频率10 Hz为例, 单纯每秒发射的激光雷达射线就高达576 000条, 在此基础上还需要对每一条射线遍历场景内除激光雷达外的所有物体模型. 为了达到实时仿真的效果, 可以运用CPU并行或GPU计算的方式来提高计算效率, LGSVL采用GPU计算点云数据.真实点云数据除了位置坐标外, 还有一个关键信息是反射强度, 反射强度主要反映的是不同物理材质对激光雷达所使用的近红外光线的反射率. 因此, 模拟点云数据同样需要考虑强度值, LGSVL中通过获取模型材质中的金属度及颜色值并进行归一化处理得到取值范围在0~255间的强度值.3.2 真值数据生成与处理有了模拟点云数据后, 一般还需要配合真值数据,用作模型识别训练的数据集. 真值数据对应真实数据中的人工标签数据, 数据内容包括可识别物体的位置、朝向、包围盒大小、速度、类型等, 不同于人工打标签的过程, 真值数据相对于仿真系统而言是已知的, 只需要将真值数据与点云数据进行配合同步输出即可,因此可以大大提高输出标签的效率. 在LGSVL中新建真值数据传感器, 数据类型为Detected3DObject, 如图9所示, 其中, Id为同一帧数据内识别物体的序列, Label为物体标签, Position为物体位置, Rotation为物体朝向, Scale为物体包围盒尺寸, LinearVelocity和AngularVelocity分别为物体线速度和角速度. 为实现真值数据与点云数据匹配, 需要将真值数据传感器与激光雷达传感器的配置参数保持一致, 如位置姿态、有效范围、频率等.Unity中, 姿态角采用四元素表示, 如图10中的Rotation值, 同时坐标系的表示为左手系, 而一般用于模型训练的标签数据采用右手坐标系下的欧拉角表示.欧拉角有12种表示, 分别代表着12种旋转次序[18], 本文采用ZYX的旋转次序. 假设Unity中四元素姿态角表示为quaternion=(x, y, z, w), 对应ZYX欧拉角为euler=(roll, pitch, yaw), 则两者之间存在关系:3.3 仿真数据输出LGSVL支持包括ROS, ROS2, CyberRT等多种通信方式, 本文采用基于Rosbridge的通讯实现模拟点云数据与真值数据的输出. Rosbridge为非ROS程序提供了一个使用ROS功能的JSON API, 用于向ROS发送基于JSON的命令的规范[19]. Rosbridge包含一个Web Socket服务器, 用于与Web浏览器进行交互, 仿真系统与ROS之间的通信如图11所示.图10 真值数据类型结构图11 Rosbridge通讯框图由于模拟点云数据与真值数据分别通过不同的传感器采集, 为了实现每一帧文件的相互匹配, 本文采用获取当前ROS时间作为每一帧点云数据和真值数据的命名, 如当前ROS时间为n.ms, 对应时刻采集的点云数据文件保存为nm.pcd, 真值数据文件为nm.txt. 将同一帧的模拟点云数据与真值数据导入Rviz中显示如图12所示.图12 数据输出结果显示4 实验4.1 激光雷达安装高度分析在现实中, 由于激光雷达成本较高, 在路侧布局中计算机系统应用2021 年 第 30 卷 第 5 期需要优化激光雷达的布局使得单个激光雷达的有效覆盖区域尽可能多地被利用. 对于只有单侧布置RSU 的路面, 因为各类车辆的形体差异较大, 有可能存在小车被大车遮挡的情况, 从而对车路协同提供的超视距功能构成挑战, 为了减少这种因大车遮蔽造成激光雷达盲区的情况, 最简单有效的方法是增加激光雷达的安装高度. 获取激光雷达的最低安装高度需要综合包括激光雷达参数, 道路环境参数, 车辆参数等多种条件进行测试, 通过真实路测是不大现实的, 而借助本文提出的路侧感知仿真系统可以简单直观地完成. 实验中, 选取线数为16线, 垂直角度为30°, 有效距离为120 m 的激光雷达, 大车的长度为10.5 m, 高度4.4 m, 小车长度4.6 m, 高度1.4 m, 通过改变激光雷达高度和倾角值, 获得6组激光雷达在仿真环境中的点云覆盖情况如图13所示, 从图中可知, 随着激光雷达高度增高, 小车被点云覆盖的可能性越大, 同时为了使得点云覆盖车道的大部分, 倾斜角度也需要增大, 当激光雷达高度为10米, 倾斜角度为55°时, 小车可以有较好的点云覆盖.(a) Height=3.6 m, Pitch=31.25°(b) Height=6 m, Pitch=31.25°(c) Height=8 m, Pitch=31.25°(d) Height=8 m, Pitch=50°(e) Height=9 m, Pitch=55°(f) Height=10 m, Pitch=55°图13 不同高度和角度下激光雷达点云覆盖4.2 基于模拟点云数据的车辆识别相对于基于摄像头采集的二维图像识别物体, 基于激光雷达的点云数据的物体识别因为不受环境光的影响, 具有更高的鲁棒性, 因此在车路协同中具有重要的地位. 相应地, 由于单帧的点云数据量巨大, 同样采用深度学习的方法, 基于点云的识别难度较于图像识别有过之而无不及, 尤其制作标签数据的过程, 采用人工的方式是极其困难的. 通过仿真系统可以快速准确地生成大量标签数据, 但模拟数据是否可以替代真实数据仍需要通过实验进行验证.本文设计了4组实验进行验证, 第1组采用真实数据训练真实数据测试, 第2组采用模拟数据训练模拟数据测试, 第3组采用真实数据训练模拟数据测试,第4组采用模拟数据训练真实数据测试, 4组实验采用相同的训练网络, 训练集与测试集的数据量均按4:1得到, 最后结果如表2所示.表2 模拟数据与真实数据的测试对比训练集测试集Precision Recall F 1 score 真实数据真实数据0.99740.99740.9974模拟数据模拟数据0.91770.98180.9487真实数据模拟数据0.94800.84270.8886模拟数据真实数据0.98900.98900.9890其中, Precision 为识别的精确率, 相对于测试集中检测出来的样本而言, Recall 为召回率, 相对于整个测试集而言, F 1 score 为精确率和召回率的调和平均数.从表2中可以看出, 不管是用真实数据测试模拟数据,还是模拟数据测试真实数据, 最后的结果都显示各类评价指标可以比较接近纯真实数据的情况, 由此可知,通过仿真系统输出的模拟点云数据可以较好地还原真实数据的特征.5 结论随着智能交通领域的快速发展, 模拟仿真技术在其中扮演着越来越重要的角色, 尤其是针对自动驾驶和车路协同已经有很多的仿真应用和研究, 然而面向路侧感知的仿真仍然鲜有人涉足. 本文提出了一种面向车路协同的路侧感知仿真系统, 系统基于自动驾驶仿真软件LGSVL 进行二次开发构建, 开发内容包括模拟仿真环境, 路侧单元及数据采集与通讯, 最后通过两个实验对仿真系统的应用进行说明. 实验一借助仿真环境分析了激光雷达的高度与路面点云覆盖之间的关系, 可以为激光雷达的实际安装位置提供参考, 实验二通过对比由仿真环境中输出的点云数据得到的车辆识别模型与由真实数据得到的模型之间的相互验证结果,得出本文设计的仿真系统的对激光雷达和环境的模拟可以较高程度地还原真实情况.另外, 在本次的研究中, 由于将激光雷达传感器与真值数据传感器作为单独的个体进行考虑, 存在无法2021 年 第 30 卷 第 5 期计算机系统应用在时间上做到完全同步的问题, 会导致真值数据和点云数据在空间上存在细微的差距, 其次, 本文实验中仿真环境和真实环境仍存在一定的差异, 如绿植、车棚等, 导致实验二中交叉验证出现各项指标略低于自身验证的情况, 这些将在后续的研究中进行重点考虑. 同时, 探索路侧感知仿真系统在车路协同中更多的应用场景也是未来研究的方向.参考文献Grant-Muller S, Usher M. Intelligent transport systems: Thepropensity for environmental and economic benefits.Technological Forecasting and Social Change, 2014, 82:149–166. [doi: 10.1016/j.techfore.2013.06.010]1Ott J, Kutscher D. Drive-thru internet: IEEE 802.11b for“automobile ” users. Proceedings of the 23rd Annual Joint Conference of the IEEE Computer and Communications Societies. Hong Kong, China. 2004. 362–373.2李珣. 车路协同下多车道微观交通诱导与控制研究[博士学位论文]. 西安: 西北工业大学, 2015.51–59.3张含, 蔡伯根, 上官伟, 等. 基于多分辨率建模的车路协同系统仿真场景设计与实现. 系统仿真技术, 2013, 9(1): 52–60. [doi: 10.3969/j.issn.1673-1964.2013.01.008]4SovaniS. Simulation accelerates development ofautonomous driving. ATZ Worldwide, 2017, 119(9): 24–29.[doi: 10.1007/s38311-017-0088-y ]5Jayaraman A, Micks A, Gross E. Creating 3D virtual drivingenvironments for simulation-aided development ofautonomous driving and active safety [Technical Report].SAE Technical Paper 2017-01-0107. Detroit, MI, USA.2017. [doi: 10.4271/2017-01-0107]6Gelbal ŞY, Tamilarasan S, Cantaş MR, et al . A connectedand autonomous vehicle hardware-in-the-loop simulator for developing automated driving algorithms. 2017 IEEE International Conference on Systems, Man, and Cybernetics.Banff, AB, Canada. 2017. 3397–3402.7Amini A, Gilitschenski I, Phillips J, et al . Learning robustcontrol policies for end-to-end autonomous driving from8data-driven simulation. IEEE Robotics and Automation Letters, 2020, 5(2): 1143–1150. [doi: 10.1109/LRA.2020.2966414]Szendrei Z, Varga N, Bokor L. A SUMO-based hardware-in-the-loop V2X simulation framework for testing and rapid prototyping of cooperative vehicular applications. In: Jármai K, Bolló B, eds. Vehicle and Automotive Engineering 2.Cham: Springer, 2018. 426–440.9Choudhury A, Maszczyk T, Math CB, et al . An integratedsimulation environment for testing V2X protocols and applications. Procedia Computer Science, 2016, 80: 2042–2052. [doi: 10.1016/j.procs.2016.05.524]10Su H, Wang R, Chen KX, et al . A simulation method forLIDAR of autonomous cars. IOP Conference Series: Earth and Environmental Science, 2019, 234: 01205.11Fang J, Zhou DF, Yan FL, et al . Augmented LiDARsimulator for autonomous driving. arXiv preprint arXiv:1811.07112, 2019.12Dworak D, Ciepiela F, Derbisz J, et al . Performance ofLiDAR object detection deep learning architectures based on artificially generated point cloud data from CARLA simulator. Proceedings of IEEE 2019 24th International Conference on Methods and Models in Automation and Robotics. Międzyzdroje, Poland. 2019. 600–605.13清华大学苏州汽车研究院, 广汽研究院智能网联技术研发中心, 中国汽车技术研究中心智能汽车研究室暨汽车软件测评中心, 等. 中国自动驾驶仿真技术研究报告(2019).2019.14Tong KL, Ajanovic Z, Stettinger G. Overview of toolssupporting planning for automated driving. arXiv preprint arXiv: 2003.04081, 2020.15Rong GD, Shin BH, Tabatabaee H, et al . LGSVL simulator:A high fidelity simulator for autonomous driving. arXiv preprint arXiv: 2005.03778, 2020.16https:///. [2020-08-13].17Perumal L. Euler angles: Conversion of arbitrary rotationsequences to specific rotation sequence. Computer Animation & Virtual Worlds, 2014, 25(5–6): 521–529.18/rosbridge_suite/. [2020-08-13].19计算机系统应用2021 年 第 30 卷 第 5 期。
一种车辆识别代号检测和识别的弱监督学习方法
![一种车辆识别代号检测和识别的弱监督学习方法](https://img.taocdn.com/s3/m/80553e02b5daa58da0116c175f0e7cd1842518f2.png)
DOI:10.12086/oee.2021.200270一种车辆识别代号检测和识别的弱监督学习方法曹志1,2,尚丽丹1,2,尹东1,2*1中国科学技术大学信息科学技术学院,安徽合肥 230027;2中国科学技术大学中国科学院电磁空间信息重点实验室,安徽合肥230027摘要:车辆识别代号对于车辆年检具有重要的意义。
由于缺乏字符级标注,无法对车辆识别代号进行单字符风格校验。
针对该问题,设计了一种单字符检测和识别框架,并对此框架提出了一种无须字符级标注的弱监督学习方法。
首先,对VGG16-BN各个层次的特征信息进行融合,获得具有单字符位置信息与语义信息的融合特征图;其次,设计了一个字符检测分支和字符识别分支的网络结构,用于提取融合特征图中的单字符位置和语义信息;最后,利用文本长度和单字符类别信息,对所提框架在无字符级标注的车辆识别代号数据集上进行弱监督训练。
实验结果表明,本文方法在车辆识别代号测试集上得到的检测Hmean数值达到0.964,单字符检测和识别准确率达到95.7%,具有很强的实用性。
关键词:卷积神经网络;弱监督学习;自然场景文本检测;自然场景文本识别;车辆识别代号中图分类号:TP391.4;TP181 文献标志码:A曹志,尚丽丹,尹东. 一种车辆识别代号检测和识别的弱监督学习方法[J]. 光电工程,2021,48(2): 200270Cao Z, Shang L D, Yin D. A weakly supervised learning method for vehicle identification code detection and recognition[J].Opto-Electron Eng, 2021, 48(2): 200270A weakly supervised learning method for vehicle identification code detection and recognitionCao Zhi1,2, Shang Lidan1,2, Yin Dong1,2*1School of Information Science Technology, University of Science and Technology of China, Hefei, Anhui 230027, China;2Key Laboratory of Electromagnetic Space Information of Chinese Academy of Sciences, University of Science and Technology of China, Hefei, Anhui 230027, ChinaAbstract:The vehicle identification code (VIN) is of great significance to the annual vehicle inspection. However, due to the lack of character-level annotations, it is impossible to perform the single-character style check on the VIN. To solve this problem, a single-character detection and recognition framework for VIN is designed and a weakly supervised learning algorithm without character-level annotation is proposed for this framework. Firstly, the feature information of each level of VGG16-BN is fused to obtain a fusion feature map with single-character position infor-mation and semantic information. Secondly, a network structure for both the character detection branch and the character recognition branch is designed to extract the position and semantic information of a single character in the——————————————————收稿日期:2020-07-18;收到修改稿日期:2020-10-23基金项目:安徽省重点研究与开发计划项目(1804a09020049)作者简介:曹志(1996-),男,硕士研究生,主要从事计算机视觉方面的研究。
中科院_段成华_专用集成电路设计_作业 2
![中科院_段成华_专用集成电路设计_作业 2](https://img.taocdn.com/s3/m/2df3a14bb307e87101f696e5.png)
Assignment 21. (7.10)Implement a NAND gate model using the IEEE nine-valued system.For the RS flip-flop shown in Figure 7.60, assume that both gate outputs are initially U, and that the two inputs R——and S——are initially 0 and switch to 1 simultaneously. Simulate the circuit at logic gate level when:a.Both gates have identical delays.b.The two gates have different delays. Compare your results.YY’Figure 7.60 R-S flip-flop------------------------------------------------------------------------------------------------------- ----------------------------------------RS触发器的门级模型----------------------------------- ------------------------------------------------------------------------------------------------------- library IEEE;use IEEE.STD_LOGIC_1164.ALL;entity RS isport ( NS,NR: in std_logic;Y,NY : out std_logic);end entity RS;architecture rtl of RS iscomponent nand0 isport (a,b:in std_logic;c:out std_logic);end component;signal z1,z2:std_logic;beginNY<=z2;Y<=z1;u1:nand0 port map(NS,z2,z1);u2:nand0 port map(NR,z1,z2);end architecture rtl;------------------------------------------------------------------------------------------------------- ----------------------------------RS触发器的门级模型测试激励----------------------------- ------------------------------------------------------------------------------------------------------- library IEEE;use IEEE.STD_LOGIC_1164.ALL;entity RS_TB isend entity RS_TB;architecture RTL of RS_TB iscomponent RS isport ( NS,NR: in std_logic;Y,NY: out std_logic);end component;signal NY :std_logic:='1';signal Y :std_logic:='1';signal NS :std_logic:='0';signal NR :std_logic:='0';beginDUT:RS port map(NS => NS,NR => NR,y => y,NY => NY);processbeginNS <= '0';NR <= '0';wait for 0.1 us;NS <= '1';NR <= '1';wait for 0.1 us;end process;end architecture RTL;------------------------------------------------------------------------------------------------------- --------------共同延迟的RS电路门级仿真、此次采用的是VCS 2009.12--------------- -------------------------------------------------------------------------------------------------------一、建立和设置环境变量二、分析三、Elaboration四、仿真1、调用DVE2、查看仿真波形3、根据DVE检查波形,分析功能上图是VCS图形界面的DVE工具显示的波形图,从上面可以得到一下几个结论:1、初始状态输出端为‘U’,输入端均为‘0’;2、在1ns的反应延迟之后,输出端根据当前状态被置为‘1’;3、在100ns时,输入端同时置‘1’,此时输出端出现震荡状态。
基于深度学习的多模态时空动作识别
![基于深度学习的多模态时空动作识别](https://img.taocdn.com/s3/m/dfaf14d5951ea76e58fafab069dc5022aaea46d2.png)
基于深度学习的多模态时空动作识别①吴 敏, 王 敏(河海大学 计算机与信息学院, 南京 211100)通讯作者: 吴 敏摘 要: 针对视频理解中的时序难点以及传统方法计算量大的困难, 提出了一种带有时空模块的方法用于动作识别. 该方法采用残差网络作为框架, 加入时空模块提取图像以及时序信息, 并且加入RGB 差值信息增强数据, 采用NetVLAD 方法聚合所有的特征信息, 最后实现行为动作的分类. 实验结果表明, 基于时空模块的多模态方法具有较好的识别精度.关键词: 时空模型; 多模态; 动作识别引用格式: 吴敏,王敏.基于深度学习的多模态时空动作识别.计算机系统应用,2021,30(3):272–275. /1003-3254/7840.htmlMulti-Modal Spatiotemporal Action Recognition Based on Deep LearningWU Min, WANG Min(College of Computer and Information, Hohai University, Nanjing 211100, China)Abstract : In view of the time-series difficulty in video understanding and a large amount of calculation in traditional methods, we propose a method with spatio-temporal module for action recognition. With a residual network as the framework, this method adds spatio-temporal module to extract images and time series, adds RGB difference to enhance data, and finally uses the NetVLAD method to aggregate all feature information. In this way, actions are classified. The experimental results show that the multimodal method based on spatio-temporal module has better recognition accuracy.Key words : spatio-temporal model; multi-modal; action recognition1 引言由于互联网的快速发展, 传播媒介的日渐丰富, 网络视频的数量以指数级的速度大量增长. 如何理解视频内容成为一个亟需解决的问题. 动作识别作为计算机视觉中的一个热门领域受到了广泛的关注, 在监控分析、人机交互、体育视频解读等领域内有着广阔的应用前景.在动作识别中, 有两个关键的有效信息: 空间信息和运动信息. 一个识别系统的性能在很大程度上取决于它能否从中提取和利用相关信息. 然而, 由于许多复杂的因素, 例如比例变化、视角变化和相机运动等, 提取这些信息是非常困难的. 因此, 设计有效的特征表示和模型方法来处理这些挑战, 同时保留动作的有效分类信息就变的至关重要. 随着深度学习在图像、文本等领域内取得了成功后, 该方法在动作识别领域内也得到了广泛的应用, 由早期的手工特征的方法, 转变为基于深度学习的方法. 卷积神经网络有着强大的建模能力, 近年来, 机器设备计算能力的提升和大型数据集的出现, 使得基于深度学习的方法成为视频分析动作识别的参考标准.动作识别作为动作预测领域和人体姿态分析的基础, 其主要目标就是对视频中的人物所做的行为动作进行理解分类, 那么如何有效利用视频中的各部分有效信息进行识别是首要问题. 视频识别和图像识别中最大的区分点就是时序信息的使用和建模. 早期采用时空描述符用于特征的提取和分类, Wang 等[1]提出采计算机系统应用 ISSN 1003-3254, CODEN CSAOBNE-mail: Computer Systems & Applications,2021,30(3):272−275 [doi: 10.15888/ki.csa.007840] ©中国科学院软件研究所版权所有.Tel: +86-10-62661041① 收稿时间: 2020-07-19; 修改时间: 2020-08-28; 采用时间: 2020-09-01; csa 在线出版时间: 2021-03-03272用Fisher向量对密集运动轨迹DT进行编码表示. 基于此, Wang等[2]提出改进后的IDT算法, 改进特征正则化方式和特征编码方式, 在动作识别上取得了显著的成果. 深度学习的出现使得能够更好地进行特征的提取和学习. 2D卷积建模用于视频理解主要是对单帧视频进行特征的提取, 不能够很好地对时序信息进行建模. Simonyan等[3]提出了将基于外观的信息与运动相关的信息分离出来, 使用两个并行的卷积网络处理RGB和光流输入, 基于空间流和光流图的双流卷积网络方法用于动作识别, 识别率高. Wang等[4]基于双流网络提出时间片段网络, 将整段视频分割成连续的视频片段, 将每段视频分别输入到网络中, 它将稀疏时间采样策略和基于视频的监督相结合, 使用整个视频有效的学习. 3D卷积[5]能够对时空信息进行更好的捕捉,但是所需的计算成本太大. Ji等[6]首先提出了扩展时间信息后的3D卷积网络用于动作识别, 使用三维核从空间和时间维度中提取特征. Tran等[7]使用三维卷积和三维池化进一步改进3D卷积网络并命名为C3D.近年来对于识别的实时性要求不断提高, 网络架构转向采用轻量级的模块来替代传统的光流方法来减少计算量. Lee等[8]提出了包含运动模块的运动特征网络MFNet, 该运动块可以在端到端训练的统一网络中的相邻帧之间编码时空信息. Jiang等[9]将2D网络作为主干架构, 提出一个简单高效的STM模块用于编码空间和运动信息. Feichtenhofer等[10]提出了快慢结合的模型, 使用了一个慢速高分辨率CNN(Slow通道)来分析视频中的静态内容, 同时使用一个快速低分辨率CNN(Fast通道)来分析视频中的动态内容, 对同一个视频片段应用两个平行的卷积神经网络, 取得了显著的效果. Zhao等[11]将RGB和光流嵌入到一个具有新层的二合一流网络中, 在运动条件层从流图像中提取运动信息, 在运动调制层利用这些信息生成用于调制低层RGB特征的变换参数, 进行端到端的训练, 利用运动条件对RGB特征进行调制可以提高检测精度.本文采用时空模块提取图像以及时序信息, 使用平移部分通道的方法来实现时空信息的融合, 减少计算量, 同时加入RGB差值信息增强数据, 最后采用NetVLAD聚合所有的特征信息实现行为动作的分类.2 基于深度学习的多模态时空动作识别2.1 移位时空模块该模块的主要功能是对不同时间点提取的视频帧特征图进行信息交换, 从而实现时序特征的提取. 地址的移位用于图像识别取得了较好的效果. 根据文献[12]中的模型, 不同于卷积操作, 移位操作本身不需要参数或浮点运算, 相反移位操作包含一系列的记忆性操作,可以通过移位操作融合1×1卷积来提取聚合特征信息,从而减少计算量. 以普通一维卷积举例来说, 预测值表示为对不同输入进行加权求和的结果值, 如式(1)所示. 换一个角度如果将输入值看成是当前时间点和相邻时间点的输入, 也就是输入值看成移位后的−1, 0, 1三个时间点的输入值后, 如式(2)所示, 再进行乘性相加, 如式(3)所示. 由此移位卷积可以概括为移位和乘性相加两个过程的结果.将T帧图片C通道的输入进行排列后的张量, 如图1所示.图1 移位模块的特征示意图每行的各图片通道都表示的是不同时间点获取的图片帧特征值. 对于不同时间点下的同一通道的特征值沿着时间维度进行平移, 部分通道值向下平移一格,部分通道值向上平移一格, 移位后空缺的部分补0, 多出的特征图通道值移出, 从而实现双向平移, 相邻帧的特征信息在移动后与当前帧混合. 但并不是平移越多,交换的信息也越多. 如果移位的比例太小, 时间建模的能力可能不足以处理复杂的时间关系; 如果移位的比例太大, 空间特征学习能力可能会降低过多. 为了进行有效的时空信息融合, 避免移动过多的通道而导致空间建模能力下降, 只移动部分通道, 从而达到平衡空间特征学习和时间特征学习的模型能力.本文将该移位模块加入到残差网络的每个分支残差块中, 在卷积操作前进行移位操作, 不增加3D计算2021 年 第 30 卷 第 3 期计算机系统应用273量的情况下实现时空信息的融合, 对于每个插入的移位时空模块, 时间感受野被放大2倍, 由此进行复杂的时间建模.2.2 多模态除了充分利用时空信息之外, 本文还加入叠加的RGB 差值进行多模态的输入, 实现信息增强的效果. 常用的提取光流图来表征运动信息的方法计算量大, 在光流图计算过程中的关键步骤是将像素值沿时间方向求偏导, 所以本文将其简化成RGB 差值来作为输入,来表示外观变化和显著运动的区域, 从中训练学习运动信息, 从而大大节省了光流提取的时间. 得出的预估分数与时空特征得出的分数进行相加平均用于识别结果.2.3 NetVLAD 方法VLAD 方法[13]在图像检索领域中作为局部聚合描述符向量, 对提取的图像特征进行后处理编码用于图像的表示, 近年来开始应用到端到端的卷积神经网络中用来表示图像特征. 本文采用NetVLAD 方法[14]来作为池化层加入到卷积层的最后, 作为池化层来聚合特征信息.i ∈{1···N }x i ∈R D K c k R D x i x i −c k 对于一张特征图x , 需要从空间位置获取D 维的特征向量来表示该特征图. 首先给定个聚类中心将特征空间划分成K 个单元. 每一个特征向量都对应着一个单元, 并用残差向量表示特征向量和聚类中心的差值, 由此得到的差分向量表示为:x i (j )c k (j )x i c k αv ∈R KD 其中, 和表示特征向量和聚类中心的第j 个分量, 是可训练的超参数. 输出矩阵V 中的第K 列表示的是第K 个单元中聚合的特征向量, 接着将矩阵按列进行归一化, 以及L 2-归一化后化为一维向量表征特征图. 最后将输出值送入到全连接层用于分类.3 实验分析3.1 实验环境与实验数据实验硬件配置为GTX 1080 Ti, 编程语言为Python,基于PyTorch 框架. 数据集是UCF101[15]和HMDB51[16].UCF101数据集包含101个动作类别, 共13 320个视频片段. HMDB51数据集是一个包含电影、网络视频等多个来源的真实动作视频的集合, 共51个类别, 6766个视频片段. 数据集都提供了相应的训练集和测试集的划分. 调整视频帧为224×224作为网络的输入.训练参数为: 50个epoch, 初始学习率为0. 01, 权值衰减率为1e–4, 批处理大小为16, dropout 值为0. 5.本文使用从Kinetics 数据集[17]预先训练的权重进行微调,并冻结批处理规范化层. 对于残差移位模块, 根据文献[18]中的研究结果, 当部分移位信道1/4 (双向移位每个方向1/8)时, 性能达到峰值.时空模块的部分采用的是ResNet50框架, 将时空模块加入到残差网络的分支残差块中, 获得更好的空间特征学习能力.3.2 实验结果分析从表1可以看出, 本文中加入时空模块以及多模态的方法确实能够对识别精度有一定程度的提升, 对比C3D 、ArtNet 方法, 在预训练数据集相同, 浮点运算的数量级相同的条件下, 对两个数据集的识别精度分别达到了不同程度的提升. 对比TSN 方法, 识别精度得到了很大的提升, 在两个数据集上分别提升了8.8和19.4个百分点, 也能够看出使用大型动作数据集进行预训练得出的参数优化能够使实验结果精度得到更大的提升. 在计算资源充足的条件下, 预训练能够对识别的精度起到较大的提升影响. 同时对比I3D 方法, 本文方法在基于2D 模型下的浮点计算量, 能够达到与之相匹敌的识别精度, 实现了计算量和识别精度两方面的平衡.表1 实验结果方法预训练数据集基础架构FLOPs (GB)UCF101HMDB51TSN [19]ImageNet+Kinetics Inception V21686. 453. 7C3D [7]Kinetics ResNet-182089. 862. 1ArtNet[20]KineticsResNet-182494. 370. 9I3D [21]ImageNet+Kinetics 3DResNet-5015395. 674. 8本文Kinetics ResNet-503395. 273. 14 结论与展望本文提出了一种带时空模块的多模态方法. 该方法将时空模块引入到2D 卷积网络中, 实现时空信息的提取融合, 不增加浮点运算, 同时加入RGB 差值进行信息增强, 并采用NetVLAD 方法聚合所有的特征信息,最后实现行为动作的分类, 在数据集UCF101和HMDB51计算机系统应用2021 年 第 30 卷 第 3 期274上达到了比较理想的识别精度, 且与3D 方法的计算量相比较, 较好地实现了计算量和识别精度的平衡.参考文献Wang H, Klaser A, Schmid C, et al . Action recognition bydense trajectories. Proceedings of CVPR 2011. Providence,RI, USA. 2011. 3169–3176.1Wang H, Schmid C. Action recognition with improvedtrajectories. Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, Australia. 2013.3551–3558.2Simonyan K, Zisserman A. Two-stream convolutionalnetworks for action recognition in videos. Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, QC, Canada. 2014. 568–576.3Wang LM, Xiong YJ, Wang Z, et al . Temporal segmentnetworks: Towards good practices for deep action recognition. Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the Netherlands. 2016.20–36.4Carreira J, Zisserman A. Quo vadis, action recognition? Anew model and the kinetics dataset. Proceedings of 2017IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA. 2017. 4724–4733.5Ji SW, Xu W, Yang M, et al . 3D convolutional neuralnetworks for human action recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1):221–231. [doi: 10.1109/TPAMI.2012.59]6Tran D, Bourdev L, Fergus R, et al . Learning spatiotemporalfeatures with 3D convolutional networks. Proceedings of 2015 IEEE International Conference on Computer Vision.Santiago, Chile. 2015. 4489–4497.7Lee M, Lee S, Son S, et al . Motion feature network: Fixedmotion filter for action recognition. Proceedings of the 15th European Conference on Computer Vision. Munich,Germany. 2018. 392–408.8Jiang BY, Wang MM, Gan WH, et al . STM: Spatiotemporaland motion encoding for action recognition. Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul, Republic of Korea. 2019. 2000–2009.9Feichtenhofer C, Fan HQ, Malik J, et al . SlowFast networksfor video recognition. Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul,10Republic of Korea. 2019. 6201–6210.Zhao JJ, Snoek CGM. Dance with flow: Two-in-one streamaction detection. Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach,CA, USA. 2019. 9927–9936.11Wu BC, Wan A, Yue XY, et al . Shift: A zero FLOP, zeroparameter alternative to spatial convolutions. Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA. 2018. 9127–9135.12Jégou H, Douze M, Schmid C, et al . Aggregating localdescriptors into a compact image representation. Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, CA, USA.2010. 3304–3311.13Arandjelovic R, Gronat P, Torii A, et al . NetVLAD: CNNarchitecture for weakly supervised place recognition.Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA. 2016.5297–5307.14Soomro K, Zamir AR, Shah M. Ucf101: A dataset of 101human actions classes from videos in the wild. arXiv:1212.0402, 2012.15Kuehne H, Jhuang H, Stiefelhagen R, et al . HMDB51: Alarge video database for human motion recognition. Nagel WE, Kröner DH, Resch MM. High Performance Computing in Science and Engineering’ 12. Berlin, Heidelberg: Springer,2013. 571–582.16Kay W, Carreira J, Simonyan K, et al . The kinetics humanaction video dataset. arXiv: 1705.06950, 2017.17Lin J, Gan C, Han S. TSM: Temporal shift module forefficient video understanding. Proceedings of 2019IEEE/CVF International Conference on Computer Vision.Seoul, Republic of Korea. 2019. 7082–7092.18Wang LM, Xiong YJ, Wang Z, et al . Temporal segmentnetworks for action recognition in videos. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(11):2740–2755. [doi: 10.1109/TPAMI.2018.2868668]19Wang LM, Li W, Li W, et al . Appearance-and-relationnetworks for video classification. Proceedings of 2018IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA. 2018. 1430–1439.20Wang XL, Gupta A. Videos as space-time region graphs.Proceedings of the 15th European Conference on Computer Vision. Munich, Germany. 2018. 413–431.212021 年 第 30 卷 第 3 期计算机系统应用275。
数字集成电路--电路、系统与设计(第二版)复习资料
![数字集成电路--电路、系统与设计(第二版)复习资料](https://img.taocdn.com/s3/m/06774551a8114431b90dd8c2.png)
第一章 数字集成电路介绍第一个晶体管,Bell 实验室,1947第一个集成电路,Jack Kilby ,德州仪器,1958 摩尔定律:1965年,Gordon Moore 预言单个芯片上晶体管的数目每18到24个月翻一番。
(随时间呈指数增长)抽象层次:器件、电路、门、功能模块和系统 抽象即在每一个设计层次上,一个复杂模块的内部细节可以被抽象化并用一个黑匣子或模型来代替。
这一模型含有用来在下一层次上处理这一模块所需要的所有信息。
固定成本(非重复性费用)与销售量无关;设计所花费的时间和人工;受设计复杂性、设计技术难度以及设计人员产出率的影响;对于小批量产品,起主导作用。
可变成本 (重复性费用)与产品的产量成正比;直接用于制造产品的费用;包括产品所用部件的成本、组装费用以及测试费用。
每个集成电路的成本=每个集成电路的可变成本+固定成本/产量。
可变成本=(芯片成本+芯片测试成本+封装成本)/最终测试的成品率。
一个门对噪声的灵敏度是由噪声容限NM L (低电平噪声容限)和NM H (高电平噪声容限)来度量的。
为使一个数字电路能工作,噪声容限应当大于零,并且越大越好。
NM H = V OH - V IH NM L = V IL - V OL 再生性保证一个受干扰的信号在通过若干逻辑级后逐渐收敛回到额定电平中的一个。
一个门的VTC 应当具有一个增益绝对值大于1的过渡区(即不确定区),该过渡区以两个有效的区域为界,合法区域的增益应当小于1。
理想数字门 特性:在过渡区有无限大的增益;门的阈值位于逻辑摆幅的中点;高电平和低电平噪声容限均等于这一摆幅的一半;输入和输出阻抗分别为无穷大和零。
传播延时、上升和下降时间的定义传播延时tp 定义了它对输入端信号变化的响应有多快。
它表示一个信号通过一个门时所经历的延时,定义为输入和输出波形的50%翻转点之间的时间。
上升和下降时间定义为在波形的10%和90%之间。
对于给定的工艺和门的拓扑结构,功耗和延时的乘积一般为一常数。
色彩空间转换器的硬件结构分析及优化
![色彩空间转换器的硬件结构分析及优化](https://img.taocdn.com/s3/m/e3626b47b307e87101f69643.png)
马骁骅,赵峰
上海交通大学微电子学院,上海,200040 摘 要:本文分析了分布式算法,对一种通用色彩空间转换器的硬件实现进行了改进。用一 组寄存器替代庞大的 ROM/SRAM 阵列,较大程度减小了面积(经优化后硬件实现面积减小 50%以上) ,同时增强了可配置性;在架构上,采用并行的流水方式实现,利用 4-2 压缩器, 将流水级数减少了一半以上, 因此具有较小的延时和较高的数据吞吐率, 可以完全满足对色 彩空间实时处理的需要。 关键字: 关键字:分布式算法,色彩空间转换,4-2 压缩器
5
可以明显地看出,优化后相对于之前虽增加了许多组合逻辑面积,但整体的硬件面积却 减少了 50%以上。面积减少的主要原因是原先有 8 个 8*8bits 的 ROM,而现在只用了 8 个 14bits 的寄存器。 而在速度上,原先的 8 级流水变为 2 级,第 3 个周期即可开始出结果,在小批量数据转换上 具有优势,同时也便与扩展控制电路。
∑a X
i i =0
2
i,m
值。当然,预先
∑ ai X i ,m = PPm ,则 F = ∑ PPm × 2 m
i =0 m =0
2
7
查找表的内容如下所示:
2
表1 查找表
查找表输入地址
查找表结果 X2,m
X0,m
X1,m
0
0
0
0
0
0
1
a2
0
1
0
a1
0
3.2 压缩器归并结构
根据上一步的查表,得到了8个部分积,再加上常量a3,最后的结果为这9个数的和。在原 先的结构中,每个周期做一次加法,八个周期做了八次加法。现在针对该结构用一种4-2归 并的算法[6],最大限度的提高了归并的效率。其核心思想为一种“carry-save”的算法,最普通 的想法是3个数可归并为2数,在相加时,每一位都保留其进位与和,这样就形成了新的两个 数,数据得以减少,它的优势在于高位数据的相加不依赖于低位的进位,这样n位的数据可 以并行相加, 所以比传统意义上的全加器速度更快, 效率更高。 图2是一个3-2压缩器的例子。
超大规模集成电路第七次作业2016秋,段成华
![超大规模集成电路第七次作业2016秋,段成华](https://img.taocdn.com/s3/m/4e612c1feff9aef8941e066a.png)
Assignment 71.Analyze the sequential element (SE) of Actel ACT FPGA (as shown below) with any possible combinations of C1, C2 and CLR C controls.A. Which functions does this SE support?B. Verify these functions by using HSPICE simulator at circuit level OR using Modelsim simulator at logic level.Master Latch Slave LatchFigure 1 Actel ACT 2 and ACT 3 Logic Modules: The equivalent circuit (withoutbuffering) of the SE (sequential element)Solution:A:(1)、C1=0,C2=0,CLR=1,S1=0,D输出到M,同时将M传递到F1,G5处于采样阶段,而S2=1,所以G7处于保持状态;若CLR=0,G6和G8输出为0,整个电路不工作。
(2)、C1=1,C2=0,CLR=1,则S1=0,G5处于采样状态将信号传递到M,MC=1,M传输到F1,同时S2=0,则F1传递到S,同时也传递到Q,即直通状态,CLR=0也是如此状态,因为T=1。
(3)、C1=0,C2=1,CLR=1,由于MC=1,所以输出到F1,且S1=1,G5处于保持,而S2=0,所以F1传输到S,同时可以传递到Q,这个属于边沿触发器的传递阶段。
若CLR=0,MC=0,所以都清0。
(4)、C1=1,C2=1,CLR=1,则S1=0,D输出到M,MC=1,所以M采样到F1,而G7则处于保持状态,CLR=0,若CLR=0,G6和G8输出为0,整个电路不工作。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
ready and /burst
read3
/ready read4
ready States Idle Decision Read1 Read2 Read3 Read4 Write oe 0 0 1 1 1 1 0 we 0 0 0 0 0 0 1 addr[1:0] 00 00 00 01 10 11 00
@else reset (synch.) idle ready Bus_id = “F3” decision /read_write /ready write read_write read1 /ready /ready ready and burst read2 ready /ready ready
boolean; in std_logic; in std_logic; out std_logic; out std_logic
architecture Behavioral of cnt_fsm is type STATE_TYPE is (s0,s1,s2,s3,s4,s5,s6,s7,s8,s9,s10,s11,s12,s13,s14,s15); attribute ENUM_ENCODING: STRING; attribute ENUM_ENCODING of STATE_TYPE: type is "0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111"; signal next_state,current_state: STATE_TYPE; begin
③信号申明部分的 up_down 类型申明为 boolean 类型,同时初值置为 “true” 。
signal up_down : boolean := true;
④最后用于仿真波形使用的激励如下:
stim_proc: process begin rst<='1'; wait for clk_period; rst<='0'; wait for clk_period*20; up_down<=false; wait for clk_period*20; wait; end process;
@else reset (synch.) idle ready Bus_id = “F3” decision /read_write /ready write read_write read1 /ready /ready ready and burst read2 ready /ready ready
空间中心 马路 2011E8007361063
姓名:马路 班级:20110Assignment 7 (OPTIONAL) 1. Design a VHDL model for a 4-bit up-and-down synchronous binary counter with carry and borrow signs using FSM. Verification of this design is especially appreciated. 2. FSM is frequently used to design SRAM controller. Given the bubble diagram of a SRAM controller and its state-and-output table as shown below, please � Verif y this model. For the FSM with states encoded in One-Hot type, � draw schematic circuits for states (1) IDLE, (2) DECISION, (3) WRITE, and (4) READ1, READ2, READ3, READ4 respectively.
说明:所以在写计数器状态机的程序代码时,只需要对照着状态转移图就可以很 轻松地写出代码。首先复位,状态机最先停留在 S0 状态,此时进位信号 carry 和借位信号 borrow 都为 0,此时如果加减计数标志 up_down 为假, 则计数器做减法,此时需要借位,从而转到 S15 状态,并且置借位信号 borrow 为 1;当加减计数标志 up_down 为真时,计数器开始做加法,在时 钟的作用下,从状态 S0 一直计数到状态 S15 ;当计数状态出于 S15 时,此时 如果 up_down 为真,再来一个时钟,计数状态就会从 S15 转到 S0 ,并且置 进位标志 carry 为 1。
空间中心 马路 2011E8007361063
1.5
计数器状态机 TestBench 文件 计数器的 TestBench 文件很好写,但是需要注意几点: ①由于使用了 boolean 类型的端口,所以需要加入下面的两个库文件:
USE IEEE.STD_LOGIC_TEXTIO.ALL; USE STD.TEXTIO.ALL;
②端口映射部分的 up_down 信号应该修改为 boolean 类型(默认为 std_logic 类型) 。
COMPONENT cnt_fsm PORT( up_down : IN boolean; rst : IN std_logic; clk : IN std_logic; carry : OUT std_logic; borrow : OUT std_logic ); END COMPONENT;
空间中心 马路 2011E8007361063
状态机状态转换程序
when s5 => if (up_down) then next_state<=s6; else next_state<=s4; end if; when s6 => if (up_down) then next_state<=s7; else next_state<=s5; end if; when s7 => if (up_down) then next_state<=s8; else next_state<=s6; end if; when s8 => if (up_down) then next_state<=s9; else next_state<=s7; end if; when s9 => if (up_down) then next_state<=s10; else next_state<=s8; end if; when s10 => if (up_down) then next_state<=s11; else next_state<=s9; end if; when s11 => if (up_down) then next_state<=s12; else next_state<=s10; end if; when s12 => if (up_down) then next_state<=s13; else next_state<=s11; end if; when s13 => if (up_down) then next_state<=s14; else next_state<=s12; end if; when s14 => if (up_down) then next_state<=s15; else next_state<=s13; end if; when s15 => borrow<='0'; if (up_down) then next_state<=s0; carry<='1'; else next_state<=s14; end if; end case; end process COMB_PROC; end Behavioral;
空间中心 马路 2011E8007361063
Answers:
1. Design a VHDL model for a 4-bit up-and-down synchronous binary counter with carry and borrow signs using FSM. Verification of this design is especially appreciated. 解答: 1.1 题目要求利用状态机设计一个 4 比特的可加减计数器,并且带有进位和借 位标志。由此可知,一共有 16 种状态,分别定义为: S0 ~ S15 ,对应的状 态分别为: 0000 ~ 1111 。首先根据题目要求画出状态转移图如下:
ready and /burst
read3
/ready read4
ready States Idle Decision Read1 Read2 Read3 Read4 Write oe 0 0 1 1 1 1 0 we 0 0 0 0 0 0 1 addr[1:0] 00 00 00 01 10 11 00
空间中心 马路 2011E8007361063
2. FSM is frequently used to design SRAM controller. Given the bubble diagram of a SRAM controller and its state-and-output table as shown below, please � Verif y this model. For the FSM with states encoded in One-Hot type, � draw schematic circuits for states (1) IDLE, (2) DECISION, (3) WRITE, and (4) READ1, READ2, READ3, READ4 respectively.