张小川---feed分级缓存的极致优化
张小川---feed分级缓存的极致优化
全球软件案例研究峰会feed分级缓存的极致优化带来50%的效率提升议程全球软件案例研究峰会•Feed架构挑战•Feed缓存极致优化效果•Feed缓存架构设计•Feed缓存架构优化•Feed缓存架构平滑升级全球软件案例研究峰会微博用户数持续快速增长微博发博量持续增长全球软件案例研究峰会Feed架构挑战全球软件案例研究峰会•Data bigger than bigger, 微博数据量指数级增长。
•Speed faster than faster,用户体验要求微博越来越快。
•Business more and more,微博平台架构需要支撑越来越多的业务。
Feed缓存架构优化目标全球软件案例研究峰会•构建高可用,高性能,可扩展的微博缓存架构,满足微博未来2-3内的业务发展需求。
•提高性能,在成本与性能之间找到极致的平衡点。
•缓存架构平滑升级,不能影响线上业务。
全球软件案例研究峰会Feed缓存架构优化成果接口响应时间对比新架构(MVD)老架构(VSL)friends_timeline/ids34ms63msfriends_timeline85ms130ms全球软件案例研究峰会Feed缓存架构优化成果•缓存服务器数据分析缓存数据聚合时间容量(用户数)带宽(晚高峰)VSL21.2ms2亿40M/SMVD 4.5ms4亿10M/S全球软件案例研究峰会Feed缓存架构设计•缓存架构高可用设计•缓存预热与灰度上线•缓存服务保障体系•缓存架构平滑升级一致性Hash 全球软件案例研究峰会多级缓存架构设计全球软件案例研究峰会•Feed推拉结合模式全球软件案例研究峰会•缓存示意图全球软件案例研究峰会全球软件案例研究峰会Feed缓存架构优化•优化思路分析用户行为日志与微博曝光量日志,精简数据计算与存储,减少信息过载。
满足新业务发展需要,丰富缓存数据的数据结构。
压缩数据,降低带宽消耗,并提升缓存的利用率。
全球软件案例研究峰会Feed 缓存架构优化•用户行为抽样数据分析用户浏览页数统计微博曝光量日志抽样分析97%用户都是浏览5天内的微博。
分层式大数据存储系统缓存调度策略与性能优化
分层式大数据存储系统缓存调度策略与性能优化
吴俊
【期刊名称】《九江学院学报:自然科学版》
【年(卷),期】2022(37)2
【摘要】近年来,数据呈爆炸式增加,传统的单机系统已经无法在短时间内完成大规模数据处理工作。
文章提出一种分层式大数据存储系统缓存调度策略与性能优化方法,通过运筹学的优先制排队模型对虚拟机做出的请求进行分析,调整不同文件的输出顺序,以最小运行成本为目标,构建分层式大数据存储系统缓存调度模型。
采用量子粒子群算法(QPSO)对模型求解,同时对性能进行优化,获取最优缓存调度策略。
仿真实验实验结果表明,文章所提方法可以最快的速度为分层式大数据存储系统提供最佳调度策略。
【总页数】5页(P49-53)
【作者】吴俊
【作者单位】安徽医学高等专科学校
【正文语种】中文
【中图分类】TP391
【相关文献】
1.一种P2P环境下分布式文件存储系统的缓存策略
2.大数据存储系统I/O性能优化技术研究进展
3.大数据存储系统I/O性能优化技术研究进展
4.分布式存储系统中的数据高效缓存方法
5.分布式存储系统中的数据高效缓存方法
因版权原因,仅展示原文概要,查看原文内容请购买。
一种有效的异构盘高能效缓存机制
c mb n S a d HDD y u i g S D sa c c e f rHDD, ih ce ts mo e i l me frHDD h td wn f r o ie S D n b sn S a a h o wh c r ae r d et i o t su- o o o
在过 去 的 5 O多年里 ,由于硬盘 技术 的逐 渐成熟 ,
机 械结构 ,所 以突发响应 时间非常短 。这种多 片的体 系 结构还可 以发挥并行存 取的优势 , 获得极高 的数据
传 输速率 。
硬 盘 因其 容量大 、 性价 比高等众 多优 势成 为从个人计 算 机 到 企业 级存 储系 统 等计 算 机系 统 的主要 存储 设
p we svn . t h a' t , ep t ot ad cyefre e t e l e n lo tm ( E a oi m rso ) o r a ig A esne i w u fr ea-nocm n r a met g rh D l rh f hr - t l me h p c a i g t o t
21 0 1年 第 2 卷 第 1 O 1期
o n
计 算 机 系 统 应 用
一
种有效的异构盘高能效缓存机制①
窦少彬 ,杨 良怀 ,龚卫华
( 浙江 工业大学 计算机科 学与技术 学院 ,杭州 3 0 2 ) 10 3
摘 要 :固态盘具 有低功耗 、高 性能、耐冲击等优势 ,硬盘 具有高容量 、低 价格 等优势。通过改进文件系统 的
能和 降低 能耗。 关键词 :磁盘节 能;固态盘;缓存策略;存储系统;能效
Efe tv e g ・ f c e fe i c e ef rHe e o- i e f c i eEn r y- i i ntBuf r ng S h m o t r ・ v Ef Dr
基于深度学习的车辆前方障碍物距离估测
㊀收稿日期:2022-11-08基金项目:安徽省教育厅高等学校科学研究项目(自然科学类)(2022AH052920)作者简介:王玉堂(1983-)ꎬ男ꎬ安徽涡阳人ꎬ硕士ꎬ副教授ꎬ研究方向:大数据及人工智能.㊀㊀辽宁大学学报㊀㊀㊀自然科学版第50卷㊀第3期㊀2023年JOURNALOFLIAONINGUNIVERSITYNaturalSciencesEditionVol.50㊀No.3㊀2023基于深度学习的车辆前方障碍物距离估测王玉堂(安徽信息工程学院大数据与人工智能学院ꎬ安徽芜湖241199)摘㊀要:随着科技进步ꎬ自动驾驶系统的应用在未来必形成一种趋势ꎬ而车辆与障碍物之间的距离估测是自动驾驶系统中一个非常重要的技术.为了达到距离估测的目的ꎬ目前开发的自动驾驶系统大都需要依靠各式各样的距离传感器ꎬ例如激光雷达㊁雷达及超音波等ꎬ这些传感器在距离量测上通常具有高精度ꎬ但同时也伴随着高昂价格ꎬ这使自动驾驶系统的推广及普及变得越来越困难.本文提出了一个结合语义分割与深度估测的深度神经网络模型ꎬ其包含有相同卷积层数的编码器与解码器网络ꎬ将本文所提之网络架构在KITTI及Cityscapes资料集上进行训练ꎬ并在最后结合语义分割与深度估测等方法进行距离估测ꎬ实验结果证实ꎬ本文所提方法具有可行性.关键词:人工智能ꎻ深度估测ꎻ语义分割ꎻ深度学习中图分类号:TP311㊀㊀㊀文献标志码:A㊀㊀㊀文章编号:1000-5846(2023)03-0248-10DistanceEstimationofObstaclesinFrontofVehiclesBasedonDeepLearningWANGYu ̄tang(DepartmentofBigDataandArtificialIntelligenceꎬAnhuiInstituteofInformationTechnologyꎬWuhu241199ꎬChina)Abstract:㊀Autonomousdrivingsystemsarethewaveofthefutureꎻforsuchsystemsꎬtheestimationofthedistancebetweenthevehicleandsurroundingobstaclesiskey.MostcurrentdistanceestimationmethodsrelyonavarietyofdistancesensorsꎬsuchasLiDARꎬradarꎬorultrasonicsensors.Althoughthesesensorsmeasuredistanceaccuratelyꎬtheirhighcosthindersthepopularizationofautonomousdrivingsystems.Toremedythisproblemꎬthispaperproposesadeepneuralnetwork(DNN)thatcombinessemanticsegmentationanddepthestimation.TheDNNincludesanencoderandadecoderꎬbothofwhichhavethesamenumberofconvolutionallayers.TheproposednetworkarchitecturewastrainedonboththeKITTIandCityscapesdatasets.Theproposedmethodprovidedaccuratedistanceestimationinevaluationtestsꎬdemonstratingits㊀㊀feasibility.Keywords:㊀artificialintelligenceꎻdepthestimationꎻsemanticsegmentationꎻdeeplearning0㊀引言人工智能一直是人类向往的终极目标ꎬ而深度学习则是大家公认最接近人工智能的一种技术.近年来ꎬ深度学习在影像辨识㊁语音识别㊁医疗诊断和自动机器翻译等领域都有出色的表现ꎬ这都要归因于类神经网络的深度结构[1].计算机视觉常见的应用有:影像分类[2-3]㊁物体侦测[4-6]以及语义分割[7-10]等.其中语义分割的任务是在像素等级上对整个影像进行实例分类ꎬ每个实例(或是类别)对应于影像中的物体或表示影像的一部分ꎬ例如人㊁车㊁道路及天空等.该任务也称为密集预测ꎬ该任务目标是用影像中的相应类别标记影像中的每个像素.语义分割对于场景理解非常的关键ꎬ可让深度学习模型更好地学习到环境中的全域视觉背景.对于机器人[11]㊁自动驾驶[12]㊁3D环境重建及增强现实[13]等ꎬ深度感测是必要的技术.传统上ꎬ有关于道路前方障碍物的侦测与距离的判断ꎬ为了达到更可靠的感知能力ꎬ除了摄影机外ꎬ还需仰赖大量的传感器ꎬ其中包含超音波㊁雷达及激光雷达等.本文认为在这些传感器中ꎬ基于视觉感知的摄影机可提供车辆周遭环境最丰富的信息ꎬ其中包含颜色㊁纹理㊁物体形状以及外观等.这些都是其他形态的传感器所无法提供的.基于这个原因ꎬ本文提出一种基于行车记录仪摄影机的影像感知系统ꎬ利用摄影机所获取的影像来进行车辆前方的障碍物侦测与距离估算.由Long等[14]所提出的全卷积网络是第一个端到端(End ̄to ̄end)语义分割的网络架构.全卷积神经网络(FCN)可使用任何大小的影像作为输入ꎬ并输出具有相同大小的分割影像.Long等首先修改了当前流行的卷积神经网络(CNN)架构ꎬ例如AlexNet㊁VGG16和GoogLeNet[15]等.在文献[14]中ꎬ他们采用卷积层替换所有的完全链接层ꎬ借以产生多个特征映射图ꎬ因此需要上采样(Upsampling)来让输入的特征图产生与输入相同大小的输出.通常上采样是由具有大于1的行跨度(Stride)的卷积层所组成.这种方式通常又称为反卷积或转置卷积ꎬ因为它产生的特征图大小大于输入.在FCN中ꎬ为了优化训练器ꎬ文中采用逐像素交叉熵损失来训练网络.此外ꎬ他们还在网络中添加了跳跃式连接的结构以产生更好的输出结果.在文献[14]中ꎬ他们使用ImageNet资料集来训练语义分割模型ꎬ在2011年PascalVOC分类挑战中获得62.2%平均交并比(MeanintersectionoverunionꎬmIoU)的评分.FCN虽然具有较高的mIoUꎬ但同时伴随着庞大的计算量.近年来ꎬ语义分割任务的成功有赖于大型标记资料集的开源ꎬ其中较知名的有Camvid资料集[16]㊁Cityscapes资料集[17]㊁MSCOCO资料集与PascalVOC2012资料集[18]等.在国内ꎬ百度独创的资料集训练方法ꎬ被广泛应用在自动驾驶系统中ꎬ在一定程度上弥补了数据里程不足的问题.942㊀第3期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测㊀㊀语义分割研究基本上可分成以下几个类型.1)基于编码器-解码器的结构ꎬ其中比较著名的语义分割网络有FCN㊁SegNet与Fast-SCNN[19]等ꎬ其在PaperWithCodeBenchmarks上有关Cityscapes资料集的mIoU分别为65.3%㊁57.0%与68.0%等.2)基于注意力机制的结构ꎬ比较著名的方法有PSANet[20]㊁CAA(Channelizedaxialattention)[21]与MultiScaleSpatialAttention[22]等ꎬ其在前述Benchmarks上有关Cityscapes数据库mIoU分别为81.4%㊁82.6%与86.2%ꎬ其中文献[22]结合多尺度架构ꎬ目前取得第一的佳绩.由此可见ꎬ基于注意力机制与多尺度架构成为未来语义分割研究的趋势.在单目深度估计(Monoculardepthestimation)的研究上ꎬ比较重要的数据集包含有KITTI[23-24]㊁Make3D[25]与NYU-DepthV2[26]等.近年来ꎬ有关深度估计方法ꎬ如运动结构恢复(StructurefrommotionꎬSfM)[27]以及立体视觉匹配(Stereovisionmatching)[28]ꎬ都是建立在多视点的特征对应(Featurecorrespondences)上.深度估测方法基本上可分成以下几类:1)基于几何的方法:通过几何约束ꎬ从几幅影像中恢复场景3D结构ꎬ代表的方法有SfM[29]ꎬ可通过影像序列间的特征对应及几何约束来处理稀疏特征的深度估测问题.因此ꎬ前述方法在深度估测的准确性方面ꎬ很大程度上与精确的特征匹配和高质量的影像序列有关.2)基于传感器的方法:关于深度传感器ꎬ如RGB-D相机和激光雷达ꎬ能够直接撷取影像的深度信息.RGB-D相机能够直接撷取RGB影像的像素级密集深度图ꎬ其缺点为有限的测量范围与光照敏感性.在自动驾驶应用上ꎬ激光雷达是比较常用的方法ꎬ但仅能产生稀疏的三维地图.3)基于深度学习的方法:这是目前最流行的深度估测方法ꎬ在KITTIBenchmarks的评分排行榜上ꎬViP-DeepLab[30]在SILog的评分指标上排行第2.ViP-DeepLab是一个深度模型ꎬ其提出主要用来解决视觉中长期存在且具挑战性的反投影问题(Inverseprojectiveproblem)ꎬ透过建模可从透视影像序列中恢复点云ꎬ同时为每个点提供深度信息.1㊀研究方法本文所提的深度神经网络如图1所示ꎬ在所提的网络架构中总共包含有6个主要的卷积区块ꎬ文中用Stage来表示.对于同一个Stageꎬ每个卷积层输出的特征图具有相同的大小和通道数.在1-6的Stage中ꎬ它们包含2-2-2-2-2-1层的卷积区块(Conv2Dblock)ꎬ输出通道的数量分别是32-64-128-256-512-1024.在本文中ꎬ所有卷积层都使用带有可学习加权参数的卷积核.池化层使用MaxPooling来缩小输出特征图的大小.在卷积层之后ꎬ应用批次正规化(BatchnormalizationꎬBN)来归一化卷积层输出的数据ꎬ以避免在反向传播中出现梯度消失的现象ꎬ然后再使用ReLU(Rectifiedlinearunit)活化函数ꎬ其可以保持正值不变ꎬ但会将负值设为0.现在ꎬ将注意力转向Decoder网络的细节ꎬ其中每个Stage对应于Encoder网络的相同Stage.在052㊀㊀㊀辽宁大学学报㊀㊀自然科学版2023年㊀㊀㊀㊀Decoder网络中ꎬ每个卷积层表示为DC-Conv-m-nꎬ其中DCꎬm和n分别表示Decoder㊁Stage和Layer.对于语义分割结构的设计ꎬ大多数编码器网络都是相同的.唯一的区别在于解码器网络架构.在本文中ꎬ修改SegNet的Decoder网络ꎬ同时引入跳跃连接的构架.这个想法的灵感主要来自Lin等[31]提出的特征金字塔网络ꎬ该文确认了使用跳跃式连接结构时像素准确度(Pixelaccuracy)ꎬ具有较好的结果.为了更清楚描述本文所提跳跃连接的细部结构ꎬ以第4个Stage为例来进行说明.首先ꎬ在Encoder网络中选择第4个Stage的最后一个卷积层ꎬ亦即EC-Conv-4-3ꎬ因为在同一个Stage中最深的卷积层可以提取最具辨识度的特征ꎻ然后ꎬ在Decoder网络中选择相应的卷积层ꎬ亦即DC-Conv-4-3ꎻ最后ꎬ再将这两个层进行跳跃连接ꎬ如图2所示.最后ꎬ再进行特征图放大以产生Upsampling-3层.图1㊀本文所提具有对称Encoder和Decoder语义分割的网络构架152㊀第3期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测㊀图2㊀本文解码器跳跃连接结构示意图(a)串接方法ꎻ(b)相加方法.㊀㊀本文在语义分割解码器的跳跃连接处加入注意力机制ꎬ如图3所示.在图中ꎬ特征图影像X(维度:BSꎬHꎬWꎬC)为主干网络Stage-3Layer-3或Stage-4Layer-3的输出特征图.Y(维度:BSꎬHꎬWꎬC)为经注意力机制区块转换后之输出图ꎬ其大小与X相同ꎬ其中BS为批次量大小ꎬH与W分别为特征图的高与宽ꎬC为特征图之通道数量.注意力机制的设计理念:变异数与共变异数是统计学与机器学习中常用的统计量ꎬ其中变异数用来衡量随机变量与平均值间的平方偏差量ꎬ然而共变异数则是用来衡量两个随机变量间的相似性.基于此ꎬ随机变量间的分布愈相似ꎬ共变异数就愈大ꎻ相反ꎬ两者间的相似性愈低ꎬ共变异数就愈小.在本文中ꎬ可将特征图中的每一个像素点视为一个随机变量.因此ꎬ针对任一像素点(令为目标点)与所有其他像素点可计算其配对共变异数ꎬ如(x1ꎬx2)的配对共变异数为(x1-μ)(x2-μ).图3㊀本文在编㊁解码器的跳跃连接中加入注意力机制内存块㊀㊀设X为输入特征图ꎬ先将XɪRHˑW的形状重新调整为aɪRNˑ1ꎬ其中N=HˑWꎬH与W分别表示特征图的高与宽.令a=b=c=[x1ꎬx2ꎬ ꎬxn]Tꎬ并令μ为平均值ꎬ因此共异变数CovNˑ1=(a-μ)(b-μ)Tꎬ进一步可计算注意力机制特征图为dNˑ1=CovNˑN cNˑ1⇒YHˑWꎬ最终特征图为原特征图与注意力机制特征图相加.252㊀㊀㊀辽宁大学学报㊀㊀自然科学版2023年㊀㊀㊀㊀㊀2㊀结果与讨论本文实验系统采用LinuxUbuntu18.04ꎬ开发环境为Python3.7.0ꎬ安装的函数库TensorFlow2.3.0和Opencv-python3.2.0.8.本文在Cityscapes资料集上进行所提深度神经网络在语义分割上的性能评估.而深度估测方面则在KITTI资料集上进行训练及评估.本数据集有大量的道路行车记录数据且包含大量的传感器记录的真实数据.在语义分割方面ꎬ本文采用mIoU指标评估影像中各个类别的分割效能.而深度估测评估度量则是采用RMSE(Rootmeansquareerror)及准确性.在本文中ꎬ使用TensorFlow来实现本文所提的深度神经网络架构.本文所提架构在Cityscapes资料集上进行及mIoU评分分别定义如公式(1)和(2)所示.PA=ðCi=0PiiðCi=0ðCj=0Pij(1)mIoU=1C+1ðCi=0PiiðCj=0Pij+ðCj=0Pji-Pii(2)式中:C是要预测的总类别数ꎬ由于背景也需要考虑进来ꎬ因此总类别数将增加为C+1ꎻPii表示该像素属于第i个类别ꎬ且被识别为第i类ꎬ因此它是真阳性ꎻPij表示像素属于第i个类别ꎬ但却被错误地辨识为第j个类别ꎬ故其属于伪阴性ꎻPji则是将第j个类别错误地标示为第i个类别ꎬ故其属于伪阳性.为了评价深度估测网络的性能ꎬ本文采用CNN估计单目图像深度[32]的评价方法ꎬ该评价方法有以下5个评价指标:RMSE㊁RMSElog㊁AbsRel㊁SqRel及Accuracyꎬ其定义分别如下:RMSE=1NðiɪI di-d∗i 2(3)RMSElog=1NðiɪI log(di+1)-log(d∗i-1) 2(4)AbsRel=1NðiɪI|di-d∗i|d∗i(5)SqRel=1NðiɪI di-d∗i 2d∗i(6)Accuracy=%ofdis.tmaxdid∗iꎬd∗idiæèçöø÷=δ<thr(7)式中:di与d∗i分别表示图像深度的预测值与真值ꎻI为图像ꎻN是图像的总点数ꎻthr分别采用1.25㊁1.252及1.253.以上指标主要用于评价图像深度真实值(Groundtruth)与预测值(Predictedvalues)间接近的程度ꎬ其中RMSE㊁RMSElog㊁AbsRel及SqRel等指标的值愈小代表深度网络的估测性能愈好ꎻ反之ꎬAccuracy指标是愈大愈好.表1为在深度神经网络是否加入注意力机制对于语义分割性能的影响.由表可知ꎬ加入一层注352㊀第3期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测㊀㊀意力机制内存块优于不加入注意力机制的内存块.同样ꎬ从图4(b)与图4(c)中看出ꎬ加入注意力机制内存块的语义分割性能是优于没有加入注意力内存块的.同时ꎬ由表1中亦可看出ꎬ当加入更多层的注意力机制内存块反而会劣化语义分割性能.表1㊀针对深度神经网络构架中跳跃连接层是否加入注意力机制在Cityscapes数据集的mIoU和Pixelaccuracy的评分结果MethodmIoUPixelaccuracyNoattention0.79580.8856Attention/Stage40.79610.8884Attention/Stage3&40.68570.8115图4㊀本文所提构架在解码器增加注意力机制在语义分割方面的视觉结果比较(a)原图ꎻ(b)加入注意力机制之语义分割图ꎻ(c)无注意力机制之语义分割图.㊀㊀在语义分割方面ꎬ本文所提出的构架在Cityscapes数据集上进行了训练与测试ꎬ并对本文提出的深度网络估测结果与文献[7]㊁[14]和[19]中相应的数据进行了比较.从表2中可以看出ꎬ本方法的mIoU值为79.6ꎬ优于SegNet的57.0ꎬFNC的65.3以及Fast-SCNN的68.0.表2㊀本文所提方法与现代语义分割方法的mIoU评分比较ApproachmloU/%Fast-SCNN[19]68.0FCN[14]65.3SegNet[7]57.0Proposed(Attention/Stage4)79.6㊀㊀在深度估测方面ꎬ本文所提出的构架在KITTI数据集上进行了训练与测试ꎬ评价图像深度真实值(Groundtruth)与预测值(Predictedvalues)间接近的程度.将本文提出的深度网络估测结果与相关文献进行了比较ꎬ其中ꎬ在选用相同Depth的基础上ꎬ452㊀㊀㊀辽宁大学学报㊀㊀自然科学版2023年㊀㊀㊀㊀RMSEꎬRMSElog指标小于参考文献[31-32]中的数据ꎬARD(Averagerelativedeviations)ꎬRSD(Relativestandarddeviations)等指标均高于参考文献[31-32]中的数据.由表3可看出本文所提出的深度神经网络架构在深度估测的各项评价结果都优于参考文献[31-32].表3㊀本文所提方法与相关文献在深度估测性能方面比较LowerisbetterHigherisbetterApproachDepth/mRMSERMSElogARDRSDδ<1.25δ<1.252δ<1.253Coarse[32]0~807.2160.2730.1941.5310.6790.8970.967Coars+Fine[32]0~807.1560.2700.1901.5150.6920.8990.967DCNF-FCSP[31]0~807.046 0.217 0.6560.8810.958Proposed0~804.8790.2310.1581.1010.7840.9330.973㊀㊀注:测试的数据集为KITTIDataset㊀㊀最后本文在车辆与前方障碍物距离估测方面ꎬ从语义分割图像中取得分割目标物ꎬ再对深度图像中取得相应位置的深度数值由小到大进行排序ꎬ取得前20%深度数值作为该物体的距离估测数值ꎬ如图5所示ꎬ从图5(a)中可以看到本文所提方法能有效地估测出本车与前方障碍物间的距离.图5㊀车辆与前方目标物间的距离估测图(a)原图ꎻ(b)深度图像图ꎻ(c)目标分割二值图像图.3㊀结论本文提出了一种对称式Encoder和Decoder的深度神经网络架构ꎬ并在深度估测方面采用KITTI资料集进行训练ꎬ在语义分割方面则是采用Cityscapes资料集[33]来进行训练.实验结果显示ꎬ本文所提障碍物距离估测方法具有可行性.本文所提出的网络架构与其他相似的深度估测网络架构ꎬ在相同的训练及测试条件下ꎬ前者在准确率方面也有不错的表现.在未来的工作中ꎬ将研究不同的解码器架构以及更强健的障碍物侦测方法ꎬ以达成目标物的距离估测ꎬ同时持续改善本文所提深度估测网络的准确度.552㊀第3期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测㊀㊀参考文献:[1]㊀HochreiterSꎬSchmidhuberJ.Longshort ̄termmemory[J].NeuralComputationꎬ1997ꎬ9(8):1735-1780.[2]㊀KrizhevskyAꎬSutskeverIꎬHintonGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks[C]//NIPSᶄ12:Proceedingsofthe25thInternationalConferenceonNeuralInformationProcessingSystems.NewYork:CurranAssociatesInc.ꎬ2012:1097-1105.[3]㊀SimonyanKꎬZissermanA.Verydeepconvolutionalnetworksforlarge ̄scaleimagerecognition[EB/OL].(2014-09-04)[2022-12-15].https://arxiv.org/abs/1409.1556.[4]㊀RedmonJꎬDivvalaSꎬGirshickRꎬetal.Youonlylookonce:Unifiedꎬreal ̄timeobjectdetection[C]//2016IEEEConferenceonComputerVisionandPatternRecognition.LasVegas:IEEEꎬ2016:779-788.[5]㊀RenSQꎬHeKMꎬGirshickRꎬetal.FasterR ̄CNN:Towardsreal ̄timeobjectdetectionwithregionproposalnetworks[EB/OL].(2015-06-04)[2022-12-15].https://arxiv.org/abs/1506.01497.[6]㊀SermanetPꎬEigenDꎬZhangXꎬetal.OverFeat:Integratedrecognitionꎬlocalizationanddetectionusingconvolutionalnetworks[EB/OL].(2013-12-21)[2022-12-15].https://arxiv.org/abs/1312.6229.[7]㊀BadrinarayananVꎬKendallAꎬCipollaR.SegNet:Adeepconvolutionalencoder ̄decoderarchitectureforimagesegmentation[J].IEEETransactionsonPatternAnalysisandMachineIntelligenceꎬ2017ꎬ39(12):2481-2495.[8]㊀HariharanBꎬArbelaezPꎬGirshickRꎬetal.Hypercolumnsforobjectsegmentationandfine ̄grainedlocalization[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Boston:IEEEꎬ2015:447-456.[9]㊀HeKMꎬGkioxariGꎬDollárPꎬetal.MaskR ̄CNN[C]//2017IEEEInternationalConferenceonComputerVision(ICCV).Venice:IEEEꎬ2017:2980-2988.[10]㊀KuhnertKDꎬStommelM.Fusionofstereo ̄cameraandPMD ̄cameradataforreal ̄timesuitedprecise3Denvironmentreconstruction[C]//2006IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Beijing:IEEEꎬ2006:4780-4785.[11]㊀HornBKP.Robotvision[M].Boston:TheMITPressꎬ1986.[12]㊀RiblerRLꎬVetterJSꎬSimitciHꎬetal.Autopilot:Adaptivecontrolofdistributedapplications[C]//ProceedingsoftheSeventhInternationalSymposiumonHighPerformanceDistributedComputing(Cat.No.98TB100244).Chicago:IEEEꎬ1998:172-179.[13]㊀MilgramPꎬTakemuraHꎬUtsumiAꎬetal.Augmentedreality:Aclassofdisplaysonthereality ̄virtualitycontinuum[C]//ProcSPIE2351ꎬTelemanipulatorandTelepresenceTechnologies.Boston:SPIEꎬ1995ꎬ2351:282-292.[14]㊀LongJꎬShelhamerEꎬDarrellTꎬetal.Fullyconvolutionalnetworksforsemanticsegmentation[C]//2015IEEEConferenceonComputerVisionandPatternRecognition(CVPR).Boston:IEEEꎬ2015:3431-3440.[15]㊀SzegedyCꎬLiuWꎬJiaYQꎬetal.Goingdeeperwithconvolutions[C]//2015IEEEConferenceonComputerVisionandPatternRecognition(CVPR).Boston:IEEEꎬ2015:1-9.[16]㊀BrostowGꎬFauqueurJꎬCipollaR.Semanticobjectclassesinvideo:Ahigh ̄definitiongroundtruthdatabase[J].PatternRecognitionLettersꎬ2009ꎬ30(2):88-97.[17]㊀LinTYꎬMaireMꎬBelongieSꎬetal.MicrosoftCOCO:Commonobjectsincontext[C]//ComputerVision–ECCV2014.Zurich:SpringerꎬChamꎬ2014:740-755.[18]㊀EveringhamM.ThePascalVisualObjectClassesChallenge2012(VOC2012)[R/OL].(2012-04-01)[2022-12-15].https://pjreddie.com/media/files/VOC2012_doc.pdf.652㊀㊀㊀辽宁大学学报㊀㊀自然科学版2023年㊀㊀㊀㊀[19]㊀PoudelRPKꎬLiwickiSꎬCipollaR.Fast ̄SCNN:Fastsemanticsegmentationnetwork[EB/OL].(2019-02-12)[2022-12-15].https://arxiv.org/abs/1902.04502.[20]㊀ZhaoHSꎬZhangYꎬLiuSꎬetal.PSANet:Point ̄wisespatialattentionnetworkforsceneparsing[C]//EuropeanConferenceonComputerVision.Munich:Chamꎬ2018:270-286.[21]㊀HuangYꎬKangDꎬJiaWJꎬetal.Channelizedaxialattention ̄consideringchannelrelationwithinspatialattentionforsemanticsegmentation[EB/OL].(2021-01-19)[2022-12-15].https://arxiv.org/abs/2101.07434.[22]㊀SagarꎬAꎬSoundrapandiyanRK.Semanticsegmentationwithmultiscalespatialattentionforselfdrivingcars[EB/OL].(2020-06-30)[2022-12-15].https://arxiv.org/abs/2007.12685.[23]㊀GeigerAꎬLenzP.Arewereadyforautonomousdriving?TheKITTIvisionbenchmarksuite[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition.NewYork:IEEEꎬ2012:3354-3361.[24]㊀GeigerAꎬLenzPꎬStillerCꎬetal.Visionmeetsrobotics:TheKITTIdataset[J].TheInternationalJournalofRoboticsResearchꎬ2013ꎬ32(11):1231-1237.[25]㊀SaxenaAꎬSunMꎬNgAY.Make3D:Learning3Dscenestructurefromasinglestillimage[J].IEEETransactionsonPatternAnalysisandMachineIntelligenceꎬ2009ꎬ31(5):824-840.[26]㊀SilbermanNꎬHoiemDꎬKohliPꎬetal.IndoorsegmentationandsupportinferencefromRGBDimages[C]//ECCVᶄ12:Proceedingsofthe12thEuropeanConferenceonComputerVision.Florence:Springerꎬ2012:746-760.[27]㊀LiuFYꎬShenCHꎬLinGSꎬetal.Learningdepthfromsinglemonocularimagesusingdeepconvolutionalneuralfields[J].IEEETransactionsonPatternAnalysisandMachineIntelligenceꎬ2016ꎬ38(10):2024-2039.[28]㊀YonedaKꎬTehraniHꎬOgawaTꎬetal.Lidarscanfeatureforlocalizationwithhighlyprecise3 ̄Dmap[C]//2014IEEEIntelligentVehiclesSymposiumProceedings.Dearborn:IEEEꎬ2014:1345-1350.[29]㊀VijayanarasimhanSꎬRiccoSꎬSchmidCꎬetal.SfM ̄net:Learningofstructureandmotionfromvideo[EB/OL].(2017-04-25)[2022-12-15].https://arxiv.org/abs/1704.07804.[30]㊀QiaoSYꎬZhuYKꎬAdamHꎬetal.ViP ̄DeepLab:Learningvisualperceptionwithdepth ̄awarevideopanopticsegmentation[EB/OL].(2020-12-09)[2022-12-15].https://arxiv.org/abs/2012.05258.[31]㊀LinTYꎬDollárPꎬSergeJ.etal.FeaturepyramidNetworksforobjectdetection[C]//2017IEEEConferenceonComputerVisionandPatternRecognition(CVPR).Honolulu:IEEEꎬ2016:936-944.[32]㊀EigenDꎬPuhrschCꎬFergusR.Depthmappredictionfromasingleimageusingamulti ̄scaledeepnetwork[EB/OL].(2014-07-09)[2022-12-15].https://arxiv.org/abs/1406.2283.[33]㊀CordtsMꎬOmranMꎬRamosSꎬetal.Thecityscapesdatasetforsemanticurbansceneunderstanding[C]//2016IEEEConferenceonComputerVisionandPatternRecognition.LasVegas:IEEEꎬ2016:3213-3223.(责任编辑㊀郭兴华)752㊀第3期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测。
优化网络性能
优化网络性能
佚名
【期刊名称】《中国计算机用户》
【年(卷),期】2002(000)005
【摘要】中国石油青海油田采油一厂是青海省矿产资源开发的重要基地。
随着现代化进程的深入,目前数据的安全管理与存储将面临严峻的考验。
【总页数】1页(P21)
【正文语种】中文
【中图分类】TP393.07
【相关文献】
1.基于神经元网络和粒子群优化算法的轧制工艺—性能优化 [J], 谭文;刘振宇;吴迪;刘相华;王国栋
2.密集WiFi网络环境网络分配矢量优化与性能分析 [J], 何明泰;李可;刘恒
3.无线网络优化平台数据库性能优化设计思路 [J], 王志海
4.基于Fat-tree的高性能互联网络性能优化与分析 [J], 张毅;何卫锋
5.Riverbed全面优化网络性能管理和应用性能管理产品 [J],
因版权原因,仅展示原文概要,查看原文内容请购买。
缓冲区分析和空间叠加分析下的智慧石油管网时序标准化片段巡检技术
石油化工设备 6#O$R>L#S">01 #T7"6S#*O
U4D*)., *4*' S,MV '"'$
文章编号 !"""#$%%&'"'$("'""$)")
缓冲区分析和空间叠加分析下的智慧石油管网 时序标准化片段巡检技术
谢 锐 ! 杨 旸 ! 蒋丽琼 ! 彭 睿 ! " 点为石油管网巡检的起始点"* 点
为石油管网巡检的终止点* 以此三维空间作为基
础"构建相应的巡检路径规划模型%.&* 为了制定更
为精确的巡检路径"提高巡检效率"将巡检路径划
(,%0-): )")-:#!#
近年来智慧石油管网的规模越来越大长距 离的石油运输快速发展 针对石油管网的检查工 作量也在急剧增加 传统的石油管网巡检方式存 在诸多问题 如巡检过程对石油管网的运行影响 较大通过巡检获得的无效数据较多巡检过程耗 费大量的人力物力等 为此不少学者针对巡检 技术展开了研究文献&通过采集配网开关设备 数据提取数据特征构建相应的巡检模型实现 对配网开关设备的遥控巡检 但实验结果表明该 技术的应用成本较高 文献!利用人工智能技 术对风力发电机的实际运行状态进行数据采集 在数字孪生的作用下构建智能巡检模型 实现对 风力发电机的实时监控 但实验结果表明该技术 的适用性不强文献%利用图像识别技术和轨道 机器人对大坝的实时情况进行监测 并根据监测 结果制定相应的巡检路线提高巡检的效率但实 验结果表明该技术的巡检时间过长
一种基于分段的网络流媒体代理缓存策略
一种基于分段的网络流媒体代理缓存策略
吕冬;沈苏彬
【期刊名称】《南京邮电大学学报(自然科学版)》
【年(卷),期】2011(031)001
【摘要】针对大量用户访问网络流媒体系统时出现的响应速度慢、网络拥塞严重、缓存利用率低和容量不足的问题,提出了一种IPTV环境下的PSU代理缓存策略,利用分段缓存和动态调整存储比例的方法,提高流媒体代理服务器的存储效率和服务
性能.给出了流媒体文件的分段方法和热度概念,通过增加前缀缓存数量的方法,优化了IPTV三层结构的存储比例,提出了分段存储的动态调整算法.在系统实验和测试
的基础上,分析比较了前缀缓存、分段缓存和PSU代理缓存策略,结果表明PSU代
理缓存策略在一定程度上提高了流媒体系统的存储效率,降低了访问延迟.
【总页数】7页(P76-82)
【作者】吕冬;沈苏彬
【作者单位】南京邮电大学,计算机学院,江苏,南京,210046;南京邮电大学,计算机学院,江苏,南京,210046
【正文语种】中文
【中图分类】TP393
【相关文献】
1.一种新的基于推荐的流媒体代理缓存替换机制 [J], 胡玉琦;李晓娜
2.基于焦点修正的流媒体分段缓存策略 [J], 王蒙蒙;鲍可进
3.一种基于质量命中率的流媒体代理缓存布局方法 [J], 王泰;杜旭;程文青;杨宗凯
4.基于分段流媒体代理Cache的策略研究 [J], 许志闻;庞云阶;王钲旋;郭晓新
5.基于P2P的3G流媒体代理缓存策略 [J], 禹亮;郭玉真;高凤燕
因版权原因,仅展示原文概要,查看原文内容请购买。
高速缓存系统的设计与优化方法研究
高速缓存系统的设计与优化方法研究高速缓存系统是计算机体系结构中的重要组成部分,它的设计和优化对于提高计算机系统的性能至关重要。
本文将探讨高速缓存系统的设计原理、优化方法以及相关研究进展。
一、高速缓存系统的设计原理高速缓存是位于CPU和主内存之间的一个小型、容量有限但访问速度较快的存储器。
其设计原理主要包括以下几个方面:1. 考虑访问局部性:高速缓存系统利用程序的访问局部性原理,将频繁访问的数据块存储到缓存中,以提高访问速度。
常见的局部性包括时间局部性和空间局部性。
2. 采用替换策略:当缓存空间不足时,需要替换掉一部分数据,以便为新的数据腾出空间。
常用的替换策略有最近最少使用(LRU)、随机替换等。
3. 设置缓存块大小:缓存块大小的选择对性能有着重要影响。
如果缓存块太小,可能会导致较高的访问延迟;而缓存块太大则会浪费宝贵的缓存空间。
4. 考虑一致性问题:当高速缓存与主内存之间的数据发生改变时,需要保证缓存中的数据与主内存中的数据保持一致。
常见的解决方案有写直达(write through)和写回(write back)等。
二、高速缓存系统的优化方法1. 提高命中率:命中率是衡量高速缓存性能的重要指标,可以通过以下方法进行优化:- 提高空间局部性:空间局部性是指在程序中多次访问相邻的数据。
通过优化程序的数据结构和内存访问模式,可以提高空间局部性,从而提高命中率。
- 提高时间局部性:时间局部性是指程序在一段时间内多次访问同一数据。
通过合理调整缓存块大小和替换策略,可以提高时间局部性,从而提高命中率。
- 使用关联性较高的缓存映射方式:常见的缓存映射方式包括直接映射、全关联映射和组关联映射。
通过选择关联性较高的缓存映射方式,可以提高命中率。
2. 减少替换开销:替换开销是指由于缓存空间不足,需要替换部分数据造成的开销。
可以通过以下方法进行优化:- 采用更精细的替换策略:传统的替换策略如LRU只考虑最近使用的情况,而并不关心数据的重要性。
高优先级低时延网络切片映射算法研究
高优先级低时延网络切片映射算法研究
赵金玉;逄林;张龙宝;刘佳宜;宋大龙;韩洁
【期刊名称】《长江信息通信》
【年(卷),期】2024(37)4
【摘要】该文针对高优先级网络切片排队等待时间长的问题,提出了一种高优先级低时延网络切片映射算法(P-ADE)。
该算法采用优先级任务队列建立网络切片排队模型,将网络切片映射分为节点映射和链路映射两部分;在节点映射方面,为优先级高的网络切片分配性能高的资源,并将虚拟网络功能映射到对应设备中。
在链路映射方面,文章提出了一种改进的差分进化算法(ADE)来求解最优路径,并设计了相应的虚拟链路映射算法。
仿真结果表明,在不同网络切片规模下,P-ADE算法均有效改善了高优先级网络切片时延长的问题。
【总页数】4页(P5-8)
【作者】赵金玉;逄林;张龙宝;刘佳宜;宋大龙;韩洁
【作者单位】深圳市国电科技通信有限公司;国网北京市电力公司平谷供电公司;西安电子科技大学通信工程学院
【正文语种】中文
【中图分类】TN929.5
【相关文献】
1.网络时延分析及面向5G的低时延策略
2.5G低时延SPN切片网络研究
3.考虑时延感知的5G网络切片节点映射成本与时延平衡控制
4.uRLLC业务时延分析及低时延网络部署探讨
5.一种低时延虚拟网络功能映射及调度优化算法
因版权原因,仅展示原文概要,查看原文内容请购买。
华为视频会议解决方案
华为高清视讯系统技术方案建议书临时方案华为技术有限公司2016年10月9日使用说明(2016.10.9):1、模板使用时根据实际客户需求和方案设计,选择相应章节内容,与实际方案不相关的内容需删除;2、模板中使用说明、备注部分为内部参考,具体制作面向客户提交的方案时,需删除所有使用说明、备注部分。
目录1视讯技术发展及应用需求 (5)1.1技术发展 (5)1.1.1视频 (5)1.1.2音频 (5)1.1.3组网 (5)1.2应用需求 (6)1.2.1高临场感体验 (6)1.2.2低带宽高清 (6)1.2.3良好的网络适应性 (6)1.2.4良好的易用性 (6)1.2.5稳定性和可维护性 (7)1.2.6标准开放和融合互通 (7)1.2.7支持多种线路接入方式 (7)1.2.8客户化、可定制 (7)2华为高清视讯系统需求分析 (7)2.1华为背景简介 (7)2.2华为网络现状分析 (8)2.3华为客户需求分析 (8)3 华为高清视频系统设计方案建议 (8)3.1系统设计依据 (8)3.2系统设计原则 (11)3.3方案四SMC2.0+MCU96X0 ................................................................... 错误!未定义书签。
3.4系统组网方案四配置清单 ...................................................................... 错误!未定义书签。
4华为高清视频系统主要功能及特点 (12)4.1良好的高清晰音视频沟通体验 (12)4.1.1全高清108060端到端解决方案 (12)4.1.2高流畅性 (12)4.1.3强大全编全解处理能力,最大限度支持动态速率、协议适配 (13)4.1.4VME+H.264 HP 低带宽高清 (13)4.1.5H.264 SVC技术 (14)4.1.6高清1080P60FPS静态/动态双流 (14)4.1.7高保真,立体声,CD音质效果 (15)4.2丰富的会议召集模式 (15)4.2.1主叫呼集 (15)4.2.2匿名会议(电话会议模式) (16)4.2.3管理员调度 (16)4.2.4网络预约 (16)4.2.5视音频IVR导航与ad-hoc创建和加入会议 (16)4.2.6特服号入会 (16)4.2.7Outlook预约会议 (16)4.2.8云化资源池管理实现会议智能调度 (16)4.3良好的网络适应性 (18)4.3.1超强纠错(SEC 2.0-- Super Error Concealment) (18)4.3.2超强纠错(SEC 3.0-- Super Error Concealment) (18)4.3.3智能调速(IRC--Intelligent Rate Control) (19)4.3.4断线恢复(RoD--Reconnect on Disconnect) (19)4.3.5丢包重传(ARQ--Automatic Repeat reQuest) (20)4.4简单易用 (20)4.4.1用户界面简约时尚 (20)4.4.2PAD智能操控平台 (20)4.4.3丰富的会议控制功能 (20)4.4.4会议模板预置功能 (21)4.4.5字幕与横幅功能 (22)4.4.6一屏三显,节约投资 (22)4.4.7多视一流功能 (22)4.4.8无线辅流,轻松共享数据 (23)4.4.9支持WIFI呼叫及无线麦克 (23)4.4.10USB零配置 (24)4.4.11全景会场功能 (25)4.4.12多组多画面(on-table多画面) (25)4.4.13图形化操作界面 (25)4.4.14软终端随时随地接入会议 (26)4.4.153G-SDI接口实现1080P60fps远距离传输 (28)4.5安全稳定 (28)4.5.1产品成熟 (28)4.5.2系统稳定 (29)4.5.3多重加密 (30)4.5.4系统安全 (30)4.5.5资源池会议备份 (32)4.6管理维护方便 (33)4.6.1分级分权,大网维护简单 (33)4.6.2Nlog网络线路实时监控 (37)4.6.3支持WEB管理 (37)4.6.4系统设备拓扑图生成管理 (37)4.6.5系统设备配置批量升级及备份 (37)4.6.6系统告警和日志管理 (38)4.7标准互通 (39)4.7.1采用国际标准协议 (39)4.7.2支持TIP协议,与思科网真互通 (39)4.7.3华为视讯产品互联互通能力介绍 (39)4.7.4支持与微软UC系统互通 (41)4.7.5端到端IMS融合解决方案 (42)4.8丰富组网 (42)4.8.1支持多种接入方式 (42)4.8.2最大5级和超强多通道级联能力 (43)4.8.3支持大容量语音接入,满足在外人员接入视频会议需求 (43)4.8.4支持高清录制点播功能 (44)4.8.5支持软件化部署的管理平台 (48)4.8.6完善的公私网穿越解决方案 (49)4.9专业定制 .................................................................................................. 错误!未定义书签。
基于深度神经网络的视频流媒体资源优化分配
基于深度神经网络的视频流媒体资源优化分配一、视频流媒体资源优化分配概述随着互联网技术的发展,视频流媒体服务已经成为人们日常生活中不可或缺的一部分。
用户对于视频内容的清晰度、流畅度以及个性化体验的需求不断增长,这给视频流媒体服务提供商带来了巨大的挑战。
基于深度神经网络的视频流媒体资源优化分配技术,通过智能化的方式,对视频流媒体服务中的资源进行有效管理和分配,以满足用户需求,提高服务效率和质量。
1.1 视频流媒体资源优化分配的核心目标视频流媒体资源优化分配的核心目标是实现资源的高效利用,确保用户能够获得高质量的视频观看体验。
这包括但不限于以下几个方面:- 视频质量的优化:确保用户在不同网络环境下都能获得最佳的视频质量。
- 带宽资源的合理分配:根据用户需求和网络状况,动态调整带宽分配,避免资源浪费。
- 用户体验的个性化:通过学习用户行为和偏好,提供个性化的视频推荐和服务。
- 系统稳定性和可靠性:确保视频流媒体服务在高并发情况下的稳定性和可靠性。
1.2 视频流媒体资源优化分配的应用场景视频流媒体资源优化分配技术的应用场景非常广泛,包括但不限于以下几个方面:- 视频点播(VOD)服务:为用户提供个性化的视频推荐和播放服务。
- 实时视频直播:保证直播视频的流畅性和实时性,特别是在大型活动直播中。
- 视频会议:优化视频会议中的资源分配,提高会议质量和效率。
- 视频监控:在视频监控系统中,智能分配资源,以提高监控效率和准确性。
二、深度神经网络在视频流媒体资源优化分配中的应用深度神经网络(DNN)作为一种强大的机器学习模型,已经在视频流媒体资源优化分配中发挥了重要作用。
通过学习大量的数据,DNN能够识别和预测用户行为,从而实现资源的智能优化分配。
2.1 深度神经网络的基本原理深度神经网络通过模拟人脑的神经网络结构,构建多层的网络结构,每一层都包含多个神经元,这些神经元通过权重连接,形成复杂的网络。
DNN通过大量的数据训练,不断调整网络中的权重,以提高模型的预测准确性。
实现多级缓存架构设计方案
实现多级缓存架构设计方案•为什么要做TMC•▪多级缓存解决方案的痛点▪•TMC 整体架构••TMC 本地缓存•▪如何透明▪▪整体结构▪•热点发现•▪整体流程▪▪数据收集▪▪热度滑窗▪▪热度汇聚▪▪热点探测▪▪特性总结▪•实战效果•▪快手商家某次商品营销活动▪▪双十一期间部分应用TMC 效果展示**▪•功能展望•TMC,即“透明多级缓存(Transparent Multilevel Cache)”,是有赞PaaS 团队给公司内应用提供的整体缓存解决方案。
TMC 在通用“分布式缓存解决方案(如CodisProxy + Redis,如有赞自研分布式缓存系统zanKV)”基础上,增加了以下功能:•应用层热点探测••应用层本地缓存••应用层缓存命中统计•以帮助应用层解决缓存使用过程中出现的热点访问问题。
为什么要做TMC使用有赞服务的电商商家数量和类型很多,商家会不定期做一些“商品秒杀”、“商品推广”活动,导致“营销活动”、“商品详情”、“交易下单”等链路应用出现缓存热点访问的情况:活动时间、活动类型、活动商品之类的信息不可预期,导致缓存热点访问情况不可提前预知;•••缓存热点访问出现期间,应用层少数热点访问key产生大量缓存访问请求:冲击分布式缓存系统,大量占据内网带宽,最终影响应用层系统稳定性;•为了应对以上问题,需要一个能够自动发现热点并将热点缓存访问请求前置在应用层本地缓存的解决方案,这就是TMC 产生的原因。
多级缓存解决方案的痛点基于上述描述,我们总结了下列多级缓存解决方案需要解决的需求痛点:•热点探测:如何快速且准确的发现热点访问key?•••数据一致性:前置在应用层的本地缓存,如何保障与分布式缓存系统的数据一致性?•••效果验证:如何让应用层查看本地缓存命中率、热点key 等数据,验证多级缓存效果?•••透明接入:整体解决方案如何减少对应用系统的入侵,做到快速平滑接入?TMC 聚焦上述痛点,设计并实现了整体解决方案。
基于DM642的X264程序结构级优化
基于DM642的X264程序结构级优化
张映伟;刘彦隆
【期刊名称】《科技情报开发与经济》
【年(卷),期】2009(019)011
【摘要】介绍了在TI公司TMS320DM642硬件平台上实现H.264基本档次视频编码器时所进行的结构级优化,选取H.264三大开源代码之一的X264(代码版本为06-05-06)作为参考代码,在深入分析了基于PC的X264编码程序并将其成功移植到了DM642后,首先对代码进行了最初的简化,去掉了和平台无关以及和实现档次无关的冗余代码和数据结构,而后结合DM642的特点,以充分利用DM642片上资源为出发点,以提高DM642高速缓冲(CACHE)的命中率为目的,提出了一种结构级的优化策略,该策略从程序和数据两个方面对X264算法参考代码进行了结构级优化.实验结果表明,采取的优化策略对CACHE命中率和编码速率都有明显的提高.【总页数】3页(P92-94)
【作者】张映伟;刘彦隆
【作者单位】太原理工大学信息与通信工程系,山西太原,030024;太原理工大学信息与通信工程系,山西太原,030024
【正文语种】中文
【中图分类】TN919.81
【相关文献】
1.一种基于帧间和帧内宏块级的X264并行编码算法 [J], 魏妃妃;梁久桢;韩军
2.基于DM642的X264开源代码实现的研究 [J], 谭超;王库;傅颖
3.基于DM642的x264源代码的汇编优化 [J], 黄国玉;廖湘柏
4.基于DM642的改进的x264视频监控系统 [J], 庞淑蓉;李清贵
5.x264中基于参数选择的算法优化 [J], 刘晓芳;夏哲雷;殷海兵;孟雷雷
因版权原因,仅展示原文概要,查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
全球软件案例研究
峰会
feed分级缓存的极致优化带来50%的效率提升
议程全球软件案例研究
峰会
•Feed架构挑战
•Feed缓存极致优化效果•Feed缓存架构设计
•Feed缓存架构优化
•Feed缓存架构平滑升级
全球软件案例研究峰会
微博用户数持续快速增长
微博发博量持续增长全球软件案例研究
峰会
Feed架构挑战
全球软件案例研究
峰会
•Data bigger than bigger, 微博数据量指数级增长。
•Speed faster than faster,用户体验要求微博越来越快。
•Business more and more,微博平台架构需要
支撑越来越多的业务。
Feed缓存架构优化目标全球软件案例研究
峰会
•构建高可用,高性能,可扩展的微博缓存架构,满足微博未来2-3内的业务发展需求。
•提高性能,在成本与性能之间找到极致的平衡点。
•缓存架构平滑升级,不能影响线上业务。
全球软件案例研究
峰会
Feed缓存架构优化成果
接口响应时间对比
新架构(MVD)老架构(VSL)friends_timeline/ids34ms63ms
friends_timeline85ms130ms
全球软件案例研究峰会
Feed缓存架构优化成果
•缓存服务器数据分析
缓存数据聚合时间容量(用户数)带宽(晚高峰)VSL21.2ms2亿40M/S
MVD 4.5ms4亿10M/S
全球软件案例研究峰会
Feed缓存架构设计•缓存架构高可用设计
•缓存预热与灰度上线
•缓存服务保障体系
•缓存架构平滑升级
一致性Hash 全球软件案例研究
峰会
多级缓存架构设计全球软件案例研究
峰会
•Feed推拉结合模式全球软件案例研究
峰会
•缓存示意图
全球软件案例研究
峰会
全球软件案例研究峰会Feed缓存架构优化
•优化思路
分析用户行为日志与微博曝光量日志,精简数据计算与存储,减少信息过载。
满足新业务发展需要,丰富缓存数据的数据结构。
压缩数据,降低带宽消耗,并提升缓存的利用率。
全球软件案例研究峰会
Feed 缓存架构优化
•用户行为抽样数据分析
用户浏览页数统计
微博曝光量日志抽样分析
97%用户都是浏览5天内的微博。
无page 参数
pag=1page=2page=3page>3比率0.380.540.0330.0170.034
全球软件案例研究
•缓存设计
峰会
•缓存数据结构
meta {reserved,{mid,uid, rtid, rtuid,flag, extflag}}
•Feed 聚合图
全球软件案例研究
峰会
Feed缓存架构平滑升级全球软件案例研究
峰会
缓存预热要点:
1.缓存容量规划
2.缓存数据一致性校验
3.缓存数据slab分布(Memcache)
全球软件案例研究峰会
Feed缓存架构平滑升级
缓存服务保障体系
Feed缓存架构平滑升级全球软件案例研究
峰会
缓存架构平滑升级要点:
1.记录上线步骤列表与check list。
2.灰度上线步伐与开关切换。
3.双写新老缓存,保持数据的热度。
4.回滚方案。
全球软件案例研究峰会 TOP 100 CASE STUDIES
OF THE YEAR Feed
缓存架构平滑升级
21
全球软件案例研究
峰会 TOP 100 CASE STUDIES OF THE YEAR TOP100Summit 案例研究峰会官网:。