基于RTP的视频流传输协同控制
基于RTP协议的视频实时采集与传输的研究
CC: 4 位长的 CSRC 计数, 表示固定头后有多少个 CSRC 标识符。
M: 1 位长的标记位, 用以标记数 据流中的主 要事 件, 如帧边界。
协议和系统自带的 VFW 函数并进行视频采集。
1 RTP 协议分析
实时传输协议 RTP( Real- time Transport Protocol) 是用于网络上针对多媒体数据流的一种传输协议, RTP 协 议 由 RTP 数 据 协 议 和 控 制 协 议 RTCP 两 部 分 组成。RTP 被定义在一对一或一对多的传输情况下工 作。RTP 通常使用 UDP 来传送数据, 但 RTP 也可以在 TCP 或 ATM 等其他协议下工作。
去的包, 允许接收端确认当前数据的贡献源, 他们具 有相同的同步源标识符。
V: 2 位长的版本号 P: 1 位长的附加标记位, 用以说明包尾是否有非 负荷信息, 这些附加信息可用以加密或通知低层协 议, 一个数据单元封装有几个 RTP 包。 X: 1 位长的扩展位。若 X=1, 表示 RTP 头后 附有 一变长的扩展头。
PT: 7 位长的负荷类型, 接收端据此来识别媒体类型。 Sequence number: 2 字节长的包序列号, 每个 RTP 数据包发送按先后次序依次增 1, 用于接收端的丢包 检测和包序号恢复, 第一包的数据是随机选取的。 时间戳: 32 位长的时戳。RTP 包中数据开始产生 的时钟时间, 用于同步和包到达间隔抖动计算, 时钟 频率和数据格式有关, 不能使用系统时钟, 对固定速 率的音频来说, 每次取样时戳时钟增 1。和包序列号一 样, 时戳的开始值也是随机的。如果多个 连续的 RTP 包逻辑上是同时产生的, 那么他们具有相同的时戳。 同步源( SSRC) : 32 位长, 定义 SSRC 的定义符, 可 以 随 机 选 取 , 但 在 同 一 RTP 会 话 中 , 不 同 的 SSRC 应 该有不同的 SSRC 值。 贡献源 CSRC 列表: 可以有 0 ̄ 15 个项目。每个项 目占 32 位, 一列贡献源标识被插入到混合器中。混合 器表示将多个载荷数据组合起来产生一个将要发出
基于RTPRTCP和RTSP协议的流媒体快速流间同步机制
基于RTPRTCP和RTSP协议的流媒体快速流间同步机制基于RTP/RTCP和RTSP协议的流媒体快速流间同步机制卢日北京邮电大学电信工程学院,北京(100876)E-mail:****************摘要:多媒体同步技术是流媒体技术中一项关键的技术,在通常的流媒体客户端设计中,同步信息的建立依赖于典型地承载在UDP协议之上RTCP包,导致媒体对象的第一回放时间具有不可预测性。
为了缩短回放前的等待时间,本文基于RTP/RTCP协议和RTSP协议,提出了一种快速确定媒体流间同步关系的机制。
关键词:RTP,RTSP,流媒体,流间同步1. 引言流媒体技术是近几年Internet飞速发展的产物,它融合了媒体数据的采集、编解码、存储以及网络传输等多项技术,它的出现有效地解决了音频、视频等媒体数据在计算机网络中的实时传输的问题,被广泛应用于远程教育、视频点播、视频会议、IPTV等业务中。
多媒体同步技术[1]是流媒体技术中一项关键的技术,已经引起了国内外的广泛关注。
多媒体同步技术的目的就是向用户展示多媒体信息时,保持多媒体对象内和对象间固有的时域约束关系。
多媒体同步包含两类同步:一类是流内同步,其主要任务是保证媒体流内部的相对时态关系,也就是按一定的时间要求传送每一个多媒体对象,并在客户端能够进行连续的展现。
另一类是流间同步,主要任务是维护媒体对象间的时间关系,如音频和视频之间的时间关系(即唇同步)、音视频与文字之间的时间关系等等。
RTP/RTCP协议[2]是流媒体协议栈[3]中一个重要的组成部分,它承担了媒体数据的传送任务,RTSP协议[4]则在流媒体协议栈中负责控制媒体数据的有效传输,RTSP和RTP/RTCP 协议是整个流媒体协议栈的核心部分。
本文主要针对IP网络环境,并基于RTP/RTCP协议和RTSP协议,利用RTP时间戳、RTCP包中RTP时间戳和NTP (Network Time Protocol)时间戳的映射关系以及RTSP中RTP时间戳和NPT(Normal Play Time)时间戳的映射关系,快速地确定媒体流间的同步关系,同时还可以消除各媒体流间的同步依赖关系,使得流间同步的复杂度与媒体流的数目无关。
RTSPRTP 媒体传输和控制协议
RTSPRTP 媒体传输和控制协议1 前言本文档主要描述了NewStream Vision 系统中前端视频服务器(DVR, 网络摄像机), 中心转发服务器以及客户端之间的多媒体通信以及控制协议.本协议主要基于标准的IETE 的RTSP/RTP 以及相关协议, 并针对具体应用定义了部分扩展.本协议只是当前实现的总结和整理, 具体的协议细节以实际实现为准2 定义RTSP实现流协议SDP会话描述协议RTP实时传输协议H.264H.264 视频编码标准3 RTSP 命令3.1 Request 语法语法:RTSP 的语法和HTTP 的语法基本相同, 具体如下。
COMMAND rtsp_URL RTSP/1.0<CRLF> Headerfield1: val1<CRLF>Headerfield2: val2<CRLF>...<CRLF>[Body]RTSP 消息行之间用回车换行(CRLF) 分隔. 一个空行表示消息头部分的结束。
3.1.1 RTSP 方法COMMAND 表示RTSP 命令名称, 是DESCRIBE, SETUP, OPTIONS, PLAY, PAUSE, TEARDOWN 或SET_PARAMETER 等的任意一个.3.1.2 RTSP URL完整语法如下:rtsp_URL = ( "rtsp:" | "rtspu:" )"//" host [ ":" port ] [ abs_path ] host = (A legal Internet host domain name of IP address(in dotted decimal form), as defined by Section 2.1of RFC 1123 \cite{rfc1123})port = *DIGIT如:rtsp://<servername>/live.mp4[?<param>=<valu e>[&<param>=<value>...]]<servername> 表示产品的主机名称或者IP 地址. 3.1.3 RTSP 版本格式和HTTP 协议类似, 且RTSP 版本总是为"RTSP/1.0"3.1.4 RTSP 头字段下面是所有命令都接受的头字段类型,一些命令接受或者必须用到一些附加的特别的头字段。
基于RTP_RTCP协议流媒体传输的研究
福建电脑2010年第2期基于RTP/RTCP协议流媒体传输的研究陈洪敏1,2(1、中国矿业大学计算机科学与技术学院江苏徐州2210082、江苏省徐州技师学院信息工程系江苏徐州221151)【摘要】:随着Internet的普及,个人计算机处理能力的提高,以及视频压缩技术的发展,流媒体技术已经吸引了越来越多的关注。
本文在分析DirectShow和RTP原理的基础上,提出了完整的C/S架构的基于RTP/RTCP的视频传输方案,适合对网络视频传输有比较高的实时性要求的场合。
【关键词】:流媒体;RTP;DirectShow1、引言随着Internet的日益普及,在网络上传输的数据已经不再局限于文字和图形,而是逐渐向声音和视频等多媒体格式过渡。
流(Streaming)是近年在Internet上出现的新概念,主要是指通过网络传输多媒体数据的技术总称,即流媒体技术。
通过运用流媒体技术,服务器能够向客户机发送稳定和连续的多媒体数据流,客户机在接收数据的同时以一个稳定的速率回放,而不用等数据全部下载完之后再进行回放。
流媒体的应用非常广泛。
如在工业上,需要对一些多变的、有毒的、人类不宜久留的场合进行监控,如发生瓦斯爆炸的矿井;又如在医疗上,则需要一些高级专家对异地的病人进行诊断和治疗;在生活中,远居海外长年不能相见的亲人可以通过视频电话系统看到彼此的图像如对方就在眼前……这些都是基于高保真实时动态图像采集压缩和远程传输技术的综合实现。
故而对RTP/RTCP流媒体传输进行深入的研究具有非常强的现实意义。
2、流式传输的原理首先,多媒体数据必须进行预处理才能适合流式传输,这是因为目前的网络带宽对多媒体巨大的数据流量来说还显得远远不够。
预处理主要包括两方面:一是降低质量;二是采用先进高效的压缩算法。
其次,流式传输的实现需要缓存。
这是因为Internet是以包传输为基础进行断续的异步传输。
数据在传输中它们要被分解为许多包,由于网络是动态变化的,各个包选择的路由可能不尽相同,故到达客户端的时间延迟也就不等。
基于RTP的MPEG-4视频传输和多媒体同步
Ab ta t sr c
Ba e n te p i cp u o T n h au e o E 4 sa d r a s ra f lo t msa e p t o w d whc d p ot n — s d o h rn i i m fR P a d t ef t r f e MP G- t n ad. e i l g r h u r a ih a a t r s oa i r f r t a
p rain a d s n h o iai n o E 4 vd osr a We p e e t n e d t- n e b c c e a e n R / C l me t o g s o tt n y c r n z t f o o MP G- ie te m. r s n n — e d f d a k s h me b s d o TP RT P t i e n n e — a o e o mp c t n c n r la d s n h o i t n c n r l o RT a la ra h e ig g o it r u l y a d ef in t iai n o e e o r e i o to n y c r n z i o t P p yo d f c i vn o d pc u e q ai n f ce t i z t fn tr s u c . o ao ot o t i u l o Ke wo d y rs Rr MP G- C n e t n c nr l S n h o iain c nr l P E 4 o g si o t y c r nz t端到端的反馈机制实现流量控制 、 拥塞控制 以及媒体 同步控制 , 整个传输过 程充分利 用带宽 , 使 而不 引起 网络拥 塞; 同时保 证
RTP与RTCP协议在实时音视频传输中的作用与优化策略
RTP与RTCP协议在实时音视频传输中的作用与优化策略实时音视频传输(Real-time Audio and Video Transport)是指通过网络传输实时音频和视频数据的过程。
在这个过程中,RTP(Real-time Transport Protocol)和RTCP(Real-time Transport Control Protocol)这两个协议起到了重要的作用。
本文将探讨RTP与RTCP协议在实时音视频传输中的作用,并提出一些优化策略。
一、RTP协议的作用与优化策略RTP协议是实时音视频传输的关键组件,它负责将音频和视频数据进行分组,并在传输过程中提供时序和同步的功能。
RTP协议的作用主要包括以下几个方面:1.数据分组:RTP将音频和视频数据按照一定的策略进行分组,每个数据包都包含了一个序列号和时间戳。
这些信息可以帮助接收方对数据进行重组和同步。
2.时序与同步:RTP协议通过序列号和时间戳等机制,确保接收方可以按照正确的顺序和时间播放音频和视频数据,从而保持音视频的同步性。
3.传输控制:RTP协议可以通过调整传输速率和丢包恢复等机制,控制音视频数据在网络上的传输质量。
这对于实时音视频传输来说非常关键,可以保证音视频的流畅性和稳定性。
为了优化RTP协议的性能和传输效果,可以采取以下策略:1.选择合适的编解码算法:不同的音频和视频编解码算法对传输带宽的要求不同。
选择适合网络条件的编解码算法可以降低传输延迟,提高数据传输效率。
2.优化数据分组策略:合理设置RTP数据包的大小和分组方式,可以降低网络传输的延迟和丢包率。
例如,将音频和视频数据进行合理的拆分和分组,避免大的数据包对网络传输造成的负担。
3.动态调整传输速率:根据网络带宽和质量的变化,采用自适应的传输速率控制策略。
例如,可以根据网络拥塞程度和接收端的缓冲状态来调整传输速率,以达到最优的传输效果。
二、RTCP协议的作用与优化策略RTCP协议是RTP协议的补充,主要用于实现音视频传输过程中的控制和反馈。
基于RTP的实时多媒体数据网络传输拥塞控制策略
实时流协议 RTSP 、IPV6 [9]协议等, 。
2 传输方案
多媒体数据流实时传输协议, 主要包括: 流协议 ST Ⅱ、实时传输协议 RTP、资源预留协议 RSVP[1],[2],[3],[4]、
图 1 拥塞控制对网络性能的影响
在上述流媒体协议中, 有的因为网络环境和设备条 件等的限制, 还没有普及应用。目前在流式传输的实现 方案中 , 一般采用 H T T P / T C P 来传输控制信息 , 采用 RTP/UDP 来传输实时音视频数据。控制策略常是通过
3.1 反馈拥塞控制分析
反馈控制 , 即由接收方统计流的包丢失率 , 再反馈 给发送方, 发送方根据此信息调整发送的速率来避免网 络的拥塞。
3 控制策略
实时流媒体应用如视音频等都要求数据流的平滑 性 , 即发送方的发送速率不能有太剧烈的抖动 , 剧烈的 速率变化成为流媒体应用的一大障碍, 为了改变这种发 送方速率的抖动状况 , 出现了基于速率的拥塞控制算 法, 即按每秒发送多少比特来控制数据发送。因为流媒 体本质都是基于速率的。速率控制方法根据网络可用 带宽的变化 , 动态调整媒体流的速率 , 把网络拥塞发生 的可能性降到最低 为了便于分析实时多媒体数据传输中的速率控制问 题, 先描述一个基于源端速率控制的传输框架。如图 2 。 算法描述为 : P(n) 表示返回的 RTCP 包所包含丢包率 , 含义是反 映了接收端从前一个 RTCP 包后的 n 个包时间间隔内数 据包丢失情况 , SV 表示发送端初始速率, 并设两个阈值
通信与信息处理
Communication and Inform制增加的幅度 , 既能提高带宽的利用率 , 还能减 少发生拥塞的几率。但是其缺点是其鲁棒性不够好。为 改善传输系统稳定性, 实行自适应动态调整算法。数据 经平滑处理后为(4) 式中的 p(n) 。
基于RTP_RTCP的音视频WiFi传输系统的设计_周鹏
基于RTP_RTCP的⾳视频WiFi传输系统的设计_周鹏第35卷 第4期2011年8⽉武汉理⼯⼤学学报(交通科学与⼯程版)Journal of Wuhan University of Technology(Transportation Science &Engineering)Vol.35 No.4Aug.2011基于RTP/RTCP的⾳视频WiFi传输系统的设计*周 鹏1) 汤银焕1) 黄秋元1) 杨纪锋2) 王福堂2)(武汉理⼯⼤学信息学院1) 武汉 430070) (上海明波通信技术有限公司2) 上海 201203)摘要:本系统设计了⼀个⽆线WiFi⾳视频传输⽅案,可⽤于视频监控,视频教学,旅游导游等领域.系统采⽤i.MX27多媒体处理器,WiFi模块采⽤基于IEEE802.11b的⽆线协议,流媒体传输采⽤RTP/RTCP协议,视频的编解码采⽤成熟的MPEG4标准,实现基于2.4GHz⽆线⽹络传输的⾳频流和视频流数据的传输.实现了⾳视频的WiFi传输,在接收端⾳视频还原流畅.关键词:RTP/RTCP;WiFi;MPEG4;i.MX27中图法分类号:TN948.6 DOI:10.3963/j.issn.1006-2823.2011.04.036收稿⽇期:2011-04-02周 鹏(1961-):男,硕⼠,副教授,主要研究领域为电视⼴播技术、光电信号检测*湖北省⾃然科学基⾦项⽬资助(批准号:20101J0169)0 引⾔⽆线流媒体技术是⽆线⽹络技术、视频编码技术和流媒体传输技术的结合.在⽆线⽹络⽅⾯,基于IEEE802.n系列的WiFi⽹络理论上已经能达到108Mb/s的速率,在视频编解码⽅⾯,MPEG4已经得到学术界和⼯业界的认可[1-3],也成为当前视频编码领域最为热门的研究领域之⼀.RTP/RTCP协议是为了在分组⽹络中传递实时业务⽽设计的,如今已经在有实时性要求的领域得到了⼴泛的应⽤.当前,基于⽆线⽹络的流媒体传输技术是⽆线⽹络应⽤的⼀个研究热点,同时也是难点.本系统由2部分实现:采集⾳视频并压缩发送⾳视频信号的发送端和接收并解码播放⾳视频信号的接收端.发送端和接收端在硬件平台上是完全相同的,通过软件来将其设定为发送端和接收端,以实现两者之间实时的⽆线视频流式传输.1 系统结构1.1 硬件结构硬件主要包括处理器、⾳视频采集单元、WiFi传输模块、存储模块、以太⽹接⼝以及串⼝调试单元组成.结构如图1所⽰.图1 ⽆线传输系统结构图处理器采⽤飞思卡尔半导体DragonBall家族的最新成员i.MX27芯⽚作为多媒体应⽤处理器,可以对前端送来的视频信号进⾏H.264编码和本地存储,且通过⽆线wifi传输.NAND Flash是程序存储器单元;LPDDR存储数据;⽆线模块采⽤usb接⼝的wifi模块TL-WN321G+;codec使⽤wolfson的WM8976,采⽤麦克风录⾳或者AV线从电视机录⾳,播放使⽤扬声器、⽿机或者AV线输⼊到电视;视频encode芯⽚是TVP5150,decode芯⽚是CH7024,从CMOS摄像机OV2640或者TVIN录制视频流,由TVOUT播放或者LCD显⽰.在⽆线传输系统中,通过软件分别将两块板⼦设置为发送端和接收端,发送端的开发板就选中codec的录⾳功能和video的视频采集功能,接收端的功能是codec播放声⾳和视频解码显⽰.1.2 软件结构系统的软件架构采⽤C/S架构,软件设计分为发送端软件和接收端软件.发送端软件设计分为⾳视频采集、⾳视频压缩和⾳视频发送3个功能模块;客户端软件设计分为⾳视频接收、⾳视频解码和⾳视频播放3个功能模块.系统软件结构如图2所⽰.图2 ⽆线传输系统软件结构⼯作流程:发送端,视频采集模块分别从前端摄像机和麦克风采集视频和⾳频信号,视频信号经过A/D转换和i.MX27应⽤处理器芯⽚进⾏压缩编码后⽣成MPEG4格式的视频流,⽽⾳频信号经过A/D转换⽣成I2S标准的数字⾳频格式,将这些⾳视频流通过流媒体服务器打包成RTP数据包,通过wifi⽆线模块发送到⽹络中;接收端通过wifi⽆线模块从⽹络中接收到RTP包,解包,通过i.MX27解压缩,经过D/A转换为视频和⾳频信号,送到LCD视频显⽰,及扬声器进⾏声⾳的播放.2 流媒体传输RTP/RTCP协议2.1 RTP/RTCP介绍由于TCP的重发机制带来较⼤的时延,UDP本⾝⼜不提供任何Qos保证,因此IETF制定了实时传输协议RTP和实时传输控制协议RTCP来满⾜多媒体实时传输的需求.RTP通常使⽤UDP来进⾏多媒体数据的传输,但如果需要的话可以使⽤TCP或者ATM等其他协议.实时传输协议(real-time transport protocol,PRT)是在Internet上处理多媒体数据流的⼀种⽹络协议,利⽤它能够在⼀对⼀(unicast,单播)或者⼀对多(multicast,多播)的⽹络环境中实现传流媒体数据的实时传输,其⽬的是提供时间信息和实现流同步.整个RTP协议由两个密切相关的部分组成:RTP数据协议和RTP控制协议两个关系⼗分密切的⼦协议.RTP和RTCP配合使⽤,能以有效的反馈和最⼩的开销使传输效率最佳化,因⽽特别适合传送⽹络视频流数据.在RTP会话期间,各参与者周期性地传送RTCP包.RTCP包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料.⼀个视频或⾳频RTP包的组成如图3所⽰.图3 ⼀个视频/⾳频RTP包2.2 基于RTP/RTCP的⾳视频传输为了更加快速地在项⽬中应⽤RTP协议实现流媒体的传输,⼀般会选择使⽤⼀些RTP库,例如使JRTPLIB库,CCRtp库,Ortp库等,我们选⽤Ortp库作为第三⽅库.Ortp是⼀个⽀持RTP以及RFC3550协议的库,该库纯使⽤C语⾔实现,可以⼯作于windows,Linux,以及Unix平台.该系统是在linux下实现的,所以要将Ortp库移植到linux系统下.对于⼤部分基于RTP/RTCP的应⽤程序来说,类RTPSession是最主要的类.发送视频的程序实现步骤如下.在进⾏RTP流媒体传输之前,⾸先要对RTP进⾏初始化,初始化函数如下:ortp_init();ortp_scheduler_init();然后对RTP收发进⾏初始化,先要⽣成RtpSession类的⼀个实例来表⽰此次RTP send对话,创建的RtpSession的⼀个实例是m_Ses-sion_send,m_Session_send=rtp_session_new(RTP_SESSION_SENDRECV);接下来设置该实例使⽤调度管理功能,使⽤阻塞模式,发送数据的⽬标地址和监听端⼝号,以及发送数据的负载格式,设置如下:rtp_session_set_scheduling_mode(m_Session_send,1);rtp_session_set_blocking_mode(m_Session_send,1);rtp_session_set_remote_addr(m_Session_send,"192.168.2.60",5060);rtp_session_set_payload_type(m_Session_send,34);其中,payload的格式在payloadtype.h中有详细的定义,在发送⾳频的时候要注意payload值的变换.然后进⾏视频采集、MPEG4编码,最后将编·308· 第4期周 鹏,等:基于RTP/RTCP的⾳视频WiFi传输系统的设计码好的MPEG4视频流打成RTP包,如下m1=rtp_session_create_packet(m_Session_send,headerSize,(char*)data,size);返回mblk_t结构的RTP包,将该RTP包发送出去到⽬的地址,实现函数如下rtp_session_sendm_with_ts(m_Session_send,m1,0);视频接收的程序实现如下步骤:初始化RTP和发送端⼀样,也需要先⽣成RtpSession类的⼀个实例m_Session_recv,模式设置同发送端,同时要注意接收监听端⼝要和发送端的⼀致,接收的IP设置为"0.0.0.0",然后进⾏RTP包的接收,rtp_session_recvm_with_ts(m_Session_recv,0);由下⾯函数进⾏时间戳同步,rtp_session_get_current_recv_ts(m_Session_recv);同时将接收到的RTP包进⾏还原,送到处理器解码显⽰,⾄此视频端RTP收发已经实现.3 WiFi模块的设计3.1 WiFi技术介绍[4-5]⽬前,主要的⽆线接⼊技术主要包括802.11,802.15,802.16,802.20标准.⽆线局域⽹就是基于其中的802.11标准.802.11b是所有⽆线局域⽹标准中被使⽤最为⼴泛的标准,它的⼯作频率为2.4GHz,传输速率为11Mb/s.另外还有两种802.11空间的协议,包括(a)和(g),它们也是公开使⽤的,但802.11b在世界上最为常⽤.WiFi(wireless fidelity)就是基于802.11b标准建⽴的,它具有部署⽅便、成本低、传输速率⾼、抗⼲扰能⼒强、灵活性好等优点.WiFi的覆盖半径基本上能达到100m左右,⽽普通的蓝⽛技术基本上只能覆盖15m左右的半径区域.⽽且WiFi⽹络的建设成本相对于传统的局域⽹布线成本要低,WiFi⽹络只需安装⼀定数量的⽆线⽹络节点(Access Point)就可以满⾜指定区域信号的覆盖,可以避免固定局域⽹繁琐的布线⼯程.3.2 WiFi模块的实现本系统采⽤的WiFi模块是TL-WN321G+,此模块是TP-Link的rt73芯⽚,是⼀款USB接⼝的WiFi设备.该模块⽀持IEEE 802.11b和IEEE 802.11g⽆线标准,最⼤⽀持54Mb/s的传输速率,是USB2.0的接⼝类型,⼯作频段是2.4~2.4835GHz,室内最远传输100m,室外300m的距离.要使⽤该⽆线模块,需将其驱动移植到linux平台上,由于其使⽤的是rt73芯⽚,rt73有开源的linux驱动.从⽹络上下载rt73源码到内核linux2.6.19下,进⾏该驱动的移植,配置内核⽀持WiFi⽹络,⽣成rt73.ko,拷贝到相应⽂件系统下,同时也要移植相应的加密⼯具.使⽤的时候将WiFi模块插⼊usb接⼝,insmod驱动模块,设置⽆线模块的IP,将⽆线模块激活,这样就可以使⽤WiFi模块进⾏⾳视频的⽆线传输,同时为了增加⽆线⽹络的稳定性,需要⼀台⽆线路由器建⽴连接点.4 结束语本系统实现了⾳视频流通过⽆线⽹络的实时传输,视频和⾳频是分开进⾏的.该系统视频部分实现了从CMOS摄像头采集视频,由i.MX27进⾏MPEG4编码,组成RTP/RTCP包通过WiFi⽆线⽹络发送出去,并由接收端接收解码显⽰出来,⾳频部分实现了从麦克风录⾳,由codec芯⽚编码成PCM流,然后组成RTP/RTCP包,通过WiFi⽹络发送,在接收端接收解码播放.参考⽂献[1]孔永锋,施伟斌,基于RTP&RTCP的MPEG4嵌⼊式Linux⽆线视频监控系统[J].仪表技术,2009(8):35-38.[2]贺 礼,陈前斌,唐 伦,隆克平.基于3G⽆线⽹络实时传输MPEG4流媒体的设计与实现[J].计算机应⽤研究,2008,25(6):121-124.[3]张 伟.基于RTP和MPEG4的流媒体系统研究[J],科技资讯,2007(24):166-167.[4]陈⽂周.WiFi技术研究及应⽤[J].数据通信,2008(2):14-17.[5]Doxygen,ORTP API documentation,Rev0.14.2[EB/OL].[2008-02-02],http://www.antisip.com/doc/ortp.(下转第808页)·408·武汉理⼯⼤学学报(交通科学与⼯程版)2011年 第35卷[2]李爱军,谢燕武.地形跟随/地形回避实时仿真系统的设计与实现[J].计算机⼯程,2008,34(2):235-239.[3]李⼠波,孙秀霞,王 栋.⽆⼈机动态环境实时航迹规划[J].系统⼯程与电⼦技术,2007,29(3):399-401.[4]Davis L S.Shape matching using relaxing techniques[J].IEEE Trans.Pattern Analysis and Machine In-telligence,1979(1):60-72.[5]Ranade S,Rosenfeld A.Point pattern matching byrelaxation[J].Pattern Recognition,1980,12(4):269-275.[6]桑 农.旋转与⽐例不变的点特征松弛匹配算法[J].电⼦学报,2010,26(6):74-77.[7]David L H,James L.Handbook of multisensor dataFusion[M].Press LLC,2001.[8]Moravec H P.Towards automatic visual obstacleavoidance[C]//Proceedings of the 5th InternationalJoint Conference on Artificial Intelligence,Cam-bridge,Massachusetts,1977.[9]陈志刚,宋胜锋,李陆冀.基于相似原理的点特征松弛匹配算[J].⽕⼒与指挥控制,2006(1):49-51.[10]Chellappa R,Zheng Q.On the positioning of multi-sensory imagery for exploitation and target recogni-tion[J].Proc.IEEE Trans.Inform.Technol.Bi-omed.,1999,3(1):47-68.[11]Alex H,Kumar M,Shirazi B.An adaptive middle-ware for information fusion in sensor network appli-cations[J].Information Fusion,2008(9):332-343.Research on Image Registration Method Based on Point PatternChen Zhigang Jiang Jun Li Qiyuan(Electronic Engineering College,Naval Engineering University,Wuhan 430033,China)Abstract:Data registration is the most important segment in the data fusion process.It uses the inter-est point detection operator to extract the point pattern,uses someone special points to define the bas-ic point of relaxation matching algorithm and improve its matching degree function.The results showa high correct matching rate in the process of data registration.Key words:image registration;point pattern matching;relaxation alg檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾檾orithm(上接第804页)Design of Video and Audio Transmission SystemWith WiFi Based on RTP/RTCPZhou Peng1) Tang Yinhuan1) Huang Qiuyuan1) Yang Jifeng2) Wang Futang2)(School of Information Engineering,Wuhan University of Technology,Wuhan 430070,China)1)(Shanghai Bwave Technology Co.,Ltd,Shanghai 201203,China)2)Abstract:This system is designed as a wireless WiFi audio and video transmission project.which canbe used in Video Monitoring System,School Teaching and Tourist Guide fields.i.MX27multimediaprocessor is the system's processor.Wifi transmission module is based on IEEE802.11bwireless pro-tocol.RTP/RTCP protocol is used in streaming media deliver,the video codec uses the matureMPEG4standard,all these realize the audio stream and the video stream transmission based on 2.4GHz wireless internet transfers.The system realizes the WiFi transmission of the audio and video,which can be recovered fluency at RX receiver.Key words:RTP/RTCP;WiFi;MPEG4;i.MX27·808·武汉理⼯⼤学学报(交通科学与⼯程版)2011年 第35卷。
【6A文】基于RTP协议的流媒体的实时传输的实现
毕业设计(论文)题目:基于RTP协议的流媒体的实时传输的实现系别:电子信息科学系专业:电子信息科学与技术班级:学生姓名:学号:指导教师:学位论文原创性声明本人郑重声明:所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。
除了文中特别加以标注引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写的成果作品。
本人完全意识到本声明的法律后果由本人承担。
作者签名:20GG年6月14日学位论文版权使用授权书本学位论文作者完全了解学校有关保障、使用学位论文的规定,同意学校保留并向有关学位论文管理部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。
本人授权省级优秀学士学位论文评选机构将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
本学位论文属于1、保密□,在_________年解密后适用本授权书。
2、不保密√。
(请在以上相应方框内打“√”)作者签名:20GG年6月14日导师签名:20GG年6月15日摘要基于IP的网络中提供的尽力而为的服务并不适合流媒体的传输[4]。
本文的研究项目由网络流媒体传输需求提出,旨在研究基于RTP协议的流媒体的实时传输,使之能够适应网络状态的变化。
论文的论述从以下三个方面展开:(1)本文首先分析了网络多媒体应用中常用的流媒体技术,视频压缩编码技术。
(2)本文深入分析了RTP/RTCP的特点、内容,认为该协议非常适合多媒体信息的网上传输。
(3)为了实现实时传输,本文采用sun公司所提供的平台。
利用JAVA 提供的宽松的格式支持和基于JMF组件对象模型的特征,研究了JMF的体系结构、基本原理和基本构件,利用JMF的体系结构和已有的采集、编码组件,实现了一套完整的流媒体传输实验模型。
关键词:RTP;流媒体传输;JMF;InternetAbstractThebest-effortservicebasedonIPprovidedbyInternetisn’tsuitablefor ingfromaStreaming Mediatransmissionneedinnetworkedmultimediaapplication,theresearchp rojectthethesisdiscussesistoresearchanRTP-basedStreamingMediatrans missionwhichcanadapttothechangesofnetworkstates.Thethesisincludest hefollowingthreeparts:Firstly,thisthesisanalyzesstreammediatechnologya ndvideocompressioncodingtechnologyinnetworkedmultimediaapplicati on.Secondly,thisthesislucubratesthecontentsandcharactersofRTP/RTCPa ndthinksthatRTPiswellsuitablefortheStreamingMediainformationtransmi ssion.Fourt-hly,inordertorealizeRTPandtransmissioncontrolpolicy,thisthes ingthewidevarietyofformatssupporte dbyJAVAandthecharactersbasedonJMFcomponentobjectmodel,thisthesi sresearchesthearchitectureofJMF,itsbasictheoryandconstructionofitsbasi ccomponent.WiththehelpofeGistingcaptureandencodecomponents,maki nguseofJMFarchitecture,thisthesisrealizesanintegratedStreamingMediatr ansmissioneGperimentmodel.Keywords:RTP;StreamingMediaTransmission;JMF;Internet目录第一章绪论 (1)1.1课题的背景 (1)1.2本课题所做的工作 (1)1.3流媒体技术 (2)1.3.1视频技术发展的现状 (2)1.3.2多媒体数据压缩技术 (3)1.4实时传输协议RTP/RTCP (7)1.4.1 RTP的特点 (7)1.4.2 RTP的数据包格式 (8)1.4.3 RTP在协议层中的位置 (9)1.4.4 RTCP的控制功能 (10)1.4.5 RTCP发送方报告数据包格式 (11)第二章总体方案设计 (14)2.1 方案论证 (14)2.1.1方案一.采用DirectShow框架实现流媒体实时传输 (14)2.1.2 方案二. 在嵌入式平台下实现流媒体实时传输 (15)2.1.3 方案三. 采用JAVA媒体框架(JMF)实现流媒体实时传输 (16)2.2.系统总体设计 (17)2.3 系统处理流程图 (17)2.4 系统模块的划分及功能描述 (18)2.5 JMF体系结构 (18)2.6 建立Java多媒体开发环境所需的硬件和软件 (19)2.6.1 硬件环境 (19)2.6.2 软件环境 (19)2.7一种流媒体传输控制方法的提出 (20)2.7.1流媒体传输控制的特点 (20)2.7.2流媒体传输控制的研究 (21)2.7.3 本文提出的控制方法 (23)第三章用Java实现流媒体实时传输 (24)3.1服务器端媒体处理程序 (24)3.1.1 发送端程序流程图 (24)3.1.2 流媒体的捕获 (25)3.1.3 流媒体的压缩 (26)3.1.4 流媒体的实时传输 (27)3.1.5 停止传输流媒体 (29)3.2 采用JMF RTP API 接收流媒体数据 (30)3.2.1 JMF的回放机制 (30)3.2.2接收端程序流程图 (31)3.2.3 流媒体的接收 (32)3.2.4 流媒体解压缩、实时播放 (33)3.2.5 监听接收媒体流事件 (34)3.2.6 监听数据是否接收完毕 (35)3.3 本章小节 (36)第四章系统测试 (37)4.1 系统测试结果与分析 (37)4.2本章小节 (37)第五章结束语 (38)致谢 (39)参考文献 (40)附件 (42)第一章绪论1.1课题的背景目前,多媒体技术和计算机网络通信技术都有了很大的发展。
基于RTP的MPEG24视频传输和多媒体同步
基于RTP的MPEG24视频传输和多媒体同步摘要在RTP协议原理和MPEG24编码特性的基础上,提出了适用于MPEG24视频传输和多媒体同步的算法。
利用RTP /RTCP端到端的反馈机制实现流量控制、拥塞控制以及媒体同步控制,使整个传输过程充分利用带宽,而不引起网络拥塞;同时保证在线播放时有良好的视觉质量又满足实时播放的要求。
关键词RTP MPEG24 同步控制拥塞控制0 引言随着网络技术的发展,产生了对诸如电子商务,远程教育,视频监视等服务的巨大需求。
而原有的基于MPEG21,MPEG22系统因为需占用太大带宽仅仅能在局域网中工作,限制了它们在Internet上的应用。
MPEG24标准以其出色的媒体性能,高压缩比成为Internet上视频音频压缩的主要标准。
RTP /RTCP协议是用于Internet 上针对多媒体数据流的一种传输协议。
RTP /RTCP协议提供流量控制和拥塞控制服务。
在RTP会话期间,各参与者周期性地传送RTCP包。
RTCP包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料,服务器可以利用这些信息动态地改变传输速率,甚至改变有效载荷类型。
RTP和RTCP配合使用,用户可根据其相关信息实现实时,流畅的播放。
因而RTP /RTCP特别适合传送网上的实时数据。
随着适于MPEG24流的RTP载荷格式的提出,基于RTP的MPEG24流媒体传输渐渐地得到应用。
关于RTP协议[ 1 ]和MPEG24流的RTP载荷格式[ 2 ]的文献仅规范了RTP协议的传输格式和MPEG24流的RTP载荷格式,对于具体如何实现MPEG24比特流的打包;如何计算生成RTP包头和RTCP包;如何利用RTP协议实施流量控制,拥塞控制;如何媒体播放的同步的实现则没有过多的提及。
本文中将详细讨论这些问题。
1 用RTP传输M PEG24比特流1. 1 MPEG24比特流的打包MPEG24比特流提供了分级描述的语法层次:视觉对象序列(VS) ,视频对象(VO) ,视频对象层(VOL ) ,视频对象平面(VOP) 。
基于RTP_RTCP协议的实时数据传输与同步控制策略
&’C( 主要通过发送 &’C( 包来反馈对发送方的数据接收
状况的反馈信息, 并实现 &’( 控制信息。 &’C( 包的类型和格 式主要有: 发送报告包( ; 接收报告包( ; 数据源描述包 8&) &&) ( ; 数据源退出包( ; 特定应用包( 。 8DE8 47/56) BFE ) G(() 每个要发送的 &’C( 包可 以 是 多 个 &’C( 包 的 组 合 , 但该 组 合 &’C( 包 必 须 是 包 括 一 个 8& 或 && , 一个数据源描述包, 该项描述将数据 该数据源描述包中必须包括 C=G@E 项描述, 源与该数据源的发送者对应起来。 文 中 媒 体 同 步 研 究 主 要 采 用 &’C( 报 告 中 的 发 送 报 告 ( 中发送方绝对时间和 &’( 时间戳的对应关系对来自同一 8&) 个发送源的多路媒体进行同步处理。 发送报告 8& 的主要信息: 同步信息源( 标识符: 为相关媒体的同步信 88&C ) #! 比特。 息源标识符, 与 &’( 头的同步源 HD 一致。
!&/ :’/87&/ :; <7’/=; >; !;*+*/ ( .H2 N2D O3P,936,9D ,Q RI46782S73 3:S M26G,9T 1,88I:7=367,:; ?:U7:2297:U , +IP27 /9,V7:=2 , WIH3: X:7V297;6D, WIH3: A#""BC)
%AA !""#$%" 计算机工程与应用
&’( 数 据 分 组 由 %! 个 字 节 的 头 部 信 息 域 和 有 效 负 载
RTSPRTP媒体传输和控制协议
RTSPRTP媒体传输和控制协议RTSPRTP 媒体传输和控制协议1 前言本文档主要描述了NewStream Vision 系统中前端视频服务器(DVR, 网络摄像机), 中心转发服务器以及客户端之间的多媒体通信以及控制协议.本协议主要基于标准的IETE 的RTSP/RTP 以及相关协议, 并针对具体应用定义了部分扩展.本协议只是当前实现的总结和整理, 具体的协议细节以实际实现为准2 定义RTSP实现流协议SDP会话描述协议RTP实时传输协议H.264H.264 视频编码标准3 RTSP 命令3.1 Request 语法语法:RTSP 的语法和HTTP 的语法基本相同, 具体如下。
COMMAND rtsp_URL RTSP/1.0<CRLF> Headerfield1: val1<CRLF> Headerfield2: val2<CRLF>...<CRLF>[Body]RTSP 消息行之间用回车换行(CRLF) 分隔. 一个空行表示消息头部分的结束。
3.1.1 RTSP 方法COMMAND 表示RTSP 命令名称, 是DESCRIBE, SETUP, OPTIONS, PLAY, PAUSE, TEARDOWN 或SET_PARAMETER 等的任意一个.3.1.2 RTSP URL完整语法如下:rtsp_URL = ( "rtsp:" | "rtspu:" )"//" host [ ":" port ] [ abs_path ] host = (A legal Internet host domain name of IP address(in dotted decimal form), as defined by Section 2.1of RFC 1123 \cite{rfc1123})port = *DIGIT如:rtsp://<servername>/live.mp4[?<param>=<value>[&<param>=<value>...]]<servername> 表示产品的主机名称或者IP 地址. 3.1.3 RTSP 版本格式和HTTP 协议类似, 且RTSP 版本总是为"RTSP/1.0"3.1.4 RTSP 头字段下面是所有命令都接受的头字段类型,一些命令接受或者必须用到一些附加的特别的头字段。
RTCP协议的视频网络传输及拥塞控制问题的研究的开题报告
基于RTP/RTCP协议的视频网络传输及拥塞控制问题的研究的开题报告一、选题背景随着网络技术的不断发展,视频传输逐渐成为网络传输的主要应用之一。
RTP/RTCP是常见的基于UDP协议的多媒体传输协议,能够实现实时的视频和音频数据传输。
然而,网络中的拥塞问题一直是影响视频传输质量和稳定性的重要因素。
为了解决这一问题,需要进一步研究基于RTP/RTCP协议的视频网络传输及拥塞控制问题,针对网络环境进行优化和改进,提高视频传输的质量和效率。
二、研究目的与意义本研究的目的是探究基于RTP/RTCP协议的视频网络传输及拥塞控制问题,为提高视频传输质量,提供方案和方法。
具体包括以下几个方面:1. 分析RTP/RTCP协议的传输原理和机制;2. 深入探究拥塞控制算法的性能和优化方法;3. 研究基于RTP/RTCP协议的视频传输质量评价方案;4. 基于实验数据,对不同拥塞控制算法和网络拓扑结构进行对比分析。
本研究对于理解视频传输技术和拥塞控制算法的原理,优化视频传输质量都具有一定的意义和价值。
三、研究内容本研究的主要内容为:1. RTP/RTCP协议的传输原理和机制;2. 不同拥塞控制算法及其优缺点的分析;3. 基于RTP/RTCP协议的视频传输质量评价方案;4. 实验设计和数据分析,对算法和网络拓扑结构进行对比分析;5. 结果分析和总结。
四、研究方法和技术路线本研究的方法和技术路线为:1. 文献研究和梳理,了解当前RTP/RTCP协议和拥塞控制算法的发展状况和应用现状;2. 系统设计实验,包括数据收集和分析,对比不同算法的性能;3. 采用统计学方法对实验数据进行分析,并进行结果对比和结论总结。
五、预期成果与时间安排本研究预期的成果包括:1. 建立基于RTP/RTCP协议的视频传输质量评价方案;2. 探究不同拥塞控制算法在不同网络拓扑结构下的性能表现,并进行对比分析;3. 提出一种优化基于RTP/RTCP协议的视频传输的拥塞控制方案,实现视频传输质量的提高。
基于RTP的视频流传输协同控制
表4 PL O e 议规定的 据包格式.... ... ... .…… 5 . E Cp协 I c s 数 .... .. .... .. . ……,.. .. ... . .
关键词: R P T C ,协同,视频流,吓R T ,R P C
Ab ta t sr C
B a O h p iyf 如 mmd p i i h e a i a t t s c to s幼 eia la叭 t dl 」 r d C e e S U f e a e l a pc t e y t D h , e e cn lf ad i o se卫m d d a ae g r ue et t t c 】 Ot o b wd f t山 e i a hv h e lm n 胡d h ,a e o r n t h r at i h qr , as d l
ds . er i e
K y o sR PR C Sn吧 c v e s a , RC d , , e t ,d r F i e
插图和附表
图 2I T . R P与各种网络协议关系图. ..... ……,....…… ……,.... ....……, ..... ..... 图2 T . 2R P包封装结构图. ...... . ..... ……,..........… … . ..... . ....... .... ....... . . 图2 T . 3R P数据包头结构图... , ............. ..…… . ............. .. ............……6 表 2IR C . T P包类型表 ............ .. ......... .. ........……。.. ... ..… …7 ..……,.. .. 图2 . 4接收端报告包结构图... ...............…… ..……,............... .. ............... 图2 . 5发送端报告包结构图........... ......... ........... ..... ... ........... ..... ..……
基于RTP的MPEG_4视频传输
收稿日期:2002 06 07基金项目:国家 863 课题资助项目(2001AA112072)基于RTP 的MPEG 4视频传输*董振亚,张拥军,彭宇行(国防科技大学计算机学院PDL 重点实验室,湖南长沙410073)摘 要:在简述R TP 协议原理和MPEG 4编码特性的基础上提出了适用于MPEG 4视频传输的RTP 载荷格式及组包算法,同时具有传输的高效性和丢包的鲁棒性。
并采用基于RTP/RTCP 的端到端反馈拥塞控制,使整个传输过程既能充分利用带宽又不引起网络拥塞,从而减小时延,降低丢包率。
实验证明提出的基于R TP 的MPEG 4传输方法能获得良好视觉质量并充分利用带宽。
关键词:MPEG 4;实时传输;R TP;反馈拥塞控制中图法分类号:TP393 2 文献标识码:A 文章编号:1001 3695(2003)07 0052 04MPEG 4Video Transportation Based on RTPDONG Zhen ya,ZHANG Yong jun,PENG Yu x ing(State Ke y Laboratory o f PDL ,College o f Com pute r ,National U ni versity o f De fe nse Tec hnology ,Changsha Hunan 410073,China )Abstract:In this paper,based on the principium of RTP and the features of MPE G 4standard,we put forward a R TP payload formatand a packetization algorithm for MPEG 4video which achieves both efficiency and rob ustness We present an end to end feed back con gestion control scheme based on RTP/RTCP Si mulation results show that our scheme achieves good perceptual picture quality for MPEG 4video under low bit rate and varying network conditions and efficiently utilizes network resources.Key w ords:MPEG 4;Real ti me Transportation;RTP;Feedback Con gestion Control1 引言随着Inte rnet 和多媒体技术的快速发展,网络视频的实时传输成为网络应用的热点之一。
基于RTP自适应分包的视频无线传输技术
基于RTP自适应分包的视频无线传输技术卓薇宁波大学信息科学与工程学院,浙江宁波 (315211)E-mail: vivi_724@摘要:本文重点研究了MPEG-4码流的RTP分包问题。
传输中的丢包率和RTP包的长度有关,为了在无线信道中降低丢包率,改善解码的效果,文章在RFC3016的基础上,提出了一种能够根据网络状态的变化调整RTP包的大小的自适应分包算法。
最终在ARM系统上实现了高分辨率视频图像的采集、编码、无线发送等。
实验结果表明,该方法能较好地改善大数据量视频信号的无线传输质量。
关键词:RTP/RTCP,MPEG-4,RTP 分包,无线传输,Z228中图分类号:TP393.041.引言随着现代通信的发展,人们对视频传输的要求也越来越高。
清晰的、低延迟的动态画面质量一直是人们所追求的。
为了保证连续播放视频,视频数据必须及时地到达接收端,否则播放过程会中断,播放质量严重下降,而RTP是解决视频实时传输问题的比较好的办法。
RTP协议通常在UDP上运行以利用它的多路复用技术与校验和服务。
对于不同编码方法,RTP采取了不同的分包方式,这样便能有效的降低由于网络丢包或拥塞丢包而导致的解码效果差的影响。
尤其在无线信道中传输高分辨率的视频图像,由于传输数据量较大、而无线信道带宽又极其有限,因此对视频流采取合理的、动态的RTP分包方法则更有意义。
2.视频无线传输的特点无线信道的带宽资源是一种稀有资源,无线信道又具有易错、时变和带限的特点[1]。
而原始数字视频信号的数据量大,因此高压缩比的视频编码方法是解决无线视频传输的首选。
MPEG-4视频压缩标准能够提供极高的压缩比,最高可达200:1。
更重要的是,MPEG-4在提供高压缩比的同时,对数据的损失很小。
目前无线局域网内主流技术是WiFi技术,主要采用的是IEEE802.11b和IEEE802.11g 两种协议,最大有效传输速率分别为11Mbps和54Mbps,但即便是54Mbps的理论带宽,它的实际有效传输带宽也仅仅是5~7Mbps。
基于RTP的视频传输控制的研究的开题报告
基于RTP的视频传输控制的研究的开题报告一、研究背景随着网络技术的不断发展,视频传输已经成为互联网应用中最为普遍和重要的应用之一。
对于视频传输来说,其关键问题是如何保证视频的实时性和流畅性。
而对于实现这一目标来说,传输控制就成为了关键因素之一。
传输控制需要协调发送端和接收端的工作,根据网络情况动态地调整视频传输的参数,以保证视频传输的质量。
目前,基于RTP(Real-time Transport Protocol)的视频传输协议已经广泛应用于视频传输领域。
RTP是一种实时传输协议,主要用于音频和视频的传输。
它可以提供传输质量的反馈信息和带宽估计,以便实时地调整视频的传输参数和优化网络性能。
在本项目中,我们将研究基于RTP的视频传输控制技术,旨在通过研究RTP协议的特点和视频传输中的关键问题,为视频传输控制提供新的思路和解决方案。
二、研究内容和目标本项目的研究内容主要包括以下几个方面:1、RTP协议的特点和应用领域研究RTP协议的功能和特点,探讨它在实时音视频传输中的应用领域以及设计的理论基础。
例如,RTP协议支持媒体数据的标识和传输控制,可以有效地提高音视频的实时性和质量。
2、视频传输中的关键问题分析视频传输中的关键问题,包括视频传输的实时性与流畅性、丢包和拥塞控制等问题,并探究如何通过传输控制技术来解决这些问题。
传输控制需要协调发送端和接收端的工作,根据网络情况动态地调整视频传输的参数,以保证视频传输的质量。
3、基于RTP的视频传输控制技术研究基于RTP协议的特点和视频传输中的关键问题,研究如何利用RTP协议来进行视频传输控制。
具体而言,研究如何通过RTP协议的反馈信息来进行带宽估计和丢包恢复,并探究如何在网络拥塞的情况下动态地调整视频传输的参数,以实现流畅的传输。
4、实验验证和性能分析设计和实现视频传输控制系统,并对其进行实验验证和性能分析。
我们将使用实时音视频数据来进行测试,并通过不同的网络环境、不同的视频编码和解码方式来进行测试。
基于RTP_RTCP的H_264视频实时传输系统设计
基于RTP/RTCP的H.264视频实时传输系统设计樊 姗(华东师范大学,上海200241)摘 要:随着移动通信的迅猛发展,数字视频技术获得了日益广泛的应用,如视频会议、视频点播、远程监控、网络视频传输等。
H.246不仅具有优异的压缩性能,而且具有良好的网络亲和性,视频通信是其一个重要的应用领域。
根据H.264编码特性中NAL(网络适配层)的结构以及RTP/RTCP协议应用原理的基础上,提出了适用于H.264的网络实时传输系统。
关键词:R TP/R TCP;H.264;实时传输中图分类号:TP 文献标识码:A 文章编号:167223198(2010)19202662011 引言20世纪90年代中后期,Internet迅速发展起来,它日益成为人们通信、娱乐、交流、工作的重要信息。
随着Internet 的普及,个人计算机处理能力的提高,以及视频压缩技术的发展,人们对网络视频服务,譬如视频电话,视频会议,远程教学等实时视频业务的需求不断增长。
作为新一代的视频编码标准H.264/AVC,从理念上把视频编码和传输分开,形成两个层次:视频编码层(VCL, Video Coding Layer)和网络提取层(NAL,Network Adapta2 tion Layer)。
VCL提供高质量的视频压缩;NAL则对具体的网络传输环境把压缩好的数据进行传输封装,提供了良好的网络适应性。
对于网络传输标准,一方面,本文选取了由IETF制定的R TP/R TCP实时传输和控制协议标准,引入了时间戳和QoS反馈控制机制,能很好的用来来传输实时视频。
另一方面,对于H.264视频的实时传输应用来说,TCP的重传机制引入的时延和抖动是无法容忍的,因此,在底层本文采用了UDP/IP传输协议。
2 H.264视频编码的分层技术H.264的算法在概念上分为两层:视频编码层(VCL)和网络适配层(NAL)。
VCL包含了代表视频图像内容的核心压缩编码部分的表述,主要用来完成视频的高效压缩编码;NAL用来适应各种通信网络,并提供适应于各种传输层或存储媒体的头信息,显著提高网络传输的抗干扰能力。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
流媒体业务由 于业务其自 身的特点, 流媒体数据经网络传输时在时延、 时延 抖动以 及带宽分配方面都有较高的要求, 称之为服务质量。 流媒体技术是计算机 支持的协同工作C C 的关键技术之一, SW 另外随着 Ie e技术的高速发展和普 nr t t n 及, 在其应用数据流中, 据重要地位的流媒体及其传输与控制技术成为工业界 占 以及研究领域关注的焦点。
ds . er i e
K y o sR PR C Sn吧 c v e s a , R .w r : T T P y e s i o t m T C d , , e t ,d r F i e
插图和附表
图 2I T . R P与各种网络协议关系图. ..... ……,....…… ……,.... ....……, ..... ..... 图2 T . 2R P包封装结构图. ...... . ..... ……,... ....... . . 图2 T . 3R P数据包头结构图... , ............. ..…… . ............. .. ............……6 表 2IR C . T P包类型表 ............ .. ......... .. ........……。.. ... ..… …7 ..……,.. .. 图2 . 4接收端报告包结构图... ...............…… ..……,............... .. ............... 图2 . 5发送端报告包结构图........... ......... ........... ..... ... ........... ..... ..……
关键词: R P T C ,协同,视频流,吓R T ,R P C
Ab ta t sr C
B a O h p iyf 如 mmd p i i h e a i a t t s c to s幼 eia la叭 t dl 」 r d C e e S U f e a e l a pc t e y t D h , e e cn lf ad i o se卫m d d a ae g r ue et t t c 】 Ot o b wd f t山 e i a hv h e lm n 胡d h ,a e o r n t h r at i h qr , as d l
本 讨Rp J P 文在详细探 T用 C 协议和 技术的 协同 基础上, rPb P 以jl( 协议库) t iR T
框架为基础, 设计并实现了 一个 L u 平台下的视频传输与监视系统, ix n 具体包括 视频预览与录放、频道选择与窗口控制、云镜控制等常规功能模块以及基于 R P T P的视频传输、缓存控制和基于 T R T了 C R F C的拥塞控制、链路选择等具有协 同特征的功能模块。 最后, 本文对所实现的视频监视系统进行了功能测试, 结果 表明系统能稳定运行,达到了预期设计要求。
Q S S e旧m d t ho g io o t kyt ho g o cm u r Po e o.ta e1e o 1 s n f e e n l f o P让 s Prd r J a c o y e h e c o y u t
c pre w r A t dvl m ad Pl o o le e d a ta , oe a d k s ee p e n pu 幼劝石 fn m t a se i t o. h e o n t o n t ,t r t m s 七 ” rn cn0o t 1e eaP ao d se ib 而n t f u o 田 f ad o七1f n m tPltn a ta s e g h o s f e e h t c i i t r n I o c e c I u尽a irec fl n s n t sr i d d t d s ah e · e Tei nt a no PPadm l a v ot nf m ae etdl ad 五 n o o f i f Z n u t s i r s r a gm n e a n it d c e ae n , , y j e cno b wd i bt cu e g fmt ea Pads un l r tl 即d t s uo ol n e r i sm n e e e t o r, i hd i r n t i db t o m t q nm r 】 e i Ra m Tas rPo c d Pce. 。 ihss u b i ud n el e r nPt roo a a t 5, a o e n d c 一 O f l t k s t e m m ai ad r tavI ot r a h f wta e n n P cc a u f e r oh os ng ail e h s c e o 介 ad na e Q s f ne n t o o hc h e s a l d b C C a d n T o 1e e e r tm 1 i y S Wbs o R P v n m L 1a e e r e t h s es s n e d a e Tit s eg o i otnf n i d 1 s n v e r s adv osr i ness o j l h i r e d uv l c y e n I i e1 a t m P t ’ b t f rs edtl iu i Ot T / C n yegt s T r ssm ae om e idd cso bu R P T Padsnrcc. e i o e ae s na R i h e nn a加ntn s hle r i r o , i o e co n o r, l ad o刀l co u i P v 讹 e r wn ws e i dcn lP n is c k e e cd d l na t t o a n Pto r ,I t ri o e ei f1i s i C C hr t sci tIf lcn l 1h e s m s c l Itnwt S Wca c t ler1 r i t ad e s P au co h o a e i k as i r e b d T ifrot l Ccne i cl o l c oeA lt e so e s a R 只he cn , l o r 吓R ogso ot l i h s l a , t f t n l ,n o . s t e r k h t t i co o t ssmw s oeiiw rn rP l sfc t Ic a h l tn f yt a d ,ts k gPoey u eh 1 i e ef i n s h e e n o i r, i eat P it
图4 jpb 送流 .. . . ....... ..... .. . … 2 . rl 发 程图 .. . . ....... . .. . . .. 3 4 ti .. . . . ..... .. . . .… . . .. 图4 rl 接收流程图...……,....... ........ 4 耳j i P t b . .. . . ....... ... .. .... ... ..……3 ..
实时 议 盯P 包中 传输协 ( ) 数据 含有时间 序列号,为 戳和 端到端或多 视频数 播
据的传输、 管理, 延时、 延时抖动控制以及带宽分配等提供了必要的信息. 因此, 研究基于RT的Ie e环境下的业务协同控制技术, I nm tt 以保证和提高流媒体业务 的服务质量,具有一定的研究意义与实用价值.
表4 PL O e 议规定的 据包格式.... ... ... .…… 5 . E Cp协 I c s 数 .... .. .... .. . ……,.. .. ... . .
图41应用程序,S L . D ,操作系统层次结构模型... ........ 一2 . ... ...... 7 . .. ..... 表 4 j h 主要类 lr b P t 继承表.... .. .............……2 .... . ............ . 9 .... . .. .... .... . 图4 j l . ri 2 t b主要类图... .. . P ... ...……,......... .. .... . . ........... . ......... . ……。 图4 . 3数据传输过程图...... . .. ..... . .... . . . ... . …… , . 3 ... . .. ... . . . …… . 1
图5 . 1协同控制模块图.......... .... …,....…… ... ........... . .... . ...… ..... 3 ..... 5 图5 . 2系统流程图 ... .......... .......... ........ ............. 6 ... ... .. .........…… 图5 . 3服务器程序结构图.. .. .. .............. … 6 .……‘ . . ............… . . . ............ 图5 . 4客户端程序结构图,..... .............. ...... .............. 7 ‘.... . ...........…… 图 5 云台连接示意图. ,..... ............. 5 . … . ................ .. 3 . ... ..... ..... .…… 8
图 2 D S包结构图.... ................. . 6S E .....................……1 ... ........... ..... 0
图2 . 7源描述包结构图...................... 0 ............ ......... ............ ........……1 表 2 D S包类型表................... .. 0 . 2S E . ................. .. ................ .……1 图 2 . 8翻译器示意图. , .. …,........ … …, … . ........……,....……1 ....... ..... 1 ..... 图2 . 9混合器示意图......................…… 1 ...................... . . ................. 2 图 2 1混合器,混合器协同工作模型..……,... . ..... . 0 .. .. .... . ..... 2 ... .......……1 . 图3 1加权时间间隔示意图 . ..…… ,......... ... … 0 . .. . .. .............… . ....... . . 图 3 回环时延 R I 2 F, 计算示意图......... ..... ........ ..... ……,. 2 ........ .... ,…… . 1 图 3 缓存各模块关系图.. . .... .... .. ....…… 2 3 .. . .. ..... .. ... .. . . ........ ... . 图 3 链路选择示意图........ . .... ....... 2 4 . ..... .... .. .........一 4 ..... . .... . . ....