网络流媒体

Profile对RTP包的修改： Marker Payload Type Payload Section Header Extension（与数据编解码无关的应 用） Padding（数据加解密）
Real-Time Transport Control Protocol（实时 传输控制协议） 监控RTP的服务质量和网络拥塞程度 收集在一个RTP会话中参与者的状态 跟踪RTP源（同步音频视频流，SSRC有可 能变化）
UDP/IP, private ATM networks... unicast, multicast, from 2 to


separate control/data
some functions may be taken over by conference control protocol (e.g. RTSP)


1.1 RTP/RTCP概述 1.2 RTP简介 1.3 RTP头格式 1.4 RTP profiles




1.5 RTCP简介 1.6 RTCP消息 1.7 RTCP对会话参与 者状态的维护 1.8 RTCP发送间隔的 计算
Leabharlann Baidu
IETF音视频传输工作组 RTPv1 RFC 1889 (January 1996) RTPv2 draft-ietf-avt-rtp-new-09.txt (March 2001)
RTP/RTCP网络层次关系图

应用场景

简单的广播音频会议
广播地址 音频和视频广播会议 混音器(Mixer) 用于多数据源的合成和编解码的转换 转换器(Translator) 用于实时数据的防火墙穿透和跨网中继
Real-Time Transport Protocol（实时传输协议 ） RTP的设计主要是为了多媒体多方会议的需 要 提供端对端的实时数据传输服务，RTP使用 的传输层协议一般为UDP。 不提供机制确保数据的间隔发送 不提供机制保证QoS
对于顺序流式传输来说不需要其他专门的 协议支持，但是对于实时流式传输来说需 要专用的协议系统的支持： 实时流协议RTSP( Real-Time Streaming Protocol) 实时传输协议RTP( Real-time Transport Protocol) 实时传输控制协议RTCP( Real-time Transport Control Protocol)


RTCP消息的种类和组成

SR( Sender Report) RR( Receiver Report) SDES( Source DEScription) BYE APP
在没有加密的情况下，每一个RTCP复合消 息至少由一个SR/RR加上一个包含了CNAME的 SDES组成
RTCP消息(续)
0 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ header |V=2|P| RC | PT=SR=200 | length | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | SSRC of sender | +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+ sender | NTP timestamp, most significant word | info +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | NTP timestamp, least significant word | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | RTP timestamp | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | sender's packet count | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | sender's octet count | +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+ report | SSRC_1 (SSRC of first source) | block +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 1 | fraction lost | cumulative number of packets lost | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | extended highest sequence number received | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | interarrival jitter | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | last SR (LSR) | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | delay since last SR (DLSR) | +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+

Real-Time Control Protocol (RTCP)


设计目标：

flexible
provide mechanisms, do not dictate algorithms! instantiations for H261, MPEG1/2/...

protocol neutral scalable
version (V) padding (P) extension (X)
CSRC count (CC) marker (M) payload type (PT)
图 RTP头格式

RTP被设计成通用的实时传输协议，对特定 应用的支持需要Profile和Payload RFC来定义 ，如 RFC 3551: RTP Profile for Audio and Video Conferences RFC 3016: RTP Payload Format for MPEG-4 Audio-Visual Streams
+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+ report | SSRC_2 (SSRC of second source) | block +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 2 : ... : +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+ | profile-specific extensions | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ RC: reception report count

Real-Time Protocol (RTP)

understand: « a framing protocol for real-time applications » does not define any QoS mechanism for real-time delivery! its companion control protocol does not guaranty anything either!

流媒体(Streaming Media)，就是声音、视频 通过流式传输的方式传送到客户端的方式。 流媒体不是一种新的媒体，而是一种新的 媒体传输方式。



实时流传输(Real-time Streaming Transport) 实时流传输和名称一样，总是传输实时的信息。也 就是说如果网络情况或其他问题而丢失的信息，服 务器不会再次发送。这种流传输方式非常适合现场 直播。实时流传输对网络要求比较高，在网络拥塞 的情况下声音和图像的质量将变得很差。实时流传 输需要专门的协议支持，如RTP。 顺序流传输(Progressive Streaming Transport) 顺序流传输，就是流按顺序下载，在下载的同时可 以观看已经下载的内容。这种传输方式适合播放高 质量的在线音频视频。在网络拥塞的情况下需要增 加缓冲时间，但不会影响图像和声音的质量。顺序 流不需要专门的协议来支持，一般的HTTP协议就 可支持顺序流的传输。

0 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ |V=2|P|X| CC |M| PT | sequence number | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | timestamp | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | synchronization source (SSRC) identifier | +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+ | contributing source (CSRC) identifiers | | .... | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
图 RTCP SR消息格式
2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ header |V=2|P| SC | PT=SDES=202 | length | +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+ chunk | SSRC/CSRC_1 | 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | SDES items | | ... | +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+ chunk | SSRC/CSRC_2 | 2 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | SDES items | | ... | +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+