流媒体协议介绍
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
资源。 • 第三：所有的操作对用户都是透明的，节目流的切换都在后台进行，用户很难注 意到节目流的变化。
自适应流媒体传输与传统流媒体传输对比
技术实现优势：
• （1）由于该技术方案能够充分利用广泛存在HTTP基础环境，它实施起来成本更低；
• （2）它具备了更好的伸缩性和可达性，减少了最后一英里带来的问题； • （3）它能够让观众有更好的体验，而不需要内容提供商或运营商去猜测用那种码率 传输更适合观众； 对用户而言它的优势： • （1）快速播放以及拖动，因为播放或拖动节目都是在低码率下完成，等动作完成后 客户端会主动切换到高码率上去； • （2）没有缓冲等待、没有链接中断、没用回看停顿； • （3）平滑的在不同码率节目间切换；
基于HTTP的流媒体自适应传输协议——RTMP
必须采用Flash服务器FMS(Flash Media Server) 或 RED5 FMS的文件点播 • 服务器将F4v 或 Flv文件转化为RTMP流或HTTP流 • 客户端获取RTMP流，提取相应的Flv 或 F4v文件片段进行播放。 FMS的实况直播 • 设备端将数据转化为F4v片段，通过RTMP流上传到服务器 • 服务器转发RTMP流到客户端 • 客户端获取RTMP流，提取数据片段播放。
分发原理 • 数据经编码器、流分段器、文件分段器处理后为.ts文件（媒体数据）及.m3u8文件（媒体数据索引） 存在于服务器之上 • 客户端访问.m3u8后按索引下载.ts文件进行播放 索引实例
#EXTM3U #EXT-X-TARGETDURATION:30 #EXTINF:30, http://192.169.1.176/sample_100k-1.ts #EXTINF:30, http://192.169.1.176/sample_100k-2.ts #EXTINF:30, http://192.169.1.176/sample_100k-3.ts #EXT-X-ENDLIST 根据这个文件，播放器会依次下载sample_100k-1.ts，sample_100k-2.ts，sample_100k-3.ts
http渐进式下载原理
• http边下载边播放，严格意义上讲，不是直播协议。他的原理 是先下载文件的基本信息，音频视频的时间戳，再下载音视频 数据，以播放mp4为例：
• 先下载文件头 • 根据文件头指引下载文件尾 • 再下载文件的音视频数据
主流的实时流媒体协议
区别 全称 上层协议 软件模型 研发主要来自 针对客户端 RTMP Real Time Message Protocol TCP或HTTP C\S Adobe 支持Flash类产品的浏览器 支持HTML5的浏览器 FLV， F4V 专用Flash服务器 Flash Media Server Red5 专用编码器上传 Flash Media Encoder Flv ，F4V文件即可， 服务器会自动分解为 F4f 数据文件 f4x索引文件 HLS Http Live Stream HTTP B\S Apple 支持HTML5的浏览器 RTSP Real Time Streaming Protocol RTP，RTCP C\S Microsoft 播放器
HLS的主要技术特点
（1）节目源采用H.264/TS编码格式，可变码率；
• 使用流切片技术将一个完整的节目切成若干小片，通常是10秒每片，同时使用m3u或m3u8格式生 成播放列表文件用来指导播放器如何播放文件切片； （2）通过HTTP Server分发节目，同时提供合适的缓存。 • HLS技术另外一个优势是能够实现动态自适应码率传输。相对于移动流媒体RTP传输技术，HLS能 够根据终端用户带宽的可用性在终端而不是在前端视频服务上，实现对码率的切换。这种实现方式 是为用户在无保障的网络上提供好的用户体验。
视频格式要求
服务器要求 实况直播要求 文件播放要求
MP4
普通HTTP服务器 专用编码器上传 Apple开发工具 Ts数据文件， M3u8索引文件
无
专用RTSP流媒体服务器 与服务器相关， 自定义上传 与服务器相关， 与播放器相关
传统流媒体传输协议——RTSP
RTSP协议既可以基于UDP传输也可 以基于TCP传输 • UDP比TCP更容易被防火墙或代理 服务器阻隔； • 但是TCP容易产生延迟。
（3）索引文件说明了在同一个频道或文件中不同码率节目流的对应性；
（4）终端根据接收切变文件的时间长度来选择最合适的码率； （5）每个切片文件最长10秒，所以接收设备可以自动适应码率变化；
HLS在互动电视体系的应用
运营支撑 AAA BOSS 内容生产
内容生产 内容分发
直播 源 直播 源
业务运营
编排系统
基于HTTP的流媒体自适应传输协议——HLS
• HLS主要基于TS的视频
流或文件进行封装传输
• HLS类似一个容器封装 MPEG TS传输格式。
• TS是广播电视行业中采
用的节目传输格式。 • 当前HLS编解码采用 MPEG-4或H.264，音 频采用AAC。
基于HTTP的流媒体自适应传输协议——HLS
区别 音视频数据源 服务器类型 传输协议 跳播
实时流 实时从录制设备上采集， 或（使用专用协议传输的）文 件 专用流媒体服务器 专用协议 HLS、RTSP或RTMP等 可随机访问任意片段
顺序流 可播放的音视频文件 普通的HTTP服务器， 或FTP服务器 一般的HTTP协议， 与传输网页的协议相同 在给定时刻，用户只能观看已下载 的那部分，而不能跳到还未下载的 部分
统一节目 单
增值业务 系统
IPEPG
TRS
回源
CDN中 心
wk.baidu.com回源
服务能力
BSA
门户
消息网 关
手机网关
CDN节 点
HLS
CDN节 点
RTS P
终端
改造/扩容 新建 信令流 内容流
STB
移动APK
回放流程
点播流程
直播流程
关于HLS需要知道的
HLS是以点播的技术方式来实现直播 由于数据通过HTTP协议传输，所以完全不用考虑防火墙或者代理的问题 分段文件的时长很短，客户端可以很快的选择和切换码率，以适应不同带宽 条件下的播放
延迟总是会高于普通的流媒体直播协议
iOS平台APP超过10分钟的视频，必须使用HLS协议 HLS中DRM加密采用是端到端整体加密实现，降低了系统的灵活性； 目前，HLS只能在一个视频流中提供一个音轨
HLS对互动的价值
带宽成本，跨网服务时价值巨大
移动端应用建设与扩展
谢谢
20
流媒体协议初探
什么是流媒体？
• 流媒体即Streaming Media，是指视频、声音和数据以实时传输协议作为连续实时流从 源端同时向目的地传输，在目的地接收到一定缓存数据后就可以立即播放出来的多媒体 应用。
类别
点播内容 直播内容 最大内容长度 内容质量 内容存储内存 内容重复播放
Downloading
√ × 终端容量大小 依内容压缩率从好到差 √ √
Streaming
√ √ 无限制 还受限于网络带宽 × ×
观看延时
服务器
必须全部下载完
Web server
基本实时
Streaming server
流媒体传输类型
• 流媒体传输分两类：实时流媒体 和 顺序流媒体
– 实时流传输既可传输实况直播，也可传输完整的音视频文件（专用协议流式）。 – 顺序流媒体不可用于实况直播，仅能传输完整的音视频文件（HTTP渐进式）。
基于HTTP的流媒体自适应传输协议
实质 • HTTP为基础的流媒体自适应传输是一种混合型的传输方式，它的传输动作类似流
媒体，但是实际上是基于HTTP渐序性下载。
特点 • 第一，它从同一个源产生多个不同码率的节目流以适应不同的带宽和不同的设备 类型。
• 第二.自适应分发文件以及码流传输的变化都是适应有效网络吞吐量和可用的CPU
RTSP为纯粹的传输控制协议。 RTSP协议本身不与它负载的媒体数据 相关。 RTSP协议需要自定义客户端向服务器 发送RTSP命令。
传统流媒体传输协议——RTSP
RTSP为纯粹的传输控制协议。 RTSP协议本身不与它负载的媒体数据 相关。 RTSP协议需要自定义客户端向服务器 发送RTSP命令。
自适应流媒体传输与传统流媒体传输对比
技术实现优势：
• （1）由于该技术方案能够充分利用广泛存在HTTP基础环境，它实施起来成本更低；
• （2）它具备了更好的伸缩性和可达性，减少了最后一英里带来的问题； • （3）它能够让观众有更好的体验，而不需要内容提供商或运营商去猜测用那种码率 传输更适合观众； 对用户而言它的优势： • （1）快速播放以及拖动，因为播放或拖动节目都是在低码率下完成，等动作完成后 客户端会主动切换到高码率上去； • （2）没有缓冲等待、没有链接中断、没用回看停顿； • （3）平滑的在不同码率节目间切换；
基于HTTP的流媒体自适应传输协议——RTMP
必须采用Flash服务器FMS(Flash Media Server) 或 RED5 FMS的文件点播 • 服务器将F4v 或 Flv文件转化为RTMP流或HTTP流 • 客户端获取RTMP流，提取相应的Flv 或 F4v文件片段进行播放。 FMS的实况直播 • 设备端将数据转化为F4v片段，通过RTMP流上传到服务器 • 服务器转发RTMP流到客户端 • 客户端获取RTMP流，提取数据片段播放。
分发原理 • 数据经编码器、流分段器、文件分段器处理后为.ts文件（媒体数据）及.m3u8文件（媒体数据索引） 存在于服务器之上 • 客户端访问.m3u8后按索引下载.ts文件进行播放 索引实例
#EXTM3U #EXT-X-TARGETDURATION:30 #EXTINF:30, http://192.169.1.176/sample_100k-1.ts #EXTINF:30, http://192.169.1.176/sample_100k-2.ts #EXTINF:30, http://192.169.1.176/sample_100k-3.ts #EXT-X-ENDLIST 根据这个文件，播放器会依次下载sample_100k-1.ts，sample_100k-2.ts，sample_100k-3.ts
http渐进式下载原理
• http边下载边播放，严格意义上讲，不是直播协议。他的原理 是先下载文件的基本信息，音频视频的时间戳，再下载音视频 数据，以播放mp4为例：
• 先下载文件头 • 根据文件头指引下载文件尾 • 再下载文件的音视频数据
主流的实时流媒体协议
区别 全称 上层协议 软件模型 研发主要来自 针对客户端 RTMP Real Time Message Protocol TCP或HTTP C\S Adobe 支持Flash类产品的浏览器 支持HTML5的浏览器 FLV， F4V 专用Flash服务器 Flash Media Server Red5 专用编码器上传 Flash Media Encoder Flv ，F4V文件即可， 服务器会自动分解为 F4f 数据文件 f4x索引文件 HLS Http Live Stream HTTP B\S Apple 支持HTML5的浏览器 RTSP Real Time Streaming Protocol RTP，RTCP C\S Microsoft 播放器
HLS的主要技术特点
（1）节目源采用H.264/TS编码格式，可变码率；
• 使用流切片技术将一个完整的节目切成若干小片，通常是10秒每片，同时使用m3u或m3u8格式生 成播放列表文件用来指导播放器如何播放文件切片； （2）通过HTTP Server分发节目，同时提供合适的缓存。 • HLS技术另外一个优势是能够实现动态自适应码率传输。相对于移动流媒体RTP传输技术，HLS能 够根据终端用户带宽的可用性在终端而不是在前端视频服务上，实现对码率的切换。这种实现方式 是为用户在无保障的网络上提供好的用户体验。
视频格式要求
服务器要求 实况直播要求 文件播放要求
MP4
普通HTTP服务器 专用编码器上传 Apple开发工具 Ts数据文件， M3u8索引文件
无
专用RTSP流媒体服务器 与服务器相关， 自定义上传 与服务器相关， 与播放器相关
传统流媒体传输协议——RTSP
RTSP协议既可以基于UDP传输也可 以基于TCP传输 • UDP比TCP更容易被防火墙或代理 服务器阻隔； • 但是TCP容易产生延迟。
（3）索引文件说明了在同一个频道或文件中不同码率节目流的对应性；
（4）终端根据接收切变文件的时间长度来选择最合适的码率； （5）每个切片文件最长10秒，所以接收设备可以自动适应码率变化；
HLS在互动电视体系的应用
运营支撑 AAA BOSS 内容生产
内容生产 内容分发
直播 源 直播 源
业务运营
编排系统
基于HTTP的流媒体自适应传输协议——HLS
• HLS主要基于TS的视频
流或文件进行封装传输
• HLS类似一个容器封装 MPEG TS传输格式。
• TS是广播电视行业中采
用的节目传输格式。 • 当前HLS编解码采用 MPEG-4或H.264，音 频采用AAC。
基于HTTP的流媒体自适应传输协议——HLS
区别 音视频数据源 服务器类型 传输协议 跳播
实时流 实时从录制设备上采集， 或（使用专用协议传输的）文 件 专用流媒体服务器 专用协议 HLS、RTSP或RTMP等 可随机访问任意片段
顺序流 可播放的音视频文件 普通的HTTP服务器， 或FTP服务器 一般的HTTP协议， 与传输网页的协议相同 在给定时刻，用户只能观看已下载 的那部分，而不能跳到还未下载的 部分
统一节目 单
增值业务 系统
IPEPG
TRS
回源
CDN中 心
wk.baidu.com回源
服务能力
BSA
门户
消息网 关
手机网关
CDN节 点
HLS
CDN节 点
RTS P
终端
改造/扩容 新建 信令流 内容流
STB
移动APK
回放流程
点播流程
直播流程
关于HLS需要知道的
HLS是以点播的技术方式来实现直播 由于数据通过HTTP协议传输，所以完全不用考虑防火墙或者代理的问题 分段文件的时长很短，客户端可以很快的选择和切换码率，以适应不同带宽 条件下的播放
延迟总是会高于普通的流媒体直播协议
iOS平台APP超过10分钟的视频，必须使用HLS协议 HLS中DRM加密采用是端到端整体加密实现，降低了系统的灵活性； 目前，HLS只能在一个视频流中提供一个音轨
HLS对互动的价值
带宽成本，跨网服务时价值巨大
移动端应用建设与扩展
谢谢
20
流媒体协议初探
什么是流媒体？
• 流媒体即Streaming Media，是指视频、声音和数据以实时传输协议作为连续实时流从 源端同时向目的地传输，在目的地接收到一定缓存数据后就可以立即播放出来的多媒体 应用。
类别
点播内容 直播内容 最大内容长度 内容质量 内容存储内存 内容重复播放
Downloading
√ × 终端容量大小 依内容压缩率从好到差 √ √
Streaming
√ √ 无限制 还受限于网络带宽 × ×
观看延时
服务器
必须全部下载完
Web server
基本实时
Streaming server
流媒体传输类型
• 流媒体传输分两类：实时流媒体 和 顺序流媒体
– 实时流传输既可传输实况直播，也可传输完整的音视频文件（专用协议流式）。 – 顺序流媒体不可用于实况直播，仅能传输完整的音视频文件（HTTP渐进式）。
基于HTTP的流媒体自适应传输协议
实质 • HTTP为基础的流媒体自适应传输是一种混合型的传输方式，它的传输动作类似流
媒体，但是实际上是基于HTTP渐序性下载。
特点 • 第一，它从同一个源产生多个不同码率的节目流以适应不同的带宽和不同的设备 类型。
• 第二.自适应分发文件以及码流传输的变化都是适应有效网络吞吐量和可用的CPU
RTSP为纯粹的传输控制协议。 RTSP协议本身不与它负载的媒体数据 相关。 RTSP协议需要自定义客户端向服务器 发送RTSP命令。
传统流媒体传输协议——RTSP
RTSP为纯粹的传输控制协议。 RTSP协议本身不与它负载的媒体数据 相关。 RTSP协议需要自定义客户端向服务器 发送RTSP命令。