rtmp流媒体协议

H5视频直播扫盲

1 H5到底能不能做视频直播？

当然可以, H5火了这么久,涵盖了各个方面的技术。

对于视频录制,可以使用强大的webRTC(Web Real-Time Communication)就是一个支持网页浏览器进行实时语音对话或视频对话的技术,缺点就是只在PC的chrome上支持较好,移动端支持不太理想。

对于视频播放,可以使用HLS(HTTP Live Streaming)协议播放直播流,ios与android都天然支持这种协议,配置简单,直接使用video标签即可。

webRTC兼容性:

video标签播放hls协议视频:

1

3

Your browser does not support HTML5 video、

2 到底什么就是HLS协议？

简单讲就就是把整个流分成一个个小的,基于HTTP 的文件来

下载,每次只下载一些,前面提到了用于H5播放直播视频时引

入的一个、m3u8的文件,这个文件就就是基于HLS 协议,存放

视频流元数据的文件。

每一个、m3u8文件,分别对应若干个ts 文件,这些ts 文件才就

是真正存放视频的数据,m3u8文件只就是存放了一些ts 文件

的配置信息与相关路径,当视频播放时,、m3u8就是动态改变

的,video 标签会解析这个文件,并找到对应的ts 文件来播放,

所以一般为了加快速度,、m3u8放在web 服务器上,ts 文件放

在cdn 上。

、m3u8文件,其实就就是以UTF-8编码的m3u 文件,这个文件

本身不能播放,只就是存放了播放信息的文本文件:

1 2 3 4 #EXTM3U m3u 文件头

#EXT-X-MEDIA-SEQUENCE 第一个TS 分片的序列号

#EXT-X-TARGETDURATION 每个分片TS 的最大的时长

#EXT-X-ALLOW-CACHE 就是否允许cache

5 6 7 #EXT-X-ENDLIST m3u8文件结束符

#EXTINF 指定每个媒体段(ts)的持续时间(秒),仅对其后面的URI 有效 mystream-12、ts

ts 文件

:

HLS 的请求流程就是:

1 http 请求m3u8的url 。

2 服务端返回一个m3u8的播放列

表,这个播放列表就是实时更新的,一般一次给出5段数据的

url 。3 客户端解析m3u8的播放列表,再按序请求每一段的

url,获取ts 数据流。

简单流程:

3 HLS直播延时

我们知道hls协议就是将直播流分成一段一段的小段视频去下载播放的,所以假设列表里面的包含5个ts文件,每个TS文件包含5秒的视频内容,那么整体的延迟就就是25秒。因为当

您瞧到这些视频时,主播已经将视频录制好上传上去了,所以时这样产生的延迟。当然可以缩短列表的长度与单个ts文件的大小来降低延迟,极致来说可以缩减列表长度为1,并且ts的时长为1s,但就是这样会造成请求次数增加,增大服务器压力,当网速慢时回造成更多的缓冲,所以苹果官方推荐的ts时长时10s,所以这样就会大改有30s的延迟。参考资

料:https://developer、apple、

com/library/ios/documentation/NetworkingInternet/ Conceptual/StreamingMediaGuide/FrequentlyAskedQ uestions/FrequentlyAskedQuestions、html

4 视频直播的整个流程就是什么？

当视频直播可大致分为:

1 视频录制端:一般就是电脑上的音视频输入设备或者手机端的摄像头或者麦克风,目前以移动端的手机视频为主。

2 视频播放端:可以就是电脑上的播放器,手机端的native播放器,还有就就是h5的video标签等,目前还就是已手机端的native播放器为主。

3 视频服务器端:一般就是一台nginx服务器,用来接受视频录制端提供的视频源,同时提供给视频播放端流服务。

简单流程:

5 怎样进行音视频采集？当首先明确几个概念:

视频编码:所谓视频编码就就是指通过特定的压缩技术,将某个视频格式的文件转换成另一种视频格式文件的方式,我们使用的iphone录制的视频,必须要经过编码,上传,解码,才能真正的在用户端的播放器里播放。

编解码标准:视频流传输中最为重要的编解码标准有国际电联的H、261、H、263、H、264,其中HLS协议支持H、264格式的编码。音频编码:同视频编码类似,将原始的音频流按照一定的标准进行编码,上传,解码,同时在播放器里播放,当然音频也有许多编码标准,例如PCM编码,WMA编码,AAC 编码等等,这里我们HLS协议支持的音频编码方式就是AAC 编码。

下面将利用ios上的摄像头,进行音视频的数据采集,主要分为以下几个步骤:

1音视频的采集,ios中,利用AVCaptureSession与AVCaptureDevice可以采集到原始的音视频数据流。2 对

视频进行H264编码,对音频进行AAC编码,在ios中分别有已经封装好的编码库来实现对音视频的编码。3 对编码后的音、视频数据进行组装封包;4 建立RTMP连接并上推到服务端。

ps:由于编码库大多使用c语言编写,需要自己使用时编译,对于ios,可以使用已经编译好的编码库。

x264编码:https://github、com/kewlbear/x264-ios faac编码:https://github、com/fflydev/faac-ios-build ffmpeg编码:https://github、

com/kewlbear/FFmpeg-iOS-build-script

关于如果想给视频增加一些特殊效果,例如增加滤镜等,一般在编码前给使用滤镜库,但就是这样也会造成一些耗时,导致上传视频数据有一定延时。

简单流程: