实时视频编码器和音频编码器

实时视频编码器和音频编码器
谈到视频编码器，就会想到MPEG4、H.264、H.265、WMA等等，但不是所有的视频编码器都可以用来作为实时视频的编码器，因为实时视频编码器需要考虑两个因素：编码计算量和码率带宽，实时视频会运行在移动端上，需要保证实时性就需要编码足够快，码率尽量小。

基于这个原因现阶段一般认为H.264是最佳的实时视频编码器，而且各个移动平台也支持它的硬编码技术。

-H.264/AVC
H.264是由ITU和MPEG两个组织共同提出的标准，整个编码器包括帧内预测编码、帧间预测编码、运动估计、熵编码等过程，支持分层编码技术(SVC)。

单帧720P分辨率一般PC上的平均编码延迟10毫秒左右，码率范围1200~ 2400kpbs，同等视频质量压缩率是MPEG4的2倍，H.264也提供VBR、ABR、CBR、CQ等多种编码模式，各个移动平台兼容性好。

-VP8/VP9
除H.264以外，适合用于实时视频的编码器还有Google提供的VP8，VP8采用了H.264相似的编码技术，计算复杂度和H.264相当，不支持SVC，相同视频质量的压缩率比H.264要小一点，不支持B帧。

而后Google又在VP8的基础上研发了VP9，官方号称VP9在相同视频质量下压缩率是VP8的2倍，对标的对手是H.265，VP9已经嵌入到WebRTC当中，但VP9编码时CPU计算量比较大，对于VP9用于实时视频我个人持保留意见。

不管是VP8还是VP9硬编方式只有Android支持，iOS和其他的移动平台并不支持。

-音频编码器
实时音视频除了视频编码器以外还需要音频编码器，音频编码器只需要考虑编码延迟和丢包容忍度，所以一般的MP3、AAC、OGG都不太适合作为实时音频编码器。

从现在市场上来使用来看，Skype研发的Opus已经成为实时音频主流的编码器。

Opus优点众多，编码计算量小、编码延迟20ms、窄带编码-silk、宽带编码器CELT、自带网络自适应编码等。

语音编码器编码延迟与码率对比。