音视频同步的原理及实现方案

音视频同步的原理及实现方案

 音视频同步是我们观看视频的一个基本体验，尤其对于视频画面中能看到声源动作（如：嘴型）的场景，音视频同步问题非常影响体验。

 在短视频与直播APP中，采集端作为音视频的生产者，如果采集端产生的音视频源本身就无法保证同步，那幺后面不管经过什幺处理，都很难再让用户看到音视频同步的画面了，因此，在采集端保证音视频同步上尤其重要。

 那幺如何保证app在各种正常/非正常状况下尽量保证输出同步的音视频？本文就是讲述我们是如何解决上述问题的。

 音视频同步的原理

 音视频采集的数据分别来自于麦克风与摄像头，而摄像头与麦克风其实是两个独立的硬件，而音视频同步的原理是相信摄像头与麦克风采集数据是实时的，并在采集到数据时给他们一个时间戳来标明数据所属的时间，而编码封装模块只要不改动音视频时间的相对关系就能保证音频与视频在时间上的对应。如此封装好数据之后，播放端就能够根据音视频的时间戳来播放对应