24、架构创新与演进(解决方案专场)——WebRTC实时音视频系统架构详解与场景实践

WebRTC的坑与实践
• 编码器器选择 • 浏览器器兼容 • 弱网网对抗
Multiple Tracks Simulcast
• VP8 or H.264 • Safari ?
• 多流方方案
• 可用用性 • 路路由选择
Multi Sources
WebRTC的坑与实践
• 编码器器选择 • 浏览器器兼容 • 弱网网对抗
H.264 VP9
VP8
WebRTC的坑与实践 • 编码器器选择
• 浏览器器兼容 • 弱网网对抗 • 多流方方案 • 可用用性 • 路路由选择
H.264 Hybrid
VP8
WebRTC的坑与实践
• 编码器器选择
• 浏览器器兼容
• 弱网网对抗 • 多流方方案 •ห้องสมุดไป่ตู้可用用性 • 路路由选择
WebRTC的坑与实践
9LGHR
R
+70/ሻਹ
典型场景分析
跨平台直播
典型场景分析
Ԇඎ
ᬳἈᘏ
ӱ‫ۓ‬๐‫࢏ۓ‬
വၞ౲؊ྊവၞႲ‫ے‬౲‫ڢ‬ᴻവၞࣈ࣎᫨Ꮁᦡᗝ
SD-RTN හഝᕹᦇ ᬳἈᰄ๦ ਫ෸᧣ଶ ฬᚆ᪠ኧ
᫨Ꮁ๐‫࢏ۓ‬
跨平台直播
$JRUDᐺํ‫ᦓܐ‬
‫ࢶݳ‬᫨Ꮁ
&'1
ᥡռ
:HEL26$QGURLG
• 实时音音视频通信 • WebRTC系统构建 • WebRTC的坑与实践 • 产品化案例例 • 典型场景分析
典型场景分析
Agora 娃娃机
典型场景分析
඙ഴ೰ե ষষ๢ࢧ᧣
्ᗑষষ๢ӱ‫ۓ‬๐‫࢏ۓ‬ ౲ਮಁᛔᎸӱ‫ۓ‬๐‫࢏ۓ‬
‫מ‬եғ඙֢೰ե̵ഭᴚᒵ
ࢧ᧣
ಬষষ๢
:LQGRZV :HE 9LGHR
产品化案例例 核心心质量量
分布式网网关架构 提升可用用性 优化传输
专注互通 各平台互通 浏览器器兼容
灵活配置传输策略略 弱网网对抗 多用用户支支持
差异化编码器器选择 终端适配 软硬兼顾
产品化案例例 功能扩展
直播场景
旁路路推流
服务器器录制
屏幕共享
产品化案例例 全局监控
全局网网络指标（丢包，延时，抖动） 服务质量量报表 Dashboard 问题诊断系统
WebRTC系统构建
•
pub/sub
点对点通信 延 时 小小 上 行行行 带 宽 占 用用 大大 编 码 压 力力力 大大
• • •
pub/sub pub/sub
WebRTC系统构建
• • • •
媒 体 服 务 器器 负 责 多 路路 流 转 发 延 时 影 响 小小 节 省 上 行行行 带 宽 需要Simulcast
ฦ᭗ሻਹ
्ᗑ6'571
9LGHR
:LQGRZV $QGURLG :HE L26
Agora 娃娃机
/LQX[
9LGHR
9LGHR
9L
R H G
ฦ᭗ᥡռ
:LQGRZV $QGURLG
3OD\EDFN + ᫨Ꮁ๐‫ۓ‬ ୯‫ګ‬๐‫ۓ‬
0DF26
:HE L26 0DF26
9L GH
3OD\EDFN
+70/ᥡռ
• 实时音音视频通信 • WebRTC系统构建 • WebRTC的坑与实践 • 产品化案例例 • 典型场景分析
WebRTC的坑与实践
产品化的痛点
路路由选择
编码器器选择
平台互通
可用用性 弱网网对抗
Demo
产品
多用用户场景
浏览器器兼容
WebRTC的坑与实践 • 编码器器选择
• 浏览器器兼容 • 弱网网对抗 • 多流方方案 • 可用用性 • 路路由选择
网网络预测
噪声抑制
• 延时 • 卡顿
音音视频编码
拥塞控制
回声消除
• 看得清 • 听得清
数据加密
传输优化
视频处理理
WebRTC
• 系统模块 • 浏览器器和平台支支持情况
WebRTC
• 市场预估-CAGR 44.2% • 生生态圈小小伙伴
6.49B
1.04B
2017
2022
• 实时音音视频通信 • WebRTC系统构建 • WebRTC的坑与实践 • 产品化案例例 • 典型场景分析
• 可用用性 • 路路由选择
• 多次 gUM
Multi Sources
• 多个 p2p 连接
WebRTC的坑与实践
• 编码器器选择 • 浏览器器兼容 • 弱网网对抗 • 多流方方案
• 可用用性
• 路路由选择
WebRTC的坑与实践
• 编码器器选择 • 浏览器器兼容 • 弱网网对抗 • 多流方方案 • 可用用性
• 路路由选择
WebRTC的坑与实践
产品的进阶
服务器器部署
高高可用用运维
智能路路由
产品
服务
全局监控系统
海海量量并发架构
问题调查工工具
• 实时音音视频通信 • WebRTC系统构建 • WebRTC的坑与实践 • 产品化案例例 • 典型场景分析
产品化案例例
SD-RTN虚拟通信网网
SD-RTN
• 编码器器选择 • 浏览器器兼容
带宽估计
+
动态码率调整
• 弱网网对抗
• 多流方方案 • 可用用性 • 路路由选择
WebRTC的坑与实践
• 编码器器选择 • 浏览器器兼容
丢包重传
+
FEC
• 弱网网对抗
• 多流方方案 • 可用用性 • 路路由选择
• H.264 + FEC ? • ULP or Flex • Jitter buffer
Multiple Tracks Simulcast
• 多次 gUM • peer.addTrack()
• 多流方方案
• 可用用性 • 路路由选择
Multi Sources
WebRTC的坑与实践
• 编码器器选择 • 浏览器器兼容 • 弱网网对抗
Multiple Tracks Simulcast
• 多流方方案
SFU
WebRTC系统构建
480p
• 媒 体 服 务 器器 处 理理 混 流 分 发 •延时有影响 • 服 务 器器 成 本 高高 • 节 省 下 行行行 带 宽
Mixer 720p
1080p
WebRTC系统构建
• 媒 体 网网 关 •混 合 S F U - M C U •协 议 转 换 •转 码 可 配 置
)/9
+/6
5703
ᥡռ
ᗑᶭᒒ
WebRTC 实时音视频 系统架构与场景实践
陈功
声网网首首席 WebRTC 架构师
毕业于中国科学技术大大学，Ph.D 原Intel 服务器器事业部多媒体架构师，主导WebRTC视频会议解决方方案搭建。 曾任职Marvell视频部⻔门，研究多媒体系统框架，参与Google TV等项目目。 超过10年年的音音视频相关领域经验。
• 实时音音视频通信 • WebRTC系统构建 • WebRTC的坑与实践 • 产品化案例例 • 典型场景分析
• 实时音音视频通信 • WebRTC系统构建 • WebRTC的坑与实践 • 产品化案例例 • 典型场景分析
实时音音视频
实时音音视频
vs
网网络流媒体
技术与挑战
音音视频采集