AnySee_基于P2P的在线流媒体服务系统(金海教授_华中理工大学)

http://grid.hust.edu.cn/anysee
ALM（Application Layer Multicast） 节点的加入
Broadcast
请求加入点
Peer
http://grid.hust.edu.cn/anysee
ALM（Application Layer Multicast） 节点的加入
流媒体服务的发展现状
• 流媒体服务的需求背景 教育 小区 IPTV 网络传媒 无线媒体
你所能想到的…
http://grid.hust.edu.cn/anysee
流媒体服务的发展现状
• 流媒体服务经历了三个过程
– 单机服务方式
• 性价比低，规模不可扩展
– 集群服务方式
• 规模可扩展，地域难以分布 • 一次投资过大
AnySee: 基于P2P的在线流 媒体服务系统
金海
集群与网格计算湖北省重点实验室 华中科技大学 hjin@hust.edu.cn
http://grid.hust.edu.cn/anysee
• 流媒体服务的发展现状 • 社会行为意识的转变 • 网络发展现状
http://grid.hust.edu.cn/anysee
– 从几十M到几个G – 桌面速度提升到M
• 从IPv4向IPv6跳跃
– 内网问题衍生的问题可以解决 – 组播方式更加合理 – 端到端的服务更为普遍
http://grid.hust.edu.cn/anysee
应运而生的技术…
• 对等计算
• • • • •
个体平等互助 带宽高效利用 无庞大投资需求 资源无限增长 资源拥有者之间的对话
多对多模式
• 前两种模式的混合 • 最大限度的利用单个节点的服务能力 • 改进系统的稳定性和可用性，通过缓存元数 据以服务其他节点，提高了可扩展性
– HoneyComb
http://grid.hust.edu.cn/anysee
服务近邻原则的讨论
• 服务近邻原则是保证QoS的核心 • 如何表述服务近邻有待研究
• 根据服务模式分类
– 单对多模式 – 多对单模式 – 多对多模式
http://grid.hust.edu.cn/anysee
单对多模式
• 流媒体服务提供的主要模式 • 适合实时的热点节目，如：奥运会、世界 杯
– ESM 、 ZigZag、 DirectStream、 P2Cast
http://grid.hust.edu.cn/anysee
– 这种方法同时下载用户越多，下载速度越快 – 所有节目文件实际上被存储在用户终端中
互联网交互媒体新方式－对等广播（柔性电视）
Pwenku.baidu.comP流媒体研究状况
• 许多P2P流媒体系统已经被开发
http://grid.hust.edu.cn/anysee
– ESM、PeerCast、CoopNet、splitStream、 GnuStream、CollectStream
– 呼唤新技术的出现…
http://grid.hust.edu.cn/anysee
社会行为意识的转变
• 网络个人英雄主义 • 真诚互助的人本主义 • 陌生的信任主义 • 共享资源的愿望…
提供对等平台给有 英雄理想的人们
http://grid.hust.edu.cn/anysee
网络发展现状
• 网络带宽逐步提高
– 读取媒体文件
• 这种方式可以有效的丰富视频直播网络中媒体 服务
视频直播层
逻辑拓扑--NearCast Broadcast
http://grid.hust.edu.cn/anysee
华中科技大 学
清华大学
华南理工大学
上海交通大学
武汉大学
武汉理工大 学
汕头大学
中山大学
视频直播层
• 逻辑拓扑
以华中科技大学为例
• 2004年6月BBC开始进行其“柔性电视”（ “Flexible TV”)第一次有限范围公共试验。 在英国的宽带用户可以下载“BBC互联网媒体 播放器”，用它可以下载收看前一周和后一周 的BBC的全部节目 • 由于BBC生产制作节目，拥有版权，这种方 法不违反知识产权保护，可以快速检索分发 给用户
Broadcast
离开节点
Peer
NAT & Firewall的处理
http://grid.hust.edu.cn/anysee
•NAT & Firewall的Peer约束了AnySee的可 扩展性
请求加入点
Broadcast NAT or Firewall Peer
NAT & Firewall的处理
– ESM：依据带宽多重编码、地域相近服务调度 – 拓扑匹配：物理与逻辑拓扑动态匹配 – AnySee: 依据IP地址分域策略调度服务
http://grid.hust.edu.cn/anysee
AnySee系统总体结构
• 设计原则
– 媒体数据一次路由原则 – 媒体服务邻近获取原则 – 高可靠、高可用原则 – 服务规模可扩展原则
内容安排
• • • • • 相关研究背景 AnySee系统总体结构 AnySee关键技术 AnySee应用展示 挑战与对策
http://grid.hust.edu.cn/anysee
P2P流媒体现实状况
• P2P开创网络媒体新时代
http://grid.hust.edu.cn/anysee
– 2004年6月是互联网历史上的分水岭，视频流量首次 超过音频流量。这表明巨大的无形的P2P文件共享网络 正在被用来分发电视节目和电影(IDG报告)
视频直播层
http://grid.hust.edu.cn/anysee
采用NearCast策略，使得系统中节点的 逻辑位置尽量和实际的物理位置保持一致。 这样可以很好的保证QoS 健壮的多播树维护策略，使得整个系统一方 面可以适应P2P系统高度的动态性，一方 面进一步保证QoS 以人为本的设计策略，根据节点性能采用不 同的服务策略。即使性能比较差的节点也可 以加入系统，享受服务
系统总体结构
• 媒体数据获取层
– 描述媒体数据的两种来源
• 磁盘文件 • 实时压缩获取
• 视频直播层
– 提供媒体服务的层次
http://grid.hust.edu.cn/anysee
媒体数据获取层
• 视频直播数据的获取
– 从视频卡或者采集卡上实时获取媒体数据
• 这种方式便于进行实时性的媒体服务，如：现 场直播、电视转播 • 曾采用这种方式在教育网内对2004年的奥运 会、GCC国际会议进行了全程直播
http://grid.hust.edu.cn/anysee
• AnySee的Buffer管理策略
每个peer都拥有一个buffer,以时间间隔为单位 进行管理 Buffer缓存最近固定时间长度内的媒体数据 Buffer占用的空间大小随时间呈动态变化 头部元数据包和媒体数据包分别进行管理
http://grid.hust.edu.cn/anysee
Landmark
具体数位表示内容
http://grid.hust.edu.cn/anysee
国家 网络类型 地区 城市 学校 校内ID
8位 4位 4位 8位
16位
16位
每个加入AnySee的Peer都有自己的一个 Landmark值，它由地理位置与IP的对应关系 和一定的编码规则产生
http://grid.hust.edu.cn/anysee
。。。 00:00:10 。。。 00:00:20 。。。 00:00:40 00:00:41
多对单模式
• 主要用于提供不同质量的视频节目 • 视频数据从多个数据服务者得到 • 稳定性高，可用性好
– PROMISE、 CoopNet 、 GNUStream
• 问题
– 两种模式：文件分片策略与文件分层策略 – 策略复杂、实用性有待提高 – 理论上有待完善
http://grid.hust.edu.cn/anysee
http://grid.hust.edu.cn/anysee
网络对等广播和柔性电视
Peercasting and Flexible TV
• BBC采用P2P的对等广播Peercast技术 • 每一个播放器使用Peer-to-Peer对等连接文件共享软 件实现向用户网络分发内容 • 节目文件被分解为很多小的片段，每个用户下载存储 若干片段再互相对接交换，最后每个用户都得到完整 的拷贝
http://grid.hust.edu.cn/anysee
视频源
视频卡 Shoutcast/ window media encoder
媒体文件 （asf、avi、nsv、mp3等）
读取/转发 模块
媒 体 数 据 获 取 层
Broadcast
AnySee视频直播网络
视 频 直 播 层
：视频数据流
http://grid.hust.edu.cn/anysee
Broadcast
离开节点
Peer
http://grid.hust.edu.cn/anysee
ALM（Application Layer Multicast） 节点的异常离开
Broadcast
离开节点
Peer
http://grid.hust.edu.cn/anysee
ALM（Application Layer Multicast） 节点的异常离开
http://grid.hust.edu.cn/anysee
紫松公寓
沁园
韵园
西 7楼
东13楼
视频直播层
• 结点的类型
– 按功能划分
• 源节点 • 中转节点 • 叶子节点
http://grid.hust.edu.cn/anysee
– 节点异构性
• 平台异构—WINDOWS/LINUX • 性能异构---硬件性能不一、带宽不同 • 意愿异构---角色自由、来去自由
http://grid.hust.edu.cn/anysee
•将NAT or Firewall的Peer动态调节到叶子位 置。一定程度上克服了所带来的制约
请求加入点
Broadcast NAT or Firewall Peer
Buffer管理策略
• Buffer的必要性
– 媒体服务的软实时特征 – 网络的抖动 – p2p系统的高动态性
Buffer的组织结构
Header packet
Data packets(40秒）
Seq
arrivaltime headerseq timestamp data
Buffer管理策略（续）
Data packets(40秒）
Header packet
00:00:00
http://grid.hust.edu.cn/anysee
• 互联网宽带“对等广播”（“peercasting”）的 兴起
– 它对视听媒体的影响就像互联网对印刷媒体的影响一样
• 媒体网Medianet观念的兴起 • 知识产权保护问题 • 正在发展不用集中服务器的VoD
http://grid.hust.edu.cn/anysee
网络对等广播和柔性电视
Peercasting and Flexible TV
Landmark
例如，华中科技大学的某个Peer的Landmark 值为：
00000001 0001 0001 00000001 0000000000000001 0000000000000100
http://grid.hust.edu.cn/anysee
ALM（Application Layer Multicast） •AnySee是一棵应用层上的多播树，它的这 种网络拓补结构减轻了数据发送端的服务带 宽压力，增加了整个系统的可扩展性 •Nearcast策略的使用保证了QoS,节约了带 宽 •构建和维护多播树是AnySee最为关键的一 项技术
Broadcast
请求加入点
Peer
http://grid.hust.edu.cn/anysee
ALM（Application Layer Multicast） 节点的正常离开
Broadcast
离开节点
Peer
http://grid.hust.edu.cn/anysee
ALM（Application Layer Multicast） 节点的正常离开
http://grid.hust.edu.cn/anysee
关键技术
• Landmark • 应用层多播策略 • NAT & Firewall的处理 • Buffer管理策略
Landmark
http://grid.hust.edu.cn/anysee
•在AnySee中，为了达到Nearcast的思想， 即地理位置相近的调度原则，需要使用 landmark值来做为调度路径上的“路标” •Landmark是一个56位数据类型的值，利用 固定几位分别表示国家、网络类型、省份、 城市和学校