思朗特内容加速解决方案__v2

思朗特 内容加速 解决方案
2008.8
问题：应用、带宽、成本、体验
• 新应用以几何级数增长，消耗带宽越来越多
– Windows更新、杀毒软件升级、常用软件下载 – 游戏、电影、电视剧等超大文件下载
– 在线听歌、在线视频等娱乐网站
– P2P应用，包括BT/迅雷/电驴/PPLive/PPStream等
•
应用层特征识别法
– 与使用固定端口进行数据传输的P2P应用不同，当前许多P2P应用都能够通过使用随机端 口来掩盖其存在，有些甚至可以使用HTTP, SMTP等一些协议使用的熟知端口。 – 但是，每种应用的分组中都携带有特定的报文信息，在各种P2P应用协议中也具有类似 的信息。因此，我们通过检查分组内部携带的负载信息进行分组识别的方法，利用应用 层特征的方式对P2P流量进行识别。对5种常见的P2P协议(KaZaA, Gnutella, eDonkey, DirectConnect以及BitTorrent)的特征进行了分析，提取出其特征信息，然后根据特征信 息对收集到的分组进行模式匹配操作，从而判断出该分组是否属于某一类P2P应用。 – 根据这些以及其他类似特征，即可判定相应报文是否为P2P应用报文，并由此确定某个 流是否为P2P流。在大多数情况下，该方法能够以低于5%的错误概率对分组进行识别。
技术分析 – HTTP缓存
• HTTP协议是互联网的基础，非常稳定，在可预见的未来不会有 任何变化。 • 所有互联网用户上网都离不开HTTP协议，从Windows更新、反 病毒软件更新、下载软件/游戏/音乐/电影、在线听音乐/看视频 ，包括迅雷下载，以及目前流行的Web网络游戏等都基于HTTP 协议。HTTP协议的流量正在逐渐超过P2P，占据互联网流量的 主流。 • 许多ISP为了加强对P2P流量的管理，已经部署或正在部署流量 控制设备，对P2P流量进行分析限流。但目前的技术还无法实 现对HTTP流量内容的分析、归类和限流。 • 只有部分用户使用P2P下载，在改善用户体验方面，HTTP缓存 的效果优于P2P缓存。
– BT是其中最成熟的一个，目前绝大部分P2P缓存解决方案都是针对BT设计的。 – eDonkey/eMule较高版本均使用加密的传输协议。 – Skype是基于流模式的传输协议，使用AES算法对数据进行加密。 – Usenet是欧美流行的P2P协议，但在中国几乎无人问津。 – PPLive/QQLive/PPStream是流媒体传输协议，都是独立的私有协议。
思朗特内容加速解决方案
旁路透明部署 端口镜像或无源分光
思朗特内容加速解决方案
• 适用于互联网出口带宽紧张的ISP运营商，通过本 地缓存内容减轻互联网出口带宽压力。 • 通过端口镜像/无源分光旁路识别用户上网行为，智 能缓存HTTP/P2P下载，支持跨协议缓存，采用低成 本、大容量存储服务器集群部署。 • 用户无需安装客户端或修改配置，透明下载，透明 缓存。下载速度加快，用户体验和满意度提高。 • 集中管理，提供强大的报表，为运营决策提供参考 依据。
技术分析 – 迅雷 • 迅雷是一个多线程分布式下载工具软件。 • 迅雷采用镜像+P2P的方式，通过N个镜像 服务器加上N个客户端的回流，下载速度大 大高于普通下载软件。 • 在全国与运营商合作建立CDN网络进行镜像 加速，但仅为迅雷客户端服务。 • 迅雷下载传输仍然是基于HTTP/BT协议的， 缓存系统对迅雷下载速度有明显提高。
•
P2P协议基本都是私有协议，各个厂商对协议细节并不公开，因此P2P缓存技 术是基于通过多种非公开途径获取信息并发展起来的，随着P2P协议的发展演 变，单纯做P2P缓存的技术风险相当大。
•
P2P本身就带有分布式缓存的性质，客户端与客户端之间互相交换下载数据， 缓存系统相当于长效种子，效果比较有限，而重要意义在于促进网内用户优 先交换数据。
– VoIP, IPTV 是发展方向，Youtube已经推出了直连电视的视频设备
• HTTP 流量
– 网络游戏、软件更新和热门电影下载占据了绝大部分
– 视频网站越来越火，土豆、优酷、酷6、Youtube等 – Web 2.0网站，真假开心网/校内网等 – 基于网页的网络游戏，网上三国/热血三国等网站
HTTP协议深度识别技术
• 随着互联网技术的迅猛发展，新型网络应用层出不 穷，Web 2.0网站、视频网站、网络游戏的发展已 经突破了传统网站技术的限制，单纯的依靠网络端 口来识别应用层协议已经不再可靠。大量的网站使 用非标准HTTP 端口传输HTTP数据，也有很多新型 网络应用在HTTP通道内传送非HTTP数据。 • HTTP协议深度识别技术，通过分析网络数据流量内 部的关键字来有效识别出HTTP流量，支持HTTP下 载、迅雷P2SP下载、WEB图片缓存、WEB视频等内 容缓存。 • 效果：不依赖于端口识别HTTP流量，识别率超过 98%。
技术原理
数据采集 智能统计
异步缓存 缓存服务 后台管理
十大核心技术
单向会话还原 IP/MPLS 解码/编码 HTTP 协议深度识别 HTTP 智能缓存
P2P 协议识别 P2P 碎片缓存
跨协议缓存
异步预缓存
磁盘管理技术
版权保护
单向会话还原技术 • 端口镜像：在网络交换机上设置端口镜像 功能，将指定端口或VLAN的TX/Outbound 单向数据复制一份到镜像端口，从而得到 被镜像端口的数据流量。
• 自定义热点网站预缓存
– 管理员还可以在加速系统中自定义一些网站和页面，系统对这些网站和 页面进行预缓存。
磁盘管理技术
• 缓存系统是非常消耗磁盘存储空间的，需要对 TB级甚至10TB级的存储进行管理和使用，并 且HTTP和P2P缓存都会产生大量的磁盘碎片， 降低磁盘工作效率，减少硬盘使用寿命。
• 思朗特内容加速系统会定期进行磁盘回收操作 ，在磁盘空间使用率达到系统设置的阈值时也 会进行磁盘回收操作，对长期没有用户访问的 、缓存命中率较低的文件进行清理回收，确保 新内容的缓存。
否
开始/重新缓存
文件大小是否 一致
否
是 是 是否已过期
否
重定向到缓存服务 器进行下载
异步预缓存技术
• 全球热点文件预缓存
– 思朗特为全国多个大型ISP、IDC提供内容过滤解决方案，思朗特内容安 全实验室每天也收集到大量的访问热点信息，这些访问热点信息的URL将 被编译成二进制代码，并自动定时更新到思朗特内容加速系统当中，系 统对这些热点文件自动进行预缓存。例如，我们发现最近QQ炫舞游戏发 布了新的版本，用户点击下载量很大，那么，内容加速系统就会及时发 现这些热点，并对相关的文件进行缓存。
P2P 碎片缓存技术
• BT客户端的工作模式是以文件方式进行工作的，例如要下载一个15G 字节的电视剧合集文件，BT客户端会首先在硬盘上建立一个15G字节 大小的文件，然后才开始下载，在整个文件下载完成之前，无法为用 户提供缓存下载，在用户停止下载的时候，系统本身也很难及时停止 下载。这种工作模式浪费很长时间进行磁盘分配，也非常浪费硬盘空 间。 • 另外，BT网络当中的大部分资源都是有版权问题的文件。缓存系统把 这些文件保存在自己的存储当中并提供给用户下载，本身有着潜在的 法律风险。 • 思朗特独创了BT碎片缓存技术，使用碎片方式管理BT文件下载，不需 要预先分配磁盘空间，而是采用增量下载存储的方式，下载一个碎片 就保存一个碎片，在系统当中不保存完整的BT资源文件，用户停止下 载，系统也随时停止下载。从系统下载第一个碎片开始就可以开始提 供缓存下载服务，响应时间和服务速度大大高于同类产品。 • 在用户需要访问这些缓存的时候，思朗特内容加速系统也是以碎片的 方式进行提供，从而在一定程度上避免版权方面的法律风险。
HTTP智能缓存技术 • 通过URL、文件名、文件 大小、黑名单和文件有效 期等多个因素判断缓存 HTTP内容 • 效果：支持跨网站、跨域 名、跨服务器、多下载点 的文件缓存，例如：CDN 文件缓存，迅雷下载缓存 等，非常节省硬盘空间。
获取URL
是否匹配黑名 单
是
忽略，不进行缓存
否 文件名是否在 已缓存文件数 据库中 是
• 缓存系统
– 建立水库，雨季蓄水，旱季供水，对互联网流量0-800%的提升
互联网流量发展趋势
• HTTP和P2P是主流应用
– P2P在过去的几年里占据了上风
– 但是从2007年开始，HTTP有反超P2P的趋势
• P2P 流量
– BT/迅雷下载是主流，eMule/eDonkey也很常见
• 运营商面临的问题
– 网间结算成本越来越高 – 宽带用户总是抱怨上网速度慢，体验差，满意度低
提高上网速度的办法
• 增加带宽
– 扩宽河道，增加互联网接入带宽或链路
– 暂时缓解问题，随着应用激增，很快又会带宽不足 – 成本较高，投入产出比非线性增长
• 流量控制
– 增加水闸，对互联网流量进行控制封堵 – 控制大部分P2P流量，但对HTTP流量缺乏管理机制 – 用户上网体验没有明显改善
互联网流量发展趋势
Ellacoya Networks 2007
2007年，北美的HTTP流量首次超过P2P流量，两者之和超过 85%的互联网流量。 目前，在中国，P2P流量仍然占主流，但与北美有相同的趋势。
技术分析 – P2P缓存
• P2P是一种技术原理的统称，具体协议有多种实现方式，最流行的是BT、 eDonkey/eMule、Skype、Usenet、PPLive/QQLive/PPStream等。
• 无源分光：在互联网光纤线路上增加无源 分光器，只需要在TX/Outbound单方向的光 纤上做分光即可，单向数据会话还原技术 自动开启工作。
• 效果：单台服务器可监控15G互联网链路。
IP/MPLS解码/编码技术
• 多协议标签交换（MPLS）是一种用于快速数据包交换 和路由的体系，它为网络数据流量提供了目标、路由、 转发和交换等能力。更特殊的是，它具有管理各种不同 形式通信流的机制。MPLS 独立于第二和第三层协议， 诸如 ATM 和 IP。它提供了一种方式，将 IP 地址映射 为简单的具有固定长度的标签，用于不同的包转发和包 交换技术。它是现有路由和交换协议的接口，如 IP、 ATM、帧中继、资源预留协议（RSVP）、开放最短路径 优先（OSRF）等等。 • MPLS 主要设计来解决网路问题，如网路速度、可扩展 性、服务质量（QoS）管理以及流量工程，同时也为下 一代 IP 中枢网络解决宽带管理及服务请求等问题。 • 效果：对IP/MPLS网络都可以很好的提供缓存服务。