Web缓存系统组网方式研究

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
藤 《 《 《 》鞋 # 嚣 《 辑 # 蒜
件传给用户 , 并保存在其存储设备 中。
以后 再 有 用 户 访 问 同样 的 内 容 ,只 需 要 重 复
流量劫持组 网方式优点主要有 : ( 1 ) 部署相对方便 , 对现 网网络结构没有改变 , 适合于快速部署; 从设备维护上讲相对简单 ;
t h e s e wo t t y p e s o f d a t a t r a f i c .U s e t s c a n d e c i d e
客户端发起的请求保存输 出内容 的副本 , 当再次访问这
个U R L地址 的时候 ,如 果 网页没 有更 新 , We b缓存 系统
e c u r i t y E x t e n s i o n s , ) 升级。升级后 , 反 馈 给 用 户 的 的热点对象进行主动抓取, 保存在内容服务器中, 供 S
N S请 求 应答 中会 插入 数 字签 名 , 确 保返 回的 域名 用户访问使用。 另通过流量劫持方式组网 , 用户看到 D
宽 压力很 大 , 导致用 户反 映访 问网站 速度较慢 。 采用 We b缓存 系统 可 以解 决 以上 问题 , We b缓 存 系 统 是 部署 在 用 户客 户 端与 被 访 问 We b服 务器 之 间 的存 储 设备 ,用 于保存 We b资源 副本 , We b 缓 存 系统会 根据
出请求 , 并从 W e b 服务器下载文件 ;
③F D N S 把 We b缓存 系统 服务器地址 回应给
D N S服务 器 ;
@D N S 服务器把 D N S 解析结果返 回给用户 ; ⑤⑥⑦⑧同图 1 中的①②③④ , 即: ⑤ 用户发 出访 问某 We b服务器上某个文件 的
同, 又可分为 D N S 劫持与 H T T P劫持。
3 . 1 . 1 D N S劫 持组 网方 式原 理
D N S劫 持 组 网方 式 原 理 为 客 户 端 D N S
解析请求 U R L中相关域名的时候 , D N S系统 劫持其 D N S 请求 ,不返 回正常 D N S 解析结

用户访 问流量 较大 的域名 ,不能 针对 所 有 的
域名 , 增加 、 减少缓存域名都需要人工介入 ; 另H T T P劫持方式对大文件对象效果较好 ,
图3 H T T P劫持组 网方式 We b缓存 系统原理图
= / ~
而小文件对象传输时间较短 , H T I ' P劫持的成
图 2中的①②③ 。
3 . 1 . 3 流量 劫持组 网方 式特 点及优 缺点分 析 流 量 劫持 组 网方 式 We b缓 存 系 统从 源 网站 获 取 内容方 式是 利用独 立 的 内容抓 取模块 ,并通 过分
析用户的访问行为 , 将下载数量超过某一设置阈值
了域名系统安全扩展( D N S S E C : D o m a i n N a m e S y s t e m
1 前言
中国互联 网发展 速度 比较迅 猛 , 无 论 是 网 民数 量 还
策略路 由, 并对两种组网方式工作流程 、 特点及其 优缺点进行 对比,流量劫持组 网方式与策略路 由
组网方式各具优 势,可根据具体组 网需求进行 选
择。
是互联网服务种类 ,但从统计来看 , We b 服务是最基本 的服务 , 而且是网民使用次数最多的服务, 其绝对流量不 断增长 , 忙时对电信运营商与 We b网站运营者带来的带
We b缓存系统工作原理图见 图 1 ,其具体工作
流程 为 :
②D N S服 务器 将 D N S解 析请 求 转发 给指 向
We b缓存 系统 F D N S ;
① 用户一发 出访 问某 We b服务器上某个文件
的请求 , 其请求被转发给 We b 缓存系统 ; @We b 缓存系统收到请求后 , 向 We b 服务器发
统流量导入方式不同 ,可以分为流量劫持与策略路
由。
3 . 1 流 量劫 持 组 网方 式
量存储在 We b 缓存系统中 , We b 缓存系统 向用户 回 吐流量 , 利用存储空间换带宽 , 从而将可缓存重复的 We b 流量 留在本地互联 网内, 减少上行带宽压力。
流量劫持根据劫持缓存系统导人流量类型的不
流量劫持组网方式缓存系统仍然进行 内容抓取 , ③ We b缓存 系统并 向 We b服 务器 发 送 T C P 容,
R E S E T 报文, 终止用户访 问 We b 服务器请求 ; ④⑤⑥ 同图 1 中的②③④ 。
以 后 再 有 用 户 访 问 同样 的 资 源 ,只 需 要 重 复
技术 广角 … … … … … … … … … ・
嚣 ec 0 o 蝴 # 0
We b缓存系统组 网方式研 究
孙 程 育 中国移 动通信 集 团江苏 有限公 司徐 州分公 司工 程师 凯 中国移动 通信 集 团江苏有 限公 司徐 州分公 司 工程师
摘 要 :本文介 绍 We b缓存 系统工作原理与流程 , 根据 流量 导入 方式将其组 网方式分为流量劫持 与
传送给 We b 缓存系统 , 指定过期时间等信息 ;
⑧We b缓存系统在接 收下载文 件的同时将文

3 We b缓 存 系 统 组 网 方 式研 究
We b 缓存系统组网方式根据缓存系 图2 D N S 劫持组网方 式We b 缓存系统原理图






技术 广角 … … … … … … … … … .
c o mp a r e s t h e t y p e s o f n e t w o r k i n g mo d e , t r a f i f c l f o w a n d c h a r a c t e r s a n d s u mma r i z e s p r o s a n d c o n s o f
关键 词: we b , 缓存 系统 , 组 网方式
Ab s t r a c t :T h i s a r t i c l e i n t r o d u c e s t h e me c h a n i s m
a n d w o r k p oc r e s s o f We b c a c h e s y s t e m. T h e i n c o m-
功率比较低。
( 2 ) 内容 更新 问题 流 量劫 持组 网方 式缓 存 系统 的 内容抓 取
We b 缓存 系统中没有缓存用户访 问的资源 , 其
访 问流程为 :
模块和 C a c h e O u t 模块是完全独立的 , 劫持缓存不会 实时更新缓存的内容 ,不会实时检查缓存对象是否
面 打开 速 度 , 提升 用 户上 网感 知 , 减少 网络 延 迟 , 并 可减 少 上行 网络带 宽消 耗与拥 塞 。

2 0









o f T
2 We b缓 存 系统 工作 原 理
We b 缓存 系统一般部署在本地互联 网出口处 ,
通 过 一定 的 流 量 引导 方 式 将 可 缓存 重 复 的 We b流
一 一 l I
图 2中①②③④⑤和⑧。
3 . 1 . 2 H T T P 劫持组网方式原理
H T T P劫 持 方 式 原 理 为 在 客 户 端 发 送 H T T P
( 2 ) 如果 We b 缓存系统 出现问题 , H T T P劫持方
式 用 户 直 接从 源 站 取数 据 ,不影 响用 户 使用 ; D N S
无效 占用带宽。另流量劫持组网方式缓存系统内容 服务器就相当于普通的 H T I ? P资源服务器 ,若没有 作任何限定 , 互联 网所有用户均可以访问下载其中 的资源 , 消耗电信运营商的上行带宽资源。
( 4 ) D N S劫持 组 网方式不 可持续 2 0 1 0年 5月 5 日 , 由 I C A N N、美 国 政 府 和 V e r i s i g n管 理 的全 球 1 3台根 域 名 服务 器 已经 完 成
果, 而返 回伪造 的解析结果 , 指向其缓存系
统中的内容服务器 , 具体访问流程见图 2 。 We b 缓存 系统 中没有缓存用 户访 问 的
用 户:
内容 , 其访 问流程为:
图1 W e b缓 存 系 统 工 作原 理 图
①用户访问 We b 服务器资源 ,首先 向 D N S服务器发起 D N S 解析请求 ;
请求 , 其请求被转发给 We b 缓存系统 ; @We b 缓存 系统收到请求后 , 向 We b 服务器发 出请求 , 并从 We b 服务器下载文件 ; ( 7 ) We b 服务器响应 We b 缓存系统请求 , 将文件
 ̄ ) We b 服务器响应 We b 缓存系统请求 , 将文件
传送给 We b 缓存系统 , 指定过期时间等信息 ; ④We b 缓存 系统在接收下载文件 的同时将文 件传给用户一, 并保存在其存储设备 中; ⑤用户二 由于上网发出访 问某 We b 服务器 上 同一文件 的请求 ;
@We b缓存 系统查询其存储设备 , 发现文件 已
经缓存 , 且未过期 , 直接将从存储设备读 出该文件数 据并传送给用户二 ,如果过期 ,则 We b 缓存 系统再次 向 We b站点请求下 载该 文件 , 即重复② 、 ③步骤。
G E T请求时 , 劫持请求 , 返 回伪造的 3 0 2调转应答 , 指向其 We b 缓存系统 中的内容 , 具体访 问流程见 图

劫持方式只需要 D N S 服务器做简单设置 , 用户可获
取 正常 D N S解析从 而从 源站取 数据 。
流量劫持组网方式缺点主要有 : ( 1 ) 不能缓存所有对象 D N S 劫持方式 只能手工设置有限数量 的
更新 , 用户 可能会 看到过 期 的 内容 。 ( 3 ) 消 耗带宽 由于互 联 网内容 的复杂性 ,用 户不再 访 问 的内
①用户访问 We b 服务器资源 , 其请求通过分光 被劫持到 We b 缓存 系统; ② We b缓存 系统 向用户发出伪造 的 3 0 2 调 转
应答 , 指 向其 We b缓存 系统 中的内容 ;
的U R L都是直接指向缓存系统的内容服务器 , 用户 可以直接感知缓存系统的存在 。此种类型组网方式 实际上就相 当于将 We b资源站点服务器搬到本地 城域网内, 严格意义上相 当于镜像服务器 。
直接使用保存 的副本进行响应客户端请求。只有 当网站 明确标识资源已经更新 , We b 缓存系统才 会更新 We b 资 源副本。由于 We b 缓存系统部署距离用户客户端较近 ,
相 当于将 访 问远端 We b服务 器流 量 留在本 地 网 内 , 从 而
减少热点重复流量在互联网上进行传输 , 可实现加快 页
i n g d a t a t r a f f i c c a n b e c l a s s i i f e d i n t o t w o c a t e g o r i e s :
t r a f i f c h i j a c k i n g a n d p o l i c y r o u t i n g .T he a u t h o r s
w h i c h o n e t o c h o o s e b a s e d O iBaidu Nhomakorabeal t h e i r r e q u i r e me n t s .
Ke y wo r d s : We b , C a c h e S y s t e m, n e t w o r k i n g mo d e
相关文档
最新文档