关于中国Web的大小、形状和结构

原稿收到日期 > 修改稿收到日期 > $ % % $ ? % @ ? % # A $ % % $ ? % @ ? $ B 本课题得到国家重点基础研究发展规划项目 C 和H 创建世界一流大学工程 I 项目基金资助 " " " % ! $ B % F G DE
K期
闫宏飞等 $ 关于中国 &’ 形Βιβλιοθήκη 和结构 (的大小 !J 3 J
搜寻 ! 网上 联 机 ! 网 下 抽 样! 相关单位上报数据等调 由 于其方 法 很 难 协 调 统 一 " 人为因素等# 例 查 方法 " 如$ 其统计的中 国 通 用 顶 级 域 名 数 及 对 应 网 站 数 是 导致其 通过各通用顶级域名注册单位协助提供的 % " 统 计 信 息 与 基 于 天 网 搜 索 引 擎 的 &’ (上 自 动 搜 寻 结果存在一定的差异 ) 本 文 利 用 天 网 搜 索 引 擎 搜 集 过 程 记 录 的 数 据" 首先通过分析天网的搜集过程以及对其覆盖情况的 认识来阐明中国 &’ 接着利用天网搜索引 (的规模 ) 擎* + + *年 ,月搜集产生的数据分析中国 &’ (的形 状 和 结 构" 进 一 步 揭 示 中 国 &’ 尤其说明 (的 特 性 ) 了从海量网页信息中识别网络社区的一种方法 )
- 通过对搜集过程的分析了解中国 ./ 0的规模
为了理解本 文 数 据 的 来 源 及 其 可 用 性 " 有必要 对 我 们采用的网 页 搜 集 系 统 ! 搜集过程和产生的数 据 类型有一个简 略 的 了 解 ) 本文数据来源的基础是
, 2 北京大学天网搜索引擎 1 它是一套由 3 " +台计算机 1 * 2 构成的并行信息处理设施 ) 为了得到本文中需要
关于中国 JK 形状和结构 L的大小 M
闫宏飞
北京大学计算机科学技术系 C
李晓明
北京 E % % # B E G
C N : UV = = = = G O P Q 8 R ST W X Y Z [ \ ; W ] ; Y V
摘
要 基 于 天 网 搜 索 引 擎 连 续 ^次 的 大 规 模 搜 集 记 录 : 揭示了中国 $ 形状和结构= 主 % % $年 初 中 国 _W ‘的 大 小 M 中 国 大 约 有 万 网 页 和 万 个 站 点 全 国 不 到 的 省 市 拥 有 强 数 目 的 网 站 要结论包括有> a @ % % % @ A b E c ! $ c ! A d _W ‘ 中国网络是高度连 通 的 : 多数的网络 B A e网页入度分布很好地符合幂级数定律A f有确凿证据显示: _W ‘直 径 是 E 社区是自主形成的 = 关键词 网页 : 网站 : 互连结构 : 网络社区 : _W ‘ ! " ! 1 0
匀分配给各主控 " 每个主控负责一定范围内 &’ (主 机网页的搜集 ) 当主控从其负责的 &’ (主机上取得 的网页中发现有交叉 89 :不在自己处理范围内时 "
d [ Y
计 算 机 研 究 与 发 展
X Y Y X年
它要将该交叉 !" #发送给负责相关 $% &主机的主 各主控通过 () 控’ . /* +函数 ,!" # 012 !" # 中主机部分 . ’ . #和后续 !" # 345 6获得起始 !" 其中 6为所有主控数 7 表示 012 !" #中主机部分 . !" #通过地址解析获得对应的 8 9整数部分相加的 和7 或者不解析域名直接变换 !" #字符串所得的整 数’ 其次 7 各主控制之间两两建立连接通信 7 形成一个 交叉网状图 7 直接传递主控间的交叉 !" ’ # 在 保 证 系 统 负 载 平 衡 的 条 件 下7 可以采用二级
子系统 ) 宏观上看 " 它是运行在工作站机群上的一个 为 叙 述 方 便" 以搜集器表示按照 并 行 处 理 系 统) 以主控表示搜集子系 56 6 7协 议抓取 网页的 进 程 " 统中每台工作站上运行的管理若干搜集器的控制程 以 调度 系统 表 示 搜 集 子 系 统 中 协 调 各 个 主 控 的 序" 模 块" 以 交 叉 89 :表 示 当 前 被 搜 索 的 网 页 中 指 向 其它网页的超链接 89 搜集子系统由主控和调度 ) : 系统构成 ) 在 图 ,中 " 主控登记模块# ;’ ( < = > ? ’ @A ’ @ B ’ @ 起 调 度 作 用 存 储 并 行 分 布 式 系 统 "&F " @ ’ C D A > @ E 9% 内所有已登记主控的信息 " 包括各登记主控的 G 7和 端 口 号) 当 任 一 个 主 控 的 信 息 有 所 改 变 时" &F 9负 责发送新的各主控信息 " 便于建立连接和变更连接 ) 每个主控模块主控 , 主控 * 主控 I 负责收 " " HH" 集存储 属于 自己 范 围 内 的 网 页 ) 每一个搜集模块搜 集器 , 搜集器 * 搜集器 I 附属于相应的主 " " HH" 控 模 块" 负 责 接 收 所 属 主 控 发 送 的 89 抓取该 " : 各主控模块之 89 :指向的网页并传送给所属主控 ) 间都建立有双向连接 " 可以全双工的工作 ) 当任一主控发现自己的搜集模块发回的网页中 包含不属于自己的 89 将此 89 :时 " :传送给它应 属的主控去处理 ) 为减少通信量 " 各主控之间只传送 ) 89 :
中图法分类号
t t s g hi jkl i m n o i n m kg po jq h k l kJk rs
? ? u+* 47 V < W v w V ], x y v w 7 /v V <
C :1 :6 % % # B E G z{ | } ~ ! "{ # ! $ %& $ " | ’ ! { ~( ) * { # ) { } # +, { ) # $ . $ / 0 { 2 * # /3# * 4 { ~ 5 * ! 0 { * 7 * # /E
用 到 的 数据 " 我们对其搜集子系统部分进行了少量 改动 ) ) 4 天网的网页搜集子系统及其搜集过程 一次网页的搜集主要涉及到天网系统中的搜集
图 , 分布搜集结构图
为 使 系 统 负 载 平 衡" 天 网 采 用 5= A ?函 数 动 态 分配 89 :给每个主控进行搜集 ) 首 先" 通 过 5= G 7分 段 " A ?函 数 将 每 个 89 :均
E I 本文基于自 $ 天网搜索引擎 H % % E年 F月以来 : 连 续 几 次 大 规 模 搜 集M 组 织 与 整 理 的 中 国 _W ‘数
G 引
言
据: 试图对 $ 形状和结 % % $年前后中国 _W ‘的大小 M 构给出一个描述 = x > / 研究院 对于 全 球 的 _W ‘结 构 图 作 过 类 似 的 研 究: 但 它 是 基 于 一 定 规 模 的 全 球 _W 没 ‘范 围 : 国内的 . 有 针 对 一 个 国 家 或 地 区 的 研 究= **x .作 过统 计信息 分析 : 其调查方法采用计算机网上自动
第! "卷 第 #期 $ % % $年 #月
计 算 机 研 究 与 发 展
67 8 9 ! " : *7 9 #
+; < =$ % % $ & ’() *+,’-. ’/0 (1 2 )) 2 3 2 +) . 4 +*5 5 2 62 , ’0 /2 *1 J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J J
:wY 8 L 9 : ; < = : > w Z W ]7 VX P W ] w X w[ ? 7 ] ; Y W ]Q ? 7 SQ 7 ; ? Y 7 V Z W Y ; X v @ W Y ? w A8 v V <[ ? 7 Y W Z Z W Z 7 S[ ? W P W V Z v @ W % % $v =1 Z[ ? W [ 7 ? X 7 VX P WZ X ? ; Y X ; ? W7 Q . P v V W Z WAW ‘w Z7 Q ] w AV7 Q X P WO W w ?$ ? W Z W V X W ] P W[ ? 7 Sv V W V X @ %Sv %X ? W Z ; 8 X Zv V Y 8 ; ] Wa X P WZ Y w 8 W7 Q . P v V W Z WAW ‘v Zw ‘ 7 ; X 8 8 v 7 VAW ‘[ w < W Zw V ]@ P 7 ; Z w V ]w Y X v @ W Ab S7 c !AW c !‘ Ad X AW ‘ Z v X W Z ? W X P w V$ ‘ Z v X W Z w ? W ] W [ 8 7 O W ]v V8 W Z Z X P w VE v <Y v X v W Z w V ][ ? 7 @ v V Y W Z P W B Ae X ? ‘v ZP v < P 8 OY 7 V V W Y X W ]Av X P] v w SW X W ?7 QE P W] v Z X ? v ‘ ; X v 7 V7 Qv V ] W < ? W W Z7 QAW ‘ . P v V W Z WAW ? Aw [ w < W ZQ 7 8 8 7 AZw[ 7 AW ? 8 w AV v Y W 8 O V ]f Z X ? 7 V <W @ v ] W V Y WW R v Z X Z Q 7 ? 8 w ? < Ww S7 ; V X 7 Q AW ‘Y 7 SS; ? = V v X v W ZX P w X w ? WQ 7 ? SW ]w ; X 7 V 7 S7 ; Z 8 O :AW :AW :P :AW BK CD E ; F 9 A7 ? 8 ]Av ] WAW ‘ ‘[ w < W ‘Z v X W O [ W ? 8 v V \Z X ? ; Y X ; ? W ‘Y 7 SS; V v X O 社 会 的 发 展A 对 于 _W ‘中 所 包 含 的 网 络 社 区 的 认 识: 可以及时了解 _W 提供可靠 M 新鲜 ‘发展新动向 : 便于网页分类 = 的信息资源给感兴趣的用户 : 海量 _W 为数据挖掘提供了丰富的 ‘数据信息 : 资 源= 对 于 抽 象 为 有 向 图 的 _W 深入的了 ‘的 全 面 M 解 和 掌 握: 可 以 加 速 _W 利用和 ‘信 息 资 源 的 建 设 M 发 展= 具 体 来 说: 通 过 对 于 _W ‘中 网 页 数 量 的 信 息 统 计 以 及 覆 盖 率 的 分 析: 可 以 了 解 _W ‘的 发 展 规 模: 推 断 和 预 测 过 去 和 未 来 _W 可以通过 ‘的 规 模 A 改进搜索引擎的搜集和检索策 分析 _W ‘互连结构 : 略: 便于更加全面和准确的信息定位 : 还有助于了解