网络爬虫系统项目建设方案

目录

1. 对项目的理解............................................................................................... - 6 - 1.1背景.. (6)

1.2业务目标.................................................................................................... 错误!未定义书签。

1.3应用感知目标 (6)

2. 系统整体架构................................................................................................................ - 7 -

2.1技术框架 (7)

2.2数据架构 (7)

2.3功能模块 (8)

2.4功能模块 (9)

2.5应用部署架构 (10)

3. 详细建设方案.............................................................................................................. - 11 -

3.1一站式大数据采集、存储、清洗、训练、导出 (11)

3.2多租户管理 (11)

3.2.1 功能说明...................................................................................................................... - 11 -

3.2.2 平台截图...................................................................................................................... - 11 -

3.3丰富的数据接口 (11)

3.4平台高可用性 (11)

3.5抓取高效性 (12)

3.6高可扩展性 (12)

3.7可视化爬虫界面 (12)

3.8抓取过程 (12)

3.9硬件配置方案 (13)

3.9.1 主机、存储资源 ........................................................................................................ - 13 -

3.9.2 软件资源...................................................................................................................... - 14 -

3.10资源估算 (14)

3.10.1 存储............................................................................................................................. - 14 -

3.10.2 CPU与内存................................................................................................................ - 15 -

4. 系统安全与系统测试..................................................................... 错误!未定义书签。

4.1系统管理以及系统安全措施 ............................................................... 错误!未定义书签。

4.2系统测试的方法和环境 ........................................................................ 错误!未定义书签。

5. 工程进度安排及项目实施人员资质 .......................................... 错误!未定义书签。

5.1工程进度安排........................................................................................... 错误!未定义书签。

5.2项目支撑人员组成表............................................................................. 错误!未定义书签。

5.3支撑人员相关证明材料 ........................................................................ 错误!未定义书签。

5.3.1 杨继营（项目负责人）..................................................................... 错误!未定义书签。

5.3.2 李筠 ......................................................................................................... 错误!未定义书签。

5.3.3 邹娟 ......................................................................................................... 错误!未定义书签。

5.3.4 邱文川..................................................................................................... 错误!未定义书签。

5.3.5 唐亮 ......................................................................................................... 错误!未定义书签。

5.3.6 赵柏杰..................................................................................................... 错误!未定义书签。

5.3.7 刘子悦..................................................................................................... 错误!未定义书签。

5.3.8 曹平 ......................................................................................................... 错误!未定义书签。

5.3.9 陈汉雄..................................................................................................... 错误!未定义书签。

5.3.10 陈一....................................................................................................... 错误!未定义书签。

5.3.11 付敏健 .................................................................................................. 错误!未定义书签。