201809网络爬虫系统-项目建设方案
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
目录
1. 对项目的理解............................................................................................... - 3 - 1.1背景 .. (3)
1.2业务目标 ............................................................................................................ 错误!未定义书签。
1.3应用感知目标 (3)
2. 系统整体架构............................................................................................... - 3 - 2.1技术框架 (3)
2.2数据架构 (4)
2.3功能模块 (5)
2.4功能模块 (5)
2.5应用部署架构 (6)
3. 详细建设方案............................................................................................... - 7 - 3.1一站式大数据采集、存储、清洗、训练、导出 (7)
3.2多租户管理 (7)
3.2.1 功能说明.................................................................................................................................... - 7 - 3.2.2 平台截图.................................................................................................................................... - 8 - 3.3丰富的数据接口 (8)
3.4平台高可用性 (8)
3.5抓取高效性 (8)
3.6高可扩展性 (9)
3.7可视化爬虫界面 (9)
3.8抓取过程 (10)
3.9硬件配置方案 (11)
3.9.1 主机、存储资源 ...................................................................................................................... - 11 - 3.9.2 软件资源.................................................................................................................................. - 11 - 3.10资源估算 .. (11)
3.10.1 存储........................................................................................................................................ - 11 -
3.10.2 CPU与内存 ............................................................................................................................. - 12 -
4. 系统安全与系统测试........................................................... 错误!未定义书签。
4.1系统管理以及系统安全措施............................................................................ 错误!未定义书签。
4.2系统测试的方法和环境..................................................................................... 错误!未定义书签。
5. 工程进度安排及项目实施人员资质 .................................... 错误!未定义书签。
5.1工程进度安排 .................................................................................................... 错误!未定义书签。
5.2项目支撑人员组成表 ........................................................................................ 错误!未定义书签。
5.3支撑人员相关证明材料..................................................................................... 错误!未定义书签。
5.3.1 杨继营（项目负责人） ................................................................................. 错误!未定义书签。
5.3.2 李筠................................................................................................................. 错误!未定义书签。
5.3.3 邹娟................................................................................................................. 错误!未定义书签。
5.3.4 邱文川............................................................................................................. 错误!未定义书签。
5.3.5 唐亮................................................................................................................. 错误!未定义书签。
5.3.6 赵柏杰............................................................................................................. 错误!未定义书签。