八爪鱼企业版介绍以及与线上版本区别

1、 完善的整体架构方案
八爪鱼采集系统内置数据采集系统，数据仓库，数据整合接口为一体化的解决方案，该系统可以 独立部 署在企业内部，进行外网抓取。也可以部署在内网，进行隔离环境运行。同时八爪鱼采集系 统还支持二次开发，可以实现与企业内部系统的无缝对接。
2、 分布式云集群部署，海量数据处理能力
八爪鱼采集系统通过一套中央控制处理机制连接了用户端和云集群服务端。中央控制器接 收用户指令，把任务分派到云端的各个节点进行工作，每个云节点相当于一台单机的处理 能力，云集群可以实现自动负载的均衡，进行动态伸缩，日均数据千万数据轻松搞定。同 时分布式云集群的方式还可以帮助用户轻松避开多防采集措施。
客户需求：1.全国工商公示信息采集，税务信息，失信信息等支持万达集团征信部门数据源。 2.业务部门实际项目数据源支撑。 解决方案：1.八爪鱼采集器企业落地部署，支持工商信息，税务信息，失信信息等征信所需数据源。 2.支持各业务部门实际项目数据大批量、实时性采集，
客户效益：1.八爪鱼采集器企业落地部署，支持工商信息，税务信息，失信信息等征信所需数据源。仅工商信息一年为企业节约60万。 2.支持各业务部门实际项目数据大批量、实时性采集，为企业业务展开提供有力支持，同时节省数据团队部门人力，提升工作效率。
客户端：客户端可分为以下几个子模块
Client：负责任务配置及管理，任务的云采集控制，云集成数据的管理 （导出，清理，发布） DataExporter：负责数据的导出Excel，支持一次导出大量数据（目前支 持百万级别） TaskReviewer：八爪鱼支持本地采集及云采集两种模式，本地采集程序 负责本地采集即在用户自己的电脑上运行采集流程
Passport：统一通行证服务，提供用户管理及用户身份验证相关接口。
云采集端
Cloud：云节点，负责运行拆分后的任务（采集流程），并将采集到的数据提交到服 务器。
系统监控：系统监控由以下几个小模块
CommandcenterServer ：提供监控信息相关接口 CommandCenter：监控程序客户端，止前为PC版桌面版
客户需求： 2015年，税务总局决定在全国税务系统实施”互联网+税务”行动计划，把互联网的创新成果与税收工作深度融合，拓展信息化应用领域， 推动效率提升和管理变革，为实现税收现代化提供有力支撑。 通过综合治税合作部门提供的涉税信息有限，为有效解决征纳双方信息不对称问题，需拓展互联网信息采集渠道。 随着各行业信息化程度飞速发展，互联网应用已成为各行业生产经营的主要因素之一，从而形成了大量的互联网涉税信息，对互联网大数据的挖掘应 用已成为”互联网+税务”应用的主题。 解决方案： 八爪鱼数据采集系统采用分布式云计算构架，大规模高速并发采集，能够对互联网目标涉税信息源（电商、房产、土地、商演、企业经营、行政监管、 金融、本地生活、社交网站，新闻、采购、税务政策等数据）进行各类碎片化信息的实时采集。采集信息源覆盖各类涉税相关网站，各类公开数据源， 税务指定网站，频道，页面的税务领域的信息。 客户效益： 一：全面采集互联网涉税信息，解决征纳双方信息不对称问题，提升互联网税源管理能力。 二：利用大数据云计算技术，主动采集各类互联网涉税信息，推进税务工作效率提升和涉税信息来源管理变革。 三：落实” 互联网+税务”行动计划，拓展税务信息化应用。
客户需求：建设仿真虚拟实验教学中心，旨在从仿真学习、商业实战相结合视角培养学生（员）快速具备高素质的大数据分析素养，能够最大程度地 满足学校（企业界）商业大数据分析类实验教学/技能培训活动，学生（员）可以据此设身处地完成与体验商业分析全过程。 解决方案：八爪鱼采集器企业落地部署，提供简单易用且功能强大的数据采集解决方案 客户效益：借助八爪鱼数据采集解决方案，为建立商业分析虚拟仿真实验室、运用商业分析云实验平台为华东师范大学的MBA商业模拟课程提供实战 工具技术支持与数据采集支持。
服务端：服务端由下面几个子模块
ClientAgent ：为八爪鱼客户端提供专用的服务接口。 Server ：任务调度路由节点，负责将用户提交的云采集任务根据用户账号的不同 分配到不同的任务任务调度处理节点。管理整个云集群及提供集群管理接口。 DataAPI：提供直接通过API方式获取云采集数据的接口。
服务期内支持无限次电子邮件、电话、传真、QQ咨询 上门服务支持费用：差旅费实报实销，另外支付每人每天500元 上门服务费
1、以上报价已含3个点的软件增值税。 2、自在解决方案部署完成后，乙方提供完整的交付产物之日起，乙方为 甲方提供1年免费的维护与升级服务。 第二年起，甲方仍需要乙方提供维护与升级服务的按20000元/年的标准向乙方支付服务费。
01. 企业版功能 02. 企业版与线上版本区别
03. 案例分享
内网独立部署： 可以采集内网数据，数据存储在客户本地 主要客户—政府、高校、部分企业 硬件服务器、正版数据库均由客户提供
服务器配置需求： 主服务器（一台） —— 部署和运行主应用系统 SqlServer 服务器（一台）——部署 SqlServer 数据库，存放用户配 置相关数据 MongoDB 服务器（一台）——部署 MongoDB 数据库，存放采集 的原始数据 云服务器（按需）——部署和运行分布式应用程序（物理机、云服务 器）
客户需求：500款白酒在6各平台的价格对比，通过实施数据采集并对比，了解酒仙网与其他平台同款白酒的价格差异 。 解决方案：八爪鱼采集器企业落地部署，支持实时采集六大平台白酒价格，实时准确的数据通过可视化，使酒仙网对各平台同款白酒的价格一目了然。 客户效益：通过各平台白酒的价格实时采集并对比，对企业酒品的定价和促销等运营提供实时准确数据支持。并可以针对实际情况第一时间对市场作 调整，节省原来大量人为数据对比且容易犯错的繁琐工作，为市场战略部门提供实时准确数据支撑。
企业版
01. 企业版功能 02. 企业版与线上版本区别
03. 案例分享
客户需求：1、实现政府相关信息的全网监测，监测内容涵盖政府官方新闻、媒体自发报道、 政府其他新闻，重点监测对象为新闻、门户、论坛、微博等 网站。 2、实现政府相关信息的第一时间反馈，从而使政府部门第一时间掌握社会舆论的走向和趋势，及时制定相应的计划和方案。 3、针对突发事件， 负面事件，实现第一时间掌握信息。从而及时分析整个事件起 因，预测传播度，媒体关注度，影响力，评估后期危机公关效果，制定深度分析报告。 4、 实现海量数据清晰分类，按照不同条件或多维度进行整理。可按照舆情的性质、 重要程度等对相关信息进行分类管理。 解决方案：1、通过八爪鱼采集系统采集互联网数据源，政府能够节省资源，同时提高舆情信息采集与监控的及时性。2、通过八爪鱼采集系统自动采集
企业版报价（标准版）：
产品 八爪鱼采集系统 首次实施 软件实施 使用培训 20 100 200000元
现场软件安装调试、一次性基础信息设置
ቤተ መጻሕፍቲ ባይዱ
培训对象：甲方及用户； 培训内容：一次全员培训和一次系统管理 员培训
服务期内提供系统升级包
0元
软件升级
技术服务
服务支持 技术支持 现场支持
服务期内系统漏洞修复、BUG修正
系统采用C/S（客服端/服务器）架构，面向用户的为桌面版程序。 服务器端采集用SOA（面向服务）架构，高度模块化设计。 系统主要包括以下几大部分：客户端、服务端、云采集端、系统监控、 DataAPI、存储
SOA:面向服务的体系结构（SOA）是一个组件模型，它将应用程序的不同功能单元（称为服务）通过 这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实 现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和 通用的方式进行交互。
Server Mong oDB
Cloud 集群
系统部署图
八爪鱼 八爪鱼 八爪鱼 机器1
SQLServer ClientAgent
服务端
机器2 机器4
监控客户端
CommandCenter Server DataAPI
机器3
云采集节点 Cloud(s)
Passport
Server
MongoDB
企业版
企业版
01. 企业版介绍 02. 企业版与线上版本区别
03. 案例分享
概述
八爪鱼是国内领先的互联网数据收集平台，可简单快速地将 网页数据转化为结构化数据，并且提供基于云计算的大数据
云采集解决方案，实现精准，高效，大规模的数据采集。
八爪鱼企业落地版，功能完备，并支持企业内网独立部署， 可永久授权。支持多用户管理和团队协作，支持二次开发， 支持更多定制需求。
重视与关注焦点信息，政府能够实现对相关领导、 相关部门、相关人员、辖区机关单位、园区企业等正负面舆情信息全面监测，及时发现问题，作出应
对措施。同时监测互联网相关正负面信息、突发事件、重大事件、热门信息、舆情趋势等等，及时掌握最新信息。 3、通过八爪鱼采集系统，政府可以根 据需要勾选关心的舆情信息，系统将自动采集并导入到政府预设模板，同时生成舆情报告，并定期发送 客户效益：八爪鱼数据采集系统通过先进的分布式云架构采集技术可以24小时监控成千上万的网站、论坛、微博舆情和博客的变化，帮助用户及时、全 面、准确地掌握自己重视和关心的焦点问题。通过对所采集信息进行进一步的整理、分析，实时掌控自己管辖区域内的信息动态，充分履行政府职责，提 高政府办事与应变效率。
永久授权： 线上版本——按月、按年 企业版——终身授权 优势： 1、企业终生买断八爪鱼采集器（政府、高校、 大型企业）
多用户管理和团队协作：
线上版本——一个账户 企业版——多账户协同
优势： 1、多个账户协同，方便企业团队协同办公 2、资源分配及管理
支持二次开发，支持更多定制需求 线上版本——API功能 企业版——支持二次开发： SDK传参（API） 打码平台对接 附件批量下载
存储：存储由以下两部分组成
Sqlserver：用于存储用户及用户配置数据（采集规则）。
MongoDB：用于存储云采集抓取到的数据。
系统架构图
用户App
用户App
用户App
服务 端 DataAPI
Passport
ClientAgent
存 储
八爪鱼 八爪鱼
SQLSe rver
八爪鱼
监控终端
CommandC enterServer
企业版相关问题： 数据库对接： sql，mysql，oracle、 dataapi不限 默认是什么方式存储： mongodb Q：多个数据源的数据是以何种方式存储在一起？ A：数据是统一存放到一个大的库里面，用任务Id串连在一起的， 数据格式的话是根据我们的采集的进修配置来决定的。后面分析 的话就要用到我们的API从八爪鱼库里拉数据，然后导入到你们 的分析模块的库里来。 我们提供了根据任务组和任务Id来拉数据 的接口。所以在做接口对接的时候要知道哪个组或哪个任务是对 应的分析模块的哪些数据。