数据采集平台搭建方案

2.5系统技术架构
表
支持移动、在线、
现
离线（客户端）等
层
多种表现方式。
业 务 层
支
撑
层
基于J2EE规范实现
，具有良好的跨平
台性。
系
统
层
基 础 层
XML
OCX
J2ME
JSP
业务功能 业务功能
业务功能 业务功能
业务功能 业务功能
开普数据统计报表 开普安全智能表单
J2EE平台
中间件平台
关系型数据库
网络环境
逐级审核和加工清理后，将
地市
数据最终报送至人保部相关
部门。
县
数据采集分析平台
2.4.1系统总体架构图
其他业务系统
其他业务系统
其他业务系统
数据交换功能模块
智
数
消息中间件/ Web Service /文件传输
能
据 采 集
表
数据审核、加工整理、分析统计
单
平
服
台
务
自动抓取
在线填报
离线填报
移动采集
器
数
据
Web
1.5.开普安全智能表单特点
6、全面采用SOA架构
表单服务器
应用系统
WebService/EJB
表单 服务 接口层
流程服务器 文档安全服务器
文档库服务器
1.5.开普安全智能表单特点
7、集中的模板库管理
开普安全智能表单
数据采集解决方案
典型应用案例
2.1.1数据采集业务分析
数据源
采集方式
Web 文件 多媒体 XML 文档 数据库
CA认证
1.5.开普安全智能表单特点
4、集成灵活高效的工作流引擎
表单设计和工作流设计的 柔性化方式，允许用户按照 实单特点
5、支持多种信息采集渠道
无须一定要在线环境下操作， 支持离线方式基于本地桌面填报， 所有操作与在线效果一致，尤其 填写大数据量内容时更方便。
基层数据采集部门业务繁忙。需要掌握很多套软件，填报很多表格 文档才能完成填报工作，而且各个业务的统计调查软件的界面、风 格、使用都不一样。
已采集的数据难以实现共享。由于数据的采集方式、存储方式、实 现技术个不相同，不同业务单位采集的数据往往只能自己使用，无 法实现共享，重复采集的情况时有发生。
采集任务修改 任务权限设置 采集任务查询
采
集
表单分类管理
采集表单维护
表
单
表单样例管理
采集表单查询
管
采集表单设计
理
数据 审核 加工
数据审核 数据加工整理
数据汇总 数据统计
统
计
报表分类管理
统计报表维护
报
表
报表样例管理
统计报表查询
管
统计报表设计
理
指标 采集指标分 管理 类管理
元数据管理
指标目录
指标维护
审核公式
开普互联安全智能表单 及数据采集方案介绍
北京开普互联科技有限公司 二O一O
开普安全智能表单
数据采集解决方案 典型应用案例
1.1.开普安全智能表单介绍
开普安全智能表单提供了一 种手段，通过基于表单格式 的电子文档把信息、人和数 据库以及应用系统灵活地连 接在一起，使信息系统回归 人的使用习惯。
数据库/应用系统
1.5.开普安全智能表单特点
2、智能性
支持对表单填写字段信息类 型和规则进行校验，支持不 同字段域信息进行比对和动
态计算
1.5.开普安全智能表单特点
3、字段级的表单安全控制
只读 隐藏 不打印
支持口令和证书方式加密 保存和传输 在线/离线电子签名； 在线/离线电子签章； 电子签名和电子签章可加 盖于指定字段； 经签名和签章后的内容不 可篡改，可作为证据保留， 并可追溯历史记录；
采用开普智能表单提供的数字水印技术有效解决数据一致性的问题。 系统基于统一的数据标准，保证了数据的继承性。利用开普智能表
单强大的数据模型支持能力，有效分离了展现样式和数据，保证了 业务变更时系统的延续性。
3.2.3高新技术企业认定离线填写工具
3.2.3高新技术企业认定离线填写工具
3.2.4应用成果
典型应用案例
3.2、全国高新技术企业认定管理工作网
3.2.1面临的主要挑战
如何在短时间内快速搭建应用平台。项目从启动到正式 上线仅有一个半月的时间，怎么快速搭建应用系统，成 为项目成败的关键。
如何应付大用户量的集中访问。系统是面向全国的高新 企业，用户群庞大，而且在新的高新技术企业认定管理 办法实施之后，各地企业的申报会较为集中。
系统 管理
组织机构管理
角色权限管理
系统用户管理
子系统维护
数据交 换管理
数据交 换服务 配置
数据交 换服务
监控
数据交 换日志
查询
2.6.2系统核心功能概述
指标管理 ➢ 系统主要以多分类体系和元数据管理方式，对采集指标进行统一梳理，并形成采集指标目 录。
采集表单管理 ➢ 针对采集表单模板的管理，主要包括采集表单样式设计、指标映射、采集表单分类管理、 查询等功能。
OCR识别设备
票据
证件
数据采集表
应用系统
表单服务器
开普安全智能表单 数据采集解决方案
典型应用案例
典型应用案例
3.1、农业部金农工程一期
3.1.1统一农业信息采集系统总体建设目标
统一农业信息采集系统
统一采集软件 统一指标管理
针对农业行业各信息采集渠道，进行统筹规划，通过采 用统一采集软件、统一指标管理的办法，建立统一的农业信 息采集系统，为农业系统内各部门提供个性化的农业信息采 集服务，达到资源充分利用和信息共享的效果。
科技部 —全国高新技术企业认定管理工作网
2008年6月项目启动 2008年8月5日系统正式上线 截至2008年底，全国共有30351家企业在网上进行了注册，
其中15547家企业通过高企认定评审 截止目前，系统持续稳定运行，并完成了两次年度高企认
定评审工作，
谢谢！
息传送至人保部相关部门，
省
不经过任何中间环节部门
（如省、地市）的审核或加
地市
工整理。
• 人保部统一对直报的数据进
行集中审核、加工和整理等 县
操作，并加以利用。
数据采集分析平台
2.3.2采集模式分析：逐级上报
数据逐级上报
部
• 采集点将数据按照规定的逐
级上报流程（如县-地市-省
省
-部，或县-省-部），经过
3.1.5金农工程一期应用系统
3.1.6金农工程一期:物价监测信息采集系统
采集任务区
系统消息与 提醒
待办任务区
业务催办区
3.1.6金农工程一期:物价监测信息采集系统
在线填报 《价格调查报表》
3.1.7应用成果
农业部 — “金农”工程
应用系统：农业信息采集平台、七个业务采集子系统 表单数量：230 基点用户：20750
LAN局域网络 IEEE802.11 / GPRS / 3G
XML
数据采集
Web Service
Form Server 表单服务器
移动设备 移动采集系统
表单发布
Form Designer 表单设计器
2.10图像（OCR）识别技术
OCR光学字符识别，是文字自动输入的一种方法。表单支持基于OCR设备作为数据 采集端，特别适用于固定格式调查表以及统计数据等数据源的批量扫描录入，减少人工 工作量，提高工作效率。
数据报表管理 ➢ 针对数据报表模板的管理，主要包括数据报表样式设计、数据报表类别管理、查询等功能。
采集任务管理 ➢ 采集任务实现采集业务的具体实现，在采集任务中可以设置采集表单的类型、填报的频度、 填报的流程、填报的权限等内容，并将任务下发给相应的采集点。
数据审核加工 ➢ 提供可视化操作环境，对采集的数据的格式及数据内容进行校验和审核，保证采集的数据 质量。 ➢ 提供可视化操作环境，对采集过来的数据格式和内容，包括对采集数据的增删改查操作。 进行规范化处理
3.1.2系统建设内容
两级平台 已建七个系统 在建九个系统
3.1.3面临的主要挑战
如何方便定制数据采集的表样 如何方便处理结构化和非结构化数据的表样 如何方便的与现有采集数据指标匹配 如何方便的与现有基础平台的集成
3.1.4解决方案
利用开普智能表单平台，提供的可视化定制能力，开发人员可以方 便的快速定义所需的表样
如何解决申报的电子数据与纸面打印数据一致性的问题。 如何保持数据和应用在后续建设中的继承性。
3.2.2解决方案
选择成熟产品搭建应用系统，保证了项目的按时上线。使用开普智 能表单平台，基于成熟产品构建应用，实现了快速高效的应用开发， 避免了新建系统的不稳定问题。
使用离线填写功能，很好的均衡了系统负载。项目申报表有近20页， 在企业填报时可增加页面，数据量大的企业可达到一百多页，使用 离线填写工具很好的解决了大数据量填写的问题。
业务报表 填报
调查问卷 填报
系统数据 抓取/ 交换
移动采集
信息采集 数据库
数据利用
查询统计
业务监控 其他业务
系统
2.1.2数据采集业务中面临的主要问题
数据来源各部相同，数据采集方式多种多样。有人工填表后录入方 式、报送电子文档方式、纸介质方式、直接用软件报送方式等等。
数据采集工具多样。既有各业务系统，也有转为各个业务开发的软 件小系统。但这些系统各有特点，每个系统都需要对各级部门逐级 培训。
基于智能表单可以方便的处理结构化和非结构化数据，同样一份数 据在不同的阶段可以做到相互转换，满足不同的功能需要
利用开普表单提供的采集数据指标集成功能，可以动态管理采集指 标库，自动生成所需表样，满足了基于指标项的快速定制
开普智能表单提供符合SOA架构、RMI/IIOP、XML等标准的接口，可 与现有平台方便的集成
2.7在线采集
用户无须下载任何客户端软件，只须具备浏览器和上网条件，即可通过发布在采集 平台上的电子表单实现在线填报。
2.8离线采集
无须一定要在线环境下操作，支持离线方式基于本地桌面填报，所有操作与在线效 果一致，尤其填写大数据量内容时更方便。
2.9移动数据采集
基于移动设备的信息采集可以分为无线与离线两种模式。即可将移动设备作为单一 的数据采集终端，同时也可以在移动设备上定制一些应用，实现初步的数据管理和分析。
安全设备
中标 LinuxServer
SOA，基于服务的 开发模式
以开普表单和报表 产品作为业务支撑 平台
2.6.1系统功能架构
采集任 务监控
任务流 程监控
任务催 办管理
任务日 志管理
采集任 务查询
采集 方式
在线填报 （浏览器）
离线填报工具
移动设备填报
自动采集 （面向已有系统）
采集 任务 管理
采集任务设置 采集频度管理 任务表单映射
表现层 高度仿真传统纸面表单 样式
1.4. 开普安全智能部署架构
表单服务器
文档安全服务器
智能文档库
Form Server
应用服务器 框架控制台
Form Security Server Http,iiop/rmi
Form Content Server Http,iio/rmi
Http,iiop/rmi
UCAP FormPro
在线/离线使用端
1.2.开普安全智能表单应用架构
3、用户环境
1、设计环境
2、运行环境
1.3. 开普安全智能表单文件构成
数据层 实现填写信息直接入库， 支持XML格式实现数据 交换
安全层 可设定不同对象处理不 同字段，支持加密传输 和数字签名/签章
逻辑层 自动提取以往填报的信 息，填写数据可进行校 验和计算
2.2业务流程分析
业务流程分析
1. 人保部平台根据业务需求， 生成对应的采集任务；
2. 将采集任务下发到各级采集 节点；
3. 各级采集节点根据采集任务 的要求进行数据填报；
4. 按采集数据报送到部级平台。
人保部 部级采集分析平台
省
地市
县
2.3.1采集模式分析：数据直报
数据直报模式
部
• 各采集点直接将有关数据信
应用开发框架 表单开发包 安全开发包
文档库开发包
流程服务器 数据映射服务器
jdbc
数据库
idf格式的智能文
档
客户端
OCX组件 离线填写器
Http/https
便携电脑或PC
IE浏览器
HTML格式的智能 文档
1.5.开普安全智能表单特点
1、仿真纸面效果，降低学习成本
设计完成的表单只需发布 到服务器上即可使用，外观 样式无任何变形，完全保留 我们熟悉的纸面表单习惯。
文件
多媒体
XML
文档
数据库
源
2.4.2系统总体架构概述
以开普安全智能表单位基础，实现数据采集平台的构建； 由采集平台提供统一的数据采集业务基础功能。 由采集平台提供统一的数据加工分析基础功能。 通过数据交换组件实现平台与其他业务系统之间的数据交换。
从而实现基于数据采集平台，快速构建新的业务应用系统!