大数据基础平台建设方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
全量、增量 启动审批流程 直接加入数据
申报
变更
启动审批流程 直接修改数据
启动审批流程 直接修改数据
封存
常见事件种类
推送
申报、变更、封存
PT_M_005 PT_C_001 PT_C_002 PT_C_003 PT_C_004 PT_C_005 PT_G_001 PT_G_002 PT_G_003 PT_D_001 PT_D_002 PT_D_003 PT_D_004 PT_D_005 PT_P_001 PT_P_002 PT_P_003 PT_P_004 PT_P_005 PT_P_006 RQ_001 RQ_002 RQ_003 RQ_004
大数据管理
大数据:指系统间共享数据(例如,客户、供应商、物资和组织部门相关数据), 与记录业务活动,波动较大的交易数据相比,大数据(也称基准数据)变化缓慢 要点:唯一性、共享属性、运营属性、管理流程、变更流程、质量检查、数据清理
GIS NC-ERP
资产管理
项目管理 其他系统
社会 化编 码库
大数据管理平台
某集团,下属200多家分子公司,其中包括 子集团 集团总公司对于子公司无法全权控制,系统 形态较多,信息化供应商情况复杂 集团在进行整体BI分析,部分企业直接通过 ETL挖掘数据,部分企业使用手工上报平台进 行上报 分子公司多业态,业务开展相对独立。业务 系统偏重点不同。 集团设置质量部负责货品以及客商的有效性 集团设置运营部负责货品及客商统计维度类 别划分
GetMediByCodeSrv GetCustTypesSrv GetCustCountByTypeSrv GetCustByTypeSrv GetNewCustByTypeSrv GetCustByCodeSrv GetCorpsSrv GetNewCorpsSrv GetCorpByCodeSrv GetDeptsSrv GetNewDeptsSrv GetDeptByCodeSrv GetDeptsByCorpSrv GetNewDeptsByCorpSrv GetPersonsCountSrv GetPersonsSrv GetNewPersonsSrv GetPersonByCodeSrv GetPersonsByCorpSrv GetNewPersonsByCorpSrv ReqMediByTypeSrv ReqCustByTypeSrv ReqCorpSrv ReqDeptSrv
数据清理方案
要用这些数据的人怎么样才能拿到想要的东西
接入系统改造方案
第一部分 编码规范
编码规范的内容
管理对象
编码体系
管理对象的定义方式
基于各信息系统信息处理的需要,以减少对 信息的重复采集、加工和存储为目的,进行 管理对象的选择。 最直接特征:
需要在多个系统中出现 管理者与使用者分离
分子公司 ERP系统三
制定企业服务规范的步骤
分析系统数据交换形式及流程
根据分析结果确定服务及事件清单 综合编码规范确定服务及事件的输入输出 内容
样例服务列表
常见服务种类
查询
序 号
服务编码 PT_M_001 PT _M_002 PT_M_003 PT _M_004
服务名称 GetMediTypesSrv GetMediCountByTypeSrv GetMediByTypeSrv GetNewMediByTypeSrv
场景样例2
某集团,下属20家分公司,10余家控 股子公司 集团总公司对于分公司完全集中控制, 管理系统均为统一采购,生产系统独 立采购 企业所有人员由人力部门统一管理 客商、存货数据由生产、营销部门进 行录入,信息部门进行审核
特征分析
整个集团中,同一功能使用相同系统
人员信息在单一HR系统中进行维护,数 据的增加由集团统一完成
流程启动请求
申报审批流程 流程请求响应 反馈信息处理
接收数据后,若为正常通 过,则将本系统临时码更 新为正式码; 若为审批打回,则将打回 意见通知操作者,根据打 回意见修改数据后重新进 行申报提交。 审批完成后,如审批通过,返 回正式码;如审批打回,返回 打回意见。 服务总线根据系统注册信息向 相关系统进行推送。
客商数据量
类别
药店 个人 医院 其他单位 生产商 经销商 合计
数量
16351 1302 21644 2171 5300 13893 60661
大数据管理的实质
可根据需要挂接审 批流程的
大数据
基本档案
可供多个异构系统 共享的 可通过封装服务访 问的
目录
大数据建设目的及建设方式
大数据方案解读 产品运行效果展示
大数据标准解决方案组成
编码规则
企业服务规范
管哪些东西,都是什么样子的东西 都有谁要用这些数据,怎么用
以前遗留下的数据怎么按编码规则迁移过来
影响因素:是否存在需 要进行主观判断的填写 标准。
影响因素:是否有新增、 删除、修改数据的权利 接入业务系统 调用平台所提供的各类服务 响应平台所触发各类事件
制定企业服务规范的步骤
分析系统数据交换形式及流程
根据分析结果确定服务及事件清单 综合编码规范确定服务及事件的输入输出 内容
场景样例1Байду номын сангаас
属性填写要求
4 5 6 7 8 9
第二部分 企业服务规范
企业服务规范的内容
提供各类服务(查询、申报、变更等) 使用大数据管理对象的系统 = 接入业务系统 触发各类事件(审核完成、数据调整等)
大数据平台
对于大数据管理平台与接入业务系统之间进行 数据交换方式的规定,就是企业服务规范
企业服务总线 ESB
组织管理
编码历史
编码规则
编码审批
访问服务
访问权限
编码库
高速缓存
企业统一元数据
大数据管理所解决的问题
一物一码
同一个对象(人、物、单位等)在不同系统中的统 一标识
核心信息的权威化
专门的维护点、审核点 创建流程、变更流程的记录
扩展信息的完善管理机制
企业规范的合法化
为IT部门进行整合提供技术基础
特征分析
分子公司存在异构系统,不可统一 允许分子公司直接增加数据
分子公司增加的数据需要集团进行核准
集团对于数据的核准不能影响分子公司 业务的开展
常见数据交换形式1:多点维护、统一认证
大数据 编码库
客商 分子公司 信息 ERP系统一 使用人 服务 提供 组件 分子公司 ERP系统二 事件 触发 组件 客商 信息 管理人
数据项名称 序号 1 2 3 Type Start Count 数据项 客商类别 开始记录数 返回数量 类型 字符 数字 数字 备注 在客商类别清单中存在的客商类别 编码
输出
序号 1 2 3 4 5 数据项名称 success errcode message count datas 数据项 成功标志位 错误代码 错误信息 数据数量 客商数据 类型 数字 字符 字符 数字 复杂类型 备注 1:成功;0:失败 成功时为空 成功时为空 客商数据集合中的记录数量
制定企业服务规范的步骤
分析系统数据交换形式及流程
根据分析结果确定服务及事件清单 综合编码规范确定服务及事件的输入输出 内容
样例服务定义
服务标识 PT_C_003 服务名称 获取指定类别客商数据(GetCustByTypeSrv) 服务描述 获取指定类别客商数据。与PT_C_002配合使用获取批量数据时使用。 根据客商类别,返回对应类别的客商数据。采用分页形式进行获取,调用方根据通过 PT_C_002服务获取的客商数量,确定调用本服务的次数。为防止一次性传输数据量过 大,本服务内置限定一个对于返回数据集合的数量限制。现约定此限制为1000。 根据输入的不同客商类别,返回所对应的客商数据格式,具体格式见客商数据描述。 输入
大数据基础平台建设方法
目录
大数据建设目的及建设方式
大数据方案解读 产品运行效果展示
信息化建设障碍
企业内部的各种应用系统相互独立,企业应用系统没有统一的入口,一名
员工拥有多个账户
个人业务相关信息缺乏集中展现的地方,员工需要不断在各种系统之间频 繁切换 企业中的基础数据和主要数据有在不同的系统中都是重复,混乱的,没有 统一的入口 企业无法快速,准确的获取下属企业的信息,并对下属企业进行有效管理
常见需要大数据管理的对象有
组织机构、人员、用户 客商、物料(货品) 项目等关联型业务数据 其它用户所需要管理的核心数据
编码体系
常用编码形式
分类码、顺序码、组合码
单维度分类码与多维度复合编码
编码体系差异及选择 单维度分类码
100 006 013 44 西药
血液 系统 多维度复合码 用药 物 编码部分: A000001567 属性部分: 通用名* 甲钴胺 片 剂型* 薄膜衣 片
第三部分 数据清理方案
数据清理方案
对于原始数据的处理
由于数据规则改变导致的修改 对于不符合规范数据的清理 对于重复记录的清理
药品数据量 类别 医疗器械 西药 中成药 中药材 中药饮片 食品 日用品 包材 生物制品 其它 化妆品 化学试剂 保健品 合计 数量 15974 33660 20197 2927 17789 322 714 58 634 556 964 3 2102 95900
申报请求
提交唯一性及正确性 属性
申报请求处理 申报请求响应
接收处理返回编码,保存 至本系统数据库。 使用唯一性属性在正式数据中检索 若不存在,则生成临时码,并想流程 管理平台提交申报请求。 若存在,则获取正式码及当前相关属 性。将正式码作为申报请求响应返 回。 比较当前正确性属性与申报请求中的 正确性属性,若存在差异则向流程管 理平台提交变更请求。
服务描述 获取药品分类清单。 获取指定类别药品数量。 获取指定类别药品数据。 获取指定类别药品增量数据。返回 指定药品类别某时点后更新过的药 品数据。 根据药品编码获取药品数据。 获取客商分类清单 获取指定类别客商数量。 获取指定类别客商数据 获取指定类别客商增量数据 根据客商编码获取客商数据 获取公司数据 获取公司增量数据 根据公司编码获取公司数据 获取部门数据 获取部门增量数据 根据部门编号获取部门数据 获取指定公司部门数据 获取指定公司部门增量数据 获取人员数量 获取人员数据 获取人员增量数据 根据人员编码获取人员数据 获取指定公司人员数据 获取指定公司人员增量数据 指定类别药品申报 指定类别客商申报 公司申报 部门申报
名称
原料药 片剂(非包衣片、 素片、压制片),浸膏 片 糖衣片 咀嚼片,糖片,异 型片,糖胶片 肠溶片(肠衣片) 调释片,缓释片, 控释片,长效片 泡腾片 舌下片 含片,漱口片(含 漱片),喉症片(喉片), 口腔粘附片
定义
按照集团统一编码系统的相关 约定设置该分类。 按照集团统一编码系统的相关 约定设置该分类。 按照集团统一编码系统的相关 约定设置该分类。 按照集团统一编码系统的相关 约定设置该分类。 按照集团统一编码系统的相关 约定设置该分类。 按照集团统一编码系统的相关 约定设置该分类。 按照集团统一编码系统的相关 约定设置该分类。 按照集团统一编码系统的相关 约定设置该分类。 按照集团统一编码系统的相关 约定设置该分类。
薄膜 衣片
缺陷: 弹性较差,个别类目上的代码改 变时会影响其他编码; 层次较多时,代码位数较长; 扩展性差,不利于增加新的描述 分类; 编码总长度过长。 A:西药 后9位为顺序 码
药品批号* 国药准字 H20051440
类型 血液系统用药物
编码体系构成
编码、属性
属性包括:唯一性、共享分类
序号
1 2 3
集团大数 据管理系 统
分子公司 ERP系统三
常见数据交换形式1:多点维护、统一认证
大数据 编码库
客商 分子公司 信息 ERP系统一 使用人 服务 提供 组件 分子公司 ERP系统二 事件 触发 组件 客商 信息 管理人
集团大数 据管理系 统
分子公司 ERP系统三
数据交换形式1数据流程分析
业务系统 主数据服务总线 主数据流程管理平台
客商、货品信息在大数据平台中维护, 需要多级审批,数据的增加可由下级单 位进行 在数据没有通过审核时,不允许使用
常见数据交换形式2:统一维护、多点使用
大数据 编码库
员工 分子公司 数据 ERP系统一 使用人 服务 提供 组件 分子公司 ERP系统二 事件 触发 组件 员工 数据 管理人
集团大数 据管理系 统