数据管理系统技术解决方案-5

产品解决方案
• • • • • • •
敏感数据安全性 脱敏数据可读性 脱敏管理配置化 脱敏过程可监控 脱敏过程自动化 脱敏管理集中化 脱敏性能可扩展
脱敏管理配置化
通过六大步骤完成数据脱敏。 第一步：定义业务元数据； 第二步：定义数据脱敏规则； 第三步：定义技术元数据； 第四步：配置数据脱敏流程； 第五步：定义数据脱敏任务； 第六步：执行数据脱敏任务。
系统目前支持函数
数据脱敏管理角色分离
配置岗、执行岗、 审计岗权限分离
产品解决方案
• • • • • • •
敏感数据安全性 脱敏数据可读性 脱敏管理配置化 脱敏过程可监控 脱敏过程自动化 脱敏管理集中化 脱敏性能可扩展
身份证号码脱敏算法
510219
19830415
691
8
A
密码本+加密密钥
B
加密密钥
公司简介介绍 数据安全需求 产品解决方案 产品技术方案 产品实施案例 产品优势总结
数据管理系统架构
数据管理系统架构
用户请求
Html
用户界面
Html
WebController层（Spring MVC）
功能权限 服务路由 页面路由
WebView层
格式化 界面权限
业务服务层Business Services
企业名称脱敏算法
上海
新致
软件
公司
区域密码本
密码本+加密密钥
密码本+加密密钥
密码本+加密密钥
密码本+加密密钥
字号密码本
北京
尚阳
制造
厂
行业密码本
组织密码本 企业名称由：区域、字号、行业、组织 四部分组成。 脱敏算法首先将公司名称进行中文分词， 然后针对每个部分分别脱敏，最后将脱敏后数据组合成新的公司名称 即保证的数据脱敏，又保证保证数据脱敏后的可读性！
交换出去 的数据包 含哪些敏 感信息？
外泄数据 范围无法 管控
数据敏感 范围无法 管控
交换出去 的数据脱 敏级别是 多高
数据脱敏 级别无法 管控
数据管理的困惑
大数据时代，如何管理数据的安全？
数据安全监管要求
• 监管要求
针对银行信息泄露的问题，银监会发布的《中国银行业 “十二五”信息科技发展规则监管指导意见（征求意见稿）》 文件，要求“商业银行在信息系统开发、测试和维护，以及服 务外包过程中加强对客户信息的保护，防止敏感信息泄露”。 为保护客户权益，满足商业银行风险监管和内控监管的 要求，需要对开发环境和测试环境中的数据建立统一的管理规 范，对于必须使用生产数据的系统开发、测试、维护项目，生 产数据必须经过脱密，才能被加载到开发、测试或维护环境。
元数据 管理
系统管理
1.用户角色管理 2.资源权限管理
流程管理
1.流程节点管理 2.数据流程管理 3.可视化流程定义 1.任务定义 2.任务执行 3. 任务监控
任务管理
1.操作日志管理 2.数据合规检查 3.脱敏密钥管理
数据脱敏能力扩展
插拔式功能升级方式，提升数据处理流程拓展能力
数据脱敏系统支持的数据处理组件
组件类型
数据准备 TD处理 文件处理 DB处理 文件分页 从Tables中读取TD表结构 文件读取 数据记录读取 表记录分页 根据元数据创建TD表 文件写入 数据记录插入
数据处理组件
分页合并 根据ShowTable生成TD建表语句 删除文件 删除表 删除记录 修改表名 截断表名 创建FastLoad临时表 截断列名
产品解决方案
• • • • • • •
敏感数据安全性 脱敏数据可读性 脱敏管理配置化 脱敏过程可监控 脱敏过程自动化 脱敏管理集中化 脱敏性能可扩展
数据脱敏集中管理
• 采用元数据管理架构
集中管理所有敏感规则
集中管理所有表的敏感信息
产品解决方案
• • • • • • •
敏感数据安全性 脱敏数据可读性 脱敏管理配置化 脱敏过程可监控 脱敏过程自动化 脱敏管理集中化 脱敏性能可扩展
C
随机数 A、B、C计算
区域密码本
100233
19860223
398
5
身份证号码由四部分构成： 将四部分拆分后分别做脱敏，然后组合成新的身份证号码。 即保证的数据脱敏，又保证保证数据脱敏后的可读性！
人名脱敏算法
张
世
勤
人姓密码本
密码本来自百度文库加密密钥
密码本+加密密钥
密码本+加密密钥
人名密码本
王
青
明
将人名按字拆分后分别做脱敏，然后组合成新的人名。 即保证的数据脱敏，又保证保证数据脱敏后的可读性！
不可读 失去业务含义 不符合业务规范
可读 保留业务含义 符合业务规范
箜鞚縉屣馁鹜鬩闔嗰鎘
北京罗雅财富管理公司
数据管理需求理解
供监管报送数据
6.根据不同的数据使用要 求，应该提供不同等级的 脱敏能力
上海新致软件股份有限公司
供内部数据分析
上海新致软件股份有限公司 上海＊＊＊＊＊＊有限公司
供外部数据测试 北京罗雅财富管理公司
产品解决方案
• • • • • • •
敏感数据安全性 脱敏数据可读性 脱敏管理配置化 脱敏过程可监控 脱敏过程自动化 脱敏管理集中化 脱敏性能可扩展
脱敏过程自动化
• 在脱敏处理过程中，脱敏系统按照脱敏流程定义的前后顺序 自动抽取数据、数据脱敏、数据加载等操作。 • 整个脱敏过程中无需人员干涉，完成自动化执行。
并行计算架构实现性能扩展性
调度服务器
元数据服务器
。。。。。 脱敏应用服务器
通过调度， 多个脱敏任务在不同应用服务器上并行执行 通过增加硬件服务器，提升数据处理性能。
脱敏节点之间多应用并行
并行计算架构实现性能的扩展性
脱敏节点内部多线程并发， 增加线程数可以增加单机脱敏性能
数据脱敏能力扩展
通过可视化数据处理流程定制，满足不同数据脱敏处理需求。
流程管理 节点管理 流程管理
安全审计 合规检查 密钥管理
机 构 管 理
脱敏规则引擎
权 限 管 理
规则解析 元数据库 任务管理 任务定义
规则执行
测试库 任务执行
任务监控
角 色 管 理
ECIF
生 产 系 统
ODS ECIF ODS CRM ECIS 。。。
功能架构
1.业务元数据管理 2.技术元数据管理 3.脱敏规则管理 4.数据源管理
其中前四步只需要一次性的配置操作。
平时当有脱敏需求时，脱敏执行岗位人员只需要定义一个脱 敏任务，然后执行这个脱敏任务。 两步操作就完成数据脱敏的自动运行。
第一步：业务元数据定义
第二步：脱敏规则定义
可以为一个业务元 数据定义多个不同 的脱敏规则
第三步：技术元数据定义
1.新建数据系统定义 2.导入数据系统技术元数据 3.为字段设置对应业务元数 据
2800人
1800人 1000人 500人
50人
100人
全公司通过CMM3
成立关西Newtouch 首次被认定为 “国家规划布局内重点软件企业” 投入政府市场领域
通过ISO9001（2000版）认证
开始开拓日本软件外包市场 新致软件成立
进入金融行业领域
4
主要资质和荣誉
5
金融行业长期服务客户
6
金融行业长期服务客户
修改列名 脱敏处理
数据传输 命令执行 检查校验 脚本生成 缓存操作
根据建表语句创建表 读取文件脱敏入文件
FTP下载 Shell脚本调用 检查表是否存在 生成FastLoad End脚本 获取缓存
批量删除表 读取文件脱敏入表
FastExport脚本调用 检查数据处理结果 生成FastExport脚本 清空缓存
数据管理需求理解
企业外测试人员 数据测试 业务分析
企业内操作人员
企业数据
1.敏感数据必须脱敏， 防止敏感数据泄露
数据共享
企业外公司
数据管理需求理解
2.数据脱敏是自动化执行 而非人工的，避免存在因 误操作，无操作造成敏感 数据泄漏风险
数据提取
敏感数据脱敏
敏感数据加载
数据管理需求理解
3.数据脱敏应该集中管理而非分 散管理，存在因数据监管遗漏 造成的敏感数据泄漏风险
生产 库A 生产 库B 生产 库。。
生产库A
生产库B
脱敏元数据库 生产库。。
数据管理需求理解
4.数据脱敏过程应该是配 置而非程序开发，快速响 应各种数据脱敏需求。
程序开发？
全程配置？
数据管理需求理解
5.脱敏后数据应该是可读 的，脱敏后数据应该保持 业务一致性、必须符合业 务规范
上海新致软件股份有限公司
脱敏算法原理
变形前 OrderId 1 2 3 4 NAME 王成 李就 张中 赵国
密码本 变形规则 脱敏密钥： 4 _Msk=4 Rondom
变形后 OrderId 5 6 7 8 NAME 张三 李四 王五 刘一
OrderId 1 2 3 4 5 6 7 8
Name 王成 李就 张中 赵国 张三 李四 王五 刘一
数据管理需求理解
6.数据脱敏过程应该是可 监控，可审计的
数据管理需求理解
7.数据脱敏能力可以横向 扩展而非只能依靠单一服 务器能力，以满足不断增 长的数据脱敏需求。
企业数据
。。。
目录
• • • • • •
公司简介介绍 数据安全需求 产品解决方案 产品技术方案 产品实施案例 产品优势总结
产品解决方案
数据权限 服务执行
数据脱敏流程 元数据库
业务逻辑层Business Logic Object
数据脱敏处理
数据集成层DAO（Ibatis／JDBC）
SQL
数据层（Oracle/DB2/Teradate）
数据管理系统应用架构
配置管理员 任务执行人 审计管理员
数据管理系统门户
系统管理 元数据管理
业务元数据 脱敏规则管理 技术元数据 数据源管理
• • • • • • •
敏感数据安全性 脱敏数据可读性 脱敏管理配置化 脱敏过程可监控 脱敏过程自动化 脱敏管理集中化 脱敏性能可扩展
数据脱敏数据安全性
生产 数据
随机密钥
密码本
脱敏 数据
脱敏算法
在技术上采用：密钥＋密码本＋脱敏算法组合脱敏技术 在管理上采用：数据脱敏一次一密钥，密码本定期更新，
通过技术手段和管理手段相结合，保证脱敏数据不可破解！
数据脱敏管理系统（NTDM） 技术解决方案
目录
• • • • • •
公司简介介绍 数据安全需求 产品解决方案 产品技术方案 产品实施案例 产品优势总结
公司简介
[公司名称] [成立时间] [总 资 产] [公司规模] [公司架构] [销售收入] [公司愿景] [公司使命] 上海新致软件有限公司 1994年6月4日。 1.7亿 3000人。金融行业技术员工
20年稳定经营
1400多人
上海总部、北京、大连、西安、美国、日本分公司 2011年软件总销售收入3.0亿元 成为最受员工、客户、股东和社会所推崇的“百年企业” 为人们的工作和生活带来积极的改进
3
发展历程
巴黎 北京 苏州 美国
服务中国2010年上海世博会运营指挥 建成 TIS & Newtouch 开发中心TNODC
多表数据归并复制 读取表脱敏入文件
FastLoad脚本调用 分支判断 生成MultiLoad脚本
单表数据复制 读取表脱敏入表
存储过程调用 生成SQLLRD控制脚本
数据脱敏
FTP上传 SSH命令调用 检查带库恢复状态 生成Fastload脚本 生成SQLLRD运行脚本 更新缓存
目录
• • • • • •
第四步：数据脱敏流程定义
第五步：脱敏任务定义
1.新建任务 2.分配流程 3.分配密钥
第六步：脱敏任务执行
任务启动，停止 任务执行支持断点续传能力； 任务状态分级管理：处理中，已完成，警告，异常
产品解决方案
• • • • • • •
敏感数据安全性 脱敏数据可读性 脱敏管理配置化 脱敏过程可监控 脱敏过程自动化 脱敏管理集中化 脱敏性能可扩展
三井住友海上火灾保险(中国)有限公司
7
目录
• • • • • •
公司简介介绍 数据安全需求 产品解决方案 产品技术方案 产品实施案例 产品优势总结
数据使用现状分析
企业外测试人员
企业内操作人员
数据测试 业务分析
企业 数据
数据共享
企业外公司
数据管理的困惑
上次将什 么样的数 据给了谁 了？
数据去向 无法管控
脱敏进度监控
监控任务总体 进度
监控每个表的 脱敏进度
脱敏环节监控
数据脱敏处理节点： 有60个数据表等待处理 正在处理100张数据表 处理完且没有被下一个节点处理的表数为0
监控每个节点的完成进度 了解当前任务性能瓶颈
脱敏异常监控
1. 异常数据以文件形式存放，脱敏任务将继 续运行。 2. 后期可以通过手动修改错误数据并将数据 重新处理并导入目标数据库。 3. 解决数据丢失的风险，保证数据完整性。
成立北京、苏州新致 评为“上海名牌” 全公司通过CMMI5、ISO27001 杭州、巴黎办事处成立
被认定为“中国软件出口工程企业” 首次评为“上海名牌服务” 美国Newtouch成立,启动 NEC 通信系统新致开发中心NNC 东京Newtouch成立西安新致软件成立 大连新致软件成立,全公司通过CMM4