大数据下的安全技术实践

基于RBAC的权限设计
基于RBAC的产品权限+数据权限
用户表
USER_ID USER_NAME
角色表
ROLE_ID ROLE_NAME
Βιβλιοθήκη Baidu
权限表
PERMISSION_ID PERMISSION_FLAG
用户角色关系表
USER_ID ROLE_ID
角色权限关系表
USER_ID PERMISSION_ID
基于指标建模的数据消费
多维分析 saiku CUBE Mondrian Schema
MDX Data
Auth User
Index
Role
Mondrian
Schema Parse Log Cache
SQL Data
Data Description
Audit
Storage On Hdfs
基于RBAC的指标权限设计 基于Mondrian Schema解析 实 现指标溯源 日志结合schema解析实现 指 标访问审计
RBAC0权限模型
基于RBAC的产品权限+数据权限
角色
产品
数据
建模
页面元素
动作/接 口
库
表
字段
主题
立方体
指标

角色与资源绑定 基于角色实现黑白名单 权限申请工作流中用户自主选择角色与资源 基于ERP属性在权限申请workflow中给予用户角色推荐
小结
将数据、指标、产品统一视为资源，
greenplum
greenplum 收敛出口
Adhoc面向场景 ADHOC：基于SQL语义的即席查询
web-ui:面向用户的界面化查询平台
ADHOC
同步查询:kudu、sql on hbase 等 api 异步查询 数据拉取
高复杂度查询
Adhoc权限控制
控制项
权限：库->表->字段
AUTH
复杂度
产品 权限 指标 数据
与角色关联绑定 通过收敛数据出口实现权限统一控制
基于SQL解析实现字段粒度的访问控
制、动态脱敏和行为审计
大数据下的安全技术实践
技术创新 变革未来
大数据安全定义
用户安全
用户安全：身份认证、权限控制、操作审计
数据安全 系统安全 网络安全
数据安全：存储、消费、溯源 系统安全：操作系统、分布式集群
网络安全：传输加密、访问授信
百度外卖大数据安全框架
数据 交付
访问控制
行为审计
动态脱敏
数据溯源
个人账号 系统账号 权限 管理 身份管理
数据 托管
画像
结算
KPI
……
数据源
业务库
日志
FTP
ELK
对象存储
ADHOC-基于SQL语义的数据消费
基于SQL语义的数据消费
client client client client
client
client
ADHOC Distributed Storage hive hbase impala kudu kylin druid hive hbase C->S多对多 不同服务权限粒度不同 权限运维复杂 Distributed Storage impala kudu kylin druid
词法语法解析
抽象语法树
MAX
1
2
3
敏感字段 SQL替换注入示例 SQL替换注入 SELECT user_id,user_phone FROM tbl_order SELECT user_id, encryptFunc(user_phone) FROM tbl_order
查询
多维分析-基于指标建模的数据消费
频次
数据量级
动态脱敏 系统账号 API Sql Parse LOG ADHOC Query on engine 查询热度 审计
个人账号
Web-ui
Adhoc-数据动态脱敏
SQL提交
语法树不完全示例 SELECT MAX(1,2),3
ROOT
SELECT FunctionCallExpr IntegerLiteral
鉴 权
授 权
库->表->字段 立方体->指标
数据 内容
访问认证
传输加密
存储加密
指标管理
操作记录
可用周期 内容销毁 数据 销毁
静态脱敏
数据流安全体系
业务系统
权限 系统
数据及指标 权限申请
个人用户
鉴权 审批流
数据出口
OLAP分析 数据建模
ADHOC
审 计
非敏感数据共享，敏感数据私有
多租户隔离
数据 生产