汽车之家数据平台架构(对外发布)-高红锋
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
汽车之家数据平台架构
小思考：
互联网企业数据仓库构建是采用 自下而上的方式，还是自上而下的方式？
如果你是一个数据部门的架构师， 你怎么去规划数据仓库呢？
架构师必须要面对的两个方面
该怎么办？
一切以实现数据价值为目标
如何实现数据价值
数据价值 数据门户 数据采集 数据仓库 系统平台 数据分析 数据平台 数据挖掘 数据质量
相同IP库
更新差异 IP库
整合IP库
更新
投票
更新
IP特例库
AUTO IP库
经纬DB
影响分 析报告
用户解 析页面
IP 服务
用户地区 解析
Cookie 技巧
Cookie_用户标识ID = UID（36位）+ First Datetime + First ReferDomain 标识用户；标示用户第一次访问时间；标示用户第一次访问来源； 提升统计分析效率；
元数据访问管理
实现数据价值的必经之路-平台化
系统架构
收 集 采集 存储计算 监控系统
消息中间 件 Web server agent agent Kafka server Kafka server Kafka server Hdfs（2.4） nn1 nn2 mr spark hive stream ing 存储 gate gate way way
冲突与漂移： 冲突——多个设备获取的UUID相同 漂移——单个设备产生多个UUID Android IMEI 缺陷 （1）山寨 （2）权限限制 （3）如何多app共享 iOS OpenUDID 缺陷 （1）剪贴板共享被限制，如果证书前缀一致，可以共享 （2）Keychain要求证书前缀一致 （3）IDFA可能被用户禁用，存在被被app store拒风险 （4）MAC已被禁用（iOS7）
数据质量系统
数 据 质 量 体 系 规 划
数据质量检核 检核定义 数据质量监控 数据监控 安全监控 系统监控 检核引擎 检核分析
质量过程管理 需求管理 数据质量报告 流量数据报告 业务数据报告 知识管理 问题管理
元数据系统
元数据基础管理 技术元数据管理 报表 元数据 主数据 元数据采集 人工录入 自动采集 模板导入 ETL元数 据 版本管理 源系统元 数据 视图管理 数据仓库 元数据 变更管理 元数据分析 核心数据分析 影响分析 血缘分析 活力分析 元数据检核 业务元数据管理 业务模型 管理 生命周期管理 业务指标 管理 元数据映 射 计算规则 元数据查询
部 门 管 理
资源保障 制定目标
需求分析&产品 平台规划 价值导向 OKR 沟通共识 实施计划 项目规划
项 目 管 理
数据价值的保障-数据质量
建立全面数据质 量评估环境
评级数据质量 管理进程
数据质量 管理改进
建立全面数据质 量管理实施计划
数据质量项目 实施
数据质量委员会 数据标准管理
数据标准规范管理 业务数据 技术数据 标准规范 标准规范 数据标准流程管理 流程 流程 定义 变更 数据标准执行 标准 标准 执行 监控 版本 管理 系统管理 标准 标准 查询 维护
My sql
应 用
接口
Yarn 资源管理 zk Jmq
MSwk.baidu.comSQ L
权 限 控 制 体 系
Data api hue
dn dn
… …
Hba se
kylin
调度系统
个案分享
IP库更新流程
ip种子库1 ip种子库1 IP种子库 差异IP库
获取日志IP 排序列表 抓取IP解析
IP API IP API IP API
Cookie_Evercookie =Cookie_用户标示ID 恢复用户标识ID; 使用户跟踪更精准； Cookie_fingerprint = number 评估用户规模；防作弊； Cookie_ref =上次访问来源 + 本次访问来源 用于提升统计分析效率
APP统计SDK日志采集模型
移动设备唯一标识问题
解决冲突和漂移的方案
欢迎加入汽车之家
高红锋 数据平台部门经理
email： gaohongfeng@autohome.com.cn 微信： sdkf2014122
小思考：
互联网企业数据仓库构建是采用 自下而上的方式，还是自上而下的方式？
如果你是一个数据部门的架构师， 你怎么去规划数据仓库呢？
架构师必须要面对的两个方面
该怎么办？
一切以实现数据价值为目标
如何实现数据价值
数据价值 数据门户 数据采集 数据仓库 系统平台 数据分析 数据平台 数据挖掘 数据质量
相同IP库
更新差异 IP库
整合IP库
更新
投票
更新
IP特例库
AUTO IP库
经纬DB
影响分 析报告
用户解 析页面
IP 服务
用户地区 解析
Cookie 技巧
Cookie_用户标识ID = UID（36位）+ First Datetime + First ReferDomain 标识用户；标示用户第一次访问时间；标示用户第一次访问来源； 提升统计分析效率；
元数据访问管理
实现数据价值的必经之路-平台化
系统架构
收 集 采集 存储计算 监控系统
消息中间 件 Web server agent agent Kafka server Kafka server Kafka server Hdfs（2.4） nn1 nn2 mr spark hive stream ing 存储 gate gate way way
冲突与漂移： 冲突——多个设备获取的UUID相同 漂移——单个设备产生多个UUID Android IMEI 缺陷 （1）山寨 （2）权限限制 （3）如何多app共享 iOS OpenUDID 缺陷 （1）剪贴板共享被限制，如果证书前缀一致，可以共享 （2）Keychain要求证书前缀一致 （3）IDFA可能被用户禁用，存在被被app store拒风险 （4）MAC已被禁用（iOS7）
数据质量系统
数 据 质 量 体 系 规 划
数据质量检核 检核定义 数据质量监控 数据监控 安全监控 系统监控 检核引擎 检核分析
质量过程管理 需求管理 数据质量报告 流量数据报告 业务数据报告 知识管理 问题管理
元数据系统
元数据基础管理 技术元数据管理 报表 元数据 主数据 元数据采集 人工录入 自动采集 模板导入 ETL元数 据 版本管理 源系统元 数据 视图管理 数据仓库 元数据 变更管理 元数据分析 核心数据分析 影响分析 血缘分析 活力分析 元数据检核 业务元数据管理 业务模型 管理 生命周期管理 业务指标 管理 元数据映 射 计算规则 元数据查询
部 门 管 理
资源保障 制定目标
需求分析&产品 平台规划 价值导向 OKR 沟通共识 实施计划 项目规划
项 目 管 理
数据价值的保障-数据质量
建立全面数据质 量评估环境
评级数据质量 管理进程
数据质量 管理改进
建立全面数据质 量管理实施计划
数据质量项目 实施
数据质量委员会 数据标准管理
数据标准规范管理 业务数据 技术数据 标准规范 标准规范 数据标准流程管理 流程 流程 定义 变更 数据标准执行 标准 标准 执行 监控 版本 管理 系统管理 标准 标准 查询 维护
My sql
应 用
接口
Yarn 资源管理 zk Jmq
MSwk.baidu.comSQ L
权 限 控 制 体 系
Data api hue
dn dn
… …
Hba se
kylin
调度系统
个案分享
IP库更新流程
ip种子库1 ip种子库1 IP种子库 差异IP库
获取日志IP 排序列表 抓取IP解析
IP API IP API IP API
Cookie_Evercookie =Cookie_用户标示ID 恢复用户标识ID; 使用户跟踪更精准； Cookie_fingerprint = number 评估用户规模；防作弊； Cookie_ref =上次访问来源 + 本次访问来源 用于提升统计分析效率
APP统计SDK日志采集模型
移动设备唯一标识问题
解决冲突和漂移的方案
欢迎加入汽车之家
高红锋 数据平台部门经理
email： gaohongfeng@autohome.com.cn 微信： sdkf2014122