大数据分析平台建议方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
预测模型。随着大数据技术和机器学习技术的成熟，大数据系统可以根据既 有数据预测顾客未来的行为。通过预测模型，销售人员可以更好地了解客户 需求。结合CRM的预测模型还能够更深入地解读客户需求，预测客户将在什 么时段产生对什么产品的兴趣。 即时反应。结合爬虫工具，可以揭示客户需要的产品，和其他客户对该产品 的评价，从价格到质量到客户服务。对这些信息的监测和反应至关重要。大 数据支持下的CRM系统更应该能够将公司网站和点评类社区结合起来，确保 对客户动态做出及时的反应。
需求及数据源分析
1. 对各业务部门做需求调研，评估系统运营规模，制订数据仓库的 架构及数据来源 2. 审核第一方数据（如产品库、客户资料、销售记录等）是否充分 满足需求 3. 如第一方数据源不足，制定第三方数据补充方案（引入用户社交 平台数据，从专业机构采购数据等） 4. 生成需求定义文档
Big Data
Big Data
业务测试
• 测试目的 – 从数据采集到数据查询的流程完整性，可靠性 – 使用MRUnit，结合PowerMock模拟业务流 程单元测试 – 性能测试 – 异常处理
Big Data
分析建模示例
营销目标 提高换车周期的用户 转化率 目标客户群特征 既有用户，旧车辆已经接近 设计寿命 数据分析/提取 通过大数据支撑平台，提取符 合特征的用户
（1） 从应用程序角度进行优化。由于mapreduce是迭代逐行解析数据文件 的，怎样结合业务特征，编写高效率的应用程序，是最基本的优化途径 （2） 对Hadoop参数进行调优。当前hadoop系统有190多个配置参数，可 以根据运行环境逐步调整参数组合，使hadoop作业运行尽可能的快 （3） 从系统实现角度进行优化
Big Data
THANKS
期待与您合作！
Big Data
Big Data
团队构成
1. 2. 3. 4. 5. 项目经理：1人 项目助理：1人 大数据系统工程师：5-10人 调研员/协调员：1-2人，应由甲方选拔熟悉业务及部门关系的人员 数据分析师：1-2人。须深入甲方业务需求，具备一定java或R、 python语言开发能力更佳
Big Data
中长期建设目标
基础建设
数据源
产品数据
数据采集
存储,计算 数据服务
数据展现
数据下载
销售数据
运营数据
查 询 引 擎
flume hadoop集群
数据接口
数据可视化
业务报表
Big Data
技术选型
1. flume做为数据采集通道, 将各数据源实时传输到Hadoop集群 中存储 2. Hadoop集群,包括Zookeeper集群,Hbase集群,Storm集群 3. Hive,Pig作为ETL工具,提供实时计算,离线计算两种模式 4. 针对实时性要求高的业务需求，可以增加Redis等NoSql方案做 为补充
大数据分析平台建议方案
Big Data
系统建设目标
该项目将提供两项核心能力 1、建立大数据处ຫໍສະໝຸດ Baidu基础设施，为营销及生产工作提供长期支持 2、根据近期经营需求建立分析模型（建模），协助业务决策
Big Data
工作计划
需求及数 据源分析
分析建 模 系统优 化
系统基 础建设
业务测 试
中长期建 设
Big Data
模型优化 按每月的营销结果反 馈，优化营销活动方 案
营销结果预期 第一周：用户回复率xxx 第二周: 用户到店率xxx
营销方式 第一周：短信通告（优惠，买 赠活动等） 第二周：电话销售
Big Data
系统优化
1. 随着业务规模扩展，对大数据系统实现集群化，减少 Namenode/ jobtracker单点故障率 2. 根据实际的应用需要对Hadoop进行调优，主要有以下措施
需求及数据源分析
1. 对各业务部门做需求调研，评估系统运营规模，制订数据仓库的 架构及数据来源 2. 审核第一方数据（如产品库、客户资料、销售记录等）是否充分 满足需求 3. 如第一方数据源不足，制定第三方数据补充方案（引入用户社交 平台数据，从专业机构采购数据等） 4. 生成需求定义文档
Big Data
Big Data
业务测试
• 测试目的 – 从数据采集到数据查询的流程完整性，可靠性 – 使用MRUnit，结合PowerMock模拟业务流 程单元测试 – 性能测试 – 异常处理
Big Data
分析建模示例
营销目标 提高换车周期的用户 转化率 目标客户群特征 既有用户，旧车辆已经接近 设计寿命 数据分析/提取 通过大数据支撑平台，提取符 合特征的用户
（1） 从应用程序角度进行优化。由于mapreduce是迭代逐行解析数据文件 的，怎样结合业务特征，编写高效率的应用程序，是最基本的优化途径 （2） 对Hadoop参数进行调优。当前hadoop系统有190多个配置参数，可 以根据运行环境逐步调整参数组合，使hadoop作业运行尽可能的快 （3） 从系统实现角度进行优化
Big Data
THANKS
期待与您合作！
Big Data
Big Data
团队构成
1. 2. 3. 4. 5. 项目经理：1人 项目助理：1人 大数据系统工程师：5-10人 调研员/协调员：1-2人，应由甲方选拔熟悉业务及部门关系的人员 数据分析师：1-2人。须深入甲方业务需求，具备一定java或R、 python语言开发能力更佳
Big Data
中长期建设目标
基础建设
数据源
产品数据
数据采集
存储,计算 数据服务
数据展现
数据下载
销售数据
运营数据
查 询 引 擎
flume hadoop集群
数据接口
数据可视化
业务报表
Big Data
技术选型
1. flume做为数据采集通道, 将各数据源实时传输到Hadoop集群 中存储 2. Hadoop集群,包括Zookeeper集群,Hbase集群,Storm集群 3. Hive,Pig作为ETL工具,提供实时计算,离线计算两种模式 4. 针对实时性要求高的业务需求，可以增加Redis等NoSql方案做 为补充
大数据分析平台建议方案
Big Data
系统建设目标
该项目将提供两项核心能力 1、建立大数据处ຫໍສະໝຸດ Baidu基础设施，为营销及生产工作提供长期支持 2、根据近期经营需求建立分析模型（建模），协助业务决策
Big Data
工作计划
需求及数 据源分析
分析建 模 系统优 化
系统基 础建设
业务测 试
中长期建 设
Big Data
模型优化 按每月的营销结果反 馈，优化营销活动方 案
营销结果预期 第一周：用户回复率xxx 第二周: 用户到店率xxx
营销方式 第一周：短信通告（优惠，买 赠活动等） 第二周：电话销售
Big Data
系统优化
1. 随着业务规模扩展，对大数据系统实现集群化，减少 Namenode/ jobtracker单点故障率 2. 根据实际的应用需要对Hadoop进行调优，主要有以下措施