大数据自助式分析解决方案

洞察
战略/趋势 分析
操作/实时 分析
价值
微软大数据平台总体架构
Big Data Sources (Raw, Unstructured)
Sensors
Devices
Bots
Crawlers
Fast Load
Data & Compute Intensive App
Hortonworks or Cloudera Hadoop
你想从大数据里得到什么？
怎么从大数据得到价值？
大数据企业品牌腾飞的“肾上腺素”
Petabytes
网页点击流 Wikis/博客
传感器/RFID/ 设备
社交网络 音频/视频
广告
Terabytes
移动
协协作作 电电子子商商务务
Gigabytes Megabytes
付款 薪资 货存
ERP/CRM
联系人 订单跟踪 销售管道
Database
HDFS
(Hadoop)
统一查询，结构化和非结构化数据
• 查询关联Hadoop表和关系型数据库表
• 采用标准SQL语言
• Select, From Where
沿用现有 SQL 技能
无需IT人员 介入
节省时间和 成本
分析多样 的 数据类型
企业数据及商业智能平台的进化
-当前
结构化数据源 结构化数据源 结构化数据源
数据复杂度：多元性和速度
Web 2.0
WWeebb 日日志志 数数字字市市场场 搜搜索索市市场场 网网上上推推荐荐
Big Data
日志文件 空间 & GPS 坐标数据 数据集市 电子政务 气候 文本/图像
数据的获取 主要趋势,
设备爆炸
社交网络
无处不在的连接
传感器网络
价格低廉的存储 价格低廉的计算
你想从大数据里得到什么？
DEMO3-EXCEL 新增能力PowerMap 3D GIS自助分析
DEMO4-微软PowerBI现实应用案例（微博与电影票房）
DEMO5-微软PowerBI现实应用案例（星巴克机场选址开店）
自助式BI案例--- XX移动、XX联通成功案例
背景：
客户原有BI系统基于Cognos，后台数据库Oracle，但是业务人员学习困难，使用不易，推广工作困 难重重。领导使用界面不够友好，导致决策迟缓。当有新需求时，重新部署需要很长周期。
分析的基础是数据可视化 数据可视化是一门艺术
1.面向中高层领导------管理驾驶舱
领导驾驶舱是一个为高层管理层提供的“一 站式”（One-Stop）决策支持的管理信息中心 系统。它以驾驶舱的形式，通过各种常见的图 表（速度表、音量柱、预警雷达、雷达球）形 象标示企业运行的关键指标（KPI），直观的监 测企业运营情况，并可以对异常关键指标预警， 和挖掘分析。
现在：
经过启动新一轮BI前端工具选型，通过对各个BI厂商的POC成果对比，微软成功赢标。 新平台改造：Oracle+Sqlserver2012SP1+Excel 2013+SharePoint2013 BI实施周期从原来3-10天反应时间，提升到现在2-3小时，分析决策效率大大提高 高峰同时在线100多个用户。
SQL Server 2012 Parallel Data Warehouse 软硬件整合优化的并行数据仓库
• 从TB到PB 的高可扩展性平台 • 使用MPP架构实现卓越的可扩展性 • 硬件厂商的选择 • 通过使用遵循行业标准的硬件降低成本 • 与Microsoft 商业智能工具的深度集成 • 充分利用最新软件技术
洞察力 INSIGHTS
丰富数据
DATA ENRICHMENT
数据管理
DATA MANAGEMENT
Power View
PowerPivot
Hadoop on Windows
Hadoop = Big Data?
HADOOP 集成
企业级安全，高可靠性，管理 与微软商业智能工具无缝集成 SQL Server 数据平台的一部分 在Windows Azure上几分钟内完成部署
它能将企业管理决策提升到一个新的高度。 最大化地发挥高层经理了解、领导和控制公司 业务的管理室（即驾驶舱）
2.面向普通员工------大数据自助式分析平台
DEMO1- Excel BI分析增强能力 透视表、透视图、切片器、跨维度钻取
DEMO2-Excel 新增能力Power View自助分析
联动、动态展现、0代码GIS、业务Baidu Nhomakorabea员与IT人员新沟通方式
HDInsight on Windows Server
SQL Server Parallel Data Warehouse
SQL Server Reporting Services
Historical Data (Beyond Active Window)
Integrate/Enrich
SQL Server Analysis Server
ODS
DW
数据集市 多维度存储
存储
分析 应用 其他 使用
企业数据及商业智能平台的进化
-未来
结构化数据源 非结构化数据源
数据流
大数据存储
数据仓库
分析
数
数据集市
据 服
应用
务
多维度存储
其他
存储
服务
使用
高度可视化----数据民主化的基础
敏捷、精准的业务决策
提供面向不同层面用户的解决方案
面向中高层领导------管理驾驶舱 面向一线经营分析----大数据自助平台
SQL Server StreamInsight
Alerts, Notifications
Summarize & Load via PDW
Hadoop
Connector
SQL Server FTDW Data Marts
HDInsight on Windows Azure
Summarize & Load
Gartner Magic Quadrant for Business Intelligence Platforms , 2013
Gartner Magic Quadrant for Business Intelligence Platforms , 2010
大数据解决方案
-大数据的一些疑问
多大的数据才是大数据？
总结
• 大数据解决方案：
• 业务能力：
• 访问任意数据源（关系型数据库、Hadoop、非结构化数据) 的数据整合平台
• 低成本的数据价值洞察平台
• 技术能力：
• 结构化、半结构化、非结构化数据的处理能力
感谢聆听 批评指导
Azure Market Place
ETL with SSIS, DQS, MDS
ERP CRM LOB APPS
Source Systems
$$$ What We Sell $$$
Business Insights
Interactive Reports
Performance Scorecards
微软大数据产品
大数据自助式分析解决方案
议程
• 大数据解决方案
• 大数据的一些疑问 • 大数据分析 • 大数据处理
• 自助式分析方案
全球权威评估机构Gartner连续几年把 微软评为
BI方案实施能力第一厂商
Gartner Magic Quadrant for Business Intelligence Platforms , 2011
当前大数据分析的挑战： 大量新技术需要学习掌握、周期长、见效缓慢
HDFS
(Hadoop)
学习MapReduce
HDFS
(Hadoop)
数据仓库
需要IT人员提前手动将数据从HDFS导 入数据仓库或集市，才可进行分析
PolyBase： 数据处理的突破性技术
SQL
SQL Server 2012 PDW Powered by PolyBase
Windows Server 2012 Storage Spaces Windows Server 2012 Hyper-V SQL Server 2012 xVelocity 列存储
L Server 2012 Parallel Data Warehouse
开放和灵活
与Apache Hadoop 100%兼容
一系列新问题
社交网络和互联网分析
我的品牌或产品 情绪
实时数据源
如何优化我的车队运行 (基于天气和交通趋势）
高级分析功能
如何更好预测未来结 果？
端到端的大数据生命周期
10101
Hot Stream
Cold Stream
HQL
Learned
E=MC2
Limits
SQL
HDFS
HQL
增强 可视化
存储 & 管理
工具由丰富的合作伙伴生态系统提供 与社区的紧密合作
Accelerating the delivery of Hadoop for Windows
The Apache Software Foundation
Hadoop for Windows JavaScript libraries Hive ODBC drivers