大数据 大价值 大智慧

电网 大数据
气象 大数据
由地面和高 空观测站不 断传回的数 据
目录
第一部分 第二部分 第三部分 第四部分 第五部分
什么是大数据
大数据能干什么 如何应用大数据解决问题 大数据核心技术 大数据关键科学问题
大数据能干什么？意义与价值
决策支持、政策评估、 风险评估、事件预测
实验 —>理论—> 模似(计算) —>数据
数据存 储与管 理方式 选择
选择平 台与方 法实施 数据分 析与挖 掘
领域相 关的数 据分析 结果解 释
应用、 决策、 返馈、 修正
明确目标是前提、拥有数据是基础、计算平台是支撑、 分析技术是核心、产生效益是根本
目录
第一部分 第二部分 第三部分 第四部分 第五部分
什么是大数据
大数据能干什么 如何应用大数据解决问题 大数据核心技术
具有数量大、增长快、类型多、价值
密度低”等4V特征的数据集。
泛指一个时代、一项技术、一种文化、 一个挑战。
Volume
PB—ZB 量级 不可能集中存储 不可能集中处理
Velocity
动态增长、时变 以数据流呈现，有时
效性
Variety
形式、来源多样 容余、不完全并存 非结构化
Value
大数据 计算技术
数据 可视化技术
质量 标准 共享 安全 隐私 定价
大数据核心技术：数据存取技术
Байду номын сангаас
数据 获取技术
数据资源 管理技术
云存储 数据中心 搜索算法 排序算法
数据
数据挖掘
存储技术 与分析技术
大数据 计算技术
数据 可视化技术
大数据核心技术：数据挖掘与分析
大数据关键科学问题
大数据核心技术：数据获取技术
数据 获取技术
数据资源 管理技术
遥感技术 雷达技术 互联网技术 物联网技术 传感器技术
数据 存取技术
数据挖掘 与分析技术
大数据 计算技术
数据 可视化技术
大数据核心技术：数据资源管理技术
数据 获取技术
数据资源 管理技术
数据 存取技术
数据挖掘 与分析技术
Google公司通过分析5000万条美国 人最频繁检索的词语，成功预测了 2009冬季流感的传播。
分析出观众群体中80% 为女性，从而确定了老 爸和萌娃的阵容。
火锅店的经营策略
大数据能干什么？世界关注大数据
• 联合国发布行动计划“大数据与人类发展：挑战与机
遇”（2012年5月）
• 科学界聚焦：Nature、Science出专辑，新杂志如雨
提供社会科学的方法论 : 实现基于数据的决策
，支持管理科学 与实践的革命
提供科学研究的新范式: 支持基于数据的科学发 现
通过数据的系统收 集、挖掘与分析, 实现让事实说话。
形成高新科技的新领域: 推动行业深化发展并形
成大数据产业
互联网产业、云服务产业 、电商／电玩产业、数据
服务产业
形成社会进步的新引擎: 深刻改变人们的思维、生 产、生活方式, 推动社会 进步
大数据 ·大价值·大智慧
目录
第一部分 第二部分 第三部分 第四部分 第五部分
什么是大数据
大数据能干什么 如何应用大数据解决问题 大数据核心技术 大数据关键科学问题
什么是大数据？数据
历史的记录、交易的轨迹、过程的监控、 经验的累积 数据: 以编码形式存在的信息载体
视频
文件
记录
歌曲
数据的常见
形式
后春笋
• 发达国家均将其列为国家战略优先发展领域 • 成为企业界的投资热点
Gartner报告 (2012)
目录
第一部分 第二部分 第三部分 第四部分 第五部分
什么是大数据
大数据能干什么 如何应用大数据解决问题 大数据核心技术 大数据关键科学问题
如何用大数据解决问题？
目标确 定与数 据需求 分析
定向的 数据收 集与数 据预处 理
存在大价值 但依赖整体 价值密度低
什么是大数据？内涵
Big data is high volume, high velocity, and/or high variety information assets that require new forms of processing to enable enhanced decision making, insight discovery and process optimization （Laney Douglas, The Importance of ‘Big Data’: A
拥有大数据是时代 特征、解读大数据是 时代任务、应用大数 据是时代机遇！
互联网 社交网络产生的 大数据
文字、图片、视 频等数据
电信 大数据
从各移动终端 和通讯网络获 取的数据
医疗
大数据
由医疗机构保存 的记录和标本构 成的数据
数据感知与 存储技术
金融 大数据
由银行等金融 机构收集的市 场活动数据
电网运行和设备 监测数据；交易 电价、售电量等 企业营销数据
智慧医疗、智慧交通、智慧教育、 电子政务/商务／管制
大数据能干什么？
纸牌屋的制片方是美国影视租赁网站Netflix。在 2011年，Netflix网络电影销量占据美国用户在线电 影总销量的45%，Netflix在美国拥有2700万订阅用 户，每天在Netflix上产生3000多万个行为，比如暂 停、回放或者快进等，并且用户每天还会给出400万 个评分，以及300万次搜索请求。通过分析这些数量 惊人的数据，Netflix邀请作品点击量领先的导演大 卫•芬奇和男演员凯文•斯派西担任主创，并根据数据 ，确定了“政治惊悚”的主题。
Definition. Gartner. June 2012）
需要新的处理思维和技术才能取得更强的决 策力、洞察力和流程优化能力的海量、高增长和 多样化的信息资产.（L.Douglas,2012)
大数据=现有数据处理技术难以处理的超大规模数据
什么是大数据？时代特征
大数据是新一轮信息 技术革命与人类社会 经济活动交汇融合的 必然产物 （Digitization Datafication）
报告
图片
表格
ZB（1021）,EB（1018）,PB（1015）,TB（1012） ,GB（109）,MB（106）
什么是大数据？内涵
大数据是指无法在容许的时间内用常规的 软件工具对其内容进行抓取、管理和处理 的数据集合，大数据规模的标准是持续变 化的，当前泛指单一数据集的大小在十几 TB和PB之间。（维基百科）