大数据基础知识

3. 大数据产业链
3. 大数据解决方案提供商 a. 行业、政府解决方案 发现周期规律、促进数据关联、 b. 企业大数据解决方案 加强数据一致，信息流通，知识积累 b. 企业面向主题解决方案 面向 市场营销、推广回报比 、渠道质量、投资风险 、 产品定价 等主题 c. 企业面向运营解决方案 发现异常、跟踪质量、客户管理、预警风险 解决方案
3. 大数据产业链 大数据产业链，关键点， 1. 基础设施提供商 2. 基础系统提供商 3. 大数据解决方案提供商 4. 平台服务提供商
3. 大数据产业链
1. 基础设施提供商 a. 采集卡 / 视频采集卡、监控采集卡、空气质量采集器 b. 网络带宽 / 电信 c. 存储介质 / d. 计算设备 / e. 数据提供商 2. 基础系统提供商目前最热门的开源生态系统：hadoop 分布式计算框架 - Yarn: MR / Spark / Storm 分布式文件系统 - Hdfs 分布式结构化存储 - Hbase / Cassandra
2. 大数据价值
数据价值 数据 < 信息 < 知识 < 智慧 通过人们的参与对信息进行归纳、演绎、 比较等手 段进行挖掘， 使其有价值的部分沉淀下来， 并于 已存在的人类知识体系相结合， 这部分有价值的 信息就转变成知识。
2. 大数据价值
数据价值 数据 < 信息 < 知识 < 智慧 智慧是人类基于已有的知识， 针对物质世界运动过 程中产生的问题根据获得的信息尽行分析，对比， 演绎找出解决方案的能力。 智慧乃以知识为根基，加上的运用能力、综合判断、 创造力及实践能力来创造价值。
对大数据分析，主要分为五个方面（提供大数据解 决方案时的价值输出载体）：
可视化分析（Analytic Visualization） 数据挖掘算法（Date Mining Algorithms） 预测性分析能力（Predictive Analytic Capabilities） 语义引擎（Semantic Engines） 数据质量管理（Data Quality Management）
采用数据驱动的多级流水线并行计算框架，在表述能力上兼容MapReduce，MapReduce-Merge，Spark等多种编程模式 高可扩展性，支持十万以上级的并行任务调度 自动检测故障和系统热点，重试失败任务，保证作业稳定可靠运行完成
大数据基础知识
Q&A
2. 大数据价值
数据价值 数据 < 信息 < 知识 < 智慧 智慧是人类基于已有的知识， 针对物质世界运动过 程中产生的问题根据获得的信息尽行分析，对比， 演绎找出解决方案的能力。 智慧乃以知识为根基，加上的运用能力、综合判断、 创造力及实践能力来创造价值。
2. 大数据价值
在此大数据作为服务工具，是数据分析能力的表现
3. 大数据产业链
4. 平台服务提供商 / 电信云.大数据产品线 我们致力于云计算.大数据生态环境的建设，全面提供集约化面向企业提供大 数据平台和技术服务支持，在核心技术上我们已经完成， a. 大规模数据分析
支持Map、Reduce、Join、Union 等多种数据节点处理模式，支持直接使用SQL 语句 对海量数据进行离线分析 提供与ANSI SQL 高度兼容的语法支持，支持用户复杂的数据分析需求。
互联网统计
大数据பைடு நூலகம்一个服务行业。 大数据是传统统计与互联网相结合的行业。
1. 大数据定义
大数据定义： 所涉及的资料量规模巨大到无法通过目前主流 软件工具，在合理时间内达到撷取、管理、处理、 并整理成为帮助企业经营决策更积极目的的资讯。 主要的特点:
– – – – Volume 数据体量 Velocity 数据速度 Variety 数据多样 Veracity 数据真实
2. 大数据价值
大数据解决方案在企业知识管理项目上的价值点： 1. 提供专业团队（数据建模、挖掘技术）与客户（行业专家）进行企业 数据价值勘探。 2. 提供统一可扩展的元数据规则库构建方案。避免组织内产生不同信息 和知识体系，保证数据的信息流通、知识管理、智慧创新。 3. 在公共大数据挖掘平台。 定制数据汇集，并依托平台集约化的全面高效支持的时效、海量、弹 性、关联等核心能力下快速构建解决和集成实施方案。 4. 提供私有大数据挖掘平台解决、集成方案，并建设性开放安全数据接 口避免“数据孤岛”。
大数据基础知识
电信云@大数据产品线
目录
• 大数据定义 • 大数据价值 • 大数据产业链
1. 大数据定义
共识， 全球数据量每年 +50% 的速度指数递增 工业、生产数据远大于我们 现在关注的消费数据 大量即时数据在价值未流失之前等待处理 大数据营销， 根据企业数据需要组织挖掘分析，并基于IT系统实时把分析提供给 需要决策帮助的内部企业成员。
3. 大数据产业链
4. 平台服务提供商 / 电信云.大数据产品线 b. 分布式文件系统
分布式文件系统拥有高可扩展性，支持上亿个文件和PB以上量级的文件存储 实现了大规模数据的快速读写功能，实现了文件并行操作的高效机制 支持大规模并发读写，充分利用分布式并行带宽
3. 大数据产业链
4. 平台服务提供商 / 电信云.大数据产品线 c. 任务调度
2. 大数据价值
可视化分析（Analytic Visualization）
2. 大数据价值
数据挖掘算法（Date Mining Algorithms） 数据挖掘算法是大数据分析的理论核心，其本质是一组根据算法事 先定义好的数学公式，将收集到的数据作为参数变量带入其中， 从而能够从大量复杂的数据中提取到有价值的信息。 著名的“啤酒和尿布”的故事就是数据挖掘算法的经典案例。沃尔 玛通过对啤酒和尿布购买数据的分析，挖掘出以前未知的两者间 的联系，并利用这种联系，提升了商品的销量。亚马逊的推荐引 擎和谷歌的广告系统都大量使用了数据挖掘算法。
2. 大数据价值
在阐述大数据价值时，先一起先学习下 数据价值 数据 < 信息 < 知识 < 智慧
数据是约定俗成的数值量化，对客观事物的数量、 熟悉、位置及其相互关系进行抽象表示， 以适合 在这个领域中用人工或自然的方式进行保存、传 递和处理。
2. 大数据价值
数据价值 数据 < 信息 < 知识 < 智慧 信息是在时效内的一定含义的， 经过加工处理对决 策有价值的数据流。
2. 大数据价值
语义引擎（Semantic Engines） 语义引擎是机器学习的成果之一。过去，计算机对用户输入内容的 理解仅仅停留在字符阶段，不能很好的理解输入内容的意思，因 此常常不能准确的了解用户的需求。通过对大量复杂的数据进行 分析，让计算机从中自我学习，可以使计算机能够尽量精确的了 解用户输入内容的意思，从而把握住用户的需求，提供更好的用 户体验。苹果的Siri和谷歌的Google Now都采用了语义引擎。