混合蛙跳算法应用及仿真研究

Velocity 处理要求实时
大数据区分于传统数据最显著的特征。如今已是ZB 时代，在如此海量的数据面前，处理数据的效率也 是重要的问题之一。
大数据的概念
大数据的构成
大数据 = 海量 + 复杂类型
海量交易数据：
企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、 通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了 解过去发生了什么。
…
电子商务
淘宝、 ebuy
facebook
社交网络
…
微博、 Apps 移动互联
互联网（社交、搜索、电商）、移动 互联网（微博）、物联网（传感器， 智慧地球）、车联网、GPS、医学影 像、安全监控、金融（银行、股市、 保险）、电信（通话、短信）都在疯 狂产生着数据。
特种行业：航天、航空？
…
大数据的概念
分布式文件系统
大数据的计算方案
大数据计算的支持技术：云计算
• • • 云计算被认为是大数据计算的最有前途的技术； 数据是资产，云为数据资产提供存储、访问和计算。 当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘 活数据资产的能力，挖掘价值性信息和预测性分析。
大数据的计算方案
大数据的数据量
地球上至今总共的数据量：
TB
GB
EB PB
ZB
2006 年：个人用户才刚迈进TB时代； 全球一共新产生了约180EB的数据； 2011 年：数字达到了1.8ZB。
1PB （拍字节） = 2^50字节 1EB （艾字节） = 2^60字节 1ZB （泽字节） = 2^70字节
据预测： 2020 年：数据总量将会增长44 倍； 达到35.2ZB（1ZB=10 亿TB）。
大数据的概念
大数据的4V特征
Volume 数据量巨大
2020 年：数据总量将会增长44 倍；达到35. 2ZB（1ZB=10 亿TB）。
Variety
结构样式多样
今的数据类型早已不是单一的文本形式，订单、日 志、音频，能力提出了更高的要求
value 冗余大，有价值密度低
以视频为例，一部一小时的视频，在连续不间断监 控过程中，可能有用的数据仅仅只有一两秒。如何 通过强大的机器算法更迅速地完成数据的价值“提 纯”是目前大数据汹涌背景下亟待解决的难题
通过大数据计算，从大数据
中提取有意义的信息，是大
数据应用的终极目标。
数据采集存储技术：
• • • • 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等 数据采集 数据管理
数据储存
数据分析与挖掘（计算）
数据来源：阿里相关技术介绍ppt
大数据的计算方案 举例：百度
数据来源： 2011年百度云计算总工程 师林仕鼎讲座《百度云计算总体介绍》
数据来源： 2012.10 百度杨毅 讲座《百度的下一代计算系统》
大数据的计算方案 举例：百度技术架构
数据来源： 2011年百度云计算总工程师林仕鼎讲座《百度云计算总体介绍》
大数据的计算方案
举例： 中信银行信用卡中心 大数据 挑战
发卡量增长迅速：2008年发卡约500万张，2010年增加了一倍。 业务数据增长迅速：随着业务的迅猛增长，业务数据规模也线性膨 胀。 数据存储、系统维护、数据有效利用都面临巨大压力。 可扩展、高性能的数据仓库解决方案 能够实现业务数据的集中和整合；可以支持多样化和复杂化数据分析 提升信用卡中心的业务效率；通过从数据仓库提取数据，改进和推动 有针对性的营销活动。
海量数据处理：
大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源 码、在商品硬件群中运行的Apache Hadoop。
大数据的概念
技术领域的挑战
1、数据库技术
传统的数据库部署不能处理数TB 级别的数据，急速膨胀的数据体量即将超越传统数据库的管理能 力。 如何构建全球级的分布式数据库，可以扩展到数百万的机器，数已百计的数据中心，上万亿的行数
举例：阿里巴巴
□ 淘宝主站（2011年）： □ 数据产品（2011年） ： • 50G统计汇总结果 • 30亿店铺、宝贝浏览 • 千万量级数据查询请求 • 10亿计的在线宝贝数 • 千万量级交易笔数 • 平均20.8ms的响应时间
数据来源：阿里相关技术介绍ppt
大数据的计算方案 举例：阿里技术架构总览
海量交互数据：
源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括 了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过 管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和 点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。
据。
经典数据库技术并没有考虑数据的多类别（variety），在设计的一开始是没有考虑非结构化数据的。
2、实时性的技术挑战：
大的数据量对目前的处理器的实时性要求；
3、数据分析技术
目前的分析技术不能适用于大数据量的分析技术；
大数据的概念
相关技术
分析技术：
• • • • 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比； 文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真
• 元数据管理，指标系统
如何管理不同种类的任务？
• 服务化，统一计算入口，可度量和控制的计算资源
快速查询，精准搜索，智能分析…
大数据的计算方案 大数据计算架ห้องสมุดไป่ตู้-模型
智能分析
机器学习
数据挖掘
语义搜索
……
大规模计算
分布式并行计算系统
海量数据存储
分布式文 件系统
海量结构化数据存储系统 (SQL)
海量非结构化数据存储系统 (SQL)
报告提纲
大数据的概念
大数据的计算方案
大数据的产业未来
大数据的计算方案
大数据计算面临的主要技术问题：
需要提供一个高效稳定的存储和计算引擎 如何支撑1万、10万台以上的机群规模？
• 多集群架构，运维和管理系统
如何在一个平台上支持多个组织的多个用户进行开发？
• 多租户支持，安全隔离，权限控制
如何了解业务运行状态？
大数据的概念, 计算及产业未来
潘正祥
福建工程学院 信息科学与工程学院 2015.10.23
报告提纲
大数据的概念
大数据的计算方案
大数据的产业未来
大数据的概念
“大数据”的诞生： 进入21世纪，数据信息大发展，移动互联、社交网络、电子商务等极大拓展 了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。产生了“大数据” 的概念。