内存计算与深度学习

内存计算与深度学习柏睿数据科技（北京）有限公司

2016-­5

这是一个什么样的时代？

Big  D ata

-----------------------

大数据的四个典型特征Volume

Variety Velocity Value 价值密度低商业价值高

数据量巨大PB->EB->ZB 数据类型多文本|图像|视频|音频

速度要求快要求输入输出速度

BIG  D ATA  是什么？

我们该怎么做？

我们一直是这样来读写的

我们需要这样计算的

我们是这样工作的

我们是期望是这样工作的

未来是工作模式

三个与“学习”高度相关的流行词汇

机器学习就行一个真正的冠军一直迎头而上；模式识别一开始主要作为机器学习的代名词，而后正慢慢的没落的消忙；深度学习是一个崭新快速攀升的领域。

模式识别-智能程序的诞生

机器学习-从样本中学习的智能程序

深度学习-一统江湖的架构

大数据平台的整体视图

同一台机器

同一台机器

同一台机器

Flume Sqoop

结构化非结构化

数据Real Time Structured Database

(HBase)

Big SQL

(Hive 、MR 、

RDP)

Mahout

Analytics

HDFS

Hcatlog Stinger

o YARN(Hadoop2 计算框架)YARN(Hadoop2计算框架)

Rapids产品架构图

基于内存的作业计算

基于内存高灵活扩展性

基于内存跨节点数据查询

基于内存计算RapidsDB特点

n⏹全内存分布式数据库

n⏹高性能，高吞吐量，高扩展性

n⏹满足ACID数据库基本要求

n⏹支持标准SQL语句

n⏹实时数据加载

n⏹动态数据导出

n⏹高性能存储过程

n⏹高可用性

n⏹异地灾备，动态迁移

谢谢！