百度技术沙龙-时序数据库-公开版
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4个数据点 (data point)
Field : speed tag timestamp 1523973670
4个数据点 (data point)
value 45.1 45.2 46 47
value 1.8 1.2 1.9 1.1
tag
sensor = 95D87913 city = 深圳 province = 广东
TSDB 案例– 环境监测厂
工厂 采集点 采集频率
1、传统关系型数据库： • 存储容量和性能受限； • 安全性设置和集群配置复杂； 2、实时数据库： • 接口单调 • 缺少面向服务的接口，如规则 处理、数据时效等
50座
数据 存储量
IO写
1W
1s
50W点*0.1KB*3600*24* 365=1.5PB级/年 ，15.8亿数 据点
百度云时序数据库（TSDB）产品使命
唤醒变化 理解变化 记录变化
高并发
多数据源 三备份高可靠 冷热分离存储 防DDOS攻击 极速查询能力 聚合能力 Web图表可视化 BI工具 无缝对接百度大数据AI能力
TSDB技术发力点 – 存储
成本
分布式分片存储
Metric ：Wind Field : direction timestamp 1523973670
TSDB特色能力 – 插值查询
• 按照多种算法补齐缺失数据 • 节省存储和上传的成本 • 不损失数据价值
t1 t2 t3 t4
Linear
t1
t2
t3 t4
t5
t6 t7
t1
t2
t3 t4
t5
t6 t7
Previous
fix
TSDB特色能力 – 预处理
• 针对多种嵌套复杂查询场景 • 查询时对返回时间要求较高 • 可以提前设置规则，自动聚合历史数据
物可视
AI服务
设备 设备
IoT Edge SDK
网关
IoT Edge SDK
HTTP
WebSocket
物管理 规则引擎 （流式计算） 物接入
（天工物联卡）
时序数据库 主流BI工具 关系型数据库 大数据工具 机器学习 深度学习 BMR
预测维保
Edge TSDB
Modbus BACnet JT/808 CoAP 私有协议
时间
业界与开源
• 底层自研TSM存储引擎 • 读写性能高
• 底层使用HBase • 应用最广泛，功能最全
• 底层使用Cassandra • 可用性较高
• 基于LevelDB存储引擎 • 非分布式 • 功能简单
• 开源的只是单机版本
• 读写性能较差；可用性较差 • 开发较晚，社区不够成熟
• Gorilla（自研） + HBase • 监控系统的运行状况和性能 • Manhanttan（自研） + Cache
4个数据点 (data point)
1523973910 1523974210
Temperature:25
1523974700
30
1个时间序列(time series)
百度云时序数据库（TSDB）
Metric ：Wind
Metric ：Wind
wenku.baidu.com
Field : direction timestamp 1523973670
sensor = 95D8-7913 city = 深圳 province = 广东
1523973910
1523973910
1523974210 1523974700
46 47
1523974210 1523974700
1.9 1.1
1个时间序列(time series)
1个时间序列(time series)
50W*0.1KB=50MB/s
测试TSDB结果： 1. 50个客户端同时写入平均耗时 957ms 2. 满足50w点1年的存储和并发处理 需求
厂区
百度云天工
生产侧
DCS/MIS/SIS
OPC OPC OPC
DCS/MIS/SIS
OPC OPC
DCS/MIS/SIS
采 集 网闸 仪 采 网闸 集 仪 网闸 采 集 仪 。。 。
4个数据点 (data point)
读写
Metric ：Wind Field : speed tag timestamp 1523973670
4个数据点 (data point)
value 45.1 45.2
value 1.8 1.2
tag
sensor = 95D87913 city = 深圳 province = 广东
采集 侧 前置机
前置机
http
云端天工物联网平台
显示
报表 日志
TSDB 告警
前置机
TSDB案例 – 电力服务公司
可视化 展示 物可视 用电分 析 能耗管 理 节能预 测 节能预 测
应用层
仅能查询2个月内的热数 据，取决于内存瓶颈
TSDB
数据计 算层 规则引擎（流式计算）
接入层 10s/次 现场层 MQTT
智能客服
设备 设备 设备
IoT Edge SDK IoT Edge SDK IoT Edge SDK
核心设 备
智能边缘
对象存储
人脸安防
智能边缘
智慧节能
硬件/合作伙伴认证平台
找到我们
www.iot.baidu.com
sensor = 95D8-7913 city = 深圳 province = 广东
1523973910 1523974210 1523974700
1523973910 1523974210 1523974700
Direction:34 Speed:2.1
1个时间序列(time series)
1个时间序列(time series)
物接入 MQTT
应 用 服 务 管 理
时序数据库可以解决实时查询 的问题，半年 秒内数据秒返 回
2
MQTT
MQTT
百度天工
工业 物流 车联网 智能家居
融合百度ABC（AI、Big Data、Cloud）的一站式、全托管智能物联网平台
端
设备
IoT Edge SDK
基础组件
MQTT
计算组件
数据组件
展示和分析
1
1.8秒返回
时间序列数据
统计学 是将某一个指标在不同时间上的不同数值
，按照时间的先后顺序排列而成的数列 基础数 学
时间序列数据的特点
聚合分析： 配电柜=2
• 写多读少 • 读写正交
配电柜1电流 配电柜2电流
写入
• 新旧有别
• 极少删除
配电柜2电压 配电柜2功率
配电柜3电流
查询
• 聚合分析
• 事务性弱
• 监控系统的运行状况和性能
百度云时序数据库（Time Series Database - TSDB）
国内首 发
云端
商业化
百度云时序数据库（TSDB）
Metric ：temperature timestamp 1523973670 value 25 28 27.5 tag
deviceID = 77633345 floor = 23 room = 2301
第78期百度技术沙龙
解析时序数据库的技术构建和行业应用
IoT的时代，数据量剧增
智能网联车
GPS位置数据 10s/次 20000辆车 停车时长 100亿数据点/天 某辆车某段时间的运 行轨迹、停车时长、 运行时长等
发动机状态
75G/天
关系型数据库，提前一夜写脚本处理数据，第二天得到报表
时序数据库可以解决实时查询的问题，100辆车 个月的数据，
TSDB技术发力点 – 存储
成本
分级存储
读写
最近一天
Cache 写回/写通
最近一年
SSD 定期迁移
一年以上
HDD（EC编码）
TSDB技术发力点 – 压缩
成本 无损
通用
最短
无最优 解
百度优 势
不可压 缩
TSDB技术发力点 – 查询
传统单机聚合查询
TSDB技术发力点 – 查询
存储分片 -> 计算分片 -> 本地化、多并发
Field : speed tag timestamp 1523973670
4个数据点 (data point)
value 45.1 45.2 46 47
value 1.8 1.2 1.9 1.1
tag
sensor = 95D87913 city = 深圳 province = 广东
TSDB 案例– 环境监测厂
工厂 采集点 采集频率
1、传统关系型数据库： • 存储容量和性能受限； • 安全性设置和集群配置复杂； 2、实时数据库： • 接口单调 • 缺少面向服务的接口，如规则 处理、数据时效等
50座
数据 存储量
IO写
1W
1s
50W点*0.1KB*3600*24* 365=1.5PB级/年 ，15.8亿数 据点
百度云时序数据库（TSDB）产品使命
唤醒变化 理解变化 记录变化
高并发
多数据源 三备份高可靠 冷热分离存储 防DDOS攻击 极速查询能力 聚合能力 Web图表可视化 BI工具 无缝对接百度大数据AI能力
TSDB技术发力点 – 存储
成本
分布式分片存储
Metric ：Wind Field : direction timestamp 1523973670
TSDB特色能力 – 插值查询
• 按照多种算法补齐缺失数据 • 节省存储和上传的成本 • 不损失数据价值
t1 t2 t3 t4
Linear
t1
t2
t3 t4
t5
t6 t7
t1
t2
t3 t4
t5
t6 t7
Previous
fix
TSDB特色能力 – 预处理
• 针对多种嵌套复杂查询场景 • 查询时对返回时间要求较高 • 可以提前设置规则，自动聚合历史数据
物可视
AI服务
设备 设备
IoT Edge SDK
网关
IoT Edge SDK
HTTP
WebSocket
物管理 规则引擎 （流式计算） 物接入
（天工物联卡）
时序数据库 主流BI工具 关系型数据库 大数据工具 机器学习 深度学习 BMR
预测维保
Edge TSDB
Modbus BACnet JT/808 CoAP 私有协议
时间
业界与开源
• 底层自研TSM存储引擎 • 读写性能高
• 底层使用HBase • 应用最广泛，功能最全
• 底层使用Cassandra • 可用性较高
• 基于LevelDB存储引擎 • 非分布式 • 功能简单
• 开源的只是单机版本
• 读写性能较差；可用性较差 • 开发较晚，社区不够成熟
• Gorilla（自研） + HBase • 监控系统的运行状况和性能 • Manhanttan（自研） + Cache
4个数据点 (data point)
1523973910 1523974210
Temperature:25
1523974700
30
1个时间序列(time series)
百度云时序数据库（TSDB）
Metric ：Wind
Metric ：Wind
wenku.baidu.com
Field : direction timestamp 1523973670
sensor = 95D8-7913 city = 深圳 province = 广东
1523973910
1523973910
1523974210 1523974700
46 47
1523974210 1523974700
1.9 1.1
1个时间序列(time series)
1个时间序列(time series)
50W*0.1KB=50MB/s
测试TSDB结果： 1. 50个客户端同时写入平均耗时 957ms 2. 满足50w点1年的存储和并发处理 需求
厂区
百度云天工
生产侧
DCS/MIS/SIS
OPC OPC OPC
DCS/MIS/SIS
OPC OPC
DCS/MIS/SIS
采 集 网闸 仪 采 网闸 集 仪 网闸 采 集 仪 。。 。
4个数据点 (data point)
读写
Metric ：Wind Field : speed tag timestamp 1523973670
4个数据点 (data point)
value 45.1 45.2
value 1.8 1.2
tag
sensor = 95D87913 city = 深圳 province = 广东
采集 侧 前置机
前置机
http
云端天工物联网平台
显示
报表 日志
TSDB 告警
前置机
TSDB案例 – 电力服务公司
可视化 展示 物可视 用电分 析 能耗管 理 节能预 测 节能预 测
应用层
仅能查询2个月内的热数 据，取决于内存瓶颈
TSDB
数据计 算层 规则引擎（流式计算）
接入层 10s/次 现场层 MQTT
智能客服
设备 设备 设备
IoT Edge SDK IoT Edge SDK IoT Edge SDK
核心设 备
智能边缘
对象存储
人脸安防
智能边缘
智慧节能
硬件/合作伙伴认证平台
找到我们
www.iot.baidu.com
sensor = 95D8-7913 city = 深圳 province = 广东
1523973910 1523974210 1523974700
1523973910 1523974210 1523974700
Direction:34 Speed:2.1
1个时间序列(time series)
1个时间序列(time series)
物接入 MQTT
应 用 服 务 管 理
时序数据库可以解决实时查询 的问题，半年 秒内数据秒返 回
2
MQTT
MQTT
百度天工
工业 物流 车联网 智能家居
融合百度ABC（AI、Big Data、Cloud）的一站式、全托管智能物联网平台
端
设备
IoT Edge SDK
基础组件
MQTT
计算组件
数据组件
展示和分析
1
1.8秒返回
时间序列数据
统计学 是将某一个指标在不同时间上的不同数值
，按照时间的先后顺序排列而成的数列 基础数 学
时间序列数据的特点
聚合分析： 配电柜=2
• 写多读少 • 读写正交
配电柜1电流 配电柜2电流
写入
• 新旧有别
• 极少删除
配电柜2电压 配电柜2功率
配电柜3电流
查询
• 聚合分析
• 事务性弱
• 监控系统的运行状况和性能
百度云时序数据库（Time Series Database - TSDB）
国内首 发
云端
商业化
百度云时序数据库（TSDB）
Metric ：temperature timestamp 1523973670 value 25 28 27.5 tag
deviceID = 77633345 floor = 23 room = 2301
第78期百度技术沙龙
解析时序数据库的技术构建和行业应用
IoT的时代，数据量剧增
智能网联车
GPS位置数据 10s/次 20000辆车 停车时长 100亿数据点/天 某辆车某段时间的运 行轨迹、停车时长、 运行时长等
发动机状态
75G/天
关系型数据库，提前一夜写脚本处理数据，第二天得到报表
时序数据库可以解决实时查询的问题，100辆车 个月的数据，
TSDB技术发力点 – 存储
成本
分级存储
读写
最近一天
Cache 写回/写通
最近一年
SSD 定期迁移
一年以上
HDD（EC编码）
TSDB技术发力点 – 压缩
成本 无损
通用
最短
无最优 解
百度优 势
不可压 缩
TSDB技术发力点 – 查询
传统单机聚合查询
TSDB技术发力点 – 查询
存储分片 -> 计算分片 -> 本地化、多并发