OpenStack云计算实战-第10章 OpenStack计量与监控
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Statsd
第10章 OpenStack计量与监控 22
Statsd是一个网络守护进程，侦听使用TCP或UDP通过网络发送的统计信息，然后将 聚合发送到其他后端。
要启用Gnocchi中的Statsd支持，需要在配置文件中配置[statsd]选项组。
10.3 Gnocchi资源索引和计量存储服务
进行聚合计算。 Gnocchi对外提供HTTP REST接口来创建和操作数据，向操作者和用户提供对计量数
据和资源信息的访问。 Gnocchi专门用于存储时间序列及其相关联的资源元数据。 主要的应用场合有计费系统的存储、警告触发或监控系统和数据的统计使用。
10.3 Gnocchi资源索引和计量存储服务
10.2 Ceilometer数据收集服务
Ceilometer的架构
Ceilometer逻辑架构
通知总线
第10章 OpenStack计量与监控 9
通
计算
卷
网络
镜像
对象存储
知
API
API
API
API
API
轮询代理
轮询
通知代理
发布管道
发布
10.2 Ceilometer数据收集服务
Ceilometer的架构
管道（Pipeline） 发布器
接收者
10.2 Ceilometer数据收集服务
数据处理和管道
第10章 OpenStack计量与监控 13
发布器（Publisher）
发布器组件通过消息总线将数据保存到永久性存储，或者发送到一个或多个外 部消费者。
样值
Gnocchi 发布器
Gnocchi
Oslo.messaging 发布器
API
Gnocchi的API通过索引器驱动和存储驱动提供接口 操作归档策略（ArchivePolicy） 资源（Resource） 度量指标（Metric） 计量值（Measure）
第10章 OpenStack计量与监控 23
内容 导航
CONTENTS
第10章 OpenStack计量与监控 24
Panko作为Telemetry项目的一个组成部分，提供事件存储服务，存储和查询由 Ceilometer产生的事件数据。
10.1 Telemetry服务概述
Telemetry服务的架构
第10章 OpenStack计量与监控 4
OpenStack服务
Ceilometer
轮询代理
通知代理
代理1
代理1
数据类型：计量项和事件
第10章 OpenStack计量与监控 7
计量项 计量项就是要测量的具体资源属性或项目，又称度量指标（metric）。 样值（Sample）就是采样数据，是某资源某时刻某计量项的值。它表示一个计 量项的一个可随时间而变化的数值数据点。 计量项类型
Cumulative：累计值，随时间不断增加，如实例使用时数。 Delta：变化值，随时间改变，如网络带宽。 Gauge：离散值（如浮动IP、镜像上载）或者波动值（如磁盘I/O）。
第10章 OpenStack计量与监控 10
轮询代理：请求数据 Ceilometer轮询代理主动向OpenStack服务请求数据。。 Ceilometer轮询代理通过使用在不同名称空间中注册的轮询插件来获取不同种类 的计量数据，为不同名称空间提供单一的轮询接口。 目前支持计算代理、中心代理和IMPI代理这3种轮询机制。
代理21
● ● ●
代理N
代理2 管
●
道
●
●
代理N
Panko
事
件
A
事件
P
I
Gnocchi 量值API
量值
Aodh
警报
警警 报报 评通 估知 器器
通知总线 外部系统
内容 导航
CONTENTS
第10章 OpenStack计量与监控 5
Telemetry服务概述 Ceilometer数据收集服务 Gnocchi资源索引和计量存储服务 配置和管理计量和监控服务 手动安装计量和监控服务 Aodh警告服务
10.2 Ceilometer数据收集服务
数据类型：计量项和事件
第10章 OpenStack计量与监控 8
事件 事件表示OpenStack服务中的一个对象在某一时刻的状态。这包括非数值数据， 如一个实例的实例模型或网络地址。 事件的关键属性
event_type（事件类型） message_id（消息ID） generated（发生时间） traits（特征） raw（原始数据）
Storage）
索引 （Index）
10.3 Gnocchi资源索引和计量存储服务
Gnocchi的后端存储
第10章 OpenStack计量与监控 18
传入驱动和存储驱动 传入驱动负责存储传入的计量项新的计量值。 存储驱动负责存储创建的计量项的计量值，接收时间戳和计量值，并且根据定 义的归档策略来预先计算聚合值。 传入驱动默认与存储驱动采用的是同一个驱动。
标准的计量项定义格式
metric: - name: '计量项名称' event_type: '事件名称' type: '计量值类型，如gauge、cumulative或delta' unit: '单位名称，如MB' volume: '测量值的路径，如$.payload.size' resource_id: '资源ID的路径，如$.payload.id' project_id: '项目ID的路径，如$.payload.owner' metadata: '其他描述资源的键值数据'
索引器驱动 索引器驱动负责存储所有资源的索引、归档策略和度量指标，以及它们的定义、 类型和属性。 索引器还负责连接资源与度量指标，以及资源间的关系。 Gnocchi要处理的资源和计量值的索引也需要数据库存储，目前支持 PostgreSQL和MySQL这两种数据库驱动。
10.3 Gnocchi资源索引和计量存储服务
AMQP消息
外部系统
监控、统计、性 能、容量规划
10.2 Ceilometer数据收集服务
存储和访问数据
第10章 OpenStack计量与监控 14
Ceilometer只是用来产生和规范化云数据。 由Ceilometer产生的数据可以使用发布器推送到任意数量的目标。
推荐使用的工作流是将数据推送到Gnocchi。
计算
卷
网络
镜像
对象存储
API
API
API
API
API
轮询代理
轮询
通知总线
10.2 Ceilometer数据收集服务
Ceilometer的架构
第10章 OpenStack计量与监控 11
通知代理：侦听数据 Ceilometer通知代理监控通知的消息队列，被动获取通知总线上产生的消息，并 将其转换为Ceilometer的样值或事件数据。
Gnocchi为Ceilometer数据提供更有效的存储和统计分析，以解决Ceilometer在将标 准数据库用作计量数据的存储后端时遇到的性能问题。
OpenSatck发布Mitaka版本时，Ceilometer的监控警告功能独立出来作为一个单独的 项目Aodh，目的是让Ceilometer专注于数据收集。
sources: - name: '源名称' interval: '样值产生的时间间隔，单位是秒' meters: - '计量过滤器' resources: - '资源的URL列表' discovery: - '发现者列表'
第10章 OpenStack计量与监控 25
10.4 配置和管理计量和监控服务
数据收集配置
第10章 OpenStack计量与监控 26
轮询配置
轮询规则由/etc/ceilometer/polling.yaml文件定义，它定义要启用的轮询插件 （pollster）和轮询时间间隔。
轮询定义格式
OpenStack云计算实战 第10章 OpenStack计量与监控 1
第10章 OpenStack计量与监控
大数据创新人才培养系列 《OpenStack云计算实战》
内容 导航
CONTENTS
第10章 OpenStack计量与监控 2
Telemetry服务概述 Ceilometer数据收集服务 Gnocchi资源索引和计量存储服务 配置和管理计量和监控服务 手动安装计量和监控服务 Aodh警告服务
要保留的点数通常由以下公式确定 点数 = 时间跨度 ÷ 粒度
第10章 OpenStack计量与监控 20
10.3 Gnocchi资源索引和计量存储服务
Metricd
第10章 OpenScd守护进程根据归档策略，处理计量值，周期性地计算其聚合，并将其保存到 聚合存储中。
10.2 Ceilometer数据收集服务
Ceilometer的主要功能
第10章 OpenStack计量与监控 6
有效轮询OpenStack服务相关的计量数据。 通过监测发自服务的通知来收集事件和计量数据。 将收集到的数据发布到多个目标，包括数据存储和消息队列。
10.2 Ceilometer数据收集服务
Gnocchi的基本架构
第10章 OpenStack计量与监控 17
用户 协调器
写入新的计量值
API
可根M据et需ric要d扩读展出计量值计进量行值处元理数存读据储出/的资处聚源聚理合的合过增删查改
·处理新的计量值 ·删除旧的聚合
读计量值元数据
计量值存储 （Measure Storage）
聚合存储 （Aggregated
Metricd在Gnocchi中CPU使用和I/O工作是最多的。每个度量指标的归档策略影响其 执行的速度。
为处理新的度量指标，Metricd时常检查传入存储中的新的主带指标。 有些传入驱动（目前仅支持Redis）能够通知Metricd可用的新的度量指标。
10.3 Gnocchi资源索引和计量存储服务
1440点，粒度为1分钟= 24小时（1440 points with a granularity of 1 minute = 24 hours）
默认的归档策略 bool low medium high
10.3 Gnocchi资源索引和计量存储服务
规划Gnocchi的存储
基于其最差情况使用以下公式来计算时间序列大小的计算 点数 × 8字节 = 以字节为单位的大小
Telemetry服务概述 Ceilometer数据收集服务 Gnocchi资源索引和计量存储服务 配置和管理计量和监控服务 手动安装计量和监控服务 Aodh警告服务
10.4 配置和管理计量和监控服务
数据收集配置
通知配置 默认情况下，通知代理配置为创建事件和样值。
pipelines = meter pipelines = event
内容 导航
CONTENTS
第10章 OpenStack计量与监控 15
Telemetry服务概述 Ceilometer数据收集服务 Gnocchi资源索引和计量存储服务 配置和管理计量和监控服务 手动安装计量和监控服务 Aodh警告服务
10.3 Gnocchi资源索引和计量存储服务
Gnocchi简介
通知总线
通 知
计算
卷
网络
镜像
对象存储
通知代理
发布管道
发布
10.2 Ceilometer数据收集服务
数据处理和管道
第10章 OpenStack计量与监控 12
管道机制 管道是数据处理机制，在数据源头和相应目标之间转换和发布数据。。 Ceilometer管道由发布器组件组成。
通知代理
规范化 数据
10.1 Telemetry服务概述
Telemetry服务的子项目
第10章 OpenStack计量与监控 3
Ceilometer最初的目标很简单，就是提供一个架构，收集所需的关于OpenStack项目 的计量数据来支持对用户收费。Ceilometer项目第二个目标即成为OpenStack系统计 量的标准方式。
Gnocchi的归档策略
第10章 OpenStack计量与监控 19
什么是归档策略 归档策略（archive policies）定义计量值如何聚合，存储多长时间。 每个归档策略定义表示为一个时间跨度（timespan）的点数。 存档策略和粒度完全取决于用户的使用场合。 典型的低粒度使用案例
第10章 OpenStack计量与监控 16
Gnocchi是OpenStack项目的一部分，支持OpenStack，但也能完全独立运行。 Gnocchi是开源的时间序列（time series）数据库，用于大规模的时间序列数据和资
源的存储和索引。 Gnocchi对时间序列存储采取独特的方法，不是存储原始的数据点，而是在存储之前
第10章 OpenStack计量与监控 22
Statsd是一个网络守护进程，侦听使用TCP或UDP通过网络发送的统计信息，然后将 聚合发送到其他后端。
要启用Gnocchi中的Statsd支持，需要在配置文件中配置[statsd]选项组。
10.3 Gnocchi资源索引和计量存储服务
进行聚合计算。 Gnocchi对外提供HTTP REST接口来创建和操作数据，向操作者和用户提供对计量数
据和资源信息的访问。 Gnocchi专门用于存储时间序列及其相关联的资源元数据。 主要的应用场合有计费系统的存储、警告触发或监控系统和数据的统计使用。
10.3 Gnocchi资源索引和计量存储服务
10.2 Ceilometer数据收集服务
Ceilometer的架构
Ceilometer逻辑架构
通知总线
第10章 OpenStack计量与监控 9
通
计算
卷
网络
镜像
对象存储
知
API
API
API
API
API
轮询代理
轮询
通知代理
发布管道
发布
10.2 Ceilometer数据收集服务
Ceilometer的架构
管道（Pipeline） 发布器
接收者
10.2 Ceilometer数据收集服务
数据处理和管道
第10章 OpenStack计量与监控 13
发布器（Publisher）
发布器组件通过消息总线将数据保存到永久性存储，或者发送到一个或多个外 部消费者。
样值
Gnocchi 发布器
Gnocchi
Oslo.messaging 发布器
API
Gnocchi的API通过索引器驱动和存储驱动提供接口 操作归档策略（ArchivePolicy） 资源（Resource） 度量指标（Metric） 计量值（Measure）
第10章 OpenStack计量与监控 23
内容 导航
CONTENTS
第10章 OpenStack计量与监控 24
Panko作为Telemetry项目的一个组成部分，提供事件存储服务，存储和查询由 Ceilometer产生的事件数据。
10.1 Telemetry服务概述
Telemetry服务的架构
第10章 OpenStack计量与监控 4
OpenStack服务
Ceilometer
轮询代理
通知代理
代理1
代理1
数据类型：计量项和事件
第10章 OpenStack计量与监控 7
计量项 计量项就是要测量的具体资源属性或项目，又称度量指标（metric）。 样值（Sample）就是采样数据，是某资源某时刻某计量项的值。它表示一个计 量项的一个可随时间而变化的数值数据点。 计量项类型
Cumulative：累计值，随时间不断增加，如实例使用时数。 Delta：变化值，随时间改变，如网络带宽。 Gauge：离散值（如浮动IP、镜像上载）或者波动值（如磁盘I/O）。
第10章 OpenStack计量与监控 10
轮询代理：请求数据 Ceilometer轮询代理主动向OpenStack服务请求数据。。 Ceilometer轮询代理通过使用在不同名称空间中注册的轮询插件来获取不同种类 的计量数据，为不同名称空间提供单一的轮询接口。 目前支持计算代理、中心代理和IMPI代理这3种轮询机制。
代理21
● ● ●
代理N
代理2 管
●
道
●
●
代理N
Panko
事
件
A
事件
P
I
Gnocchi 量值API
量值
Aodh
警报
警警 报报 评通 估知 器器
通知总线 外部系统
内容 导航
CONTENTS
第10章 OpenStack计量与监控 5
Telemetry服务概述 Ceilometer数据收集服务 Gnocchi资源索引和计量存储服务 配置和管理计量和监控服务 手动安装计量和监控服务 Aodh警告服务
10.2 Ceilometer数据收集服务
数据类型：计量项和事件
第10章 OpenStack计量与监控 8
事件 事件表示OpenStack服务中的一个对象在某一时刻的状态。这包括非数值数据， 如一个实例的实例模型或网络地址。 事件的关键属性
event_type（事件类型） message_id（消息ID） generated（发生时间） traits（特征） raw（原始数据）
Storage）
索引 （Index）
10.3 Gnocchi资源索引和计量存储服务
Gnocchi的后端存储
第10章 OpenStack计量与监控 18
传入驱动和存储驱动 传入驱动负责存储传入的计量项新的计量值。 存储驱动负责存储创建的计量项的计量值，接收时间戳和计量值，并且根据定 义的归档策略来预先计算聚合值。 传入驱动默认与存储驱动采用的是同一个驱动。
标准的计量项定义格式
metric: - name: '计量项名称' event_type: '事件名称' type: '计量值类型，如gauge、cumulative或delta' unit: '单位名称，如MB' volume: '测量值的路径，如$.payload.size' resource_id: '资源ID的路径，如$.payload.id' project_id: '项目ID的路径，如$.payload.owner' metadata: '其他描述资源的键值数据'
索引器驱动 索引器驱动负责存储所有资源的索引、归档策略和度量指标，以及它们的定义、 类型和属性。 索引器还负责连接资源与度量指标，以及资源间的关系。 Gnocchi要处理的资源和计量值的索引也需要数据库存储，目前支持 PostgreSQL和MySQL这两种数据库驱动。
10.3 Gnocchi资源索引和计量存储服务
AMQP消息
外部系统
监控、统计、性 能、容量规划
10.2 Ceilometer数据收集服务
存储和访问数据
第10章 OpenStack计量与监控 14
Ceilometer只是用来产生和规范化云数据。 由Ceilometer产生的数据可以使用发布器推送到任意数量的目标。
推荐使用的工作流是将数据推送到Gnocchi。
计算
卷
网络
镜像
对象存储
API
API
API
API
API
轮询代理
轮询
通知总线
10.2 Ceilometer数据收集服务
Ceilometer的架构
第10章 OpenStack计量与监控 11
通知代理：侦听数据 Ceilometer通知代理监控通知的消息队列，被动获取通知总线上产生的消息，并 将其转换为Ceilometer的样值或事件数据。
Gnocchi为Ceilometer数据提供更有效的存储和统计分析，以解决Ceilometer在将标 准数据库用作计量数据的存储后端时遇到的性能问题。
OpenSatck发布Mitaka版本时，Ceilometer的监控警告功能独立出来作为一个单独的 项目Aodh，目的是让Ceilometer专注于数据收集。
sources: - name: '源名称' interval: '样值产生的时间间隔，单位是秒' meters: - '计量过滤器' resources: - '资源的URL列表' discovery: - '发现者列表'
第10章 OpenStack计量与监控 25
10.4 配置和管理计量和监控服务
数据收集配置
第10章 OpenStack计量与监控 26
轮询配置
轮询规则由/etc/ceilometer/polling.yaml文件定义，它定义要启用的轮询插件 （pollster）和轮询时间间隔。
轮询定义格式
OpenStack云计算实战 第10章 OpenStack计量与监控 1
第10章 OpenStack计量与监控
大数据创新人才培养系列 《OpenStack云计算实战》
内容 导航
CONTENTS
第10章 OpenStack计量与监控 2
Telemetry服务概述 Ceilometer数据收集服务 Gnocchi资源索引和计量存储服务 配置和管理计量和监控服务 手动安装计量和监控服务 Aodh警告服务
要保留的点数通常由以下公式确定 点数 = 时间跨度 ÷ 粒度
第10章 OpenStack计量与监控 20
10.3 Gnocchi资源索引和计量存储服务
Metricd
第10章 OpenScd守护进程根据归档策略，处理计量值，周期性地计算其聚合，并将其保存到 聚合存储中。
10.2 Ceilometer数据收集服务
Ceilometer的主要功能
第10章 OpenStack计量与监控 6
有效轮询OpenStack服务相关的计量数据。 通过监测发自服务的通知来收集事件和计量数据。 将收集到的数据发布到多个目标，包括数据存储和消息队列。
10.2 Ceilometer数据收集服务
Gnocchi的基本架构
第10章 OpenStack计量与监控 17
用户 协调器
写入新的计量值
API
可根M据et需ric要d扩读展出计量值计进量行值处元理数存读据储出/的资处聚源聚理合的合过增删查改
·处理新的计量值 ·删除旧的聚合
读计量值元数据
计量值存储 （Measure Storage）
聚合存储 （Aggregated
Metricd在Gnocchi中CPU使用和I/O工作是最多的。每个度量指标的归档策略影响其 执行的速度。
为处理新的度量指标，Metricd时常检查传入存储中的新的主带指标。 有些传入驱动（目前仅支持Redis）能够通知Metricd可用的新的度量指标。
10.3 Gnocchi资源索引和计量存储服务
1440点，粒度为1分钟= 24小时（1440 points with a granularity of 1 minute = 24 hours）
默认的归档策略 bool low medium high
10.3 Gnocchi资源索引和计量存储服务
规划Gnocchi的存储
基于其最差情况使用以下公式来计算时间序列大小的计算 点数 × 8字节 = 以字节为单位的大小
Telemetry服务概述 Ceilometer数据收集服务 Gnocchi资源索引和计量存储服务 配置和管理计量和监控服务 手动安装计量和监控服务 Aodh警告服务
10.4 配置和管理计量和监控服务
数据收集配置
通知配置 默认情况下，通知代理配置为创建事件和样值。
pipelines = meter pipelines = event
内容 导航
CONTENTS
第10章 OpenStack计量与监控 15
Telemetry服务概述 Ceilometer数据收集服务 Gnocchi资源索引和计量存储服务 配置和管理计量和监控服务 手动安装计量和监控服务 Aodh警告服务
10.3 Gnocchi资源索引和计量存储服务
Gnocchi简介
通知总线
通 知
计算
卷
网络
镜像
对象存储
通知代理
发布管道
发布
10.2 Ceilometer数据收集服务
数据处理和管道
第10章 OpenStack计量与监控 12
管道机制 管道是数据处理机制，在数据源头和相应目标之间转换和发布数据。。 Ceilometer管道由发布器组件组成。
通知代理
规范化 数据
10.1 Telemetry服务概述
Telemetry服务的子项目
第10章 OpenStack计量与监控 3
Ceilometer最初的目标很简单，就是提供一个架构，收集所需的关于OpenStack项目 的计量数据来支持对用户收费。Ceilometer项目第二个目标即成为OpenStack系统计 量的标准方式。
Gnocchi的归档策略
第10章 OpenStack计量与监控 19
什么是归档策略 归档策略（archive policies）定义计量值如何聚合，存储多长时间。 每个归档策略定义表示为一个时间跨度（timespan）的点数。 存档策略和粒度完全取决于用户的使用场合。 典型的低粒度使用案例
第10章 OpenStack计量与监控 16
Gnocchi是OpenStack项目的一部分，支持OpenStack，但也能完全独立运行。 Gnocchi是开源的时间序列（time series）数据库，用于大规模的时间序列数据和资
源的存储和索引。 Gnocchi对时间序列存储采取独特的方法，不是存储原始的数据点，而是在存储之前