七牛云智能日志管理平台实践

50% 29% 20% 手动 手动 混布 分钟级 手动
还有什么问题没解决？
众多散落各地的日志如何安放？ Pandora！
Pandora 是什么？
Pandora实现对日志的全生命周期智能管理，适用于运维监控、安全审计、业务数据分析等典型场景，对互 联网、智能硬件和智能制造、金融、新媒体等行业的数字化转型都有极大的价值。
分析与预测
第三方方可视化工工具
业务系统
Pipeline
各类数据源
Pipeline
收集 解析 转换 发送
各类目目的地
收集 - Logkit
支持收集文本文件、常见消息队列、数据库、HTTP服务器等多种数据来源渠道的数据，配置简便。
Pandora |
解析 - Logkit
可以自动并可控的快速提取杂乱日志中的各种关键字段。自动化划词提取字段，自动化规则匹配。
转换 - Logkit
支持本地转换和服务端转换两种模式，支持丰富的预定义转换规则
Pandora |
Insight
对于收集到的日志进行全方位的快速分析并对结果进行展示。
报表
统一一日日志 存储
搜索 API
监控与告警 分析与预测
第三方方可视化工工具
业务系统
日志搜索
使用兼容Lucene标准的搜索语法快速检索日志内容，且基于搜索可以迅速完成各项工作。
机器学习(异常检测)-分析预测
支持自动化的智能分析，快速发现数据中的异常点。 基于历史数据的全面学习，配合实时数据的增量学习，准确预测未来趋势，支持众多智能特性。
Pandora | 智能日日志管理理平台
机器学习(异常检测)—极简使用
基于时序数据自动学习，自动选择最优算法，零门槛使用。
公有云数据
多个微服务 ＋
主干干分支支代码 ＋
持续集成环境
发布
化零为整
七牛微服务实践 — 日请求量百亿级多媒体系统
40%
资源利利用用率提升
5倍
发布效率提升
秒级
突发业务响应
业务 系统
官方数据处理
用户访问入口
用户自定义数据处理
第三方数据处理
数据处 理容器 平台
镜像 仓库
Gate
服务注册发现
负载均衡
容器集群
监控系统
七牛云智能日志管理平台实践
七牛研发场景
丰富的产品与海海量量代码 6大大业务与若干干行行行业解决方方案
600+组件和微服务 产品+内部平台+实施项目目
复杂的编译和运行行行环境 Linux+Mac+Windows
后端+前端+移动端 语言言版本 基础库版本 基础组件版本 多种服务器器类型
质量量难控制 高高效率与高高质量量并重 5000+的自自动化测试用用例例
日志系统
用户认证 权限管理 应用发布 应用管理 弹性调度 安全控制 配置管理
API CLI Portal
IaaS
计算
存储
⺴络
开发 者入 口
物理机平均利用率 物理机负载均方差 物理机资源消耗
运维方式 业务峰值扩缩容
多服务部署 应用部署时间 应用部署方式
80% 10% 5% 自动 自动 隔离 秒级 自动
清洗
搜索
分析
开放
收集
储存
监控告警
报表
七牛如何使用Pandora
七牛牛云将所有日日志全部打入入Pandora，各团队分别进行行行使用用。
日日志管理理系统
七牛牛各产品日日志
· 云存储 · 直播云 · CDN · 智能多媒体API服务 · 容器器云
logkit
统一一日日志 存储
质量量保障部 运维部日日志
松散的工工具 ≠ 效率的提升 软件工工程的生生命周期从未被完整地信息化
七牛Spock Pipelines实践
七牛Spock Pipeplines实践
代码管理理
PR提交：develop->master
Spock
Build
部署与环境
自自动化测试
单元测试
流程管理理
Deploy
Test
集成环境
集成／系统 测试
测试中
PR合并
PR Check通过 允许合入入
Master分支支
＋
人人工工进行行行 Code Review
发布中
七牛工程效率平台
七牛微服务实践流程
任务1
独立立微服务 ＋
功能分支支代码 ＋
docker个人人环境
产品需求
任务2
任务3 …
通过Pipeline加强管控能力力力
化整为零
通过自自动化提升效率
250 超
TB
日均数据流入
1w 超
次
有效报警已发送
3.2 超
PB
日均参与计算数据量
45 超
TB
最大客户日均数据推送
超3650亿
日均日志条数
超200家
知名客户
实时汇聚与 清洗
商业运营部 用用户画像
产品研发部 排错
技术支支持部 客服
质量量保障部 质量量分析与复盘
SRE 业务监控告警
运维部 运维监控告警与成本分析
Pandora能力全图
各类数据源
Pipeline
logkit
实时汇聚 与清洗
既有IT系统
Insight 搜索
报表
统一一日日志 存储
监控与告警 API
多种场景的测试
发布要求高高 平均每天要有6次发布 需要在极短时间内发布
按时发布 按需发布
协作难度大大 300+研发写代码 代码分支支多 合并频度高高 issue状态难跟踪
为解决这些问题而产生的工具链
▸ 代码库管理理：github ＋ gitlab ▸ CI/CD工工具：jenkins、travis ▸ 自自动化测试框架：qtest（ginkgo+gomega）+ appium ▸ 流程管理理/协作工工具：jira ＋ confluence
Pandora |
自动字段
无无需掌握搜索语法， 通过划词直接进行行行搜索，或者对搜索结果进行行行二二次过滤。
Pandora |
实时搜索
支持搜索结果实时滚动，类似tail -f
Pandora |
开箱即用的报表
丰富的图表支支持，灵活的报表定义，贴心心的报表管理理，支支持大大屏展示。