工商银行开放平台自动化运维架构

BANK
ATM
$
2.0时代 自助化服务客户 借助电子技术延伸了物理网点的 触点，用户通过ATM、网上银行 等进行自助服务。
BANK
ATM
3.0时代 移动化服务客户 随着智能手机等移动技术的出现 而飞速发展，被重新界定为随时 随地满足需要的银行。
BANK
4.0时代 无所不在智能服务新生态 随着人工智能、5G、物联网等新技 术的发展，已经开始构建全新的开 放合作的渠道服务新生态。
数据库 转型
运维能力
传统的基础环境供应以 及运维模式无法应对开 发的敏捷迭代
降低风险
打散数据、解耦各应用 业务层依赖、降低整体 集中式风险
工行自动化运维发展历程
数据库转型
工行自动化运维发展历程
互联网时代的高并发挑战
工行自动化运维发展历程
运维方式升级
运维场景从简单到复杂 运维手段从落后到先进 运维数量从成百上千到数以万计
围绕智能运维平台的自动化开发
• 同城切换 • 环境搭建 • 集中监控 • 标准变更 • 业务级故障自愈 • 动态阈值 • 服务健康度评估 • 变更风险智能识别
同城切换
集中监控
智能运维
故障自愈
标准变更
环境搭建
自动化运维流程建设
运维操作服务化-日常操作
自动化运维流程建设
运维操作服务化-变更
自动化运维流程建设
智能运维场景挖掘
巡检平台建设
智能运维场景挖掘
巡检平台建设-变更巡检
智能运维场景挖掘
性能指标的动态阈值评估
区别于静态阈值的一刀切监控方案，动态阈值评估系统，能够更灵敏的捕捉系统性能的波动 以t日为例,t-7 表示7日前同一时刻 以此类推 X(t)标示t时刻实际值 Y(t)表示预测值 delta()
表示求数据的 标准差 预测值 Y(t)上限 = X(t-7)+3 delta((X(t-7)+X(t-14)+X(t-21)+X(t-28)+X(t-35)))
应用维度系统健康度评价
综合考虑CPU、内存、巡检结果、事件告警等因素，应用健康度评价模型，计算得分 性能容量管理小帮手
THANK YOU！
平台成效
• 上万台服务器操作，10分钟 • 全行数万台服务器监控指标采集 • 多操作系统支持
自动化运维流程建设
平台风险及防范措施
风险 全局性误操作 脚本健壮度 运维技能退化
防范措施 人员权限控制 对象访问控制 高危命令拦截 强制分批执行 脚本自动化测试 操作服务化
3
智能运维场景挖掘
智能运维场景挖掘
28
工商银行开放平台 自动化运维演进之路
1
目录
C O N TEN TS
1.工行自动化运维发展历程 2.自动化运维流程建设 3.智能运维场景挖掘
1
工行自动化运维发展历程
工行自动化运维发展历程
银行业态转型
BANK
1.0时代 传统网点服务客户 历史的、传统的银行模式， 以银行物理网点为基础的 银行业务形态。
人肉运维
1.0时代 手工运维 靠运气维持，对 运维人员的专业 度依赖大
脚本运维
服务化
2.0时代 脚本运维
依托于一套成熟、
复杂的生产运维 脚本，基于hpsa 等产品管控
3.0时代 微服务
自主研发智能运
维平台，运维场 景被抽象成为一 系列原子服务
智能运维
4.0时代 智能运维 AIOPS、机器学 习、动态规划......
2
自动化运维流程建设
自动化运维流程建设
目的：运维流程闭环
报警
应急
答复
处置
申请
环境搭建
源自文库退库
搭建
智能运维平台
巡检
巡检
反馈
整改
变更
变更
复核
实施
自动化运维流程建设
平台选型的难点
1.操作系统种类繁多 2.服务器数量巨大 3.自主可控 4.行内系统兼容
自动化运维流程建设
自研智能运维平台架构
自动化运维流程建设
运维操作服务化-应急
智能运维场景挖掘
故障自愈
智能运维场景挖掘
巡检平台建设
巡检任务模型
巡检平台
录入任 务
制定巡检指 标
F-DCAP
开发巡检脚本
创建巡检任 务表
脚本下发部署
设定巡检时 间表
定制巡检报 表
巡检任务启 动
巡检任务引 擎
W OP接口
发送邮件通 知
抽象制定了标准的巡检任务模型，其他各项巡检任务均基 于巡检任务模型进行详细定制 实现了与SD、CMDB、DCAP等应用的交互 实现了以应用、服务器、系统对象等维度的巡检
工行自动化运维发展历程
金融科技赋能全行转型发展
电子化
银行 信息化
信息化 银行
基础设施 持续提升
大机延伸
数据集中
数据中心整合
两地三中心
客户视图统一 境外应用一体
核算相对独立 管理信息集中
产品灵活配置 全面风险管理
智慧银行
ECOS
客户服务“智慧”普惠 金融生态“开放”互联 业务运营“共享”联动 创新研发“高效”灵活 业务科技“融合”共建
5
工行自动化运维发展历程
银行业务多元化
传统银行业务
ATM POS 网银 电话银行
互联网时代的银行业务
ETC 电子银行
聚合支付
快捷支付
生态云
工行自动化运维发展历程
数据库转型
业务支撑
单库已无法支撑业务规模 的增长
控制成本
通过下移主机业务至平台， 使用更廉价的硬件基础设 施；自主可控,解决对商业 产品的过度依赖