F5 多数据中心自动化运维 - 北京力尊信通科技有限公司

…………….
F5双中心日常运维
-----非应急日常维护操作
运维部署以及效能
系统检查 自动事件 手动事件
BIGIP Automatic Script(iCall&Shell) iRule
Syslog FTP
iCall
SOAP
iControl
TMSH
SSH
Log Analysis
Config check
•
Perpetual: 守护进程模式
Handler 连接事件和事件处理脚本
Script
执行事件处理操作
根据事件或时间 ,statistics 预设值,动化执行TMSH命令 深入控制BIGIP
iCall使用前后
tmsh list ltm DB1 tmsh list ltm virtual DB1 pool tmsh create ltm pool DB1_new_Pool tmsh modify ltm pool xxxxxx members add xxxx tmsh create ltm virtual xxxxx tmsh delete sys connection cs-server-addr tmsh list ltm virtual DB2 pool tmsh create ltm pool DB2_new_Pool tmsh run cli script switch_db.tcl DB1:DB2 DC1toDC2
-------互联网异常流量
• 编写特定的iRule程序，使用HSL log输出日志到分析软件 • 提取Access log中无法获取到的报文头信息 • 使用分析软件对每次事务进行分析，发现访问的行为特征
iRule应用级自定义日志案例
------四层应用延迟性分析
• F5 AVR已经可以实现HTTP应用的延迟性分析 • 对于银行内大量使用的前置机等Socket类型服务器可使用iRule HSL分别 输出服务器端延迟和客户端延迟 • 分析软件可以实时获取到当前延迟的信息并提供自定义报表和报警功能
Primary Data Center
ISP 1 ISP 2
Secondary Data Center GTM + DNS
GTM + DNS
WEB配置
Web Tier Web Tier
App Tier
APP配置
Virtualized Servers and storage
App Tier
DB Tier (Active)
根据业务数据生成F5执行命令脚本， 在对应的F5上执行操作
F5精细化运维
-----iRule输出应用级日志
运维部署以及效能
系统检查 自动事件 手动事件
BIGIP Automatic Script(iCall&Shell) iRule
Syslog FTP
iCall
SOAP
iControl
TMSH
SSH
Client s
ISP 1 External Networks ISP 2
Primary Data Center
ISP 1 ISP 2
Secondary Data Center
GTM + DNS
GTM + DNS
Web Tier
Web Tier
App Tier App Tier
DB Tier (Active)
Enterprise Manager /Cloud Manager
ITIL
WideIP部署
VS部署
延迟性分析 安全事件分析
统一视图 配置一致性 配置合规性
性能监控
策略库配 置 自动部署
补丁管理
性能监控
配置下发
自定义报表
单数据中心配置关联性
GTM 域名的智能解析，用户就久行 访问，多活数据中心流量的引 导 DataCenter WideIP
Client s
ISP 1 External Networks
ISP 1
ISP 2
Secondary Data Center GTM + DNS
ISP 2
Primary Data Center
GTM + DNS
Web Tier
Web Tier
App Tier App Tier
DB Tier (Active)
HTTP应用的统计值超阀值 GTM查询统计超阀值 端口吞吐率超阀值 Member吞吐率操作阀值 内存使用超过阀值 CPU使用超过阀值 达到维护定时操作时间
Action
运行TCPDUMP和QKview 变更VS配置 变更Pool member 发送SYSLOG 检测硬盘 检测进程内存 执行Failover …………….
Link
Pool
LTM
灵活IT架构的基础，本地数据 中心应用交付，实现高可用 Server Pool
Virtual Server
Monitor
Persistent
ASM WA
应用安全和高性能方案的最佳 实现 Policy Set
HTTP Class
Pool
双数据中心配置一致性
Client s
ISP 1 External Networks ISP 2
互联网化带来的运维影响
• • 复杂的外部环境带来的影响 应用快速增加,新业务不断涌现
事件响应的及时性和有效性
• • 运维事件响应的及时有效性 联动操作的快速有效性
F5在金融客户中的部署
F5在金融中的运维需求
自动化运维
• 规范事件操作流程 • 运维事件自动应对 • 业务变更操作自动化
多中心运维
• 多中心配置的一致 • 多中心联动操作
DB Tier (Standby)
iCALL简介Байду номын сангаас
Event
• • Triggered: 事件触发时一次性执行 Periodic: 类似Crontab • • • • iStats triggered Script 产生的事件 CLI (interactive) 产生的事件 System 事件
iCALL
-------互联网异常流量
客户在每天都会不定时的遇到流量的峰值，有时候这些流量的 峰值会拖慢整个网络基础架构，造成事务的延迟但是所有的安全设备 都没有报警，而Access log也无从分析 客户咨询技术顾问想找到问题的根本原因并从此改善用户体验
正常流量
异常流量
iRule应用级自定义日志案例
解决方案：
Client s
ISP 1 External Networks ISP 2
Primary Data Center
ISP 1 ISP 2
Secondary Data Center
GTM + DNS
GTM + DNS
Web Tier
Web Tier
App Tier App Tier
DB Tier (Active)
DB Tier (Standby)
APP到DB的一键切换
• • • • • • •
适用于已部署数据库负载均衡的情况 本中心APP连接本中心的数据库负载均衡F5 服务器出现故障通过F5健康检查告警及时发现 修改主中心VS指向备中心数据库 修改备中心VS指向备中心 上述的维护脚本可以通过预定义iCall设定为TMSH新的命令行接口 通过expect等工具协同操作同一个数据中心的LTM和GTM操作
DB Tier (Standby)
APP到DB的一键切换
• • • • • • •
适用于已部署数据库负载均衡的情况 本中心APP连接本中心的数据库负载均衡F5 服务器出现故障通过F5健康检查告警及时发现 修改主中心VS指向备中心数据库 修改备中心VS指向备中心 上述的维护脚本可以通过预定义iCall设定为TMSH新的命令行接口 通过expect等工具协同操作同一个数据中心的LTM和GTM操作
系统检查 自动事件 手动事件
BIGIP Automatic Script(iCall&Shell) iRule
Syslog FTP
iCall
SOAP
iControl
TMSH
SSH
Log Analysis
Config check
Enterprise Manager /Cloud Manager
ITIL
F5 多数据中心自动化运维
F5 NETWORKS 林健 Jian.lin@f5.com
Agenda
• F5金融行业运维趋势
• F5应急/容灾运维 • F5日常运维 • F5精细化运维
金融行业运维的挑战
多数据中心运维
• • • 配置之间的关联性 配置的一致性 两个中心如何协调联动
运维的可持续性
系统复杂度很高,关联程度深， 新员工难以对问题进行快速响 应
操作量降低90% 避免误操作风险
tmsh modify ltm pool xxxxxx members add xxxx
tmsh create ltm virtual xxxxx tmsh delete sys connection cs-server-addr
iCALL 实现的自动化应急操作
When
Config check
Enterprise Manager /Cloud Manager
ITIL
WideIP部署
VS部署
延迟性分析 安全事件分析
统一视图
性能监控
补丁管理
配置一致性 配置合规性
策略库配 置 自动部署
性能监控
配置下发
自定义报表
F5双中心应急/容灾运维
-----手动和自动应急操作
运维部署以及效能
精细化运维
• 需对每一个流量/连接潜在异常进行分析 • 记录最详细的应用级别日志
运维部署以及效能
系统检查 自动事件 手动事件
BIGIP Automatic Script(iCall&Shell) iRule
Syslog FTP
iCall
SOAP
iControl
TMSH
SSH
Log Analysis
WideIP部署
VS部署
延迟性分析 安全事件分析
统一视图 配置一致性 配置合规性
性能监控
策略库配 置 自动部署
补丁管理
性能监控
配置下发
自定义报表
ISP链路一键屏蔽
• • • • • •
正常情况下两数据中心入向和出向通过所有链路 当出现链路服务质量问题,如运营商侧出现异常需要执行下面的操作 GTM修改数据中心/Topology配置 LTM修改出向链路选择 上述的维护脚本可以通过预定义iCall设定为TMSH新的命令行接口 通过Expect等工具协同操作同一个数据中心的LTM和GTM操作
Log Analysis
Config check
Enterprise Manager /Cloud Manager
ITIL
WideIP部署
VS部署
延迟性分析 安全事件分析
统一视图 配置一致性 配置合规性
性能监控
策略库配 置 自动部署
补丁管理
性能监控
配置下发
自定义报表
iRule应用级自定义日志案例
案例背景： • •
DB配置
DB Tier (Standby)
配置定期保持以及上传
/
F5跨数据中心配置关联检查
备份文件定期扫描和配置合规检查
自动化配置-ITLT接口和流程
ITIL输入业务配置清单数据并提交
未通过审核
系统管理员审核，补充表单数据
包含冲突
通过审核
接收表单数据，整理，提取变量，检查F5配置和本 次操作是否包含冲突