大数据背景下的IT系统性能优化解决方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据背景下的IT系统性能优化解决方案
大数据时代后的IT架构演变
2
市场 VS 现实
市场
TB、PB级别的数据量 大量的非结构化数据
NOSQL数据库 分布式集群
„
3
现实
90%的企业核心数据<1T 90%的数据还是结构化数据
90%的企业选用Oracle 90%的服务器是IBM Power小机 90%采用了EMC/IBM的独立存储 个别企业／行业开始尝试NoSQL数据库，
应用
应用及提交
活期结息
TRACE
优化，测试，结果确认 应用及提交
执行时间 (优化前)
执行时间 (优化后)
提升倍数
11,000秒
1,132秒
9.7倍
3,714秒
415秒
8.9倍
应计利息
TRACE
优化，测试，结果确认 应用及提交
个人活期余额 清单
TRACE
优化，测试，结果确认 应用及提交
4个存储过程中包含了22个存储过程，21个包，平均性能提升
效果比重: >30%
-- 定期搜集统计信息 -- 定期执行索引重构 -- 定期执行表重组 -- 有效调整优化器参数 -- 修正优化器版本 -- 合理采用hint方言
效果比重: >50%
-- 使用非过程化处理方式 -- 构建最佳索引 -- 执行计划最优化 -- 灵活应用局部范围扫描 -- 最优化表连接顺序 -- 灵活使用复合处理方式 -- 灵活使用分区和并行处理
性能优化解决方案－数据模型优化
13
类型
内容
PROC_DRU_MAIN(183分钟)
批处 理业
务
PROC_ICP_CYCLE_MAIN(61分钟) PROC_GLINTACCRUAL(34分钟)
RDP_PPBAL(8分钟)
汇总
业务内容
存款每日利率 变更
执行信 息搜集
TRACE
优化及测试
优化，测试，结果确认
搜集SQL，解析获得ACCESS PATHS, 构建战略索引
编写审 计报告
提出优 化建议
接受审 计任务
清空数据 库SGA
当前 审计流程
功能测 试
人工审 计
SGA SQ L抓取
当前审计流程缺陷
1）自动化程度低，人工消耗多。 2）人为分析不够全面，不够彻底。 3） 仅是增量审计，无法实现全样审计。
4）优化建议不够客观。 5）无审计指标，主观性强。
2,083秒 483秒
17280秒
670秒 79秒 2296秒
3.1倍 6.1倍
6.95倍
类型
联机 交易 业务
内容
xxxx_SQL xxxx_SQL xxxx_SQL xxxx_SQL xxxx_SQL xxxx_SQL
„
汇总
优化方案
优化索引，改变执行计划 优化SQL语句和索引，改变执行计划 改变表连接方式，优化索引，改变执行计划 优化索引，改变执行计划 调整索引结构，改变执行计划 改变SQL语句，调整索引，改变执行计划 ......
阶段1
硬件和操作系统 采购
阶段2
应用软件
阶段3
优化、运帷
阶段4
数据分析
阶段5
应用软件
企业信息系统运行现状
套装 软件
企业核心系统
定制 开发
外包1 外包2
…
CPU经常性100% OOM而宕机 Disk I/O持续高位
月末效应：系统响应停顿或者 经常性宕机
每天业务高峰期系统变慢 业务人员无法在正常工作时间
Thank you
效果比重: >80%
-- 制定数据标准化策略 -- 引入先进的行业模型 -- 减少数据冗余 -- 提高数据质量 -- 逆向建模技术
优化预期效果：
1）确保系统整体性能提升300%
2）缩减硬件的持续投资
3）帮助开发和运维人员提高技术水平
4）建立持续的优化和运维机制
6
性能优化解决方案
生产环境 优化方案
Client Client Client Client
账户管理系统
XX系统
源代码
Java程序 C++程序 其它语言
1
AP#
静态SQL
应用数据库
对象结构 (表,字段,索引等)
SQL及执行计划缓存
SQL Trace文件
2
IDO
动态SQL，数据库对象
Repository
3 审计 指标
4 审计报告
IDO
38132张表, 87558个索引, 每表平均1.5~2.5个索引 共338个表使用了分区 27,068个无PK,UK,FK的表，836个无效索引 执行次数和解析次数超过5,000次的SQL 485个 154个重复索引，211个5列以上的组合索引 10015个SQL语句，全表扫描或全索引扫描3957个，比例40%
IDO 工具
优化工程师
输出报告: Excel
战略索引设计的目的：
1. 以表为单位全局考察访问该表的所有SQL语句、数据量及执行计划 2. 全局调整Index，确保所有的SQL都有正确的索引使用，从而大大提高SQL执行效率 3. 合适的索引数量，既可以确保DQL SQL的查询效率，也可以确保DML SQL的性能 4. 准确的Index结构，从而能够确保Oracle制定正确的执行计划
但也仅限于非核心系统 „
XX保险 2T Power Oralce 德邦物流 1T Power Oracle 万科集团 800G Power Oracle XX市政府 200G Power Oralce XX法院 50G Power Oracle
…
节选自《IDC_中国IT市场趋势分析》IDC：2014年6月
AppServer
Agent
Server1
Agent Agent
Server2
. . .
ServerN
SQL
数据库
对象结构 (表,字段,索引等)
SQL及执行计划缓存
SQL Trace文件
Oralce EM
AWR Report
UDP APM Server
SQL优化指南
Top SQL & Index Table
0.26
05 回修单审核
xxx
5
85.67
0.25
06 库存日志分析**
xxx
2
40.48
7.50
07 工程更改单审核**
xxx
2
11.29
0.21
08 采贩入库单查询
xxx
1
4.50
0.01
09 物料收发事务汇总
xxx
2
320.89
64.31
10 领料出库单查询**
xxx
2
210.50
15.35
11 库存调拨单审核**
342.68 5.40
53.76 450.00
4.99 13.71 2084.00 14.06 1350.00
5.90 0
32.72
新建 索引数
2 8 1 1 1 1 0 0 1 10 0 2 0 1 0
28
性能优化解决方案销售策略
性能优化 解决方案
卖给谁
系统出现严重性能问题的客户，比如：数据量太大结不了帐，报 表十几个小时算不出来，系统业务高峰时，经常卡死，甚至宕机
完成工作，苦不堪言 后台批处理运行时间越来越长
系统不出事就好，很难进行 业务扩展
运帷人员如屡薄冰
进行针对性或者全面的性能优化和管理是问题解决之道！
性能优化方法论
系统参数优化
改进执行计划
INDEX & SQL优化
数据模型 & 应用改造
效果比重: >10%
-- OS系统参数调整 -- 调整服务器内存分配 -- 调整磁盘IO -- 调整资源竞争 -- 合理安排任务调度
xxx
1
20.84
0.01
12 回修质检单
xxx
1
15.89
1.13
13 领料出库单提交
xxx
1
135.00
0.10
14 存货系统结帐
xxx
2
168.86
28.60
15 存货系统反结帐
xxx
0
0.00
0.00
合计：
29
3454.45
105.56
提升比例
14.50 191.22
8.35 1185.19
卖什么
服务：
1）卖项目：根据系统规模 2）卖人天：5-7K元／人天
工具：
1）APM：性能监控工具 2）IDO：索引优化工具
怎么卖
销售“三板斧”
1）承诺性能300%提升，否则不收费 2）进行POC：让客户提供关键功能或者SQL进行现场优化
性能优化解决方案特点：客户需求明确，短平快，成果好衡量，应作为重点销售内容进行推进
战略索引
IDO
通过工具＋服务的方式，对IT系统进行全面的监控、分析、优化，从而实现300%提升的承诺！
性能优化解决方案－项目实施方法
输入 执行步骤
待优化功能
＋ 系统
AWR
APM
IDO
清单
数据
问题诊断 和分析
构建战略索引
>
优化TopSQL
>
优化应用程序
系统性能管理体系
数据库运维体系
效果
1）系统运行平稳，客户重点关注的性能问题得到缓解和解决 2）建立初步的IT性能监控和管理机制，有效预防由于系统扩张带来的性能恶化
Davis 0002 Ford 0005
Green 0006 Hunt 0008
Jones 0004 King 0001
性能优化解决方案－构建战略索引
应用程序
Trace File
分析工具: IDO
数据字典 SQL语句 执行计划 统计信息
SQL语句 执行计划 统计信息
搜集器 解析器 结构化
Repository (知识库)
生成审 计报告
提出优 化建议
接受审 计任务
新 审计流程
AP#从代 码自动搜 集SQL
功能 测试
工具根据指 标自动审计
IDO从SGA 搜集SQL
新审计流程缺陷
1）全面实现审计自动化，成本低。 2）全量审计，覆盖面广，程度深，图形展示结果。 3）提供索引优化建议时粒度分析更加细致(以表为单位 分析，以索引为单位分析，统计索引的使用频度)。 4）提供索引优化建议更加全面 5）严格遵循审计指标，客观性强。
在建审计：通过完善的审计标准确保系统上 线前隐患得以解决 价值：建立标准，预防为主
index
审计标准 SQL
table
在运监控：通过实时监控体系 发现瓶颈，及时解决 价值：实时监控，持续优化
通过审计后 才可上线
应用调整
系统上线
上线前
7*24小时 AWR
核心 系统
审 计 和 治 理 架 构
大客户营销系统
8
性能优化解决方案－项目实施案例
通常项目的执行周期为6-8周，2-3人，约60-80人天
9
性能优化解决方案－性能监控
服务节点请求阻塞情况
服务节点 很慢的请求很多
10
性能优化解决方案－SQL优化策略
<= Clark > Clark
<= Ford > Ford
<= Hunt > Hunt
Allen 0007 Clarke 0003
执行时间 (优化前)
1580.81秒 85.87秒
446.38秒 121.02秒
42.78秒 36.52秒
„„
执行时间 (优化后)
0.41秒 10秒 0.5秒 0.5秒 0.1秒 5秒
„„
提升倍数
3855.6倍 8.6倍
892.8倍 242倍 428倍 7.3倍 „„
平均性能提升
2313.56秒
16.51秒
性能优化解决方案－售前案例
系统审计解决方案
系统审计解决方案－案例
南方电网某省公司，今年来一直在进行旧系统的升级工程，“南网6+1工程”，大部分的 系统都是由各个外包开发公司承建，南网IT没有一直寻求一套，“黑盒变白盒”的测试和质量管理 工具，Jennifer的成功应用，真正站在了甲方角度，帮助客户进行IT的审计和质量评估。
140.1倍
南车株洲电力机车有限公司 功能点优化清单
序号
业务功能点
负责人
SQL 条目
优化前
耗时评估(单位:秒) 优化后
01 合并工序查询**
xxx
2
45.24
3.12
02 库龄分析表查询**
xxx
4
2241.11
11.72
03 需求计划反写
xxx
1
3.09
0.37
04 配件分解**
ຫໍສະໝຸດ Baidu
xxx
6
308.15
大数据时代后的IT架构演变
2
市场 VS 现实
市场
TB、PB级别的数据量 大量的非结构化数据
NOSQL数据库 分布式集群
„
3
现实
90%的企业核心数据<1T 90%的数据还是结构化数据
90%的企业选用Oracle 90%的服务器是IBM Power小机 90%采用了EMC/IBM的独立存储 个别企业／行业开始尝试NoSQL数据库，
应用
应用及提交
活期结息
TRACE
优化，测试，结果确认 应用及提交
执行时间 (优化前)
执行时间 (优化后)
提升倍数
11,000秒
1,132秒
9.7倍
3,714秒
415秒
8.9倍
应计利息
TRACE
优化，测试，结果确认 应用及提交
个人活期余额 清单
TRACE
优化，测试，结果确认 应用及提交
4个存储过程中包含了22个存储过程，21个包，平均性能提升
效果比重: >30%
-- 定期搜集统计信息 -- 定期执行索引重构 -- 定期执行表重组 -- 有效调整优化器参数 -- 修正优化器版本 -- 合理采用hint方言
效果比重: >50%
-- 使用非过程化处理方式 -- 构建最佳索引 -- 执行计划最优化 -- 灵活应用局部范围扫描 -- 最优化表连接顺序 -- 灵活使用复合处理方式 -- 灵活使用分区和并行处理
性能优化解决方案－数据模型优化
13
类型
内容
PROC_DRU_MAIN(183分钟)
批处 理业
务
PROC_ICP_CYCLE_MAIN(61分钟) PROC_GLINTACCRUAL(34分钟)
RDP_PPBAL(8分钟)
汇总
业务内容
存款每日利率 变更
执行信 息搜集
TRACE
优化及测试
优化，测试，结果确认
搜集SQL，解析获得ACCESS PATHS, 构建战略索引
编写审 计报告
提出优 化建议
接受审 计任务
清空数据 库SGA
当前 审计流程
功能测 试
人工审 计
SGA SQ L抓取
当前审计流程缺陷
1）自动化程度低，人工消耗多。 2）人为分析不够全面，不够彻底。 3） 仅是增量审计，无法实现全样审计。
4）优化建议不够客观。 5）无审计指标，主观性强。
2,083秒 483秒
17280秒
670秒 79秒 2296秒
3.1倍 6.1倍
6.95倍
类型
联机 交易 业务
内容
xxxx_SQL xxxx_SQL xxxx_SQL xxxx_SQL xxxx_SQL xxxx_SQL
„
汇总
优化方案
优化索引，改变执行计划 优化SQL语句和索引，改变执行计划 改变表连接方式，优化索引，改变执行计划 优化索引，改变执行计划 调整索引结构，改变执行计划 改变SQL语句，调整索引，改变执行计划 ......
阶段1
硬件和操作系统 采购
阶段2
应用软件
阶段3
优化、运帷
阶段4
数据分析
阶段5
应用软件
企业信息系统运行现状
套装 软件
企业核心系统
定制 开发
外包1 外包2
…
CPU经常性100% OOM而宕机 Disk I/O持续高位
月末效应：系统响应停顿或者 经常性宕机
每天业务高峰期系统变慢 业务人员无法在正常工作时间
Thank you
效果比重: >80%
-- 制定数据标准化策略 -- 引入先进的行业模型 -- 减少数据冗余 -- 提高数据质量 -- 逆向建模技术
优化预期效果：
1）确保系统整体性能提升300%
2）缩减硬件的持续投资
3）帮助开发和运维人员提高技术水平
4）建立持续的优化和运维机制
6
性能优化解决方案
生产环境 优化方案
Client Client Client Client
账户管理系统
XX系统
源代码
Java程序 C++程序 其它语言
1
AP#
静态SQL
应用数据库
对象结构 (表,字段,索引等)
SQL及执行计划缓存
SQL Trace文件
2
IDO
动态SQL，数据库对象
Repository
3 审计 指标
4 审计报告
IDO
38132张表, 87558个索引, 每表平均1.5~2.5个索引 共338个表使用了分区 27,068个无PK,UK,FK的表，836个无效索引 执行次数和解析次数超过5,000次的SQL 485个 154个重复索引，211个5列以上的组合索引 10015个SQL语句，全表扫描或全索引扫描3957个，比例40%
IDO 工具
优化工程师
输出报告: Excel
战略索引设计的目的：
1. 以表为单位全局考察访问该表的所有SQL语句、数据量及执行计划 2. 全局调整Index，确保所有的SQL都有正确的索引使用，从而大大提高SQL执行效率 3. 合适的索引数量，既可以确保DQL SQL的查询效率，也可以确保DML SQL的性能 4. 准确的Index结构，从而能够确保Oracle制定正确的执行计划
但也仅限于非核心系统 „
XX保险 2T Power Oralce 德邦物流 1T Power Oracle 万科集团 800G Power Oracle XX市政府 200G Power Oralce XX法院 50G Power Oracle
…
节选自《IDC_中国IT市场趋势分析》IDC：2014年6月
AppServer
Agent
Server1
Agent Agent
Server2
. . .
ServerN
SQL
数据库
对象结构 (表,字段,索引等)
SQL及执行计划缓存
SQL Trace文件
Oralce EM
AWR Report
UDP APM Server
SQL优化指南
Top SQL & Index Table
0.26
05 回修单审核
xxx
5
85.67
0.25
06 库存日志分析**
xxx
2
40.48
7.50
07 工程更改单审核**
xxx
2
11.29
0.21
08 采贩入库单查询
xxx
1
4.50
0.01
09 物料收发事务汇总
xxx
2
320.89
64.31
10 领料出库单查询**
xxx
2
210.50
15.35
11 库存调拨单审核**
342.68 5.40
53.76 450.00
4.99 13.71 2084.00 14.06 1350.00
5.90 0
32.72
新建 索引数
2 8 1 1 1 1 0 0 1 10 0 2 0 1 0
28
性能优化解决方案销售策略
性能优化 解决方案
卖给谁
系统出现严重性能问题的客户，比如：数据量太大结不了帐，报 表十几个小时算不出来，系统业务高峰时，经常卡死，甚至宕机
完成工作，苦不堪言 后台批处理运行时间越来越长
系统不出事就好，很难进行 业务扩展
运帷人员如屡薄冰
进行针对性或者全面的性能优化和管理是问题解决之道！
性能优化方法论
系统参数优化
改进执行计划
INDEX & SQL优化
数据模型 & 应用改造
效果比重: >10%
-- OS系统参数调整 -- 调整服务器内存分配 -- 调整磁盘IO -- 调整资源竞争 -- 合理安排任务调度
xxx
1
20.84
0.01
12 回修质检单
xxx
1
15.89
1.13
13 领料出库单提交
xxx
1
135.00
0.10
14 存货系统结帐
xxx
2
168.86
28.60
15 存货系统反结帐
xxx
0
0.00
0.00
合计：
29
3454.45
105.56
提升比例
14.50 191.22
8.35 1185.19
卖什么
服务：
1）卖项目：根据系统规模 2）卖人天：5-7K元／人天
工具：
1）APM：性能监控工具 2）IDO：索引优化工具
怎么卖
销售“三板斧”
1）承诺性能300%提升，否则不收费 2）进行POC：让客户提供关键功能或者SQL进行现场优化
性能优化解决方案特点：客户需求明确，短平快，成果好衡量，应作为重点销售内容进行推进
战略索引
IDO
通过工具＋服务的方式，对IT系统进行全面的监控、分析、优化，从而实现300%提升的承诺！
性能优化解决方案－项目实施方法
输入 执行步骤
待优化功能
＋ 系统
AWR
APM
IDO
清单
数据
问题诊断 和分析
构建战略索引
>
优化TopSQL
>
优化应用程序
系统性能管理体系
数据库运维体系
效果
1）系统运行平稳，客户重点关注的性能问题得到缓解和解决 2）建立初步的IT性能监控和管理机制，有效预防由于系统扩张带来的性能恶化
Davis 0002 Ford 0005
Green 0006 Hunt 0008
Jones 0004 King 0001
性能优化解决方案－构建战略索引
应用程序
Trace File
分析工具: IDO
数据字典 SQL语句 执行计划 统计信息
SQL语句 执行计划 统计信息
搜集器 解析器 结构化
Repository (知识库)
生成审 计报告
提出优 化建议
接受审 计任务
新 审计流程
AP#从代 码自动搜 集SQL
功能 测试
工具根据指 标自动审计
IDO从SGA 搜集SQL
新审计流程缺陷
1）全面实现审计自动化，成本低。 2）全量审计，覆盖面广，程度深，图形展示结果。 3）提供索引优化建议时粒度分析更加细致(以表为单位 分析，以索引为单位分析，统计索引的使用频度)。 4）提供索引优化建议更加全面 5）严格遵循审计指标，客观性强。
在建审计：通过完善的审计标准确保系统上 线前隐患得以解决 价值：建立标准，预防为主
index
审计标准 SQL
table
在运监控：通过实时监控体系 发现瓶颈，及时解决 价值：实时监控，持续优化
通过审计后 才可上线
应用调整
系统上线
上线前
7*24小时 AWR
核心 系统
审 计 和 治 理 架 构
大客户营销系统
8
性能优化解决方案－项目实施案例
通常项目的执行周期为6-8周，2-3人，约60-80人天
9
性能优化解决方案－性能监控
服务节点请求阻塞情况
服务节点 很慢的请求很多
10
性能优化解决方案－SQL优化策略
<= Clark > Clark
<= Ford > Ford
<= Hunt > Hunt
Allen 0007 Clarke 0003
执行时间 (优化前)
1580.81秒 85.87秒
446.38秒 121.02秒
42.78秒 36.52秒
„„
执行时间 (优化后)
0.41秒 10秒 0.5秒 0.5秒 0.1秒 5秒
„„
提升倍数
3855.6倍 8.6倍
892.8倍 242倍 428倍 7.3倍 „„
平均性能提升
2313.56秒
16.51秒
性能优化解决方案－售前案例
系统审计解决方案
系统审计解决方案－案例
南方电网某省公司，今年来一直在进行旧系统的升级工程，“南网6+1工程”，大部分的 系统都是由各个外包开发公司承建，南网IT没有一直寻求一套，“黑盒变白盒”的测试和质量管理 工具，Jennifer的成功应用，真正站在了甲方角度，帮助客户进行IT的审计和质量评估。
140.1倍
南车株洲电力机车有限公司 功能点优化清单
序号
业务功能点
负责人
SQL 条目
优化前
耗时评估(单位:秒) 优化后
01 合并工序查询**
xxx
2
45.24
3.12
02 库龄分析表查询**
xxx
4
2241.11
11.72
03 需求计划反写
xxx
1
3.09
0.37
04 配件分解**
ຫໍສະໝຸດ Baidu
xxx
6
308.15