测试报告_ISR41
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
呼叫导航主观识别效果数据:
通过实际电话流程进行测试,体验号码:5373052
测试人员
导航正确率
识别总句数
开始
系统提示:
对不起,没有听清
系统提示:
……请问有什么可以帮您?
是否有结果
系统提示:
播报识别结果无识别结果
有识别结果
测试人员:
说出业务说法
并发路数LastRespTime
TotalTimeNet TotalTime
THREADS-
RECOG
THREADS-
COMPUTE max avg
90 0.828 0.0671 34.719 44.36 89.9496 78.2992 90 1.578 0.3334 60.188 69.64 89.6992 71.6624 90 3.075 1.0328 65.313 75.282 89.4024 63.6808
高配上:
LastRespTime
TotalTimeNet TotalTime THREADS-
RECOG
THREADS-
COMPUTE
caps
max avg
2.094 0.6037 57.453 69.922 59.9993 45.0881 24.3677
1.938 0.2109 195.5 203.86 14.9978 1
2.5025 7.1611 Beam为默认值。
高配上:
LastRespTime
TotalTimeNet TotalTime THREADS-
RECOG
THREADS-
COMPUTE
caps
RecTimeRatio
max avg max 0.39 0.1313 115.187 128.703 1 1 0.4341 6.3648
Beam=-150:高配上:LastRespTime
TotalTimeNet TotalTime THREADS-
RECOG
THREADS-
COMPUTE
caps
RecTimeRatio
max avg max
标配上:ISR41
LastRespTime
TotalTimeNet TotalTime THREADS-
RECOG
THREADS-
COMPUTE
caps
RecTimeRatio
max avg max
网络版数据:LastRespTime
TotalTimeNet TotalTime THREADS-
RECOG
THREADS-
COMPUTE
caps
RecTimeRatio
Global
RecTRatio
avg max avg
0.2097 614.968 619.172 1 1 0.0813 0.8082 0.4633 0.2437 81.844 86.75 5 3.4632 1.2218 2.1284 1.3232
Callog打开:
并发路数LastRespTime
TotalTimeNet TotalTime
THREADS-
RECOG
THREADS-
COMPUTE
caps
RecTimeRatio
Global
RecTRatio max avg max avg
1 0.39 0.1328 114.297 126.688 1 1 0.4375 6.2733 2.593 0.3963 5 0.375 0.1521 43.063 54.5 5 4.4 2.322
2 6.231
3 2.4205 0.4208 10 0.906 0.2145 271.84
4 283.797 10 8.7266 5.1
5 10.8792 2.4431 0.423 15 0.938 0.2312 184.125 196.75 15 12.8845 7.6035 10.7751 2.4188 0.4265 20 1.172 0.256
6 140.406 152.782 20 17.158
7 9.9711 10.0812 2.3844 0.431
8 25 1.157 0.2686 114.21
9 125.766 25 21.4836 12.2572 10.3677 2.3657 0.4351 30 1.125 0.2748 95.969 107.829 30 25.6679 14.588 10.0256 2.3584 0.4359 35 1.219 0.2803 83.171 95.844 35 29.7934 16.8328 9.6332 2.3525 0.4367 40 1.36 0.3093 74.297 86.844 40 33.5441 18.8433 9.3392 2.3226 0.4427 45 1.453 0.3677 67.953 79.907 45 36.8716 20.6025 9.3392 2.2648 0.4547
缺陷统计和分析
缺陷修复状态满足验收指标(有2个bug000059和000063已修复但开发尚未来得及回复。
) 缺陷平均打开关闭时间为15.5天,关闭不是很及时,主要是第一个版本和第二个版本构建间隔较长,而且前期开发处于密集开发阶段,暂无人力修bug。
编码引起的缺陷还是占绝大多数的。
新增wfst解码器引起的bug都体现在各个识别功能模块和识别效果中。
缺陷修复状态
分析:
整体来说,本项目的bug平均关闭周期还是有点偏长,平均为15.5天。
主要是前期开发人员忙于解码器开发以及效果一致性对比,无人力对bug进行修复,等开发完成,才进入bug的修复工作。
分析:。