第三方应用测试点及使用说明 v1.2
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
测试点编号
测试点
1
基本项
2
主要功能
3
基本体验
4
影响应用的设置
5
如有登录帐号
6
对于网络应用
7 8 9
如果支持流媒体 如果支持语音 如有widget工具
10
如果有调用
11
并发与冲突
12 13 14 15 16 17 18 19
导航/地图类 SNS类 Game类 多媒类应用 浏览器 搜索类 推送类(内容或消 息更新) 同步工具
优先级
备注
高
高
高
高
中ቤተ መጻሕፍቲ ባይዱ
中
低 中 高
高
高
中 中 中 中 中 中 中
中
中 中 高
高
高
中
低
低 低 高
高（海外项目）
高（海外项目）
20 21 22
支付类 电子书类 卸载
23
在线升级
24
安装
25
容错
26
压力
27 28 29 30 31
稳定性 性能及稳定性 数据读写
海外产品
乐商店
说明 1. 检查应用的版本号，检查点: 1.1 PVT评审及以后的手机软件版本上第3方应为正式版本，不能是测试版且含有测试字样 1.2 确认应用是否和被测设备的IMEI/MEID号绑定,若绑定，则确认在正确号段内该应用可以使用,在 非正常号段该应用不能使用 1.3 应用的版本号在应用内部和程序管理中应保持一致 2. 在乐安全/安全卫士等预置的安全软件中进行查杀,被测设备中的预置应用不能被乐安全预置的安全 软件查杀出有安全风险 3. 应用已安装且未启动时,检查应用安装的数据位于用户指定的位置(若用户可选择具体的安装位置) 1. 启动 (从"菜单") 2. 退出 (应用的退出键、系统的退出键和"home"键): 在应用的任意界面随机操作 3. 返回 (返回到桌面,返回到上一级,进行任务管理器后再回到应用): 在应用的任意界面随机操作 4. 取消 在执行应用的任意功能时, 若提供取消功能, 则均需验证相应的功能能正常取消 5. 修改应用的设置后, 验证该设置在相应的功能上生效 6. 验证所有看得到菜单中对应界面上的功能都能正常实现 7. 在个主要功能界面,等待屏幕进入暗屏(不进入待机状态),尝试再次点亮屏幕 8. 帮助信息或使用向导等具有说明性的文档, 检查点: 8.1 帮助信息和使用向导中的文字均正确且表意准确 8.2 验证文档中的说明的相应功能可以正常实现 8.3 按照使用向导的提示,相应的功能能按照使用向导中的结果正确实现 1. 文字显示清晰，字体大小适当 2. 不能有错字,包括界面、关于和帮助 3. 文字易于识别 4. 不能出现"Wi-Fi"字样,以及通过认证的蓝牙图标 5. 所有显示图标的图标装饰必须为圆形 6. 能正常支持多点触控 1. 情景模式: 检查情景模式的切换,是否会影响到应用的使用,应用的设置是否能遵循情景模式设置 2. 待机: 在应用使用过程中可以正常进入待机模式,且能从待机模式再次回到应用并使用正常 3 背光: 检查应用对于背光的使用是否遵循屏幕待机时间设定原则(除媒体播放器、带有重力感应的应 用及权限声明背光长亮的应用外) 4. 亮度: 应用的设置是否能遵循系统亮度的设置 5. 旋转屏幕方向: 需在应用使用过程中切换横竖屏显示并验证应用的功能使用和显示正常 6. 推送: 设置并检查应用接收的推送信息的时间是否正确 7. 安全: 安全: 分别激活、不激活"未知来源，尝试安装该软件的不同版本，但不能从乐商店中获取并 安装。 8. 时间: 更改系统的时间格式和日期格式,不影响应用中的时间和日期格式显示 9. 语言(中英文/简繁体/多语言等): 在应用使用过程中切换系统语言,切换后,应用功能使用、显示内容 均正常 (对支持英文或其它语言的应用有效) 10. 输入法:在应用使用过程中,切换不同的输入法,应用功能使用、显示内容均正常,且相关输入法有效 11. GPS: 验证应用的基于位置的服务对GPS的调用 除使用已有帐号直接登录，还需要在该应用中新注册一个帐号并登录，并确认两种情况均使用正常 1. 网络断开(无SIM卡或飞行模式), 应用功能相关提示正确 2. 在产品指定运营商网络下(E/TD/W/GSM 2G/3G): 使用正常, 无法连接时,会提示用户 3. WiFi: 设置Wi-Fi且可正常使用后, 本应用立即转到Wi-Fi连网, 无法连接时,会提示用户 4. 测试设备已连接Wi-Fi网络(不管该Wi-Fi网络是否有效),应用均不应自动从Wi-Fi切换到2G/3G (除非 系统提示会产生用户数据流量) 产品所支持的各类流媒体都可以正常打开。基本测试地址: rtsp://218.204.223.237:554/live/1/66251FC11353191F/e7ooqwcfbqjoo80j.sdp) 支持语音播放时, 验证语音的基本音效和准确度，并考虑使用男声普通话、女声普通话、准普通话等 (由测试员主观评估) 验证widget与主应用的关联、数据同步、自动更新、更新及时性、增删widget正常等
1. 对关键器件的调用正常, 且在应用退出后, 器件也正常关闭, 检查点: 1.1 Camera,GPS,BT 1.2 P-Sensor,G-Sensor,陀罗仪,电子罗盘, 1.3 SPK,有线耳机,音箱,蓝牙耳机2.0 1.4 T卡(包括可插拔或焊在主机内的T卡) 2. 对本地资源(系统中或T卡中的音频、视频、图片、铃音等)的调用,浏览正常 3. 对其它应用的调用正常,应用是否可以与预置应用或其他三方应用正常交互(如通话、短信分享、输 入法使用、分享等) 1. 当手机来电、来短/彩信、日程提醒、闹钟、BT连接、低电报警等,应用应支持高优先级事件发生,且 不出现异常(例如: 后台在录音过程中,接收来电) 2. 应用使用过程中插拔数据线或耳机等,不出现异常 3. 应用处于后台时，进行通话、播放音视频、上网、情景设置等操作 1、除静态功能测试外,务必增加运动中的导航和搜索测试（如需车载导航,可请外场团队协助） 2、在充电时,验证导航/地图类的基本功能 1.除了保证其它的通用测试点,在测试过程中，还要保持在一个活动的群里测试 2.对多媒体对象能够正常显示、上传和下载 至少完成一关,同时关注显示效果和音效(在玩过游戏后，音量和屏幕亮度应与使用前一致) 参考“多媒体模块用例” 参考"浏览器模块用例" 1. 对允许搜索的部分,可以正常搜索并返回结果,并检查搜索结果的准确性(没有多余的信息,也没有漏掉 的信息) 检查更新频率与客户端设置的是否正确 1 对PC端,需要对常用操作系统（XP/Vista）进行兼容性测试 2 在使用USB或Wi-Fi连接PC时，从PC端操作时手机能正确响应和同步 3 在导入/导出后数据不产生错误和遗漏 (如:通讯录中1000个联系人/信息中的1000条信息/通话记录中 的1000个记录能够正确的导入和导出) 1、在产品指定相应运营商网络(2G和3G)及Wi-Fi环境下测试支付功能是否正常 2、支付过程包括：费用足额、费用不足、续费、付费过程中网络中断,并确认支付状态 1、验证所支持的文档格式能正常阅读 2、针对付费书籍，下载一本将检查是否支付是否正常，下载的书是否正常阅读 1. 除特殊说明不能卸载的,所有预置的第三方应用必须能够被用户卸载。卸载方式是直接长按应用卸 载、在设置中卸载。 2. 执行恢复出厂设置时,预置的第三方应用可被恢复(GB产品可能不会被恢复,ICS产品可以) 1. 支持在线升级,且用户可以选择升级或不升级 2. 有提示需要升级的应用,必须升级 3. 所有支持在线升级的应用,需要保证升级前,升级失败(执行完回滚操作后)和升级后的版本功能正常 4. 所有支持在线升级的应用,如果有离线升级包,则下载离线升级包,对现有应用进行升级,升级后应用能 正常使用 5. 与VPM确认,若升级的版本不在此产品上集成,则仅需保证升级后用户之前的设置和数据不丢失 1. 在卸载后,可重新安装原应用,若能继承保存的原应用数据,则在安装后,需检查原应用数据的正确性 (如果有APK或乐商店中有,则执行) 2. 可以从本地安装改为安装在T卡(如果测试设备支持此功能,则需要测试) 3. 如果有第三方应用安装包,进行基本信息检查,比如安装包格式、应用所包含的图片、文档、应用名 1. 在非正常操作(如:强制退出/取消操作/使用无效功能/强制终止读写操作/重启/掉电等)后，应用可以 正常使用 2. 在输入错误内容(例如: QQ的账号中不能输入中文等非数字内容)后，应用可以正常反馈 考虑使用工具： 1. 非正常环境下(如:弱场/无网络信号等)，对该应用进行最基本的操作（打开、一项最主要功能操作、
考虑使用工具： 1. 连续进行应用的启动/退出操作25次,之后应用的相关功能可以正常使用 2. 应用运行界面,连续进行耳机的插/拔操作25次,之后应用的相关功能可以正常使用 3. 应用运行界面,连续用数据线与PC连接/断开操作:25次,之后应用的相关功能可以正常使用 4. 应用运行界面,连续横竖屏切换操作25次,之后应用的相关功能可以正常使用 5. 应用运行界面,连续中英文或简繁体切换操作25次,之后应用的相关功能可以正常使用 6. 应用的重要操作重复执行25次 7. 重要的冲突操作与应用并发25次 8. 应用中大数据量的吞吐操作 1: 与内置和外置SD卡,USB和wifi通过PC套件连接PC后,双向大数据量,且多并发(同时发起多个数据 交换)数据交换 2: 与SIM和USIM卡的短时间内,大量的数据交换(复制或删除大量联系人或信息) 3: 通过网或wifi建立同步后,发起的大量的同步数据交换(信息,联系人,待办事项,应用等) 考虑使用工具： 1、长时间随机性操作 考虑使用工具： 1、各应用进入、响应、退时的时间，应用启动后的功耗、CPU、内存占用情况(可选) 1、测试设备通过USB在PC端向测试设备的内置存储和外置存储读写数据后，验证测试设备内部存储中 数据的有效性 验证: 1、在对应国家的语言下,检查系统的基本配置(跟据"海外版多国家配置"检查"时区","信息配置","接 入点配置","紧急电话") 2、在对应国家的语言下,应用主要功能的使用 验证: 安装或更新乐商店时,不再提示需要设置“未知来源”,直接安装或更新乐商店
测试点
1
基本项
2
主要功能
3
基本体验
4
影响应用的设置
5
如有登录帐号
6
对于网络应用
7 8 9
如果支持流媒体 如果支持语音 如有widget工具
10
如果有调用
11
并发与冲突
12 13 14 15 16 17 18 19
导航/地图类 SNS类 Game类 多媒类应用 浏览器 搜索类 推送类(内容或消 息更新) 同步工具
优先级
备注
高
高
高
高
中ቤተ መጻሕፍቲ ባይዱ
中
低 中 高
高
高
中 中 中 中 中 中 中
中
中 中 高
高
高
中
低
低 低 高
高（海外项目）
高（海外项目）
20 21 22
支付类 电子书类 卸载
23
在线升级
24
安装
25
容错
26
压力
27 28 29 30 31
稳定性 性能及稳定性 数据读写
海外产品
乐商店
说明 1. 检查应用的版本号，检查点: 1.1 PVT评审及以后的手机软件版本上第3方应为正式版本，不能是测试版且含有测试字样 1.2 确认应用是否和被测设备的IMEI/MEID号绑定,若绑定，则确认在正确号段内该应用可以使用,在 非正常号段该应用不能使用 1.3 应用的版本号在应用内部和程序管理中应保持一致 2. 在乐安全/安全卫士等预置的安全软件中进行查杀,被测设备中的预置应用不能被乐安全预置的安全 软件查杀出有安全风险 3. 应用已安装且未启动时,检查应用安装的数据位于用户指定的位置(若用户可选择具体的安装位置) 1. 启动 (从"菜单") 2. 退出 (应用的退出键、系统的退出键和"home"键): 在应用的任意界面随机操作 3. 返回 (返回到桌面,返回到上一级,进行任务管理器后再回到应用): 在应用的任意界面随机操作 4. 取消 在执行应用的任意功能时, 若提供取消功能, 则均需验证相应的功能能正常取消 5. 修改应用的设置后, 验证该设置在相应的功能上生效 6. 验证所有看得到菜单中对应界面上的功能都能正常实现 7. 在个主要功能界面,等待屏幕进入暗屏(不进入待机状态),尝试再次点亮屏幕 8. 帮助信息或使用向导等具有说明性的文档, 检查点: 8.1 帮助信息和使用向导中的文字均正确且表意准确 8.2 验证文档中的说明的相应功能可以正常实现 8.3 按照使用向导的提示,相应的功能能按照使用向导中的结果正确实现 1. 文字显示清晰，字体大小适当 2. 不能有错字,包括界面、关于和帮助 3. 文字易于识别 4. 不能出现"Wi-Fi"字样,以及通过认证的蓝牙图标 5. 所有显示图标的图标装饰必须为圆形 6. 能正常支持多点触控 1. 情景模式: 检查情景模式的切换,是否会影响到应用的使用,应用的设置是否能遵循情景模式设置 2. 待机: 在应用使用过程中可以正常进入待机模式,且能从待机模式再次回到应用并使用正常 3 背光: 检查应用对于背光的使用是否遵循屏幕待机时间设定原则(除媒体播放器、带有重力感应的应 用及权限声明背光长亮的应用外) 4. 亮度: 应用的设置是否能遵循系统亮度的设置 5. 旋转屏幕方向: 需在应用使用过程中切换横竖屏显示并验证应用的功能使用和显示正常 6. 推送: 设置并检查应用接收的推送信息的时间是否正确 7. 安全: 安全: 分别激活、不激活"未知来源，尝试安装该软件的不同版本，但不能从乐商店中获取并 安装。 8. 时间: 更改系统的时间格式和日期格式,不影响应用中的时间和日期格式显示 9. 语言(中英文/简繁体/多语言等): 在应用使用过程中切换系统语言,切换后,应用功能使用、显示内容 均正常 (对支持英文或其它语言的应用有效) 10. 输入法:在应用使用过程中,切换不同的输入法,应用功能使用、显示内容均正常,且相关输入法有效 11. GPS: 验证应用的基于位置的服务对GPS的调用 除使用已有帐号直接登录，还需要在该应用中新注册一个帐号并登录，并确认两种情况均使用正常 1. 网络断开(无SIM卡或飞行模式), 应用功能相关提示正确 2. 在产品指定运营商网络下(E/TD/W/GSM 2G/3G): 使用正常, 无法连接时,会提示用户 3. WiFi: 设置Wi-Fi且可正常使用后, 本应用立即转到Wi-Fi连网, 无法连接时,会提示用户 4. 测试设备已连接Wi-Fi网络(不管该Wi-Fi网络是否有效),应用均不应自动从Wi-Fi切换到2G/3G (除非 系统提示会产生用户数据流量) 产品所支持的各类流媒体都可以正常打开。基本测试地址: rtsp://218.204.223.237:554/live/1/66251FC11353191F/e7ooqwcfbqjoo80j.sdp) 支持语音播放时, 验证语音的基本音效和准确度，并考虑使用男声普通话、女声普通话、准普通话等 (由测试员主观评估) 验证widget与主应用的关联、数据同步、自动更新、更新及时性、增删widget正常等
1. 对关键器件的调用正常, 且在应用退出后, 器件也正常关闭, 检查点: 1.1 Camera,GPS,BT 1.2 P-Sensor,G-Sensor,陀罗仪,电子罗盘, 1.3 SPK,有线耳机,音箱,蓝牙耳机2.0 1.4 T卡(包括可插拔或焊在主机内的T卡) 2. 对本地资源(系统中或T卡中的音频、视频、图片、铃音等)的调用,浏览正常 3. 对其它应用的调用正常,应用是否可以与预置应用或其他三方应用正常交互(如通话、短信分享、输 入法使用、分享等) 1. 当手机来电、来短/彩信、日程提醒、闹钟、BT连接、低电报警等,应用应支持高优先级事件发生,且 不出现异常(例如: 后台在录音过程中,接收来电) 2. 应用使用过程中插拔数据线或耳机等,不出现异常 3. 应用处于后台时，进行通话、播放音视频、上网、情景设置等操作 1、除静态功能测试外,务必增加运动中的导航和搜索测试（如需车载导航,可请外场团队协助） 2、在充电时,验证导航/地图类的基本功能 1.除了保证其它的通用测试点,在测试过程中，还要保持在一个活动的群里测试 2.对多媒体对象能够正常显示、上传和下载 至少完成一关,同时关注显示效果和音效(在玩过游戏后，音量和屏幕亮度应与使用前一致) 参考“多媒体模块用例” 参考"浏览器模块用例" 1. 对允许搜索的部分,可以正常搜索并返回结果,并检查搜索结果的准确性(没有多余的信息,也没有漏掉 的信息) 检查更新频率与客户端设置的是否正确 1 对PC端,需要对常用操作系统（XP/Vista）进行兼容性测试 2 在使用USB或Wi-Fi连接PC时，从PC端操作时手机能正确响应和同步 3 在导入/导出后数据不产生错误和遗漏 (如:通讯录中1000个联系人/信息中的1000条信息/通话记录中 的1000个记录能够正确的导入和导出) 1、在产品指定相应运营商网络(2G和3G)及Wi-Fi环境下测试支付功能是否正常 2、支付过程包括：费用足额、费用不足、续费、付费过程中网络中断,并确认支付状态 1、验证所支持的文档格式能正常阅读 2、针对付费书籍，下载一本将检查是否支付是否正常，下载的书是否正常阅读 1. 除特殊说明不能卸载的,所有预置的第三方应用必须能够被用户卸载。卸载方式是直接长按应用卸 载、在设置中卸载。 2. 执行恢复出厂设置时,预置的第三方应用可被恢复(GB产品可能不会被恢复,ICS产品可以) 1. 支持在线升级,且用户可以选择升级或不升级 2. 有提示需要升级的应用,必须升级 3. 所有支持在线升级的应用,需要保证升级前,升级失败(执行完回滚操作后)和升级后的版本功能正常 4. 所有支持在线升级的应用,如果有离线升级包,则下载离线升级包,对现有应用进行升级,升级后应用能 正常使用 5. 与VPM确认,若升级的版本不在此产品上集成,则仅需保证升级后用户之前的设置和数据不丢失 1. 在卸载后,可重新安装原应用,若能继承保存的原应用数据,则在安装后,需检查原应用数据的正确性 (如果有APK或乐商店中有,则执行) 2. 可以从本地安装改为安装在T卡(如果测试设备支持此功能,则需要测试) 3. 如果有第三方应用安装包,进行基本信息检查,比如安装包格式、应用所包含的图片、文档、应用名 1. 在非正常操作(如:强制退出/取消操作/使用无效功能/强制终止读写操作/重启/掉电等)后，应用可以 正常使用 2. 在输入错误内容(例如: QQ的账号中不能输入中文等非数字内容)后，应用可以正常反馈 考虑使用工具： 1. 非正常环境下(如:弱场/无网络信号等)，对该应用进行最基本的操作（打开、一项最主要功能操作、
考虑使用工具： 1. 连续进行应用的启动/退出操作25次,之后应用的相关功能可以正常使用 2. 应用运行界面,连续进行耳机的插/拔操作25次,之后应用的相关功能可以正常使用 3. 应用运行界面,连续用数据线与PC连接/断开操作:25次,之后应用的相关功能可以正常使用 4. 应用运行界面,连续横竖屏切换操作25次,之后应用的相关功能可以正常使用 5. 应用运行界面,连续中英文或简繁体切换操作25次,之后应用的相关功能可以正常使用 6. 应用的重要操作重复执行25次 7. 重要的冲突操作与应用并发25次 8. 应用中大数据量的吞吐操作 1: 与内置和外置SD卡,USB和wifi通过PC套件连接PC后,双向大数据量,且多并发(同时发起多个数据 交换)数据交换 2: 与SIM和USIM卡的短时间内,大量的数据交换(复制或删除大量联系人或信息) 3: 通过网或wifi建立同步后,发起的大量的同步数据交换(信息,联系人,待办事项,应用等) 考虑使用工具： 1、长时间随机性操作 考虑使用工具： 1、各应用进入、响应、退时的时间，应用启动后的功耗、CPU、内存占用情况(可选) 1、测试设备通过USB在PC端向测试设备的内置存储和外置存储读写数据后，验证测试设备内部存储中 数据的有效性 验证: 1、在对应国家的语言下,检查系统的基本配置(跟据"海外版多国家配置"检查"时区","信息配置","接 入点配置","紧急电话") 2、在对应国家的语言下,应用主要功能的使用 验证: 安装或更新乐商店时,不再提示需要设置“未知来源”,直接安装或更新乐商店