4G移动互联网用户感知测试
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3
Service Test的概念
Service Test是移动宽带常用的一种测试方法，类似于GSM中的CQT。目的是衡量 一个网络的基础性能（而不是终端用户感知）。Service Test通常将探针部署在 具有代表性的站点下，或者直接部署与机房中。
典型应用场合：
网络的标准化测试（建立KPI）
例如：每个eNodeB下部署一台探针
移动互联网用户感知测试
目录
4G数据网络的感知分析和优化 系统部署和应用
基于移动式探针的测量方案 基于商业终端的测量方案 两种方案混合组网配置
移动互联网资源管理
从宽带网络到移动宽带网络
• 大量流量被封装在App里，用户感知分析和故障排查非常困难
– 各种业务广泛采用Native App实现，App产品复杂度较高，易受手机硬件、网络环 境、其他软件等因素影响，相应产生的投诉量也较多
如果能够通过大量手机用户帮助我们测试用户感知，则可以对整个网络进行分析， 产生全网的用户感知透视，相当于CT扫描
可以得到哪些信息
90% 的用户24小时机不离身
无线信号质量
大量的手机用户可以帮助 我们进行测量
业务感知
地理位置
网络状态
用户在各种场景下使用手机上网的比例都超过50%，其中八成手机网民在家中利用手机上网，六成的手 机网民在乘坐交通工具时候使用手机上网，只要有0.01%的智能手机用户安装了具有测量功能的App，就 能够超过广东移动多年部署的所有拨测点。
• LTE用户的测速需求较高，可以 成为4G用户感知支撑的辅助手段
App的用户感知测试
通过提取一组目标建立App的感知模型：
连接时间，重传，吞吐率等
对需要验证的App采用客户端输入 采用用户自愿选择监控目标的原则 驻留，悬浮，即时运行多种方式
目录
4G数据网络的感知分析和优化 系统部署和应用
系统技术架构
后台用户感知视图
目录
4G数据网络的感知分析和优化 系统部署和应用
基于移动式探针的测量方案 基于商业终端的测量方案 两种方案混合组网配置
移动互联网资源管理
移动互联网测试探针
1
安卓和嵌入式Linux双系统，保证系
统的长时间、安全、稳定运行；可
高灵敏度天线
以测试各种业务应用和App
谢谢!
– 并记录用户的使用偏好，来提升应用软件的可用性，迎合用户的喜好。拓展了中国移动实现 互联网业务的端到端监控和客户行为分析能力。
MobileIQ 软件探针
支持预安装或后安装模式 提供全面的移动互联网感知分析 自我诊断和上报功能 全面的App感知监控功能 用户行为分析
LTE的测速和分析
• 获取客户端侧问题数据困难
– 传统用户体验指标性数据收集局限于服务器端日志、用户现场访谈，无法真实、零 干扰地反映客户端侧数据
• 缺乏用户行为统计数据，资源调度和优化缺少支撑
– 移动互联网流量无法采集用户使用行为信息，进而无法有效改进业务用户体验，资 源调度的分析和优化目标难以确立
从宽带到移动宽带
业务感知统计 故障事件处理 竞争分析 主动测试 数据备份和导入 导出 用户管理
广东移动的方案-与客服系统结合
1
网络感知端到端 KPI
通过终端侧程序可以采集获取端到端的数据业务KPI，精确了解数据网络的客户感知，为网络 优化和运营提供数据支撑。
2
投诉预处理
通过网络体检功能，可以解决一部分由于手机配置及无线信号弱引起的投诉，手机侧上传的 网络体检分析报告和错误日志可以为投诉处理提供参考。
可选内置频谱仪
可加插SIM卡或连接SIM池
2
4
220V交流（AC）; 16V直流（DC)供电; 支持PoE供电;电池供电
Compact Flash启动，无机械接触 宽温工作：-20°C 最高70°C
支持10/100/1000M自适应以太网 电口、GPRS/TD/WLAN/TD-LTE 4种 接口模式
– 无需对用户进行现场访谈，无干扰用户，即可获得准确数据
• 为第三方应用数据提供支撑
– 统一搭建的业务质量数据收集、分析平台，可复用到众多的第三方应用上，增加移动平台开 发服务的吸引力，降低其使用成本
• 拓展互联网业务能力
– 采用用户客户端嵌入信息采集器的方式，来对用户客服端的业务质量进行监控，获取用户的 业务真实感受；
基于移动式探针的测量方案 基于商业终端的测量方案 两种方案混合组网配置
移动互联网资源管理
一体化的解决方案
通过定点部署专用探针+下载安装手机探针的部署方式完成移动互联网用户感知覆盖
业务感知信息：
登陆和离线 用户感知矩阵 丢包和延迟
视频体验信息：
下载速度信息 缓存时间信息
业务故障信息：
断好坏 • 宣传有LTE热点的地方无法接入
北京移动碰到的问题
测速结果不准确，未能达 到LTE峰值状态
插入大量广告
无法掌握后台数据
Speedtest: 12.93 Mbps 实际测试： 22.42 Mbps
大量测速App给用户带来的困扰
移动互联网感知测试方案
• 网络性能 • Attach和PDP性能（延迟和成功率） • IP网络时延，丢包和抖动 • RFC5357 (TWAMP)
– 各种业务产生的投诉众多，其中涉及网络速度、音源质量、软件稳定性、流量费、 资费争议和软件设计等；问题现象及原因多种多样
– DPI系统识别高层应用流量流向越来越困难，面向感知维护的功能被严重削弱 – 产生问题场景再现复杂，需要询问客户，查询日志，甚至需要回到问题场景所在地
所在时段进行问题复现，但很难真实还原当时客户端所反映出的情况
• 网络时延和丢包
IDC
ICP服务
Cache
集团出口和 第三方出口
CDN
云平台
运营商核心网
宽带接入
客户端
• IDC/Cache性能 • 出口性能 • 资源调度
移动宽带接入
• 有效接入带宽
需要对整个移动宽带进行端到端质量分析
• 终端性能和浏览 器性能
质量感知测试系统的目标
资源
负载均衡 Web服务器 资源位置 应用服务出器口质量 数据库 存储设备 流量效率 中间件
• 7X24测试 • 故障检测 • 随机测试 • 巡检模式
目录
4G数据网络的感知分析和优化 系统部署和应用
基于移动式探针的测量方案 基于商业终端的测量方案 两种方案混合组网配置
移动互联网资源管理
系统实施的概念
远程自测试/受控测试的移动互联网测量终端
控制Βιβλιοθήκη Baidu心和数据存储
通过智能终端的计算能力实现用户自测试和感知采集
下载故障 缓存故障 访问服务器故障
客户端主动测试信息：
客户端测速和业务缺陷反馈 客户端诊断，CPU，内存，电池等系统信息
端到端网络质量：
网络吞吐量，网络瓶颈测试 当前无线网络和数据网络连接状态信息
业务感知标准化测试：
业务感知对比和验证； KPI考核和测试
数据接收
数据解析
数据存储
数据多维度分析
宽带接入
客户端 文件上传/下载速度
运营端商到核心端网用户业务感知
Web页面打开时间 VOIP/视频播放质量
移动宽带接入
无线信号/位置
在移动宽带的感知测试中，测试重点向网络两端迁移
4G移动宽带感知特有的问题
• 测速感觉没有宣传的那么快 • 视频网站用浏览器看着挺好，用App看就会有问题 • 随便一个应用在DPI上面就有十多个个TCP连接，不知道如何判
3
故障辅助定位
当使用用户数量较大时，可呈现地理区划的批量用户真实宏观拨测数据，为故障定位提供参 考。
用户投诉准确分析和关怀
上海移动的方案-完全基于手机
通过巡检任务发放控制测量点
目录
4G数据网络的感知分析和优化 系统部署和应用
基于移动式探针的测量方案 基于商业终端的测量方案 两种方案混合组网配置 移动互联网资源管理
对比测试
例如：电信/移动各部署一台探针
特定客户/大客户质量保障（SLA）
例如：为每个视频监控点部署探针
故障拦截测试
例如：为故障投诉人员提供测量参考
探针实现的4G网络的标准化端到端测试 ITU Y.1564
Y.1564是面向基于以太网的服务的开通、故障诊断方面的 ITU-T 最新标准。通过该标准单次测试即可完整验证以太 网服务等级协议 (SLA) ，并且具有最高精度。此标准在探 针中主要用于以太网链路的质量测量，同时在PTN，移动 回传网，大客户接入网络中起到重要作用。
• 终端性能 • 手机CPU，内存和电池消耗 • 手机队列长度
• 用户感知分析 • Web感知分析 • 视频感知分析 • 其他App感知分析
• 用户投诉处理 • 客户端自测试 • 反馈和服务
• 测试设备部署
• 基于Service Test模式的专用探针 • 智能终端测试App • AP/PCU/RNC/eNodeB核心网仿真 • 监测模式
基于智能终端的感知测试
• 辅助解决自有业务质量问题
– 提供涵盖手机硬件、网络环境等多个问题涉及环节的监控数据，定性定量地反映出现质量问 题时的场景，便于排查问题原因
– 无需客服人员深度介入，减少客服反馈环节及工作量
• 收集客户端侧用户行为数据
– 从手机客户端侧收集包括网速、客户端操作响应速度、程序崩溃、重试次数等涉及用户感知 的数据
目录
4G数据网络的感知分析和优化 系统部署和应用
基于移动式探针的测量方案 基于商业终端的测量方案 两种方案混合组网配置
移动互联网资源管理
基于商业终端的感知测试
如何测量手机App的应用感知？
业务感知拨测：从运营商到客户
通过现有的互联网拨测对用户感知进行测试，起到抽样的作用，目标是产生网络感 知的KPI，相当于听诊器
Service Test的概念
Service Test是移动宽带常用的一种测试方法，类似于GSM中的CQT。目的是衡量 一个网络的基础性能（而不是终端用户感知）。Service Test通常将探针部署在 具有代表性的站点下，或者直接部署与机房中。
典型应用场合：
网络的标准化测试（建立KPI）
例如：每个eNodeB下部署一台探针
移动互联网用户感知测试
目录
4G数据网络的感知分析和优化 系统部署和应用
基于移动式探针的测量方案 基于商业终端的测量方案 两种方案混合组网配置
移动互联网资源管理
从宽带网络到移动宽带网络
• 大量流量被封装在App里，用户感知分析和故障排查非常困难
– 各种业务广泛采用Native App实现，App产品复杂度较高，易受手机硬件、网络环 境、其他软件等因素影响，相应产生的投诉量也较多
如果能够通过大量手机用户帮助我们测试用户感知，则可以对整个网络进行分析， 产生全网的用户感知透视，相当于CT扫描
可以得到哪些信息
90% 的用户24小时机不离身
无线信号质量
大量的手机用户可以帮助 我们进行测量
业务感知
地理位置
网络状态
用户在各种场景下使用手机上网的比例都超过50%，其中八成手机网民在家中利用手机上网，六成的手 机网民在乘坐交通工具时候使用手机上网，只要有0.01%的智能手机用户安装了具有测量功能的App，就 能够超过广东移动多年部署的所有拨测点。
• LTE用户的测速需求较高，可以 成为4G用户感知支撑的辅助手段
App的用户感知测试
通过提取一组目标建立App的感知模型：
连接时间，重传，吞吐率等
对需要验证的App采用客户端输入 采用用户自愿选择监控目标的原则 驻留，悬浮，即时运行多种方式
目录
4G数据网络的感知分析和优化 系统部署和应用
系统技术架构
后台用户感知视图
目录
4G数据网络的感知分析和优化 系统部署和应用
基于移动式探针的测量方案 基于商业终端的测量方案 两种方案混合组网配置
移动互联网资源管理
移动互联网测试探针
1
安卓和嵌入式Linux双系统，保证系
统的长时间、安全、稳定运行；可
高灵敏度天线
以测试各种业务应用和App
谢谢!
– 并记录用户的使用偏好，来提升应用软件的可用性，迎合用户的喜好。拓展了中国移动实现 互联网业务的端到端监控和客户行为分析能力。
MobileIQ 软件探针
支持预安装或后安装模式 提供全面的移动互联网感知分析 自我诊断和上报功能 全面的App感知监控功能 用户行为分析
LTE的测速和分析
• 获取客户端侧问题数据困难
– 传统用户体验指标性数据收集局限于服务器端日志、用户现场访谈，无法真实、零 干扰地反映客户端侧数据
• 缺乏用户行为统计数据，资源调度和优化缺少支撑
– 移动互联网流量无法采集用户使用行为信息，进而无法有效改进业务用户体验，资 源调度的分析和优化目标难以确立
从宽带到移动宽带
业务感知统计 故障事件处理 竞争分析 主动测试 数据备份和导入 导出 用户管理
广东移动的方案-与客服系统结合
1
网络感知端到端 KPI
通过终端侧程序可以采集获取端到端的数据业务KPI，精确了解数据网络的客户感知，为网络 优化和运营提供数据支撑。
2
投诉预处理
通过网络体检功能，可以解决一部分由于手机配置及无线信号弱引起的投诉，手机侧上传的 网络体检分析报告和错误日志可以为投诉处理提供参考。
可选内置频谱仪
可加插SIM卡或连接SIM池
2
4
220V交流（AC）; 16V直流（DC)供电; 支持PoE供电;电池供电
Compact Flash启动，无机械接触 宽温工作：-20°C 最高70°C
支持10/100/1000M自适应以太网 电口、GPRS/TD/WLAN/TD-LTE 4种 接口模式
– 无需对用户进行现场访谈，无干扰用户，即可获得准确数据
• 为第三方应用数据提供支撑
– 统一搭建的业务质量数据收集、分析平台，可复用到众多的第三方应用上，增加移动平台开 发服务的吸引力，降低其使用成本
• 拓展互联网业务能力
– 采用用户客户端嵌入信息采集器的方式，来对用户客服端的业务质量进行监控，获取用户的 业务真实感受；
基于移动式探针的测量方案 基于商业终端的测量方案 两种方案混合组网配置
移动互联网资源管理
一体化的解决方案
通过定点部署专用探针+下载安装手机探针的部署方式完成移动互联网用户感知覆盖
业务感知信息：
登陆和离线 用户感知矩阵 丢包和延迟
视频体验信息：
下载速度信息 缓存时间信息
业务故障信息：
断好坏 • 宣传有LTE热点的地方无法接入
北京移动碰到的问题
测速结果不准确，未能达 到LTE峰值状态
插入大量广告
无法掌握后台数据
Speedtest: 12.93 Mbps 实际测试： 22.42 Mbps
大量测速App给用户带来的困扰
移动互联网感知测试方案
• 网络性能 • Attach和PDP性能（延迟和成功率） • IP网络时延，丢包和抖动 • RFC5357 (TWAMP)
– 各种业务产生的投诉众多，其中涉及网络速度、音源质量、软件稳定性、流量费、 资费争议和软件设计等；问题现象及原因多种多样
– DPI系统识别高层应用流量流向越来越困难，面向感知维护的功能被严重削弱 – 产生问题场景再现复杂，需要询问客户，查询日志，甚至需要回到问题场景所在地
所在时段进行问题复现，但很难真实还原当时客户端所反映出的情况
• 网络时延和丢包
IDC
ICP服务
Cache
集团出口和 第三方出口
CDN
云平台
运营商核心网
宽带接入
客户端
• IDC/Cache性能 • 出口性能 • 资源调度
移动宽带接入
• 有效接入带宽
需要对整个移动宽带进行端到端质量分析
• 终端性能和浏览 器性能
质量感知测试系统的目标
资源
负载均衡 Web服务器 资源位置 应用服务出器口质量 数据库 存储设备 流量效率 中间件
• 7X24测试 • 故障检测 • 随机测试 • 巡检模式
目录
4G数据网络的感知分析和优化 系统部署和应用
基于移动式探针的测量方案 基于商业终端的测量方案 两种方案混合组网配置
移动互联网资源管理
系统实施的概念
远程自测试/受控测试的移动互联网测量终端
控制Βιβλιοθήκη Baidu心和数据存储
通过智能终端的计算能力实现用户自测试和感知采集
下载故障 缓存故障 访问服务器故障
客户端主动测试信息：
客户端测速和业务缺陷反馈 客户端诊断，CPU，内存，电池等系统信息
端到端网络质量：
网络吞吐量，网络瓶颈测试 当前无线网络和数据网络连接状态信息
业务感知标准化测试：
业务感知对比和验证； KPI考核和测试
数据接收
数据解析
数据存储
数据多维度分析
宽带接入
客户端 文件上传/下载速度
运营端商到核心端网用户业务感知
Web页面打开时间 VOIP/视频播放质量
移动宽带接入
无线信号/位置
在移动宽带的感知测试中，测试重点向网络两端迁移
4G移动宽带感知特有的问题
• 测速感觉没有宣传的那么快 • 视频网站用浏览器看着挺好，用App看就会有问题 • 随便一个应用在DPI上面就有十多个个TCP连接，不知道如何判
3
故障辅助定位
当使用用户数量较大时，可呈现地理区划的批量用户真实宏观拨测数据，为故障定位提供参 考。
用户投诉准确分析和关怀
上海移动的方案-完全基于手机
通过巡检任务发放控制测量点
目录
4G数据网络的感知分析和优化 系统部署和应用
基于移动式探针的测量方案 基于商业终端的测量方案 两种方案混合组网配置 移动互联网资源管理
对比测试
例如：电信/移动各部署一台探针
特定客户/大客户质量保障（SLA）
例如：为每个视频监控点部署探针
故障拦截测试
例如：为故障投诉人员提供测量参考
探针实现的4G网络的标准化端到端测试 ITU Y.1564
Y.1564是面向基于以太网的服务的开通、故障诊断方面的 ITU-T 最新标准。通过该标准单次测试即可完整验证以太 网服务等级协议 (SLA) ，并且具有最高精度。此标准在探 针中主要用于以太网链路的质量测量，同时在PTN，移动 回传网，大客户接入网络中起到重要作用。
• 终端性能 • 手机CPU，内存和电池消耗 • 手机队列长度
• 用户感知分析 • Web感知分析 • 视频感知分析 • 其他App感知分析
• 用户投诉处理 • 客户端自测试 • 反馈和服务
• 测试设备部署
• 基于Service Test模式的专用探针 • 智能终端测试App • AP/PCU/RNC/eNodeB核心网仿真 • 监测模式
基于智能终端的感知测试
• 辅助解决自有业务质量问题
– 提供涵盖手机硬件、网络环境等多个问题涉及环节的监控数据，定性定量地反映出现质量问 题时的场景，便于排查问题原因
– 无需客服人员深度介入，减少客服反馈环节及工作量
• 收集客户端侧用户行为数据
– 从手机客户端侧收集包括网速、客户端操作响应速度、程序崩溃、重试次数等涉及用户感知 的数据
目录
4G数据网络的感知分析和优化 系统部署和应用
基于移动式探针的测量方案 基于商业终端的测量方案 两种方案混合组网配置
移动互联网资源管理
基于商业终端的感知测试
如何测量手机App的应用感知？
业务感知拨测：从运营商到客户
通过现有的互联网拨测对用户感知进行测试，起到抽样的作用，目标是产生网络感 知的KPI，相当于听诊器