最新最全中国电信11年10000号服务质量第三方测评方案

中国电信2011年10000号服务质量测评方案
江苏省邮电规划设计院
2011年8月
目录
一、调研背景 (3)
二、测评内容和方案 (3)
1、测评方法 (3)
2、测评频次 (3)
3、数据采集 (4)
4、测评指标 (4)
5、测评得分算法 (5)
6、考核得分算法 (5)
三、拨测执行方案 (6)
1、拨测对象 (6)
2、拨测方法 (6)
3、样本框设计 (7)
4、拨测内容 (7)
5、拨测执行 (8)
6、拨测质量管控 (9)
四、项目研究成果 (11)
五、拨测问卷 (11)
相关附件： (11)
一、调研背景
为了及时了解、监控和促进江苏电信10000号电话客服台的服务水平及质量，并逐步形成同业比较优势，将10000号建设成为客户提供优质的差异化客户服务，进行客户交互及消费信息收集分析以及开展低成本、高效率、高效益营销活动的客服中心。

我院从2011年8月起开始对10000号进行服务质量拨测评价工作。

本次10000号的测评以客户感知为基础，从当地同业比较、内部运营能力纵向比较两个方面切入，注重基础性服务和提升性服务的双重发展。

在完善基础性服务的同时，努力提升重点套餐产品营销、差异化服务、宽带障碍预处理等方面的能力。

二、测评内容和方案
1、测评方法
我院对江苏省各个10000号客服台的测评主要通过第三方公司的电话神秘顾客调查法进行。

即我院委托第三方公司的拨测员每月以普通客户身份用固话、小灵通和手机等多种终端拨打各省电信的10000号客服台咨询业务，并根据事先设计的问卷对10000号客服台的接通情况及话务员的应答情况进行记录和评分。

2、测评频次
每月测评一次，以各个呼叫中心为单位随机抽查各本地网10000号，每月至少拨测800次以上，每次通话时间140S以上。

客户数排在各省级公司前列的大型本地网的10000号为重点测评对象，均度抽查中、小型本地网，但每个季度的测评会覆盖每个本地网。

所有被测评对象每次得分的考核权重相同。

3、数据采集
数据采集工作是整个拨测项目中最关键的一步。

为了确保拨测结果的客观公正性，我们采用了从客户角度出发的神秘顾客电话调查法收集数据。

神秘顾客调查法：指经过筛选和培训的拨测员以普通顾客的身份，在规定的时间到规定的地点提出特定服务需求，通过享受服务的过程，对服务地点的硬件、软件、人员做出的评估过程。

有时也称为黑客访问，或者俗称为暗访。

它适合连锁性质的服务机构和服务热线的服务水准评估。

由于被检查或需要被评定的对象，事先无法识别或确认“神秘顾客”的身份，故该拨测方式能真实、准确地反映客观存在的实际问题。

由于拨测内容和方法的特殊性决定了拨测员既是数据采集者也是评分者，为了确保每月执行拨测的100余名访员的评分结果相对具有更高的可比性，我们在评分机制上采用了三元评价法。

三元评价法：指拨测员的评分结果主要受到三个因素的影响，第一个因素是指标设计人员给出的较为明确的框架性评分规则；第二个因素是拨测员在每次拨测过程中对该次服务本身的个人主观感受；第三个因素是同一个拨测员在每一轮拨测过程中对不同客服台服务质量的横向比较。

4、测评指标
根据集团公司对拨测内容的规定和相关指导意见，考虑到指标体系的设计需要满足考核和分析研究两种需要，以及我们对10000号客服台服务质量工作的理解，我们设计了包括“接通能力”、“服务亲和力”、“在线处理能力”、“营销能力”四个10000号客服台服务质量拨测分析指标。

其中：
“接通能力”由“人工接通率”和“应答及时率”两个分指标组成；
“服务亲和力”由“礼貌程度”和“沟通技巧”两分指标组成；
“在线处理能力”是一个单项指标，重在考察人工座席话务员在对用户咨询的处理和故障预处理等过程中体现出来的对业务知识的掌握程度以及系统支撑能力等。

“营销能力”是一个单项指标，主要考察人工座席话务员主动营销意识和营销技巧，如：对“我的E家”，“天翼”等套餐产品的推介等将作为测评的重点之一。

为了使拨测结果具有历史可比性，测评指标体系具有相对稳定性。

除非出现新的情况和需求，一旦设计完成后，指标体系在一个拨测年度内将不再发生变化。

5、测评得分算法
测评时拨测员对拨测问卷的每个样本进行分别打分，打分以10分制计算。

通过拨测获得的数据主要包括以下几个类型：文字记录、类别数据、状态数据、评分数据。

接通能力测评得分为百分数，在线处理能力、营销能力和服务亲和力得分为10分制整数。

拨测人员根据被测台话务员的回答对在线处理能力、营销能力和服务亲和力给予打分。

本地网、省公司的各项测评指标的测评得分计算方法如下：
1、本地网：本地网的各项测评指标的测评得分由当地样本直接计算得到。

2、省公司：省公司的各项测评指标的测评得分由汇总该省所有参加测试的本地网样本直接计算，即不区分该省的各本地网，将各本地网的样本汇总计算。

6、考核得分算法
依据省公司各项测评指标的测评得分。

10000号考核得分=同业比较排名考核得分+营销能力考核得分。

具体如下：
1、同业比较排名考核得分算法
“接通能力”、“服务亲和力”和“在线处理能力”三项指标权重合计70%（接通能力权重15%;服务亲和力权重25%；在线处理能力权重30%），占考核分2.1
分。

根据月度各项测评指标的测评得分进行同业(移动10086、联通10010)比较，本省同业比较排名的考核得分计算规则见下表。

接通能力同业排名第一，得0.45；排名第二，得0.386；排名第三，得0.214。

若接通能力（接通率）≥85%则按同业排名第一算，不扣分，得0.45；接通能力（接通率）＜85%按同业比较排名计分。

服务亲和力同业排名第一，得0.75；排名第二，得0.643；排名第三，得0.357。

在线处理能力同业排名第一，得0.9；排名第二，得0.771；排名第三，得0.429。

2、营销能力考核得分算法
三、拨测执行方案
本项目拨测执行方案由的要求和指导进行设计。

1、拨测对象
全省电信公司3个10000呼叫中心及省内的中国联通10010号、中国移动10086号。

2、拨测方法
拨测过程采用神秘顾客电话暗访调查法，即拨测员以普通客户身份致电各地客服台咨询业务，并根据事先设计的问卷对客服台的接通情况及话务员的应答情
况进行记录和评分。

拨测员评分方法采用基于明确规则、顾客感受和同业对比的三因素评价法。

3、样本框设计
2011年8月至月，每个月的拨测样本数量为？个，全年总拨测样本数量为？个。

根据研究需要和质控需要，全部拨测样本需进行全程录音。

每个月的样本安排参见下表，详细样本安排参见
4、拨测内容
中国电信10000号客服台及其他运营商客服台的客户服务质量。

具体内容包括五大类：客服台的接通能力、在线处理能力、服务亲和力和营销能力。

（1）“接通能力”由“人工接通率”和“应答及时率”两个分指标组成；
（2）“在线处理能力”是一个单项指标，重在考察人工座席话务员在对用户咨询的处理和故障预处理等过程中体现出来的对业务知识的掌握程度以及系统支撑能力等；
（3）“服务亲和力”由“礼貌程度”和“沟通技巧”两分指标组成；
（4）“营销能力”是一个单项指标，主要考察人工座席话务员的营销意识和营销技巧，如：对“我的E家”等套餐产品的推介等将作为测评的重点之一。

这里需要强调的是：由于所有业务受理咨询和投诉电话的电话号码都会被客服台电脑系统自动记录，一旦该号码再次呼入，以前的用户咨询内容会被自动调出。

这种情况一旦发生，被拨测的话务员很可能会识别出神秘顾客的真实身份和意图，并对自己的服务进行相应调整，拨测结果也就失去了实际意义。

因此我们
在确定拨测内容和设计拨测题库时刻意回避了业务受理能力相关问题，以确保拨测结果的真实性。

5、拨测执行
（1）执行地点
（2）执行时间
（3）执行时段
（4）数据审核提交时间
（5）人员培训时间
（6）拨测问卷的题库
（7）拨测样本的录音及录音提供方式
（8）样本录音编码格式
（9）各样本问卷扣分原因说明
（10）执行处理规则
执行公司在拨测各地10000号客服台时，会遇到各种情景。

为了统一每个拨测人员的打分标准，我们提供部分情景处理规则。

这些处理规则需要执行公司在以后的执行中根据新情景不断补充。

A．在拨测中，如果10000号话务员对拨测人员提出的调查问题当时没有办法解决，话务员要求回拨或转接专席的时候，拨测人员不应扣分；如果转接专席服务不好，拨测人员可以扣分。

B．拨测时，第一次未接通，10分钟后还再拨测，第一次未接通要算有效的样本。

C．拨测人员对问卷中的每个问题都必须填写答案，不能空白，如果空白必须标注原因。

D．拨测人员在执行中遇到特殊问题，不得擅自处理，直接转接督导人员处理。

（11）拨测模拟号码
执行公司如果采用呼叫中心模拟号码执行，必须按月提交模拟号码使用授权证明和号码清单。

执行公司不得非法模拟和使用未授权电话号码。

如果擅自使用出现法律问题，由执行公司自负全责，
（12）拨测终端类型
拨测10000号时，要求60%的拨测所使用的电话号码属于当地中国电信（中国电信的公话和话吧电话除外），40%的属于移动和联通的手机。

拨测10010、10086时尽量使用该号码所属运营商的电话号码拨出。

6、拨测质量管控
数据采集工作的质量是决定整个拨测研究项目质量最关键的一环。

为了确保原始数据的质量，本项目针对数据采集环节设计了严格的质量控制措施。

（1）属地执行：为确保拨测结果的真实性，客服号的拨测需尽量在当地进行。

若在当地无法执行，则需要执行时模拟当地电话号码呼出。

例如在南京执行苏州10000号客服台的拨测，需要模拟显示区号的广州当地电话号码。

（2）人员安排：为降低拨测员个人因素对拨测结果的影响，我们规定每个拨测员每个月不得独自完成一个城市的所有样本。

拨测员每？个月进行一次更新。

10000号执行项目组？人，？个拨测人员（1人备用），？个项目秘书，？个数据审核人员，？个两级督导，？个项目主管。

每个拨测员各城市拨测样本数见下表。

（3）号码安排：为了减小拨测过程中被客服台系统自动识别的概率，每个月每个城市拨打同一客服号的电话不少于3部（不同号码）；拨测10000号时，要求60%的拨测所使用的电话号码属于当地中国电信（中国电信的公话和话吧电话除外），40%的属于移动和联通的手机，。

拨测10010、10086时尽量使用该号码所属运营商的电话号码拨出。

若为模拟被测当地号码执行，模拟号码需要符合以上规定。

（4）套拨安排：为了增强客服台拨测结果的同城可比性，拨测员在拨打省会城市的客服号码时，必须以4个客服台的4个号码为一组，由同一个人在同一天的同一个时段内完成。

（5）时段安排：为了增加拨测样本的代表性，同一个号码的多个样本必须平均分布在2个不同的拨测时段中，且尽量分配在不同天中完成。

（6）延时安排：为避免在繁忙时段连续拨叫造成不成功拨叫次数被不适当放大，当拨测员拨叫客服号码或转接人工坐席时遇忙时，将等待10分钟后再重拨。

（7）录音安排：为了便于管理和控制拨测样本的质量，我们将要求拨测员对拨测过程进行全程录音。

录音一方面可以确保拨测过程的真实性，以便各地电信调用比对；一方面也可以为特定的个案研究提供有价值的原始资料。

（8）信息记录：为确保拨测过程的真实性，我们在拨测问卷中设计了记录拨测员个人信息及访问过程相关信息的问题，如拨测员身份证号码、拨测开始和结束时间、拨测使用的电话号码（或模拟电话号码）、被访话务员工号等。

通过对这些信息与系统记录信息的比对，我们可以核实问卷拨测过程的真实性。

（9）回访制度：不同级别的质量管控人员将不定期地抽取一些拨测问卷对访员进行回访，以确认拨测过程的真实性。

对于拨测结果存在问题或者争议的问卷，我们将安排督导对拨测员进行复查，寻找确认问题原因和解决办法。

（10）考核制度：为确保拨测过程质量，所有的拨测员都要经过拨测技巧培训并进行试拨测合格后才能上岗工作。

一旦发现虚假样本，我们将对责任机构进行严厉惩处，相关拨测员和责任人将被终身免用。

四、项目研究成果
每月完成一期客服台服务质量拨测报告，包括《客服台服务质量拨测结论报告》、《客服台服务质量详细拨测结果》、《四客服台主要指标趋势对比》三大部分内容。

《客服台服务质量拨测结论报告》是对主要拨测结果进行图表描述和文字说明。

《客服台服务质量详细拨测结果》包括各个客服台各项考核指标的具体得分和排名。

《四客服台主要指标趋势对比》是以图表的方式显示4个客服台各项指标得分和排名形势，并对历史变化趋势进行描述和分析。

五、拨测问卷
针对四大类不同的拨测指标，我们设计了不同形式的拨测问题，包括客观记录题和包含一定主观判断成分的评分题。

同时，为确保拨测过程的真实性，我们在拨测问卷中设计了记录拨测员个人信息及拨测过程相关信息的问题，如拨测员身份证号码、拨测开始和结束时间、拨测使用的电话号码（或模拟号码）、被访话务员工号等。

拨测问卷的详细内容参见附件
相关附件：
11。