Google衡量用户体验的指标体系

Google衡量用户体验的指标体系

今时今日，越来越多的产品和服务被部署在网络上，如何大规模进行用户体验的衡量成为一个巨大的机遇和挑战，怎样设置以用户为中心的指标来衡量网络应用中关键目标的转化过程，或者推动产品决策成为一个我们想探究的问题。在这篇文章中，Google 给我们带来了他们目前正在使用的，以用户为中心度量的HEART指标体系，以及把产品目标与创建指标体系相互关联的过程。本文也包含了应用HEART指标，同时从数据驱动以及从用户为中心的角度出发，帮助产品团队决策的实例。该指标体系及其使用过程已经被Google内部各产品团队广泛认同，我们相信其他组织也能够在使用它的过程中受益。

作者关键词（Author Keywords）

指标,网站分析,网络应用,日志分析

学术分类关键词（ACM Classification Keywords）

H.5.2 [信息呈现]:评估用户交互界面的方法

一般关键词

实验,人为因素,测量

引言

WEB技术的进步使得越来越多的服务基于WEB去创建，用户可以在“云端”完成很多的工作，包括那些以前需要在本地运行的程序，如文字处理、照片编辑等。对于用户体验专家来说，需要利用服务器访问日志来跟踪产品的使用情况。依靠外部的工具，比如A/B测试工具来

进行版本的迭代。但是如何以用户体验为中心的准则进行比较？如何挑选试用的指标？中间存在哪些机遇呢？

在CHI社区，不论进行小规模的测试或进行大规模的调查，都已经有了一个测量用户态度（例如满意度）的方法。但在行为数据方面，建立的测量大多规模很小，使用问卷或计时的形式进行测试，例如效果（任务完成度、出错率）和效率（任务时间）。

CHI报告中未涉及的一块重要内容是基于大规模用户行为的数据分析指标。现在网站分析的潮流也已经从原来单纯的分析页面点击，演变为分析关键绩效指标。但是主要还是以商务为中心进行分析的，而不是以用户体验为中心。一些网站分析工具提供的指标大多太过笼统或只适用于电子商务网站，并不针对所有网站。

Google创建了一个新的分析用户态度和行为的用户体验指标体系。我们利用百万用户数的基础以及根据自身经验打造该体系，使其能适应大公司不同类型多种产品（面向用户/业务

中心）的需求。我们发现该体系已能满足Google自身产品及流程的需求，我们也相信其他公司的团队也能够使用这一体系。同时我们也期望在大规模用户行为数据挖掘方面，有更多的研究成果出现。

相关研究

近年来已然有很多工具来帮助网站应用和服务跟踪分析：免费或收费的分析工具(Google Analytics/Omniture)；利用现代分布式系统(简化数据处理/Apache Hadoop)或者特化的程序语言(Parallel Analysis)对大量日志数据进行用户分析；根据用户行为对访客群体进行细分的网络数据挖掘技术(Web User Traffic Composition)；很多供应商均提供的用户调查与易用性测试（UserZoom）以及可控的A/B测试等。

除开实施与使用过程的因素，如何有效率的使用这些工具仍然存在很大挑战。标准的网站分析指标对于特定的某些产品目标或者研究课题显得太过一般化。在压迫性的巨量数据面前，如何分离出有效的数据，如何指导商业行为与决策是很困难的。很多专家建议关注少数关键性业务指标或者用户指标，利用他们监测商业活动，但我们在实践中发现说起来容易做起来难，产品团队不会告诉你，也未必能清晰的定义目标是什么，因此让选择监测指标十分困难。(好吧，我想到了Google Wave——ysy.me)

很显然这些指标不能单独拿来用，它们应当配合其他信息来源使用，比如配合可用性报告和实地考察来帮助决策。同样的，它们对于线上的产品也十分有用，对于早期用户探索的作用是无可替代的。因此，我们想要探索出一个整合大规模用户行为和趋向数据的体系，用于补充公司现有的用户体验研究方法。

1、传统的网站衡量指标PULSE

Page view/页面浏览量

∙Uptime/响应时间

∙Latency/延迟

∙Seven days active user/7天活跃用户数

∙Earning/收益

PULSE是基于商业和技术的产品评估系统，被很多组织和公司广泛应用于跟踪产品的整体表现。

这些指标非常重要，并且和用户体验息息相关，比如一个产品如果经常访问无响应或者延迟很高是无法吸引用户的。一个电子商务网站的下单流程如果步骤过多就很难赚到钱。一个用户体验佳的产品在PV和用户量上应当是会不断增长的。

但是这些指标要么太表面化，要么只是间接和用户体验相关，很难用来评估改变交互界面对于用户的影响。并且他们也经常产生负面的互相影响——比如一个特定功能页面的PV上升可能是由于这个功能真的很棒，或是界面让用户迷惑，而想通过不断的点击尝试离开。改变所带来短期的价值提升，但糟糕的用户体验长期来说会造成用户的流失。

在一段特定时期内的用户指标数，例如七天活跃用户数(Seven days active user)常常被用做用户体验指标。该指标度量了整个用户群，但没有反映用户对于产品的深入程度，比如七天之内来访的频数，同样它也没有区分新老用户群体。在最糟糕的情况下，100%的活跃用户都是新访客，但活跃用户总数仍在不断增加，这对于产品来说显然是失败的。

2、以用户为中心的指标体系HEART

基于PULSE中存在的不足，结合用户体验质量以及让数据更有实际意义的需求，我们提出了一个作为补充的度量体系：HEART。

∙Happiness/愉悦度

∙Engagement/参与度

∙Adoption/接受度

∙Retention/留存率

∙Task success/任务完成度

这五项仅仅是指标体系的范畴，不同的产品可据此定义具体的指标，用以监控完成目标的过程。

愉悦感结合用户的满意度来度量，任务完成度结合任务完成的效果和效率来度量。参与度、接受度、留存率是全新的范畴，一般通过广泛的行为数据来制定。通常并不适合在一个指标设定中用到所有维度，但可以参考该体系来决定是包括或排除某个维度。比如用户是要将使用你的产品作为工作的一部分，在这种企业环境下参与度就没有什么意义了。在这个案例中可以考虑选择愉悦感或者任务完成度。