如何做可用性测试
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
招募用户
招募用户—用户数量 小样本:6-8人 统计学意义上的大样本:30人以上
招募用户—测试时间安排、用户报酬 测试时间安排
产品经理 每个用户的测试时间通常控制在1-2小时
一天可以在4个用户左右 9:00—10:30 10:40—12;10 2:30—4:00 4:10—5:40
用户报酬 外部用户 ✓ 现金:一般一次50-100元 ✓ 礼品:公司礼品、电话充值卡 用户公司内部员工 ✓ 小礼物、消费券 ✓ 公仔、文化衫等
6
可用性测试报告及解决方案
选择测试者
招募用户
产品经理
建立测试用户数据库
招募用户
用户的来源 ✓ 由于相关项目市场人员离客户最近,与客户关系最为密切。可由市场人员招募忠实度最好的用户; ✓ 在公司的业务网站上建立用户体验专区,发布邀请用户参与体验活动的招募信息;
产品经理
✓ 通过第三方市场调查公司进行招募,要求提供详细的用户定义和筛选标准给第三方公司; ✓ 通过公司客服招募用户,或者寻找身边的朋友、同学; ✓ 建立用户粉丝QQ群,或在微博上进行招募相关目; ✓ 每次可用性测试项目结束后,累计和更新测试用户信息,建立公司测试用户数据库;
观察 对象:典型用户; 目的:意在得到界面和易用性相关的详细信息; 通过观察找出界面可用性问题, 提出设计改进建议; 规模:少而精, 2人以上,一般6——12人。 方式:只是观察用户操作,不干扰用户,最好全程视频音频记录,每个用户60 分钟左右。可以是正式的实验室观察,也可以是非正式的观察。(根据产品实 际需求量定测试的规模大小,也可单独使用观察法。)
目录
1
制定可用性测试计划
2
选择测试者
产3品经理 准备测试材料
4
组织用户测试
5
数据分析与整理
6
可用性测试报告及解决方案
准备测试材料
背景问卷
任务场景设定
产品经理
测试调查问卷
制定测试脚本
数据采集表格
测试环境和相 应设备
背景问卷
用来收集用户的有关信息,以便在测试过程中更好地理解用户的表现。
网龄
……
上网环境
用户参与
选择测试方法——常用型
启发式评估 对象:可用性专业人员 目的:通过测试找出界面可用性问题,评定用户界面元素(如对话框,菜单,在线帮助等)是否符合启发 性可用性原则。 规模:专业人员数根据需求而定 方式:可用性专业人员根据已有的可用性原则,对界面进行逐一评估
认知走查法 对象:可用性专业人员 目的:逐步检查使用系统执行的过程,从中找出可用性问题。发现新用户使用系统时可能遇到的问题,尤 其适用于没有任何用户培训和系统。 规模:专业人员数根据需求而定 方式:可用性专业人员将自己“扮演”成为用户,通过一定的任务对界面进行检查评估。
根据了解到的业务目标人群,确定测试用户的类型 例如根据使用经验分为重度用户、轻度用户、潜在用户;例如一款手机软件根据其适配的平台进行用 户分类。
定义用户特征 – 性别、年龄、学历、收入
产品经理 – 公司业务产品使用经验
– 竞品使用经验 – 电脑、手机使用经验 – 上网经验
决定每类用户的数量 – 用户分类简单点,一般不要超过4类 – 如果本次测试的目的是在于发现产品的问题和挖掘用户的潜在需求,可以采取小样本,最好6-10名 – 每类用户应该至少2名
第二章 如何执行可用性测试
如何执行可用性测试
1
制定可用性测试计划
2
选择测试者
产3品经理 准备测试材料
4
组织用户测试源自文库
5
数据分析与整理
6
可用性测试报告及解决方案
制定可用性测试计划
前期沟通
测试用户定义
产品经理 熟悉业务
确定用户群体特征
拟定报告内容
确定项目需求
测试方法选择
前期沟通 产品经理
测试用户定义
如何设计任务场景
设计任务场景的注意事项
明确任务的目标 让任务听起来是真实的应用场景 避免似是而非的任务 交代场景时,言简意赅,不要用大篇幅文字来介绍场景 场景中涉及到用户的情绪、动机时,保持中立,不要有偏向 使用用户语言来描述任务场景,尽量避免专业术语 任务场景里不要有任何暗示性的线索,同样也避免提示用户小步骤操作 任务场景拿出来讨论、修改 注意控制测试时间,抓主要的测试任务 测试任务顺序先易后难 最好做一下预测试 每次测试完以后,发现了原有测试任务不合理,要及时修正;发现了新的测试点,要
什么是可用性测试
可用性测试也称为可用性评估,邀请真实用户或者潜在用户使用产品或者产品的设 计原型,对用户在使用过程中的行为进行观察、记录、测量和访谈,进而了解产品存在 的问题和用户的需求,并以此作为改进产品的出发点(该产品可能是一个网站,软件, 或者其他任何产品,它可能尚未成型。测试可以是早期的纸上原型测试,也可以是后期 成品的测试),我们最终是为了让产品用起来更容易。
一般要能够测到产品的信息架构、交互流程和交互细节。 ✓ 测试后访谈脚本 ✓ 用户基本信息记录 ✓ 用户基本信息调查问卷
制定测试脚本
可用性测试脚本撰写的原则 ✓ 测试目的、过程清晰明了 ✓ 访谈问题与测试目的相关 ✓ 测试任务设计符合产品操作流程,保证用户的理解都一致 ✓ 测试任务要考虑情景设计 ✓ 测试任务要保证用户在预定的时间内完成 ✓ 问卷调查一般在可用性测试之后进行,问题数量不能太多
在下一个用户测试中增加任务 测试任务之前注意预留5-10分钟的预热时间
设计任务场景——举例
设计测试任务
数据采集表格
准备好数据采集表格,以便采集用户数据和收集用户在测试中的感受、观点、建议等。
选择测试方法
区分评估技术的因素 我们至少能够确定八个区分不同评估技术的因素,从而有助于做出适当的选择。这此因素是: ✓ 进行评估的周期中的阶段 ✓ 评估的形式 ✓ 技术的主观或客观程度 ✓ 提供测量的类型 ✓ 提供的信息 ✓ 响应的有及性
产品经理 ✓ 蕴涵的干扰程度
✓ 需要的资源
测试方法的选择: 1) 测试目标 研究导向:证实与证伪,验证我的设计方案是否有利于用户;或比较两个或多个设计方案。比如:我发明了一个全新的技术, 我想知道用户对这个创新技术的反应,以确认它是否有价值。或我发明了一个可替代现有技术的新技术,我想知道它是否比现 有技术更有价值。 产品导向:发现问题,改善设计;证实产品达到可用性目标 2) 希望获取的数据的类型 量化数据 质性数据
✓ 将观察(所看到的和所听到的)与推论(对观察做出假设和结论)区别开来
✓ 有效地作笔记的方法
✓ 参与《测试计划》、《测试总结报告》;
测试主持人(测试负 负责全面控制测试,执行所有与测试用户的交谈,以及撰写任务报告等。 责人)
记录员 测试者或测试用户 工作人员 计算机操作员
摄像操作员
在可用性测试中记录测试用户操作感受并及时记录可用性问题,记录测试中的谈话内容、用户行为和 表情等
导航
内容
产品功能
测试的内容——评估指标
自变量:可以被研 究者操纵的变量
产品经理 因变量:随着自变
量的变化而变化的 用户行为
因变量:随着自变 量的变化而变化的 用户行为
测试的内容——评估指标
客观指标 出错、出错率 任务完成率 操作时间 操作路径长度 点击轨迹
主观指标 满意度 学习性 记忆性 控制感 …………
任务场景设定
场景描述 ✓ 一个简要的类似故事的环境描述,包括人物、时间、地点、目标 ✓ 使用用户的语言简单明了,不要模棱两可 ✓ 提供完成任务所需要的细节信息,例如测试帐号、密码
任务描述 任务需要能代表典型用户的行为,并且足够关注产品的单个特性(或者特性集)。选择测试任务的基本原则就是所选择的 测试任务要尽可能地代表系统的最终使用,可以基于任务分析或者基于产品用途说明。良好的任务应该具有以下特点: ✓ 合理性,任务是人们要做的典型事情; ✓ 具体性,为了让评估人之间保持一致,并让任务关注要测试的产品部分,任务应该有具体目标; ✓ 必须是完整可行的; ✓ 可以通过步骤来达成目标 ✓ 要按照产品的实际环节顺序; ✓ 不能给用户提供完成任务的步骤 ✓ 不能给出答案 ✓ 对任务安排的时长要合适。任务时长取决于三点:访谈总时长、结构以及要测试特性的复杂程度; ✓ 任务是在场景下完成的;尽量模拟用户的真实使用情况;一个场景下可以有多个任务。
参加测试的系统实际使用者
协助测试负责人(主持人和可用性工程师)测试过程全部工作 负责在测试之前,为每个新的测试用户准备交互初始界面和在系统崩溃、死机时进行重新启动等 处理。
✓ 对整个测试过程进行录像,包括开始的介绍和最后的任务报告部分 ✓ 如果使用了录音设备,还要照看好它们。
总目录
第一章
可用性测试基础介绍
招募用户
招募外部用户—注意事项
✓ 针对电话预约用户,打电话预约的时候告知我们不是推销电话,最好用一个统一的电 话
✓ 邀请用户参与活动的目标不是来测试他们,而是来获得用户反馈帮助产品提升 ✓ 告知用户测试访谈的内容、起始时间、地点等
产品经理 ✓ 测试结束后给予礼品或者现金报酬
✓ 告知会进行录像录音,并告知只是用于研究,绝不对外泄漏 ✓ 如果用户能够接受上述情况,则继续让用户回答问题进行筛选 ✓ 每确认好一个用户后,告知用户测试时间起始时间、行车路线等 ✓ 招募用户的数量最好有1-2个备选用户,以预防一些用户的临时变动 ✓ 具体测试时,用户研究员提前打电话或者短信通知,强调用户准时参与测试
10条可用性原则
角色与职责
角色
职责
✓ 评估小组中至少有一个成员是可用性专业人员。向所有的其他成员进行可用性测试流程培训
✓ 撰写可用性测试调查问卷
✓ 撰写可用性测试脚本
✓ 撰写可用性测试任务
可用性工程师(测试 ✓ 准备好在可用性测试期间如何与用户进行沟通客观观察的方法
负责人)
✓ 准备好聆听用户真实意图的方法
用户不参与
拟定报告内容
项目介绍
• 项目背景 • 项目需求
测试目的
• 找出问题 • 解决问题
测试用户
• 测试用户 资料
测试任务 • 任务内容
测试方法
• 方法使用 说明
测试结果
• 用户对产 品的评价 和结果
• 解决方案
目录
1
制定可用性测试计划
2
选择测试者
产3品经理 准备测试材料
4
组织用户测试
5
数据分析与整理
———针对互联网产品
如何做可用性测试
用户体验组:张曲儿
总目录
第一章
可用性测试基础介绍
第二章
如何执行可用性测试
什么是可用性
ISO对可用性的定义是一个产品被特定的用户在特定的环境下完成特定的任务的有效 性、效率和用户的满意程度。
通俗地讲,可用性是指产品可使用的程度,或者说是产品满足用户需求 的程度,可用性良好的产品一定是用户可以轻松使用的产品,最大限度地满 足用户使用需求的产品。
个人信息
网络爱好
制定测试脚本
可用性测试脚本要根据测试目的、测试对象的特点、任务设计、测试时间计划等来撰写。可用性测试 脚本一般包括以下几块内容: ✓ 测试对象 ✓ 测试过程 ✓ 测试准备 ✓ 用户测试介绍内容 ✓ 测试介绍及保密协议签署 ✓ 测试前访谈脚本 ✓ 测试任务设计,这部分内容是测试脚本最重要的内容。测试任务的设计需要根据测试目的来决定,
可用性测试的意义
了解产品的用户行为模式
给产品设计决策提供依据
节省开发时间
通过运行测试,提升更好的用户体验
产品经理 了解用户在执行任务时所存在的可用性问题
找出解决产品现已存在的可用性问题的有效方案
迭代修改
反馈
增强该产品在同类性质产品的核心竞争力
反馈
设计
测试的内容——维度
呈现
功能
交互
五个基 本维度
访谈
对象:典型用户;
产品经理
目的:意在得到界面和易用性相关的详细信息;
规模:少而精,大约10个用户;
方式:进行关于产品的交谈,实验人主导提问,全程音频记录,每个用
户60分钟左右。
有声思维 对象:典型用户 目的:意在得到界面和易用性相关的详细信息。 规模:少而精,大约10个用户 方式:观察用户操作的同时,请用户连续地将其操作动机讲出来,必要 的情况下,实验人附以提问,最好全程视频音频记录,每个用户60分钟 左右。
选择测试方法——常用型
对比实验 对象:典型用户; 目的:得到界面和易用性相关的详细信息,通过对比找出界面可用性问 题, 规模:少而精,大约10~12个用户; 方式:多组设计方案的可用性比较;
问卷 对象:所有能接触到的,也愿意回答问卷的用户。 目的:意在得到用户的一般信息,用户对产品易用性的整体感受。 规模:大面积铺开,这样才有统计意义。 方式:① 电子问卷,电脑上回答 ② 2~3页纸制问卷 ③ email方式 其中①是首选,其次是②,最不推荐③。