基于情绪识别的自闭症儿童亲子产品功能设定

文章编号：2095－6835（2022）02－0045－03
基于情绪识别的自闭症儿童亲子产品功能设定＊
谢黎，叶锐文
（东莞理工学院，广东东莞523808）
摘要：从情绪反馈需求的角度出发，结合情绪识别的设计方法对自闭症儿童（ASD儿童）亲子产品的功能设定展开讨论，为自闭症儿童相关产品设计研究提供参考。

根据ASD儿童的行为特点，提出利用眼动仪进行情绪识别，并针对ASD儿童的视觉注意区域和情感交流互动进行相关功能设定，通过传感器、计算机学习、虚拟投影、声交互等技术进行整理、反馈、输出，以此为自闭症儿童亲子产品提供更多更高情绪反馈质量的功能设定。

关键词：情绪识别与反馈；功能设定；自闭症儿童；亲子产品
中图分类号：TB21；TB472文献标志码：A DOI：10.15913/ki.kjycx.2022.02.013
随着人们对产品情感需求的不断增强，如何在产品的使用中，能通过情感识别让产品更好地与用户互动，且让使用者体会到更多的情感反馈，这是对当下产品设计的巨大挑战。

与此同时，这无疑也是冷冰冰的技术与人的情感之间的耦合需求。

常规的产品情感设计方法，主要通过情感模型来对设计对象进行情感判定，主要参照基本情感模型来进行主观划分，这类设计方法很大程度上依靠测试者的经验判断以及设计师的体验能力，缺少一定的情感生理过程的论证。

如何更好地进行情绪识别，进而关注人群的情感特征，是本文讨论的出发点。

本文对应了特殊的人群，让这样的方法论更体现出一定的社会意义与价值。

1情绪识别的设计研究方法现状
本文主要的研究基础是以情绪识别模型为依据的客观交互方法作为研究对象，主要基于一定的生理变化来对情绪变化进行模型的组件，进而为情绪识别提供基础数据。

由于人的自然属性，其情绪情感变化必然与生理变化紧密相连，区别在于程度、形式、关联性等多方面因素。

结合不同的生理变化，也可以得到不同的维度及区分度。

通过生理信号来识别情绪特征，总体逻辑是建立一个能自动识别与情感相关的生理模式系统的第一步。

从广义上说，所有的身体变化都可以被认为是生理信号变化，包括大脑活动、面部表情、声音模式和身体化学反应[1]。

近几年来，基于对情感模型实验论证的基础需求，加上检测技术的不断更迭，综合应用情绪识别逻辑的设计方法也得到了越来越多的验证与实践。

情绪识别主要分为主观情绪识别以及客观情绪识别，在识别的基础上进行评估测量。

主观情绪识别是基于早期情感模型进行的迭代演变，建立有一定样本基础的识别模型，将被试者的情绪变化对应到模型参数，从而形成对应关系，用来描述被试者的心理情绪状态。

这样的评估与反馈的方式，有赖于情感模型维度划分的有效性，但实践中，不一定能很好地精准对应情绪变化。

维度越大，可区分性越高；反之，只能作为基础分类，对于真实的社会人群需求，相应的产品场景、人物特征而言，就显得相对薄弱。

客观情绪识别则依托相关设备对被试者进行实时的信息反馈来分析情感，这样得到的反馈有更好的针对性。

2自闭症儿童在亲子产品功能设定
2.1表现形式设定
以养成方式作为ASD儿童亲子双方的互动桥梁。

首先基于ASD儿童对卡通情境中人物头部、眼睛等区域给予更多注视，而对真实情境中人物身体区域给予更多注视；ASD儿童对卡通情境中人物情绪的指认得分显著高于真实情境中的指认得分[2]；再者，考虑ASD 儿童对于动态表情的识别率高、识别时间短（相对于3D、2D的静态表情）的特征，尝试把虚拟投影的角色（养成角色）设定为二次元人物，以此兼顾卡通情境以及动态表情，有利于ASD儿童更好地进行识别，以
——————————————————————————
＊项目支持：广东省哲学社会科学规划一般项目“基于情绪识别的ASD儿童产品设计方法研究”（批准号：GD20CYS03）；东莞市社会科技发展一般项目“基于眼动信号的产品情感设计系统研发”（编号：2019507140531）. All Rights Reserved.
·45·
此提高可使用性以及ASD儿童的信心（ASD儿童在信心测试中普遍成绩偏低），同时也可以吸引ASD儿童的注意力。

2.2场景功能设定
养成对象与使用者的行为发生关联，使用者包括ASD儿童及亲子对象。

第一类场景，父母或者其他使用者与产品进行互动，养成物进行反馈进而刺激ASD儿童去模仿。

反馈特征可以是积极的表情回复，也可以是音乐，或者多种交互结合。

此类设定基于ASD儿童对于积极的表情图片会表现出更多的关注，音乐也有同样的效果。

第二类场景，互动游戏。

此类场景主要以象征性、假想性的互动游戏，亲子进行。

此类设定对于ASD儿童的感知觉能力有一定锻炼，父母既是参与者同时也是引导者，在游戏中提升互动性，提升ASD儿童的社交能力。

第三类场景，发展性功能的互动。

此类场景需要他人深度互动开展相应的活动。

大部分设定为运动类互动，比如棒球运动。

可以借鉴手持型游戏机投影体感交互。

亲子状态的互动，不仅可以增强亲子关系，有感情有目的地进行双向沟通，更有助于ASD儿童体会社交关系，进一步适应社交体验。

此外也有利于提升创造力，培养一定的逻辑思维。

2.3互动功能设定
假设在功能设定中，ASD儿童与父母有一个共同的养成对象（当双方在合作的背景下可以会有更好的互动），当父母与养成对象进行互动时，产品通过眼动技术收集ASD儿童的观察区域，若观察区域在养成物或者父母身上时，可以作出相应的正向情绪识别与反馈。

如果多次观察区域都不在这上面可以产生相应的负向情绪反馈。

这里的互动可以是指多方面的，例如父母与养成物打招呼、提问等，通过这种方式诱导或教ASD儿童一些日常的用语——基于模仿的行为特征。

此外，还可设定互动游戏的加入。

养成物可以变化成一些抽象的物体比如几何体，让ASD儿童与父母进行想象游戏。

在互动功能设定中，结合以视觉位平台的界面交互模式。

通过必要的基础界面交互对养成物进行状态互动，包括外形、声音设置等，并根据眼动技术记录眼球观察区域以及时间节点内使用者的状态变化。

例如让养成物变化为动物，当眼动记录到ASD儿童的观察区域在这个变化的形态上时，可以作出相应的情绪反应，比如发出该动物的声音。

如此，以训练ASD儿童的认识能力。

这一个用法可以和对应场景相互呼应。

文中所提到的正向情绪反馈主要针对遵循自然规律下的成长，包括长大、长高、变胖等，同时包括开心（不同程度笑并发出笑声等）、唱歌、跳舞、献花、挠痒痒、打滚等。

负向的情绪反馈包括伤心、哭、变小变矮、叉腰嘟嘴、背向转身等。

情绪识别与反馈路径示意图如图1所示。

图1情绪识别与反馈路径示意图
3结合不同载体的自闭症儿童产品功能设定
3.1以眼动仪技术为载体的功能设定
如何针对对应的群体、场景、人物特征等作综合评判，下面将以ASD儿童为对象，结合对应的技术背景，做几种功能的初步设定。

目前眼动仪主要集中在科学研究场合，相比较民用设备而言，其科学研究意义大于民用。

从眼动仪的运行功能来看，以ASD儿童为对象，更能发挥其功能设定。

通过观测眼动情况，来对其情绪进行有效采集。

根据眼部的眼动指标，例如注视时间、眼跳情况、回视情况等，来对注意力的集中情况等做基础评判，结合早期模型做相应的情绪识别，tobii公司的眼动追踪，目前已经可以很好地完成此类的研究。

功能推演有如下设定：当眼动仪有相应的反馈识别，分辨出ASD儿童的正面情绪（开心、兴奋等）注意力的集中等情况时，可以把这些信号转换成量1，这个量1去影响养成对象的状态（强化状态）。

相应的若出现了负面情绪或者激怒的情绪时，同样转换成一个量2，这个量2可以改变养成对象的状态（弱化状态）。

不足之处在于，眼部观测基于设备与眼部的“交流”。

ASD儿童的眼部趋避情况，使其通过眼部展开的情绪识别与评估略有难度。

如何得到相对更有效的结果，从而提供更有价值的情绪评判，这将是核心问题。

再一个功能推演是将ASD儿童的观察区域可视化出来，让亲子对象知道ASD儿童的注意力集中的区域。

父母与ASD儿童同步的注意提示更可能支持儿童对物体的注意[3]。

可视化观察区域可以让亲子对象更准确地找到ASD儿童的注意点，以此提高互动质量。

触发事件
使用者
生理测量工具
生理与情感数据模型
情绪识别情绪反馈
第三方/接受方
. All Rights Reserved.
·46·
3.2以投影技术以及声交互为载体的功能设定
以投影技术为最终输出载体的功能设定，是配合一定的情绪测量，主要的设定是使用是通过“养成”的方式来搭建双方的桥梁。

主要核心功能为眼动监测、全息投影、声音交互。

眼动监测如第一点指出的观测眼动情况。

投影技术主要用于设定为投影出养成对象。

投影是核心功能设定也是最主要的交互功能设定。

在投影功能方面，狗尾草公司的“琥珀”已开发到一定的程度。

养成方面的设定为两大类，设定的养成类常规为某一种动物或类人的形象等。

其中的养成状态一类为正向的反馈，如成长（长大、变胖）、开心（不同程度笑并发出笑声）、唱歌、跳舞、献花、挠痒痒、打滚等；另一养成状态为负向的反馈，如伤心、哭（同笑那样）、变小只、叉腰嘟嘴、背向儿童等。

其次，声音交互主要是语音对话，分成两大类，主动对话与被动对话。

主动对话的功能类似于手机的智能语音系统，例如：Siri，对提问者（可以是ASD儿童、父母、其他）的问题进行回复或者执行相关指令。

比如当ASD儿童哭闹、处于激怒的状态时，父母可以让该养成对象唱歌来平复ASD儿童。

这只是列举了一种用途，其他的用途可以参照。

父母可以通过鼓励ASD儿童多和养成对象对话一定程度的来训练他说话的能力。

被动对话功能设定主要是基于开机时的基础对话。

3.3以传感器技术为载体的功能设定
以用户为中心的可穿戴产品设计实践，产品可通过模拟感官反馈，如触觉、视觉又或者是听觉来表达用户情感。

通过模型计算把情感转变成信号再结合相关传感器表达出来，使得用户感受到这种感受。

这类可穿戴系统可用于有特殊需要的人的治疗。

在早期的研究中，实践者结合情绪刺激尝试对患有精神病的儿童进行镇定作用[4]、监测ASD儿童惊恐发作等[5]临床实践。

这种情况也可以应用于父母和ASD儿童之间在表达情感上有困难的情感交流。

由于这些父母无法通过其面部表情、手势或声调轻松地理解其子女的心理状态，因此可以创建可穿戴系统，以更直接的方式将ASD儿童的情感传递给其父母。

这为设计多增加了一条路：表达ASD儿童的感受[6]。

3.4以深度学习技术为载体的功能设定
机器人的深度学习技术为个性化服务提供重要支持。

许多自闭症患者具有非典型且异常多样化的表达情感-认知状态的方式[7]，个性化的机器学习可以为互动带来更好的体验。

4小结
本文的主旨是希望以ASD儿童亲子产品功能设定
为例在一定程度上梳理基于情绪反馈需求的情绪识别的设计方法研究。

前文提到的眼动技术是该产品重要的设备技术，主要根据眼动仪用于记录眼球的观察区域以及时间这一特点为核心技术支持。

另外包括虚拟投影技术，也是为了进一步将情绪反馈的实现通过可识别的状态体现出来。

而机器人的深度学习是为了辅助捕获ASD儿童的情绪，补充眼动仪获取之外的数据，使得投影反馈时更有针对性。

除此之外的常用技术功能，类似声音交互、传感器等，将贯穿整个产品的使用。

ASD儿童通常在社交、语言、兴趣方面存在障碍，这使得他们在与正常世界交流时十分吃力。

通过眼动仪的测量获取ASD儿童眼动数据并利用计算机进行情绪分析，结合虚拟投影、传感器、声交互等技术进行反馈输出，让产品作为父母与ASD儿童之间的翻译器，以期在一定程度上改善ASD儿童家庭的生活质量。

同时通过此次产品功能的设定，探索出情绪识别及反馈的设计方法的基本思路：收集、整理、反馈、输出。

参考文献：
［1］张乐凯.基于生理信号数据的产品设计与用户体验研究［D］.杭州：浙江大学，2018.
［2］张坤，高磊，袁艺双，等.自闭症儿童对卡通与真人动态社会情境的视觉注意特点研究［J］.广西
师范大学学报（哲学社会科学版），2020，56（3）：
120-127.
［3］美娜，孙玉梅.自闭症谱系障碍儿童的早期亲子互动研究［J］.中国特殊教育，2020（5）：47-53.［4］GRANDIN T.Calming effects of deep touch pressure in patients with autistic disorder，college students,
and animals［J］.Journal of child and adolescent
psychopharmacology，2009，2（1）：63-72.［5］VAUCELLE C，BONANNI L，ISHII H.Design of haptic interfaces for therapy［C］//Proceedings of the
27th international conference on human factors in
computing systems，2009.
［6］YA VUZ S U，BORDEGONI M，CARULLI M.A design practice on communicating emotions through
sensory signals［J］.Concurrent engineering:research
and applications，2018，26（2）：147-156.［7］RUDOVIC O，LEE J，DAI M，et al.Personalized machine learning for robot perception of affect and
engagement in autism therapy［DB/OL］.
［2021-12-27］.https:///public
ation/322950256_Personalized_Machine_Learning_
（下转第50页）
. All Rights Reserved.
·47·
·50·
本文选取的进口断面为第一级台阶前宽顶堰上的收缩断面，出口断面为最后一级台阶之后0.5m 处，流速分布较为均匀，故可选取α1、α2为1。

经过计算，1—9号溢洪道的消能率如图4所示。

从图4（b ）可以看出，位置1和位置2（水平面中线之前和中线上）随着σ的增加，消能率先增大后减小；
位置3（水平面中线之后）随着σ的增加，消能率先减小后增加。

从图4（c ）可以看出，σ不变时，随着尾坎位置向下游移动，消能率增加，σ=1/2时，增加幅度很小，位置3相对于位置1仅增加2.4%，σ=1/3和σ=2/3时，增加幅度很大，位置3相对于位置1分别增加了11.6%和17.3%。

（a ）1—9号消能率（b ）σ-消能率（c ）位置-消能率
图4
消能率
3结语
本文采用数值模拟方法对坎式阶梯溢洪道进行了研究，得出如下结论：①当尾坎位置不变时，随着σ的增大，流态的类型并未发生改变；当σ不变时，随着尾坎位置的后移，流态趋近于滑行流。

②当尾坎位置不变，σ变化时，掺气效果无明显的变化规律；当σ不变时，随着尾坎位置后移，掺气效果变好。

③当尾坎位置不变，σ变化时，位置1和位置2（水平面中线之前和中线上）随着σ的增加，消能率先增大后减小；位置3（水平面中线之后）随着σ的增加，消能率先减小后增加；当σ不变时，随着尾坎位置后移，消能率增加。

参考文献：
［1］FELDER S ，CHANSON H.Aeration ，flow
instabilities ，and residual energy on pooled stepped spillways of embankment dams ［J ］.Journal of irrigation and drainage engineering ，2013，139（10）：880-887.
［2］王承恩，张建民，李贵吉.阶梯溢洪道的研究现状
及展望［J ］.水利水电科技进展，2008，28（6）：89-94.
［3］OHTSU I ，YASUDA Y.Characteristics of flow
conditions on stepped channels ［R ］.Proceedings of 27th IAHR congress ，1997：583-588.
［4］贾洪涛.带尾坎的阶梯溢洪道数值模拟研究［J ］.
人民黄河，2020，42（5）：130-134，137.［5］贾洪涛.尾坎位置对坎式阶梯溢洪道水力特性影响
研究［J ］.人民长江，2019，50（7）：189-194.［6］贾洪涛.台阶形式对阶梯溢洪道水力学特性的影响
研究［J ］.中国农村水利水电，2019（10）：148-152，157.
［7］赵安妮.前置掺气坎阶梯溢洪道体型优化数值模拟
研究［D ］.西安：西安理工大学，2020.————————
作者简介：乔超亚，男，华北水利水电大学动力工程专业研究生。

〔编辑：王霞〕
————————————————————————————————————————————————（上接第47页）
for_Robot_Perception_of_Affect_and_Engagement_in_Autism_Therapy.————————
作者简介：谢黎（1982—），女，湖北武汉人，硕士，讲师，东莞理工学院机械工程学院应用设计工程系副主任，研究方向为设计教育、设计思维、产品开发、情感计算与设计。

〔编辑：张超〕
位置1
位置2位置3
σ=1/3σ=1/2σ=2/3
编号
位置
σ
. All Rights Reserved.。