成年人工耳蜗植入者对音乐音色感知的特点与分析

•听力康复•成年人工耳蜗植入者对音乐音色
感知的特点与分析A
古鑫1刘博1刘子夜2亓贝尔1董瑞娟1王硕1
【摘要】目的评价语后聋成年人工耳蜗植人者对音乐音色的识别能力，探讨人工耳蜗植人者与听力正常者 在音乐音色感知中的差异及可能的机制。

方法实验组为人工耳蜗植人时间>〇. 5年的成年语后聋患者30例，对 照组为30例听力正常成人。

使用人工耳蜗音乐评估软件（Mu. S. I. C)对两组受试者进行不同音色（包括来自不同 乐器家族且具有代表性的六种乐器以及男高音、女高音)识别能力的测试，记录并比较两组的识别正确率。

结果
①实验组音色识别正确率49. 23% ±18. 93%，对照组90. 23%±12. 28%，后者高于前者（_P<0. 001);实验组识别
正确率:男高音（76. 7%)最高、钢琴（73. 3%)次之，吉他（23. 3%)最低。

②实验组对每种音色的错选率均高于对照 组，且选择更为分散，其中将吉他误选为钢琴的错选率最高（66.7%);其次为长笛错选为小号（33.3%)。

结论人
工耳蜗植人者对音乐音色的识别能力低于听力正常者，并且容易造成弦乐器之间、管乐器之间的混淆。

【关键词】人工耳蜗植人；音乐；音色感知
DOI:10. 3969/j. issn. 1006-7299. 2016. 06. 016
网络出版时间=2016 —10 — 27 15:07
网络出版地址：http://www. cnki. net/kcms/detail/42. 1391. R. 20161027. 1507. 006. html
【中图分类号】R764. 5【文献标识码】 A 【文章编号】1006 — 7299(2016)06 — 0597 — 05
The Musical Timbral Perception in Adult Cochlear Implant Users
Gu Xin* , Liu 巳0, Liu Ziye, Qi 巳eier, Dong Ruijuan, Wang Shuo
巳eijing Tongren Hospital，Capital Medical University；巳eijing Institute of Otolaryngology;
Key Laboratory of Otolaryngology Head and Neck SurgeryCCapital Medical
University)，Ministry of Education,巳eijing，100005, China]
【Abstract】Objective To evaluate the timbral recognition ability of postlingually—deafened adult cochlear im­plant users and to analyze the differences between cochlear implant users and normal hearing subjects and the possi­ble mechanisms. Methods The experimental group (30 postlingually —deafened adult recipients with a cochlear im­plant over 6months) and the control group (30 normal hearing subjects) participated in this study. We used the timbre recognition test in Musical Sounds in Cochlear Implant (Mu. S. I. C) test battery consisting of tenor, soprano and 6representative musical instruments from different instrument families, to obtain the correct rate of recogni­tion. Results The correct rate of timbre recognition of experimental group was 49. 23 + 18. 93% , while it was 90. 23 + 12. 28% in the control group(P<C0. 001). The rank of correct rate from the highest to the lowest in experimental group was tenor (76. 7%) , the piano (73. 3%)and the guitar (23. 3%). The error rates of experimental group were higher than those of control group for each timbre. There were 66. 7% of cochlear implant users mistook the guitar for the piano, and 33. 3% flute for the trumpet. Conclusion The postlingually — deafened adult cochlear im­plant users perform significantly poorly in timbre perception than normal — hearing subjects. The cochlear implant users are more likely to make confusions among the string instruments, and among the wind instruments.
【Key words】Cochlear implant; Timbre；Music perception
A国家自然科学基金项目（81371103)、国家自然科学基金青年项目（81200753)、北京市科技新星项目（Z151110*********)联合资助
1首都医科大学附属北京同仁医院耳鼻咽喉头颈外科研究中心，北京市耳鼻咽喉科研究所，耳鼻咽喉头颈科学教育部重点实验室（首都医科 大学）（北京100005); 2民航总医院，民用航空医学中心
作者筒介：古鑫，女，回族，河北人，硕士研究生，主要研究方向为临床听力学…
通讯作者:刘博（Email: trliubo@139. com)
人工耳蜗植人（cochlear implant,CI)已帮助众 多重度、极重度听力损失患者重回有声世界[1]，并获 得了令人满意的言语交流效果，尤其表现为在安静 环境下良好的言语识别；然而由于音乐具有比言语 声更复杂和丰富的特征，其感知能力与欣赏水平仍 与理想水平有一定差距[2〜4]。

音乐是文化和情感的 外延，具有明显的生理和心理学以及社会适应等多 方面的作用，因此，对音乐的感知是评估C I患者术 后康复效果的一个指标，也是评价生活质量的一个 重要方面。

研究证明[2~4]，音乐中的音调、节奏、旋 律和音色是理解和欣赏音乐至关重要的基本要素，音色是其中内涵最为丰富的元素，所谓音色，就是令 聆听者能够在音调、节奏、响度和时长相同的情况下 分辨出两个相似声音的听觉感知属性[5]。

既往研究 发现[6]讲话者言语的韵律感、语气和情感等可以通 过语调、响度、节律成分等表达，言语的音色用于区 分不同个体的发声特征而不影响言语交流的本质；而音乐音色则不同，该属性的存在对音乐的理解和 欣赏起到至关重要的作用。

音色是最难掌握和研究 的，在此领域，评价音色感知能力的方法较多，本研 究选用Fitzgerald等[7]开发的人工耳蜗音乐评估软 件（Musical sounds in cochlear implant,Mu.S.L C)中的乐器识别测试（Instrument Identification)评价 受试者的音色感知能力，重点探讨人工耳蜗植人者 对音乐音色的感知特征。

1资料与方法
1.1研究对象及分组实验组：30例语后聋成年 人工耳蜗植人者（表1)，男15例，女15例，年龄20 〜68岁，平均34. 2±13. 3岁，均为单耳植人人工耳 蜗，实验过程中对侧未佩戴助听器，人工耳蜗使用时 间均>0. 5年，平均使用时间为
2. 14±2. 78年，无 特殊的人工耳蜗品牌要求，无其他医学及心理禁忌 症，并且可以配合完成实验过程和问卷填写。

对照组：听力正常者30例，男15例，女15例，年龄18〜57岁，平均33. 6 ±11. 1岁，250〜8 000 H z每倍频程频率听阈值均<20dB H L，无耳科疾 病病史。

两组受试者均无专业音乐培训经验，均自愿参 加本研究。

本课题已获得北京市耳鼻咽喉科研究所 与首都医科大学附属北京同仁医院的伦理审批。

1.2音乐音色感知评估方法
1.2. 1慕尼黑音乐问卷（Munich music question­naire，MUMU)评估音 乐经验 该问卷用于了解成 年人工耳蜗植人者在人工耳蜗术前及术后聆听音乐 的行为和经验[6]。

问卷共包括25个问题，其中针对 人工耳蜗植人者音乐经验的问题主要包括“是否经常听音乐？”，“是否经常唱歌?”和“是否演奏乐器？”，选用此3个问题从3个方面评价人工耳蜗植人者音 乐经验。

为使实验组与对照组的音乐经验相匹配，针对听力正常受试者，将M U M U问卷中与人工耳 蜗和听力损失相关的问题与选项删除，保留21个问 题，含上述3个关于音乐经验的问题，选取此3个问 题评估其音乐经验。

每个问题得分标准分为1(很 少）至1〇(经常）1〇个得分等级。

M U M U问卷中针对受试者音色感知能力方面 的问题主要包括“您对哪些乐器的感知较好?”和“您 喜欢听哪些乐器演奏的声音？”两个问题，本研究选 用此2个问题用于统计实验组与对照组对不同乐器 音色的主观感受，由于答案选项中仅有小提琴、长 笛、钢琴、小号、大提琴、吉他六种乐器的音色是本研 究选取的乐器识别测试音色，其他选项在乐器识别 测试中未选用，因此，本研究仅选择问卷选项中这六 种乐器音色进行统计和比较。

1. 2. 2人工耳蜗音乐评估软件(Mu. S. I. C)[7]评估 音色感知能力应用Mu. S. I. C软件中的乐器识别 测试评价受试者的音色感知能力。

乐器识别测试 (instrument identification):选取男高音、女高音和 不同乐器家族的6种乐器(键盘乐器钢琴，弦乐器吉 他、小提琴、大提琴，管乐器小号、长笛）分别表演两 条音乐曲目（“Baa Baa Black Sheep”和自然音阶 “Scale”），测试共16个条目。

测试在经校准的、本底噪声<20 dB A的标准隔声室内进行，扬声器置 于受试者前方1m处，其中心位置与受试者坐姿时 耳部高度保持一致，以零度角正面给声，在最适聆听 强度下进行测试。

受试者在声场中聆听由Mu. S.
I. C音乐测试系统及GSI — 61纯音听力计控制并由 扬声器播放的测试内容，受试者在每个条目播放结 束后选择自己认为正确的乐器图片，每段旋律只可 播放一次，不重复聆听，以减少学习效应带来的误 差；测试结束后获得识别正确率，正常率=(正确识 别条目数/16)X100%。

1.3统计学方法使用SPSS 16. 0软件，用2 —sample Z检验分析两组受试者的年龄和音乐经验是 否匹配，用 One—sample Kolmogorov—Smirnov检 验分析两组受试者的乐器识别正确率是否为正态分 布，采用Mann—Whitney U方法对两组间乐器识 别正确率进行比较。

2 结果
2.1 两组受试者年龄与音乐经验比较 MUMU 问卷结果显示，两组受试者的年龄与音乐经验的差 异无统计学意义（P>〇. 05)(表2)，即本研究中的对 照组与实验组的年龄与音乐经验相匹配。

表1 30例人工耳蜗植入者基本信息
编号测试年龄(岁）性别耳聋时长（年）CI使用时间（年）耳聋病因C I品牌CI0126男91不明Med C IO 252男40. 5突发性聋Med C IO 343男30 1. 1药物性聋AB C IO 425男16 1. 3髙烧Med C IO 527男17 2.6药物性聋Med C IO 646女151不明Nu C IO 727女3 1. 5突发性聋Nu C IO 828女13 1. 7Cogan综合征AB C IO 924女13 1. 3中耳炎Med Clio42男25 1. 3不明Med c m24男11外伤Nu CI1225女86突发性聋Med CI1359女51突发性聋AB CI1468女111突发性聋AB CI1539女11突发性聋Med CI1638男84突发性聋AB CI1721男15 1. 3药物性聋Med CI1838女3211药物性聋AB CI1920男12 1. 2药物性聋Nu CI2024女1812药物性聋Nu CI2132男251药物性聋Nu CI2263男40. 5突发性聋Med CI2336男260. 5不明Med CI2420女41线粒体脑肌病Nu CI2523女170.7药物性聋AB c m27男20 1. 3药物性聋Nu CI2749女263突发性聋Nu CI2830女161外伤Nu CI2927女20 1. 5LVAS Nu CI3023男91不明Med
表2实验组与对照组年龄与音乐经验比较（分，
组别年龄(岁）是否经常听音乐是否演奏乐器是否经常唱歌
实验组34. 2±13. 3 4. 57±3. 31 1. 97±2. 36 4. 10±3. 31
对照组33. 6±11. 1 5. 00 + 2. 65 2. 01±3. 09 5. 47±2. 70
P值0. 8580. 0830. 0790. 085
2.2音色识别测试结果实验组的乐器识别正确率（49. 23% ± 18. 93%)低于对照组（90. 23% 士12. 28%)，差异有统计学意义(T<0. 001)。

对于测试中的8种音色，对照组的平均识别正 确率均显著高于实验组。

实验组音色识别率由高到 低为：男高音（76. 67%)、钢琴（73. 33%)、吉他 (23. 33%);对照组音色识别率的结果：女高音和男 高音均为100. 〇%为最高，钢琴96. 67%次之，吉他 58. 33%为最低。

两组受试者音色识别的混淆矩阵显示：两组受 试者对吉他和钢琴的混清率均最尚，并且实验组比 对照组更易混淆：实验组将吉他误选为钢琴的错选 率为66. 67%，对照组将吉他误选为钢琴的错选率 为38. 33%;其次部分受试者易对长笛和小号混淆，实验组将长笛错选为小号的错选率为33. 33%，对照组为8.33%(表3)。

2.3 两组受试者对不同音色的主观感受 MU-M U音乐问卷结果显示：30例人工耳蜗植人者中有 60.00%选择对钢琴“感知较好”，有6
3. 33%选择 “喜欢听钢琴演奏”，而其他乐器选项的得分均较低；对照组中，分别有86. 67%和70. 00%选择对钢琴 “感知较好”和“喜欢听钢琴演奏”，对其他乐器选项 的得分均高于实验组（表4)。

3讨论
音色是一种令聆听者能够在音调、节奏、响度和 时长完全相同的情况下分辨出两个相似声音的听觉 感知属性[5]，如同声音的“颜色”;就像光谱中不同频 率的光波所占的比例决定了光的颜色，声信号中各 种频率(基频和谐波）信号的能量配比构成了音色。

听力正常者由于具有足够好的频率分辨力，可以根
表 3 8种乐器音色在实验组和对照组的识别混淆矩阵（％ )
乐器组别
反应
小提琴大提琴女髙音男髙音
钢琴小提琴小号长笛大提琴吉他女髙音男髙音实验组
对照组
实验组
对照组
实验组
对照组
实验组
对照组
实验组
对照组
实验组
对照组
实验组
对照组
实验组
对照组
73. 33
96. 67
0.00
0.00
10. 00
0.00
6. 67
0. 00
66. 67
38. 33
0.00
0.00
5. 00
0. 00
40. 00
91. 67
10. 00
0.00
8. 33
3. 33
1. 67
0. 00
50. 00
88. 33
33. 33
00
00
10. 00
8. 33
38. 33
88. 33
3. 33
0. 00
10. 00
3. 33
1. 67
0.00
50. 00
90.00
5. 00
0. 00
5. 00
0. 00
10.(0. 00
0. 0000
23. 33 3. 330. 00
58. 330.000. 00
0.0040. 0016. 67
0.00100.000.00
1. 67 5. 0076. 67
0.000.00100.00
表4两组受试者对不同乐器音色的主观感受（例，％)
组别例数
钢琴小提琴小号长笛大提琴
吉
他
感知较好喜欢听感知较好喜欢听感知较好喜欢听感知较好喜欢听感知较好喜欢听感知较好喜欢听
实验组3018(60.00)19(63.33)2(6.67) 4(13.33)2(6.67)0(0. 00)2(6.67)1(3.33)0(0.00)1(3.33)4(13.33)3(10.00)对照组3020(86.67)21(70.00)16(53.33) 14(46.67)7(23.33)2(6.67)12(40. 00)12(40.00)7(23,33)3(10.00)17(56.67)13(43.33)
据谐波间的频宽来判断基频，而对于人工耳蜗植人 者来说，音色的感知并不完全取决于频谱形态，声信 号的时域特性也有很大影响[8]。

总之，音色的感知 取决于声音中复杂的时域和频域信息的获取和处理。

由于目前人工耳蜗装置提供的有效电极通道数 有限，从声信号中获取的频域信息不充足，这直接导 致了人工耳蜗植人者的音色识别能力较差。

2011 年Kong等[9]重建了音色多维标度模型，发现时域 包络对人工耳蜗植人者辨别音色起着决定性的作 用。

Heng 等[5]利用“乐器嵌合（instrumental chi­meras)”的研究 方法观察了时 域包络 信息和 精细结 构信息对音色识别的作用，发现人工耳蜗植人者主 要依赖时域包络信息识别音色，而忽略了精细结构 信息，当时域包络信息减少时，精细结构信息就起到 了一定的补偿作用。

人工耳蜗在信号处理过程中，是否增加精细结构信息以补偿频域信息的缺乏以及 精细结构信息的多少，决定了其对音色感知能力的 优劣。

此外，就人工耳蜗植人者本身而言，又存在诸 多因素影响其音色感知能力，如：耳聋时间、术前佩 戴助听器时间和人工耳蜗植人时间、年龄、音乐聆听 经验和文化教育背景都会对其音色感知能力起到一 定的影响[1°]。

对音色的认知除了利用其物理特征，即不同声 音的振动属性—
—包括波的幅值、相位、泛音的数量 成分和比例分布及共振峰的位置等以外，还可以利 用不同音色特定的工艺特征[11]，即演奏者或歌唱家对乐器或人声音色的控制能力，这种特征主要由声 波振动中的泛音多少来决定，若声波振动充分，产生 的泛音多，则音色质地好，演奏或歌唱技术高；除此 之外，辨别和欣赏音色还可以通过感受不同音色表 现出的不同的情感或情绪[11]，如：常用明亮的、高昂 的乐器音色表现欢快的心情（如唢呐），而经常用暗 淡的、低沉的乐器音色表现悲伤的心情(如大管)等。

Gfeller等[8]测试28例人工耳蜗植人者（CI)及 41例听力正常受试者(NH)对小号、单簧管、小提琴 及钢琴等四种乐器的分辨能力，结果表明听力正常 受试者对乐器的分辨能力较C I受试者强；Nmi-mons等[12]曾报道8例人工耳蜗植人者乐器识别测 试正确率在21 %〜54%之间，平均为49%±11%; 3«^1〇^^等[13]对31例人工耳蜗植人者进行测 试，结果显示其乐器辨别正确率平均为47. 1%士14. 2%，且人工耳蜗植人者对于钢琴比管乐器和弦 乐器更容易识别。

本研究结果显示，语后聋人工耳 蜗植人者的音色感知能力明显落后于听力正常者，与以往研究结果“^…^一致。

本研究中，两组受试者的音色识别混淆矩阵显 示：实验组对于每种音色的错选率均高于对照组，且 选择更为分散，实验组对吉他和钢琴以及长笛和小 号的混淆率较高；音色识别测试结果提示：人工耳蜗 植人者对男高音和钢琴的平均正确识别率最高，对 吉他的平均识别率最低，主要的错误为将吉他选为 钢琴，而对照组中，也有38. 5%的受试者将吉他选
为钢琴;说明这并不单单是听力损失或人工耳蜗植
人造成的结果。

这可能与国人的音乐文化背景和聆 听经验有关，因为钢琴这种乐器更为普遍和常见，从 M U M U问卷结果也说明人工耳蜗植人者对钢琴的 主观聆听经验最丰富，所以容易将其他乐器误认为 是钢琴。

实际上，不同乐器的音色不同，与他们的构 造、发音原理、演奏方式有关[11]，但最主要的一点是 由乐器本身的基音（基频）和泛音（谐波）决定的，也 就是其频谱特性决定的。

吉他和钢琴虽然构造不同，但都是以弦做发音 源的弦鸣乐器，他们在发音机制上有共通点，都是通 过弦的振动发出乐音[11]。

其他乐器的音色，如：管 乐器（小号和长笛）是通过空气振动发音，男高音和 女高音是由演唱者的声带振动发音。

大提琴和小提 琴也属于弦鸣乐器，而且也是日常较为熟悉的乐器，吉他与小提琴或大提琴的混淆率不高的原因是这几 种乐器的演奏方式，即弦的振动方式不同；钢琴是击 弦乐器，当弹动琴键时，弦槌敲击弦引起弦的振动；吉他是拨弦乐器，通过手指或拨弦工具弹拨琴弦引 起振动；提琴属于弓弦乐器，通过拉弓摩擦琴弦引起 振动。

钢琴和吉他的声音一旦发出，就只能靠余振 延续，声音很快减弱，只能通过触键或拨弦使乐音延 长；而对于提琴只要弓不离弦，乐音即可继续，这使 得提琴的泛音更加丰富，音符之间没有间断，音色比 较饱满、圆润；所以，小提琴和大提琴的音色特征更 加明显从而容易被辨别，吉他的音色特征相对来说 不够显著，而且与钢琴有较多的共同点，所以，吉他 的识别率很低，且和钢琴的混淆率高、与提琴的混淆 率低。

小号和长笛均属于管乐器家族，本研究结果发 现受试者对小号和长笛出现了一定的混淆，且实验 组错选率较高。

这是因为小号和长笛同属于管乐 器，其外观、发音原理与频谱特性有相似之处[11]，再 加上中国人群对这两种西洋乐器不够熟悉，所以容 易混淆。

综上所述，人工耳蜗植人者对音乐音色的感知 能力明显落后于听力正常者，且与听力正常者相比，更容易造成不同音色之间的混淆，尤其表现在弦乐 器之间以及管乐器之间。

不同乐器的不同频谱特性 和文化差异对音色识别测试结果造成一定的影响[16]，本研究结果也为设计开发适合我国人工耳蜗 植人者的音乐评估软件提供了 一定的参考。

4参考文献
1韩德民.人工耳蜗[M].北京：人民卫生出版社，2003. 1〜5.2刘子夜，刘博，王硕，等.人工耳蜗植人者音乐感知能力的研究[J].临床耳鼻咽喉头颈外科杂志，2012, 26:1053.
3 Mao Y T，Xu L. Music and cochlear implants[J]. Journal of
Otology, 2013，8: 32.
4冯海泓，原猛，陈友元.人工耳蜗植人者音乐感知研究[J].
声学技术，2012, 31: 53.
5 Ileng J»Cantarero G» Elhilali M，et al. Impaired perception
of temporal fine structure and musical timbre in cochlear im­plant users[J]. Hearing Research, 2011，280：192.
6 VeekmansK, Resell L» Mueller J »et al. Comparison of music
perception in bilateral and unilateral cochlear implant users and normal —hearing subjects [J]. Audiol Neurootol, 2009 , 14: 315.
7 Fitzgerald D，Fitzgerald II，Brockmeier S J，et al. Musical
sounds in cochlear implants (Mu. S. I. C)test [CP/CD]. Inns­bruck：MED一EL GmbH, 2006.
8 Gfeller K, Knutson JF, Woodworth G, et al. Timbral recog­
nition and appraisal by adult cochlear implant users and normal — hearing adults[J]. J Am Acad Audiol, 1998，9:1.
9 Kong Y Y，Mullangi A, Marozeau J, et al. Temporal and
spectral cues for musical timbre perception in electric hearing [J]. J Speech Lang Hear Res, 2011，54: 981.
10 Gfeller K» Lansing CR. Melodic, rhythmic, and timbral percep­
tion of adult cochlear implant users [J]. J Speech Hear Res，1991，34:916.
11 Meister II, Landwehr M, Lang—Roth R, et al. Examination
of spectral timbre cues and musical instrument identification in cochlear implant recipients[J]. Cochlear Implants Interna­tional, 2014 , 15 ：78.
12 Nimmons GL» Kang RS» Drennan WR» et al. Clinical assess­
ment of music perception in cochlear implant listeners [J].
Otol NeurotoU 2008, 29：149.
13 Brockmeier S J，Fitzgerald D, Searle 0，et al. The MuSIC
perception test ：a novel battery for testing music perception of cochlear implant users[J]. Cochlear Implants Internation­al, 2011, 12：10.
14 Gfeller K» Witt S» Woodworth G» et al. Effects of frequen­
cy »instrumental family»and cochlear implant type on timbre recognition and appraisal [J]. Ann Otol Rhinol Laryngol，2002, 111:349.
15刘子夜，章昊，刘博，等.成人人工耳蜗植人者音乐旋律和音色感知研究[J].中国听力语言康复科学杂志，2013, 11:
434.
16 Hailstone JC» Omar R» Henley SMD, et al. It's not what you
play，it's how you play it：timbre affects perception of emo­tion in music [J]. The Quarterly Journal of Experimental Psychology, 2009, 62：2141.
(2016 — 02 — 15 收稿）
(本文编辑周涛）。