19言语感知与产生
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
to walk”中的“Bill”） 两个不同的语调短语语调不同： 第一个IP先高后低，但结尾为升调。 第二个IP以降调结尾：一个完整话段的典型的结尾 IP之间的语调再设：再先高后低，这样能使说话人保持
在他们说话的语调范围内。
语调短语划分
意义不同语调不同 1． 以高调开始，低调结束：叙述 2． 以低调开始，高调结束：疑问 3．否定预设：整个句子语调平稳，然后 在否定元素处，语调急剧提高：
例子
例子
例子
Watson & Gibson (2002a)实验一
早期的研究只测试每个句法类型的一个词次(Gee & Grosjean, 1983; Cooper & Paccia-Cooper, 1980; Ferreira, 1988)
Watson 和Gibson 的实验一：8个不同的句法结构 32个受试 32个语项 3个编码器为韵律间断编码，三个编码器之间的可
定时
功 能 词 ： 具 有 语 法功能的句子（如，of, and, but, the等）
实义词：在句子中传达意义的词（如， blue, dog, run等）
实义词往往比较长，功能词比较短（比他 们单独存在时短）
I want to leave I want two leaves
重音
重音 = 声音大 逐音节地： “chimpanzee”：“zee”重读音节；“chimp”次
我们的目的：只计算主句动词和实义名词（不计 形容词，副词）
The-judge who-ignored the-reporter fired thesecretary
音系短语充当语调短语划分的额外的制约条件。
LRB假设（Watson & Gibson, 2004）
左边或右边成分边界（LRB） 假设：两个独立的因素合在一起预测言语产生中 在音系短语的语调边界。 1）刚刚完成的最大句法成分中音系短语的数量。 假如不存在右边的依附小句，一个组成成分就 被完成。 2) 即将出现的句法成分中音系短语的数量，假 如它不是刚刚处理过的成分的强制性主目。
*音调重音（每个语调短语有一个）
H, L 表示语调高低，%表示边界语调
Ketchup is a vegetable?
Ketchup is a vegetable.
L*
L* H%
H*
H* L%
因版权问题，图被去ห้องสมุดไป่ตู้。
句子“It was the terrorist that kidnapped the ambassador.”的语调曲拱与ToBI转写
靠性为95%
Watson & Gibson (2002a)实验一
任务 两个参与者：读者和听者 当读者给听者读句子时进行录音。 指导读者反复地读这些句子。 听者就句子在计算机上回答“是/否问题”
Watson & Gibson (2002a)实验一
提取主语的关系从句： 1)The judge who ignored the reporter fired the secretary. 外移宾语的关系从句： 2) The judge who the reporter ignored fired the secretary. 外移宾语的关系从句+1PP： 3) The judge who the reporter for the newspaper ignored fired
因素1）的动机：刚刚完成的句法 成分的长度
在V-NP-PP结构中修饰动词的PP比修饰NP的PP结 构更可能在其前面有一个边界。
Jeffrey hit the cop with a stick 刚完成的成分： NP无连接 VP有连接[the cop] 因此，当预期到VP连接时，很可能在“the cop”之
ignored fired the secretary. 双重嵌套的宾语/宾语关系从句 6) The judge who the reporter who the senator attacked
ignored fired the secretary. 两个从句右分杈 7) The reporter ignored the judge who fired the secretary 三个从句右分杈 8) The senator attacked the reporter who ignored the judge
语调短语划分
“Bill wants to walk but Jane prefers to take a taxi.” 通常作为两个语调短语(IPs)产生： “Bill wants to walk”和“but Jane prefers to take a taxi.” 在一个语调短语内：一个重读的音节（如，“Bill wants
Even though the chauffeur thought he could drive, the passengers were worried (长元音，短语尾位)
即将出现的成分的长度
语调边界往往产生于大的句法结构之前（Lehiste, 1973; Gee & Grosjean, 1983; Ferreira, 1991）。
构成一个意义单位。假如成分Ci依赖Cj，那么这两个成分就 形成了一个意义单位。
观察：强制性的主目词和其中 心语一起规划。
更新的规划假设2： 语调边界往往发生在即将出现的大的句法
成分之前，这些结构不是当前成分的强 制性的主目。
长度测量
最初的提议：音系短语；能够充当和包括实义词 的所有的词（Nespor & Vogel, 1984）
韵律：不是句子中的词汇特征所特有的句子声音的 一个方面
韵律特征包括语调、定时和重音。 例如，不同的词汇和语类，却有相同的韵： Homer likes to eat. Barney drank his beer. 陈述句曲拱：
在整个句子中语调为降调。 句中的“to”和“his”被截短了，而“eat”和“beer”被延长。
语调短语划分
有些影响语调短语划分的因素似乎是由语 言运用引起的：
• 语速 • 句长 问题：句法结构在语调短语划分中起什么
作用？
语调短语划分
The senator who the reporter attacked fired the secretary.
The senator who the reporter attacked // fired the secretary.
的两倍 • 对一个说话者是“高”频对另一个可能是“低”频
（对男性成人来说200HZ为“高”，对儿童来说 为“低”）
音调/语调
ToBI注解系统（Tones and break indices语调与间歇索 引）是用来注释语调和边界信息的很受欢迎的系统。
尝试：把言语流中与语调、长度、音量和间歇有关
的连续信息转换成一组语类，这些语类在语境中有 意义。
…也受到“意义单位条件”的限制（Selkirk, 1984）。 人们往往在中心语与其临近的主目词之间设边界。 意义单位被定义为由中心词形成的成分和（可选择地）任何数
目的修饰语及其/或主目词： *1) [ Three mathematicians ] [ in ten derive a lemma ] 2) [ Three mathematicians in ten ] [ derive a lemma ] 语调短语划分的涵义单元条件：与语调短语紧临的成分一定会
the secretary. 外移宾语的关系从句+2PP： 4) The judge who the reporter for the newspaper in the capitol
ignored fired the secretary.
Watson & Gibson (2002a)实验一
双重嵌套的主语/宾语关系从句 5) The judge who the reporter who attacked the senator
语调短语划分
由于语用或语义的原因，有些结构似乎需要自己 的语调短语划分：
插入语 Homer, as you know, can’t take care of himself. 非限制性修饰语 Homer, who works at a power plant, caused an
accident. 呼语 Homer, did you take out the trash?
后有边界。
插入语：句法结构预测可能的停顿，而不是停顿
的长短。
一个单词的分段特征（元音长度等）和句法结构确定了韵律短 语划分：（Ferreira, 1993）
Even though the chauffeur thought he could stop, the passengers were worried (短元音，短语尾位)
Homer drinks Budweiser beer? No, Homer drinks Duff beer.
语调短语划分
同样的句法结构会有多种语调短语划分： a) John // gave the book to Mary. b) John gave the book // to Mary. c) John //gave the book // to Mary
韵律与语调
9.59；24.905 2005年4月14日 Ted Gibson
韵律与语调
• 韵律的定义 —语调：音调与边界 —语调短语内的定时 —重音 • 语言产生中的语调短语划分：两个因素： 左边组成成分的长度和右边组成成分的长度：左
右边界（LRB）假设 • 理解中的语调短语划分：反连接假设
韵律
LRB的积极特征
它与依赖于依存关系的所有语法一致。 比先前的模型参数和步骤都少： Cooper & Paccia-Cooper (1980) Gee & Grosjean (1983) Ferreira (1988)
例子
例子
例子
例子
例子
例子
例子
例子
例子
例子
例子
例子
例子
例子
语调短语划分
言语被分成叫做“语调短语”的听觉模块。 人们说话时停顿的原因有几种： • 当形成话段有困难时 • 外界因素：打断等等 • 自然产生：规划 规划内：语调短语划分： 语调短语划分是一个感知确定的单位，它与几种定量的
测量因素相关（Nespor & Vogel, 1987; Selkirk, 1984）， 但没有一个是强制性的： • 以停顿结束 • 往往在短语的尾词有音调重音。 • 尾词的延长
定时
涉及句子中音段的整体定时，特别是词和停顿的 持续时间
语调短语尾位延长： 比较以下例子中的“walk”： (1) “Bill wants to walk.” (2) “Bill wants to walk to the store.” (3) “Bill wants to walk, but Mary wants to drive.” 在句（1）和（3）中较长；在句（2）中较短。
重音；pan”不重读 注释：持续时间和音量密切相关。音量大
的声音读音也长；音量小的声音读音短。
信息结构
• 焦点：新信息 • 背景信息：旧信息 • 焦点元素被重读，延长，有音高重音。 A：Homer likes Budweiser beer. B：No, Homer likes DUFF beer. 其中，“Duff”是焦点：强读，重音
• 术语注释：有些研究人员把“语调”用作“韵 律”的代名词。
还有一些研究人员把“语调”用作“韵律”的小 类：音调与停顿信息。（如，Ferreira, 2000）
音调/语调
声学特征 由声带产生的声音振动频率，也被称作基频或f0。
(言语范围.25 - 30,000Hz) 感知特征 话段的音调，听者听做“高”或“低”的东西 音调的感知特征与声学特征相关，但不对等。 • 将声音频率增加一倍并不意味着声音就是原来
Watson & Gibson研究项目的目的是发现在 言语的理解与产生中，在什么地方韵律 边界被优先选择。
句子的产生：两个因素 （Watson & Gibson, 2004）
1）暂时停顿：根据刚刚完成的句法成分 的长度预测到可能有一个语调边界。 （假如没有右边的依附小句一个组成成 分就已完成。） 2) 规划：根据即将出现的句法结构的长 度也预测到可能有一个语调边界。
在他们说话的语调范围内。
语调短语划分
意义不同语调不同 1． 以高调开始，低调结束：叙述 2． 以低调开始，高调结束：疑问 3．否定预设：整个句子语调平稳，然后 在否定元素处，语调急剧提高：
例子
例子
例子
Watson & Gibson (2002a)实验一
早期的研究只测试每个句法类型的一个词次(Gee & Grosjean, 1983; Cooper & Paccia-Cooper, 1980; Ferreira, 1988)
Watson 和Gibson 的实验一：8个不同的句法结构 32个受试 32个语项 3个编码器为韵律间断编码，三个编码器之间的可
定时
功 能 词 ： 具 有 语 法功能的句子（如，of, and, but, the等）
实义词：在句子中传达意义的词（如， blue, dog, run等）
实义词往往比较长，功能词比较短（比他 们单独存在时短）
I want to leave I want two leaves
重音
重音 = 声音大 逐音节地： “chimpanzee”：“zee”重读音节；“chimp”次
我们的目的：只计算主句动词和实义名词（不计 形容词，副词）
The-judge who-ignored the-reporter fired thesecretary
音系短语充当语调短语划分的额外的制约条件。
LRB假设（Watson & Gibson, 2004）
左边或右边成分边界（LRB） 假设：两个独立的因素合在一起预测言语产生中 在音系短语的语调边界。 1）刚刚完成的最大句法成分中音系短语的数量。 假如不存在右边的依附小句，一个组成成分就 被完成。 2) 即将出现的句法成分中音系短语的数量，假 如它不是刚刚处理过的成分的强制性主目。
*音调重音（每个语调短语有一个）
H, L 表示语调高低，%表示边界语调
Ketchup is a vegetable?
Ketchup is a vegetable.
L*
L* H%
H*
H* L%
因版权问题，图被去ห้องสมุดไป่ตู้。
句子“It was the terrorist that kidnapped the ambassador.”的语调曲拱与ToBI转写
靠性为95%
Watson & Gibson (2002a)实验一
任务 两个参与者：读者和听者 当读者给听者读句子时进行录音。 指导读者反复地读这些句子。 听者就句子在计算机上回答“是/否问题”
Watson & Gibson (2002a)实验一
提取主语的关系从句： 1)The judge who ignored the reporter fired the secretary. 外移宾语的关系从句： 2) The judge who the reporter ignored fired the secretary. 外移宾语的关系从句+1PP： 3) The judge who the reporter for the newspaper ignored fired
因素1）的动机：刚刚完成的句法 成分的长度
在V-NP-PP结构中修饰动词的PP比修饰NP的PP结 构更可能在其前面有一个边界。
Jeffrey hit the cop with a stick 刚完成的成分： NP无连接 VP有连接[the cop] 因此，当预期到VP连接时，很可能在“the cop”之
ignored fired the secretary. 双重嵌套的宾语/宾语关系从句 6) The judge who the reporter who the senator attacked
ignored fired the secretary. 两个从句右分杈 7) The reporter ignored the judge who fired the secretary 三个从句右分杈 8) The senator attacked the reporter who ignored the judge
语调短语划分
“Bill wants to walk but Jane prefers to take a taxi.” 通常作为两个语调短语(IPs)产生： “Bill wants to walk”和“but Jane prefers to take a taxi.” 在一个语调短语内：一个重读的音节（如，“Bill wants
Even though the chauffeur thought he could drive, the passengers were worried (长元音，短语尾位)
即将出现的成分的长度
语调边界往往产生于大的句法结构之前（Lehiste, 1973; Gee & Grosjean, 1983; Ferreira, 1991）。
构成一个意义单位。假如成分Ci依赖Cj，那么这两个成分就 形成了一个意义单位。
观察：强制性的主目词和其中 心语一起规划。
更新的规划假设2： 语调边界往往发生在即将出现的大的句法
成分之前，这些结构不是当前成分的强 制性的主目。
长度测量
最初的提议：音系短语；能够充当和包括实义词 的所有的词（Nespor & Vogel, 1984）
韵律：不是句子中的词汇特征所特有的句子声音的 一个方面
韵律特征包括语调、定时和重音。 例如，不同的词汇和语类，却有相同的韵： Homer likes to eat. Barney drank his beer. 陈述句曲拱：
在整个句子中语调为降调。 句中的“to”和“his”被截短了，而“eat”和“beer”被延长。
语调短语划分
有些影响语调短语划分的因素似乎是由语 言运用引起的：
• 语速 • 句长 问题：句法结构在语调短语划分中起什么
作用？
语调短语划分
The senator who the reporter attacked fired the secretary.
The senator who the reporter attacked // fired the secretary.
的两倍 • 对一个说话者是“高”频对另一个可能是“低”频
（对男性成人来说200HZ为“高”，对儿童来说 为“低”）
音调/语调
ToBI注解系统（Tones and break indices语调与间歇索 引）是用来注释语调和边界信息的很受欢迎的系统。
尝试：把言语流中与语调、长度、音量和间歇有关
的连续信息转换成一组语类，这些语类在语境中有 意义。
…也受到“意义单位条件”的限制（Selkirk, 1984）。 人们往往在中心语与其临近的主目词之间设边界。 意义单位被定义为由中心词形成的成分和（可选择地）任何数
目的修饰语及其/或主目词： *1) [ Three mathematicians ] [ in ten derive a lemma ] 2) [ Three mathematicians in ten ] [ derive a lemma ] 语调短语划分的涵义单元条件：与语调短语紧临的成分一定会
the secretary. 外移宾语的关系从句+2PP： 4) The judge who the reporter for the newspaper in the capitol
ignored fired the secretary.
Watson & Gibson (2002a)实验一
双重嵌套的主语/宾语关系从句 5) The judge who the reporter who attacked the senator
语调短语划分
由于语用或语义的原因，有些结构似乎需要自己 的语调短语划分：
插入语 Homer, as you know, can’t take care of himself. 非限制性修饰语 Homer, who works at a power plant, caused an
accident. 呼语 Homer, did you take out the trash?
后有边界。
插入语：句法结构预测可能的停顿，而不是停顿
的长短。
一个单词的分段特征（元音长度等）和句法结构确定了韵律短 语划分：（Ferreira, 1993）
Even though the chauffeur thought he could stop, the passengers were worried (短元音，短语尾位)
Homer drinks Budweiser beer? No, Homer drinks Duff beer.
语调短语划分
同样的句法结构会有多种语调短语划分： a) John // gave the book to Mary. b) John gave the book // to Mary. c) John //gave the book // to Mary
韵律与语调
9.59；24.905 2005年4月14日 Ted Gibson
韵律与语调
• 韵律的定义 —语调：音调与边界 —语调短语内的定时 —重音 • 语言产生中的语调短语划分：两个因素： 左边组成成分的长度和右边组成成分的长度：左
右边界（LRB）假设 • 理解中的语调短语划分：反连接假设
韵律
LRB的积极特征
它与依赖于依存关系的所有语法一致。 比先前的模型参数和步骤都少： Cooper & Paccia-Cooper (1980) Gee & Grosjean (1983) Ferreira (1988)
例子
例子
例子
例子
例子
例子
例子
例子
例子
例子
例子
例子
例子
例子
语调短语划分
言语被分成叫做“语调短语”的听觉模块。 人们说话时停顿的原因有几种： • 当形成话段有困难时 • 外界因素：打断等等 • 自然产生：规划 规划内：语调短语划分： 语调短语划分是一个感知确定的单位，它与几种定量的
测量因素相关（Nespor & Vogel, 1987; Selkirk, 1984）， 但没有一个是强制性的： • 以停顿结束 • 往往在短语的尾词有音调重音。 • 尾词的延长
定时
涉及句子中音段的整体定时，特别是词和停顿的 持续时间
语调短语尾位延长： 比较以下例子中的“walk”： (1) “Bill wants to walk.” (2) “Bill wants to walk to the store.” (3) “Bill wants to walk, but Mary wants to drive.” 在句（1）和（3）中较长；在句（2）中较短。
重音；pan”不重读 注释：持续时间和音量密切相关。音量大
的声音读音也长；音量小的声音读音短。
信息结构
• 焦点：新信息 • 背景信息：旧信息 • 焦点元素被重读，延长，有音高重音。 A：Homer likes Budweiser beer. B：No, Homer likes DUFF beer. 其中，“Duff”是焦点：强读，重音
• 术语注释：有些研究人员把“语调”用作“韵 律”的代名词。
还有一些研究人员把“语调”用作“韵律”的小 类：音调与停顿信息。（如，Ferreira, 2000）
音调/语调
声学特征 由声带产生的声音振动频率，也被称作基频或f0。
(言语范围.25 - 30,000Hz) 感知特征 话段的音调，听者听做“高”或“低”的东西 音调的感知特征与声学特征相关，但不对等。 • 将声音频率增加一倍并不意味着声音就是原来
Watson & Gibson研究项目的目的是发现在 言语的理解与产生中，在什么地方韵律 边界被优先选择。
句子的产生：两个因素 （Watson & Gibson, 2004）
1）暂时停顿：根据刚刚完成的句法成分 的长度预测到可能有一个语调边界。 （假如没有右边的依附小句一个组成成 分就已完成。） 2) 规划：根据即将出现的句法结构的长 度也预测到可能有一个语调边界。