音频信息及处理

二、电子合成音乐（MIDI）
MIDI和WAVE的比较、MIDI演奏、WAVE转MIDI
三、数字音频的编辑和处理
如何压缩和转换声音格式 如何在电脑上录音、如何编辑声音
四、语言合成和语音识别技术
一、数字音频基础
7.1.1 什么是声音？
声音：当空气中某物体通过前后位移产生振动， 它将引起压力波，当它到达人耳时，我们会感受 达到这种压力的变化（振动），这就是声音。
一、数字音频基础
做一做，想一想
一个256M的MP3播放器能够储存采样频率 为44.1KHz、16位、立体声的WAV音乐多 长时间？ 一张650M的CD光盘一般有几首歌？一个 512M的MP3可以储存几首MP3音乐？

一、数字音频基础
几种常见数字声音的主要参数
采样率 (kHz) 11.025 22.05 44.1 量化位 声 (bit) 道 8 16 16 单 双 双 容量 编码算法 (MB/min) PCM PCM PCM 0.66 5.292 10.584 等效 音质 语音 FM广播 CD唱盘
声音也许是世界上中最动人心弦的元素。 任何的语言都离不开声音；尤其是那些悦 耳的音乐，能深深触动人们内心的情感， 带来美妙的感受。 能否利用好声音，是一件多媒体作品成败 与否的重要因素，本章中我们就来学习一 下数字化的声音。 春江花月夜
第七章 数字音频和合成音乐
一、数字音频基础
什么是声音、声音信号的特征 声音信号的数字化、音频文件的格式
语音输入技术演示
IBM ViaVoice（中文） Scansoft Drangon Naturally Speaking

音效库(推荐)
http://www6.flash8.net/sound.shtml（国内） http://www.flashkit.com/soundfx （国外）

1、安装CoolEdit2.0 Pro 2、从网上下载一首歌曲和配乐（MP3格式）。 3、将歌曲和配乐插入的音轨1 4、在音轨2中录下自己的声音 5、单独编辑音轨2，去除噪音（效果－噪音消除－降噪 器）。 6、通过“效果－变调/变速－变速器”试听自已的声音 升高和降低音调以后的效果。 7、返回多轨界面，校正音轨2使其与音轨1同步。 8、对前后进行剪切后，将前2轨混缩到第3轨，将第3轨 另存为码率为64kbps的MP3，改文件名后提交。
一、数字音频基础
•音频是一种连续变化的模拟信号,可用一条连续的曲线来表 示，称为声波。因声波是在时间和幅度上都连续变化的量， 我们称之为模拟量。
•下面用声音录制软件记录的英文单词“Hello”的语音波形
一、数字音频基础
模拟音频信号的两个重要参数
模拟音频信号有两个重要参数：频率和幅度。声音的频率体 现音调的高低，声波幅度的大小体现声音的强弱。 一个声源每秒钟可产生成百上千个波，我们把每秒钟波峰所 发生的数目称之为信号的频率，单位用赫兹(Hz)或千赫兹(kHz) 表示。信号的幅度是从信号的基线到当前波峰的距离。幅度决 定了信号音量的强弱程度。幅度越大，声音越强。对音频信号， 声音的强度用分贝(dB)表示，分贝的幅度就是音量。
130 75人管弦乐队最强音
一、数字音频基础
7.1.3 声音信号的数字化
声音信号的数字化：将模拟声音信号转换 成数字编码形式以便于计算机进行处理的 过程 声音信号数字化的过程：

取样
量化
编码
声音信号的数字化（动画）
一、数字音频基础
声音信号的数字化
模拟 声音 信号 取 样 量 化 编 码 数字 声音
MP3 由WAV文件经压缩而来，音质略低于CD和WAV 格式，但这种差异用耳朵难以分辨。压缩比1:10 WMA 音质可以与MP3相比，而大小只有MP3格式的一 半，也适用于网络，音质要好于RA格式。 RA 适用于网络的“流式文件”，可一边下载一边播 放，压缩比达 1：96，文件比MP3格式小，只是 音质较差。
二、电子合成音乐－MIDI
7.2.2 电子合成音乐（ MIDI ）的原理
FM ( Frequency Modulation ) 合成
通过硬件产生正弦信号，再经处理合成音乐。 一般声卡采用的方式，音色与硬件有关，音 色较单薄
波形表（Wavetable）合成
专业声卡采用的方式。在声卡的ROM中预 存各种实际乐器的声音采样，通过调用相应的 实际声音数据合成乐音。ROM存储器的容量越 大，合成的效果越好。
周期 幅度限
基线
一、数字音频基础
7.1.2 声音的频率和幅度
多媒体技术处理的声音主 例子 dB 要是人耳可听到的20～ 20 声音工作室 20kHz的音频信号。 言语（speech）/语音： 40 夜晚的居民区 人说话的声音，其频率范 围约为300～3400Hz 60 大型百货公司 全频带声音：音乐声、风 雨声、汽车声等其他声音， 100 高速公路上的汽车 其带宽可达到20～20kHz
语音合成

文语转换过程
文本 文本分析 韵律处理 语音合成
合成语音
词典，发音规则
韵律规则库
语音库
语音合成
对计算机合成的语音希望能达到的
要求：
发音清晰可懂 语气语调自然 说话人可选择 语速可变化等
语音合成
计算机合成语音的应用：
股票交易、航班动态查询、电话报税等业务
Hale Waihona Puke Baidu
有声E-mail服务
理等）
声音的反转、消除噪音
声音的效果处理
包括混响、回声、和声效果、动态效果、升降调、
颤音等
格式转换功能
三、数字音频的编辑和处理
Cooledit软件功能及界面简介
多轨音频编辑软件，最多可支持128个音轨，能高质量 地完成录音、编辑、合成等多种任务
三、数字音频的编辑和处理
CoolEdit音频处理实验
作业范例
5.4.1 语音合成


语音合成（Speech synthesis）：根据语言学和 自然语言理解的知识，使计算机模仿人的发声， 自动生成语音的过程。目前主要是按照文本（书 面语言）进行语音合成，这个过程称为文语转换 （Text-To-Speech,简称TTS）。 文语转换过程
文本分析 韵律分析 语音生成

一、数字音频基础
7.1.4 音频格式介绍－3

MIDI 存储的不是声音信号，而是各种乐器的发 音命令，播放时系统根据这些命令合成乐 曲，midi文件的优点是非常小。
走进MIDI的世界
7.2 电子合成音乐－MIDI
1. MIDI和WAVE的比较
2. 电子合成音乐（ MIDI ）的原理
3. MIDI与WAVE的相互转换
CAI课件或游戏解说词的自动配音
文稿校对、语言学习、语音秘书、自动报警、
残疾人服务等
5.4.2语音合成技术演示

中文（科大讯飞） http://www.iflytek.com/speech%20shows.asp 英文
http://www.naturalvoices.att.com/demos/ http://www.neospeech.com/demo/demo_text.php http://www.cepstral.com/demos/ http://www.nuance.com/realspeak/demo/
三、数字音频的编辑和处理
5.7.2 如何使用Mic录音
三、数字音频的编辑和处理
5.7.3 专业音频处理软件
GoldWave CoolEdit Adobe Audition

三、数字音频的编辑和处理
声音编辑软件的功能
基本编辑操作
声音的剪辑（删除、移动或复制一段声音，插入
空白等）
声音音量调节（提高或降低音量，淡入、淡出处
一、数字音频基础
7.1.4 音频格式介绍－1

CDA 是CD Audio的缩写。音乐光碟片里面的音乐格式， 是音乐CD片最常用的档案格式 WAV 波形声音文件，是最早的数字音频格式 ，可以精 确记录各种声音但WAV格式对存储空间需求太大, 不便于交流和传播

一、数字音频基础
7.1.4 音频格式介绍－2

011010011101……
一、数字音频基础
波形声音的主要参数
1. 2. 3.
取样频率：44.1kHz 量化位数: 16Bit 声道数目: Stereo或Mono
4.
数码率（bit rate ）：指的是每秒钟 的数据量，也称比特率、码率
码率＝采样频率×量化位数×声道数 单位：bit（位）/秒 1Byte＝8bit
二、电子合成音乐－MIDI
7.2.1 MIDI和WAVE的比较
MIDI
实例 文件 内容 音 源 容 量
长度：3分30秒
WAVE(MP3)
长度：3分30秒
音乐伴奏 MIDI乐器 小
歌曲和演唱 Mic，磁带，CD唱盘，音响 与音质成正比
音 质
适用性
与声卡质量有关
易编辑，声源受限， 数据量很小
与编码指标有关
精品课件！
精品课件！
内容回顾：
计算“金色的麦田-窦鹏.mp3”压缩前的大小？
码率＝采样频率×量化位数×声道 ＝ 44.1kHz×16bit×2 ＝ 1411kb/s (176.4kB/s) 文件大小＝码率 ×时间长度 ＝ 176.4 * (3*60+41) )kB = 37.9 MB
一、数字音频基础
课堂习题：
例：已知数字激光唱盘（CD Audio）的标准 采样频率为44.1 kHz，量化位数为16 位， 立体声。请问一分钟 CD-DA 音乐所需的 存储空间为多少？
码率＝采样频率×量化位数×声道数×时间（单位） ＝ 44.1kHz ×16 b×2×60 s ＝ 84672 kb ＝ 10584 kB ＝ 10.3 MB
7.3 数字音频的编辑和处理
1.
如何转换音频文件的格式

StreamBox Ripper MP3工具包（toolkit）
2.
如何在电脑上录音

电脑Mic的使用 Windows录音机
3.
专业音频处理软件Cooledit
三、数字音频的编辑和处理
5.7.1. 如何使用StreamBox Ripper转换文件格式
不易编辑，声源不限， 数据量大
二、电子合成音乐－MIDI
7.2.2 电子合成音乐（ MIDI ）的原理
MIDI（Musical Instrument Digital Interface） 采用音乐符号记录和解释乐谱，并合成相 应的音乐。 MIDI不是把音乐的波形进行数字化采样和 编码，而是将数字式电子乐器的弹奏过程记录 下来，如按键、力度、时间多度等等。当需要 播放这首乐曲时，根据记录的乐谱指令，通过 音乐合成器生成音乐声波，经放大后由扬声器 播出。