20.李伟《基于内容的音乐信息检索(MIR)技术综述》

2016/11/12
5
ICASSP （音频、语
言、信号处
理会议）
ISMIR （国际音乐
信息检索会
议）
ICMC （计算机音
乐国际会议）
声音与音乐技术会议CSMT （2016‐ ） 声音与音乐计算研讨会CSMCW （2013‐2015）
2016/11/12
6
音乐科技 （计算机音乐、电脑音乐）
艺术部分 （科技的音乐）
◦ 通常依赖于音符起始点检测、打击乐或其它时间局域化事件检测 ◦ 如果音乐偏重抒情，没有打击乐器或不明显，可采用和弦改变点作为候选节拍点
2016/11/12
14
音乐节奏（Music Rhythm）
速度检测（Tempo Detection）
◦ 音乐进行的快慢，每分钟多少拍BMP（Beats per Minute） ◦ 通常与节拍跟踪同时进行 ◦ 应用
小节
◦ 划分乐句、乐段、整首乐曲的基本单位，在乐谱中用小节线划分
拍子检测（Meter Detection）及小节线检测（Bar line/Measure Detection）
◦ 典型方法
◦ 节拍相似性矩阵 ◦ 节拍跟踪+基于音乐知识的启发式规则
2016/11/12
16
音乐节奏（Music Rhythm）
节奏型检测（Rhythmic Pattern Detection）
◦ 节奏型
◦ 在歌曲中反复出现的有一定特征的节奏
◦ 应用
◦ 音乐流派分析、音乐教学…
◦ 典型方法
◦ 基于模板匹配
2016/11/12
17
音乐和声（Music Harmony）
多声部音乐
◦ 复调音乐（Polyphony）
◦ 公元9世纪到18世纪前半叶，流行于欧洲 ◦ 两条或以上的独立旋律，和谐地结合
届全国声音与音乐技术会议（CSMT 2016） 2016年11月12日
基于内容的音乐信息检索（MIR）技 术综述
李伟 复旦大学 计算机科学技术学院
内容
MIR领域概述 MIR研究课题介绍
总结与展望
2016/11/12
2
音乐科技/计算机音乐 （Music Technology/Computer Music）
◦ 频域检测
◦ 基于音频帧的短时傅里叶变换（STFT），周期性信号在基频的整数倍处得到峰值
◦ 基于听觉模型检测
◦ 模拟人类感知音高的生理过程 ◦ 使用耳蜗模型对每一个通道进行独立的自相关运算 ◦ 综合所有通道信息得到相对应的音高
2016/11/12
10
音高与旋律（Pitch and Melody）
2016/11/12
3
音乐科技/计算机音乐 （Music Technology/Computer Music）
音乐科技的应用
◦ 数字乐器、算法作曲、计算音乐学、音乐信息检索、交互式多媒体系统、 数字音频/音乐图书馆、音频/音乐编辑制作、音频/音乐辅助医学治疗、 音频监控系统、音频交通检测…
声音与音乐计算SMC（Sound and Music Computing）
◦ 基于计算听觉场景分析CASA（Computational Auditory Scene Analysis）
2016/11/12
23
歌声信息处理（Singing Information Processing）
算法
7
2016/11/12
声音与音乐计算
• 音频信号处理 • 机器学习
音乐艺术创
音乐
音乐声学
声学
◦ 研究音乐声音震动中物理问题的科学
◦ 音乐学与物理学的交叉学科
主要研究领域
◦ 乐音与噪声的区别 ◦ 音高、音强和音色的物理本质 ◦ 基于电磁振荡的电声学 ◦ 听觉器官的声波感受机制 ◦ 乐器声学 ◦ 人类发声机制 ◦ 音律学 ◦ 与音乐有关的室内声学 ◦ 虚拟现实音频
◦ Hard Onset ◦ 子带分解 ◦ 检测各子带能量峰值 ◦ 合并后挑选结果
◦ Soft Onset ◦ 检测和弦突变点
2016/11/12
13
音乐节奏（Music Rhythm）
节拍
◦ 某种具有固定时长的音符，通常以四分音符或八分音符为一拍
节拍跟踪（Beat Tracking）
◦ 用计算机模拟人们在听音乐时无意识地踮脚或拍手的现象 ◦ 理解音乐节奏的基础，很多MIR任务的重要步骤 ◦ 典型方法
◦ 主调音乐（Homophony）
◦ 18世纪后半叶开始到现在，逐渐取代了复调音乐 ◦ 某一个声部作为主旋律，其它声部以和声或节奏等手法进行陪衬和伴奏 ◦ 和声
◦ 主调音乐最重要的要素之一 ◦ 两个或以上不同的音符按照一定规则同时发声而构成的声音组合
2016/11/12
18
音乐和声（Music Harmony）
和弦
◦ 和声的基本素材，由三个或以上不同的音按照一定音程在纵向结合构成 ◦ 和弦的连接表示和声的横向运动
和弦识别（Chord Detection）
◦ 音频特征
◦ PCP（Chroma）：在C、#C、D、#D、E、F、#F、G、#G、A、#A、B等12个半音类上与八 度无关的谱能量聚集
◦ 识别模型
◦ 模板匹配、隐形马尔可夫模型HMM（Hidden Markov Model）、条件随机场CRF （Conditional Random Fields）、支持向量机SVM（Support Vector Machine）、递归神 经网络RNN（Recurrent Neural Network）…
◦ 90年代中期，ACM标准术语 ◦ 多学科交叉的研究领域
◦ 声学、音频信号处理、机器学习、人机交互、软硬件设计… ◦ 作曲、音乐编辑制作、音响工程、音效设计…
2016/11/12
4
音乐科技/计算机音乐 （Music Technology/Computer Music）
相关国际会议和期刊
◦ IEEE TASLP（IEEE Transactions on Audio， Speech and Language Processing） ◦ EURASIP JASMP（EURASIP Journal on Audio， Speech and Music Processing） ◦ CMJ（Computer Music Journal） ◦ JNMR （Journal of New Music Research） ◦ JASA（Journal of the Acoustical Society of America） ◦ ISMIR（International Society for Music Information Retrieval Conference） ◦ ICASSP（IEEE International Conference on Acoustics， Speech and Signal Processing） ◦ WASPAA（IEEE Workshop on Applications of Signal Processing to Audio and Acoustics） ◦ DAFx（International Conference on Digital Audio Effects） ◦ ICMC（International Computer Music Conference）
8
核心层研究领域 应用层研究领域
2016/11/12
音 乐 信 息 检 索 MIR 研 究 领 域
9
音高与旋律（Pitch and Melody）
音高/音调
◦ 由声音波形的频率决定，音乐中每个音符都具有一定的音高
音高/音调检测（Pitch Detection）
◦ 时域检测
◦ 过零率法、自相关法（如YIN算法）、最大似然法、自适应滤波器法、超分辨率法
旋律
◦ 经过艺术构思按照节奏及和声形成的反映音乐主旨的音符序列
旋律提取（Melody Extra百度文库tion）
◦ 从多声部音乐（Polyphonic Music）信号提取单声部（Monophonic）旋律 ◦ 应用
◦ 音乐搜索、抄袭检测、歌唱评价、作曲家风格分析…
◦ 典型方法
◦ 音高重要性法（Pitch‐Salience based Melody Extraction） ◦ 歌声分离法（Singing Separation based Melody Extraction） ◦ 数据驱动的音符分类法（Data‐driven Note Classification）
◦ 歌手识别、哼唱/歌唱检索、卡拉OK伴奏…
◦ 典型方法
◦ 基于音高推理（Pitch‐based Inference）获得歌声泛音结构 ◦ 基于矩阵分解技术
◦ 独立子空间分析ISA（Independent Subspace Analysis）、稀疏编码（Sparse Coding）、 非负矩阵分解NMF（Non‐negative Matrix Factorization）、鲁棒主成分分析RPCA （Robust Principal Component Analysis）…
◦ MFCC、谱特征、颤音… ◦ 分类
◦ 基于门限方法 ◦ 基于机器学习的统计分类 ◦ 后处理
2016/11/12
22
歌声信息处理（Singing Information Processing）
歌声分离（Vocal/Singing Voice Separation）
◦ 将歌声与背景音乐进行分离 ◦ 应用
◦ 音乐情感分析中的一个重要因素 ◦ 给帕金森病人播放与其走路速度一致的音乐，辅助其恢复
◦ 典型方法
◦ 带通滤波，对每个子带计算其幅度包络线 ◦ 与一组事先定义好的梳状滤波器卷积 ◦ 对所有子带上的能量求和，最高峰值对应于速度
2016/11/12
15
音乐节奏（Music Rhythm）
拍子
◦ 在小节线划分的相同时间间隔内，按照一定次序重复出现的有规律的强 弱变化。如4/4、3/4 、2/4等
◦ International AES Convention ◦ IEEE TMM（IEEE Transactions on Multimedia） ◦ ACM MM（ACM Multimedia International Conference） ◦ ICME（IEEE International Conference on Multimedia and Expo）
2016/11/12
11
音高与旋律（Pitch and Melody）
音乐识谱（Music Transcription）
◦ 识别音乐中每个时刻发声的各个音符并形成乐谱
典型方法
◦ 音源分离
◦ 通常基于矩阵分解技术进行歌声和各种伴奏乐器声音的分离
◦ 音符分割
◦ 在各个音源上进行，寻找每一个音符起始点并分割
2016/11/12
19
音乐和声（Music Harmony）
调检测（Key Detection）
◦ 音名对应于钢琴上真实的键 ◦ 唱名随着音乐的调（Key）而变化 ◦ 应用
◦ 音乐识谱、和弦检测、音乐情感计算、音乐结构分析…
◦ 典型方法
◦ 通过音阶分布来描述对调的感知
2016/11/12
20
常 用 乐
理
知 识 图 例
2016/11/12
21
歌声信息处理（Singing Information Processing）
歌声检测（Vocal/Singing Voice Detection）
◦ 判定整首歌曲中哪些部分是歌声，哪些部分是纯乐器伴奏 ◦ 典型方法
◦ 音频分帧 ◦ 提取能够有效区分歌声和伴奏的音频特征
科技部分 （声音与音乐计算SMC）
算音 学
计算机 音乐制
作
音效设 计
录音艺 术
后期处 理…
声音与 音乐的 信号处
理
声音与音乐的内 容理解与分析
（计算机听觉CA）
声音与 音乐的 计算机
接口
计算 辅助 音乐
作
2016/11/12
谱分析、 回声、变 调、时间 伸缩、去 噪、压缩…
音频内容 理解与分
析
音乐信息 检索（MIR）
◦ 音高提取
◦ 提取每个音符的基频，根据MIDI音符表转换为音符的音名
◦ 利用音乐领域知识或规则进行后处理纠错
2016/11/12
12
音乐节奏（Music Rhythm）
音符起始点检测（Note Onset Detection）
◦ 检测音乐中某一音符开始的时间 ◦ 各种音乐节奏分析的预处理步骤 ◦ 典型方法
悠久的历史
◦ 20世纪50年代… ◦ 70年代初，美国斯坦福大学CCRMA ◦ 70年代末，法国巴黎IRCAM ◦ 1994年，西班牙巴塞罗那UPF大学MTG ◦ 2001年，英国伦敦女王大学C4DM ◦ 德国、日本、新加坡、台湾…. ◦ 欧洲由于其浓厚的人文和艺术气息成为该领域的世界中心 ◦ 90年代中期，中国大陆（科技部分）