五线谱乐谱图像识别与演奏

总结与展望
• 尚未解决的问题
1.只能识别二分音符、四分音符、八分音符，对于和弦 、十六分音符、三分音符以及多声部的音乐等情况尚无 法识别。
2.谱线删除算法会造成部分音符的破碎，尚需改进。 3.算法鲁棒性较低，对原始输入图像的质量要求较高。 4.由于基于相关系数的模板匹配算法的局限性，在识别
m1 n1
m1 n1
6
2020/3/5
基于FFT的快速算法
• 1）对模板和待测图像进行延拓 • 2）对待测图像进行预处理，用二维FFT算法对其
进行处理
• 3）用二维FFT算法对模板进行处理，并取共轭 • 4）将待测图像的变换矩阵与模板的变换矩阵相乘 • 5）对结果做IFFT变换，并作归一化处理，得到
入工作量大、效率低。因此，不可避免地产生了低 速的音乐信息输入与高速信息处理之间的矛盾。
• 目标：计算机读懂五线谱并进行演奏
3
2020/3/5
背景
• 计算机光学乐谱识别（Optical Music
Recognition，OMR）技术，利用图像处理、模 式识别、文档图像分析等相关技术，把乐谱图像自 动转化成通用的数字音乐格式。
北京交通大学
五线谱乐谱图像识别与演奏
2011年10月26日
1
主要内容
➢背景 ➢基本乐理知识与算法原理 ➢实现步骤 ➢总结与展望
2
2020/3/5
背景
• 现代计算机科学与音乐艺术的结合产生了计算机音
乐，人们对音乐的创作、演奏、传播从传统的手工 作业方式一跃而为高科技方式。
• 目前，数字乐谱的录入工作主要由人手动完成，输
主要流程步骤
乐谱的生成
GPCAD音阶频率表
16
2020/3/5
程序运行结果
• 乐谱对应的频率：
frequent =
330 392 494 392 440 392 349 494 440 330 392 494 587 587
• 音符对应的时长：
time =
888848844 28888
17
2020/3/5
• 图像预处理
转化后的二值图像
10
2020/3/5
主要流程步骤
• 谱线识别与删除
11
2020/3/5
主要流程步骤
• 谱线删除后的乐 谱图像
Biblioteka Baidu
12
2020/3/5
• 音符识别
主要流程步骤
13
2020/3/5
• 音符识别
主要流程步骤
14
2020/3/5
• 符梁的提取
主要流程步骤
15
2020/3/5
相关系数矩阵
7
2020/3/5
流程图
读取图像
图像预处理
谱线识别与删除
音频播放
乐谱分割
乐谱分段载入
模板匹配
8
单行乐谱生成
2020/3/5
• 图像预处理
RGB图像 灰度图像
二值图像
主要流程步骤
grb2gray（） 设置合理阈值，灰度大于阈 值的设为255，小于阈值的 设为0
9
2020/3/5
主要流程步骤
音符时会出现误识别。
18
2020/3/5
五线谱乐谱图像识别与演奏
19
2020/3/5
• 应用范围：
计算机音乐 计算机辅助音乐教学 数字音乐图书馆等等
4
2020/3/5
基本乐理知识与算法原理
5
2020/3/5
模板匹配算法
R(i, j)
MN
Sij (m, n) T (m, n)
m1 n1
M N S ij (m, n)2 M N T ij (m, n)2