五线谱乐谱图像识别与演奏.ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
音符时会出现误识别。
18
2020/2/28
五线谱乐谱图像识别与演奏
19
2020/2/28
• 应用范围：
计算机音乐 计算机辅助音乐教学 数字音乐图书馆等等
4
2020/2/28
基本乐理知识与算法原理
5
2020/2/28
模板匹配算法
R(i, j)
MN
Sij (m, n) T (m, n)
m1 n1
M N S ij (m, n)2 M N T ij (m, n)2
m1 n1
m1 n1
6
2020/2/28
基于FFT的快速算法
• 1）对模板和待测图像进行延拓 • 2）对待测图像进行预处理，用二维FFT算法对其
进行处理
• 3）用二维FFT算法对模板进行处理，并取共轭 • 4）将待测图像的变换矩阵与模板的变换矩阵相乘 • 5）对结果做IFFT变换，并作归一化处理，得到
北京交通大学
五线谱乐谱图像识别与演奏
2011年10月26日
1
主要内容
➢背景 ➢基本乐理知识与算法原理 ➢实现步骤 ➢总结与展望
2
2020/2/28
背景
• 现代计算机科学与音乐艺术的结合产生了计算机音
乐，人们对音乐的创作、演奏、传播从传统的手工 作业方式一跃而为高科技方式。
• 目前，数字乐谱的录入工作主要由人手动完成，输
• 图像预处理
转化后的二值图像
10
2020/2/28
主要流程步骤
• 谱线识别与删除
11
2020/2/28
主要流程步骤
• 谱线删除后的乐 谱图像
12
2020/2/28
• 音符识别
主要流程步骤
13
2020/2/28
• 音符识别
主要流程步骤
14
2020/2/28
• 符梁的提取
主要流程步骤
15
2020/2/28
入工作量大、效率低。因此，不可避免地产生了低 速的音乐信息输入与高速信息处理之间的矛盾。
• 目标：计算机读懂五线谱并进行演奏
3
2020/2/28
背景
• 计算机光学乐谱识别（Optical Music
Recognition，OMR）技术，利用图像处理、模 式识别、文档图像分析等相关技术，把乐谱图像自 动转化成通用的数字音乐格式。
相关系数矩阵
7
2020/2/28
流程图
读取图像
图像预处理
谱线识别与删除
音频播放
乐谱分割
乐谱分段载入
模板匹配
8
单行乐谱生成
2020/2/28
• 图像预处理
RGB图像 灰度图像
二值图像
主要流程步骤
grb2gray（） 设置合理阈值，灰度大于阈 值的设为255，小于阈值的 设为0
9
2020/2/28
主要流程步骤
2020/2/28
总结与展望
• 尚未解决的问题
1.只能识别二分音符、四分音符、八分音符，对于和弦 、十六分音符、三分音符以及多声部的音乐等情况尚无 法识别。
2.谱线删除算法会造成部分音符的破碎，尚需改进。 3.算法鲁棒性较低，对原始输入图像的质量要求较高。 4.由于基于相关系数的模板匹配算法的局限性，在识别
主要流程步骤
乐谱的生成
GPCAD音阶频率表
16
2020/2/28
程序运行结果
• 乐谱对应的频率：
frequentຫໍສະໝຸດ Baidu=
330 392 494 392 440 392 349 494 440 330 392 494 587 587
• 音符对应的时长：
time =
888848844 28888
17
18
2020/2/28
五线谱乐谱图像识别与演奏
19
2020/2/28
• 应用范围：
计算机音乐 计算机辅助音乐教学 数字音乐图书馆等等
4
2020/2/28
基本乐理知识与算法原理
5
2020/2/28
模板匹配算法
R(i, j)
MN
Sij (m, n) T (m, n)
m1 n1
M N S ij (m, n)2 M N T ij (m, n)2
m1 n1
m1 n1
6
2020/2/28
基于FFT的快速算法
• 1）对模板和待测图像进行延拓 • 2）对待测图像进行预处理，用二维FFT算法对其
进行处理
• 3）用二维FFT算法对模板进行处理，并取共轭 • 4）将待测图像的变换矩阵与模板的变换矩阵相乘 • 5）对结果做IFFT变换，并作归一化处理，得到
北京交通大学
五线谱乐谱图像识别与演奏
2011年10月26日
1
主要内容
➢背景 ➢基本乐理知识与算法原理 ➢实现步骤 ➢总结与展望
2
2020/2/28
背景
• 现代计算机科学与音乐艺术的结合产生了计算机音
乐，人们对音乐的创作、演奏、传播从传统的手工 作业方式一跃而为高科技方式。
• 目前，数字乐谱的录入工作主要由人手动完成，输
• 图像预处理
转化后的二值图像
10
2020/2/28
主要流程步骤
• 谱线识别与删除
11
2020/2/28
主要流程步骤
• 谱线删除后的乐 谱图像
12
2020/2/28
• 音符识别
主要流程步骤
13
2020/2/28
• 音符识别
主要流程步骤
14
2020/2/28
• 符梁的提取
主要流程步骤
15
2020/2/28
入工作量大、效率低。因此，不可避免地产生了低 速的音乐信息输入与高速信息处理之间的矛盾。
• 目标：计算机读懂五线谱并进行演奏
3
2020/2/28
背景
• 计算机光学乐谱识别（Optical Music
Recognition，OMR）技术，利用图像处理、模 式识别、文档图像分析等相关技术，把乐谱图像自 动转化成通用的数字音乐格式。
相关系数矩阵
7
2020/2/28
流程图
读取图像
图像预处理
谱线识别与删除
音频播放
乐谱分割
乐谱分段载入
模板匹配
8
单行乐谱生成
2020/2/28
• 图像预处理
RGB图像 灰度图像
二值图像
主要流程步骤
grb2gray（） 设置合理阈值，灰度大于阈 值的设为255，小于阈值的 设为0
9
2020/2/28
主要流程步骤
2020/2/28
总结与展望
• 尚未解决的问题
1.只能识别二分音符、四分音符、八分音符，对于和弦 、十六分音符、三分音符以及多声部的音乐等情况尚无 法识别。
2.谱线删除算法会造成部分音符的破碎，尚需改进。 3.算法鲁棒性较低，对原始输入图像的质量要求较高。 4.由于基于相关系数的模板匹配算法的局限性，在识别
主要流程步骤
乐谱的生成
GPCAD音阶频率表
16
2020/2/28
程序运行结果
• 乐谱对应的频率：
frequentຫໍສະໝຸດ Baidu=
330 392 494 392 440 392 349 494 440 330 392 494 587 587
• 音符对应的时长：
time =
888848844 28888
17