线谱乐谱图像识别与演奏
乐谱数字化的新途径――计算机光学乐谱识别技术
乐谱数字化的新途径――计算机光学乐谱识别技术摘要计算机光学乐谱识别（Optical Music Recognition，OMR）是计算机技术在音乐领域的发展和应用，它利用图像处理、模式识别、文档图像分析等相关技术，把乐谱图像自动转化成通用的数字音乐格式。
OMR技术为纸质乐谱数字化提供了一个智能、高效的新途径，在计算机音乐、计算机辅助音乐教学、数字音乐图书馆等众多领域有着广泛的应用前景。
关键词: 光学乐谱识别，数字化，数字音乐图书馆1 问题的提出信息技术改变着社会生产和人类生活的各个方面，人类社会正在步入一个数字化时代。
现代计算机科学与音乐艺术的结合产生了计算机音乐，它的出现不仅体现了计算机技术的一次革命，而且给人类的音乐活动带来了生产方式的根本变革，人们对音乐的创作、演奏、传播从传统的手工作业方式一跃而为高科技方式。
乐谱的发明是人类音乐史上的里程碑，它的出现使人们可以在一个相对标准的平台上进行音乐的交流和传承。
古往今来的优秀音乐作品大都以纸质乐谱的形式保留下来，直至今天，纸质乐谱仍是表达和描述音乐作品的主要载体。
基于以上的时代背景与事实，那些长期涉足于计算机音乐的人士便迫切地提出了这样一个问题：让“纸质乐谱进入计算机，计算机读懂乐谱”，能够实现吗？在计算机音乐发展的近几十年中，各种音序编辑软件层出不穷，如Encore、Cakewalk等，这类软件的出现告诉人们，“乐谱进入计算机”已经不成为问题。
然而，利用音序编辑软件进行乐谱数字化是一种纯手工人的方式，即手工录入――校对—―修改的方法，录入人员必须具有一定的音乐专业知识，而且输入工作量大、效率低。
因此，在纸质乐谱数字化的进程中，不可避免地产生了低速的音乐信息输入与高速信息处理之间的矛盾。
于是，一些计算机学者和专家们开始寻求一条纸质乐谱数字化的新途径，力图突破纯手工的乐谱数字化瓶颈，自动完成乐谱向数字音乐的智能转化，即实现真正意义的“计算机读懂乐谱”。
大宅猫吉他教程分享：吉他谱怎么看
大宅猫吉他教程分享：吉他谱怎么看
弹吉他前我们要认识曲谱才可以弹奏。
本期我们来教大家，认识一下吉他谱，我们看下图这是天空之城的谱曲，我们先看左上角♩=90表示为，每分钟弹奏90拍，在来看看一条条线，代表琴弦，从上往下数①_②_③_④_⑤_⑥弦对应如图中的吉他，我们再来看看谱中左边有一个4/4的标记，叫4-4拍这是代表，每小节有4拍，在看看上面的数字，他在一弦上有一个0-----2的数字，0代表拨一弦的空弦，2表示按住一弦的2品，看看图中的吉他从左向右有一格一格的为品格一共21品-上面白点就是泛音点。
我们会在后面讲泛音教材，在看后面的3/0同时用你的大拇指和无名指同时弹响这两音。
注不要一前一后的拨
我们在看看吉他和弦图左手是怎么按的。
有C-AM-,F,-G每个和弦都有不同的英文字母代表，我们看C和弦按发，上面标记①是用食指按住一品2弦，中指按
住2品4弦，以此类推。
按的时候手指关节要垂直靠右按捞，不要触碰到其他弦，
左手的和弦我们已经看懂了，我们在看右手的演奏在图中有，x，就是我们要拨的琴弦，比如第一个音在5弦上我们就用大拇指拨动，是不是很简单呢。
我们再看看小面的箭头↑↑↑↓这样的这是扫弦，↑我们就从低音往高音弦扫
相信很同学们都看懂了希望大家多多联系，一起加油，坚持。
本文来自《大宅猫吉他教程》主要涉及到音乐理论、音阶、节奏、指法、协调、歌曲弹奏、即兴伴奏、练耳、音乐常识等吉他学习必备知识点。
每项内容都采用不同的教学方法进行专项视频指导，会让同学们对吉他有一个宏观、系统的认识，这样学习吉他器乐时，高清的视频、系统的知识点能够帮助0基础的同学入门，对于有音乐基础的同学，也能够更快进阶，大大提高吉他学习效果。
五线谱音乐符号图全图
五线谱音乐符号图全图五线谱音乐符号图全图=======================本文档为五线谱音乐符号图全图的完整参考文档，包含了五线谱的各种音符和符号的详细解释和示意图。
以下是本文档的内容结构：1. 引言1. 文档目的2. 文档范围3. 参考文献2. 五线谱基本知识1. 五线谱概述2. 音符与音阶3. 谱号1. 大谱号2. 小谱号3. 音符2. 音符时值1. 全音符2. 二分音符3. 四分音符4. 八分音符5. 十六分音符6. 三十二分音符4. 装饰音符1. 附点音符2. 三连音符3. 颤音符4. 滑音符5. 预音符5. 定位音符1. 音符位置标识2. 上加线和下加线6. 声部和乐器1. 声部的定义2. 声部记号3. 乐器符号7. 符号和指示1. 谱号变换2. 谱号改变标记3. 升降号4. 指法指示8. 其他符号1. 住手符2. 连音线3. 键音符4. 重复音符5. 渐弱渐强符号9. 简谱与数字谱1. 简谱介绍2. 数字谱介绍3. 在五线谱上使用简谱和数字谱10. 附录1. 附件1：五线谱音符示意图（图象文件）2. 附件2：五线谱音符示意图（PDF文件）本文所涉及的法律名词及注释=========================1. 谱号：谱表中用来代表音高的符号。
2. 音阶：指某一个固定的音高范围内的音符罗列。
3. 音符：用来表示音高、音长等音乐要素的符号。
4. 装饰音符：用来装饰和丰富音乐的音符。
5. 定位音符：用来确定音符在五线谱上的具体位置的符号。
6. 声部：在多声部音乐中，每一个声部所演奏的音乐部份。
7. 乐器：用来产生声音的音乐器具。
8. 住手符：表示停顿的符号。
9. 连音线：用来连接两个音符，使其演奏为连续音。
10. 简谱：一种简化了的音乐写谱方法，用数字代表音符的高低、音长。
本文所涉及的内容详细，每一个章节都进行了细化讲解。
附录部份包含了五线谱音符示意图的附件，方便读者参考和使用。
基于OMR技术的乐谱图像匹配算法
基于OMR技术的乐谱图像匹配算法陈根方1, 夏顺仁21杭州师范学院信息工程学院, 310036E-mail: cgf@2浙江大学生物医学工程学院，310027E-mail: srxia@摘要：如何判断二个的乐谱图像是不是同一音乐作品？文章提出了先利用光学乐谱识别(OMR)技术识别这二个乐谱图像，得到二个MIDI文件，然后利用一一对应算法进行匹配，得到相似度S，根据相似度来判断二个的乐谱图像是不是属于同一音乐作品。
关键词：匹配算法，乐谱图像，光学乐谱识别(OMR)1. 问题提出人类社会已经进入信息化时代，数字化浪潮席卷所有的领域，包括科学、艺术、生活、娱乐等等方面，音乐与人们的生活日夕相伴，数字化音乐已经蓬勃发展起来，各种格式的音乐承载着人们的想像力得到了广泛的使用与发展，如MIDI格式、MP3格式等；各式各样的音源作为现实声音的数字化结果被作曲家与音乐爱好者使用，声音采样技术及后期处理技术得到大力发展；数字化音乐已经为成为现代音乐的主要形式，包括创作、传播、存储等，Internet 已经成为主要的交流与传播载体。
音乐是古往今来人类共同的财产，对于古人与现代人，本国人与外国人，音乐是相通的，是标准的国际语言，古人的大量的音乐是我们重要的音乐源泉，而这些音乐的载体主要是纸质媒介，这为交流与传播带来了不便，特别是在数字化时代，于是有了数字化仪器，如扫描仪、数码相机等设备，来把纸质音乐转化为数字化的二维乐谱图像，这些数字图像(image)-或叫图片(picture)，在Internet上大量传播，为音乐的发展作出了重要贡献。
但是，对于一些优秀的音乐作品，面临着大量的出版与不同形式的描述，这些不同的描述可能会分别转化为数字乐谱图像，对于同一音乐作品，可能有下列情况出现不同的乐谱图像：1．同一作品的不同出版版本。
2．同一作品的在不同时间被转化为数字乐谱图像。
网络上(或一个数字图书馆)存在大量数字乐谱图像，有些数字乐谱图像可能是同一音乐作品的不同版本，或不同人转化同一音乐作品的结果，那么如何来识别二个不同的乐谱图像内包含的是同一音乐作品的音乐信息呢？判断二个音乐作品是不是同一作品，不是看它们的纸质媒介是不是完全相同，而是根据它们所承载的音乐信息是否相同来作出判断，如果它们所承载的音乐信息相同，则是同一作品，否则就不是同一音乐作品。
教你如何看乐谱（建议收藏）
教你如何看乐谱（建议收藏）多尔音乐学院,中国首家在线音乐学院本文较长建议收藏后观看早在几千年前人们就开始用笔记录音乐了，即使是我们现在使用的乐谱也有超过三百年的历史。
在乐谱中，我们用各种符号将声音具体化，小到音高、音长和节拍，大到音质甚至是特效。
这篇文章会告诉你一些基本知识和识谱技巧，有助你以后学习更多的乐理知识。
那么如何认识乐谱？小编将用3种方法分别是基础知识，节拍，节奏来讲解，大家可以优先观看自己熟悉的一样先下手！认识乐谱方法之 1：基础知识步骤1：基础知识什么是五线谱？五线谱是学习音乐的基础，事实上也是识谱必学的知识。
五线谱由一条条横线构成，我们所使用的音乐符号以及从事的音乐活动等都是在它的基础上建立的。
五线谱由五条平行的“横线”和四条平行的“间”组成。
我们从下到上，从小到大分别给“线”和“间”编上号。
步骤2：我们首先学习高音谱号。
谱号位于五线谱的开头，表示演奏的音高的一个大致范围。
高音人声和高音乐器的五线谱都以高音谱号开头。
后面我们也主要使用高音谱表作示例。
•高音谱号又名G谱号，来自于花体的拉丁字母G。
只要记住谱号中间有一根盘旋而上的线的便是高音谱号。
高音谱表的每条线和间都有不同的含义。
•五条横线从下到上依次代表五个音：E G B D F。
•四条间（线与线之间的空隙）从下到上依次代表四个音：F A C E。
•要把全部音符记下来看似很难，但我们可以使用一些口诀。
比如用“儿歌不断放”来记线上的音。
用“FACE”这个英文单词来记间上的音。
步骤3：低音谱号又称F谱号。
用于低音部分的乐谱。
钢琴的左手区域、低音吉他和长号就适用于这一类。
•F谱号来源于花体的字母F，它旁边的两点分别位于第四线两边。
低音谱表和高音谱表上的线、间的音高不同。
•五根线从下到上依次代表G B D F A（根本的方案）。
•四条间从下到上依次代表A C E G（爱吃鹅肝）。
步骤4：五线谱中的音符由3个部分组成：符头、符干和符尾。
•符头：一个空心或实心的圆，代表所要演奏的音符。
乐谱扫描识别利器-SmartScore使用说明
乐谱扫描识别利器-SmartScore“SmartScore”作为一款乐谱扫描识别软件，主要是将印刷乐谱识别成midi文件，它的使用大致可以分成三步进行：扫描、识别和编辑，下面我们就针对这三步详细介绍。
乐谱扫描在“SmartScore”界面的左侧是一排快捷任务按钮，如果你有扫描仪并已经安装好驱动程序，使用“Scan”按钮开启扫描仪应用程序。
图1由于不同扫描仪所使用的接口软件不相同，所以实际上看到的扫描界面都不一定相同。
在参数设置窗口中选择分辨率为150dpi~300dpi，图像类型为黑白二值。
预览窗口的“Preview”对需要扫描的乐谱进行预览，并拖拽预览窗中的虚线框使之覆盖乐谱的有效范围。
适当调整亮度、对比度参数使预览区中的图像看起来最清晰。
按下“Scan”开始扫描。
扫描完成后，将图片文件以TIF格式存储。
乐谱识别“SmartScore”不仅能对当前扫描的图片进行识别，也可以打开事先存储好的乐谱图片并进行识别。
点击左侧快捷任务按钮中的“Open”，选择文件类型为“Image Files”，打开需要进行识别的乐谱图形文件（如图1）。
将图形文件识别成midi乐曲的方法是：点击多界面左侧快捷任务按钮中的“Recon”按钮，出现“Begin Recognition”的对话框（如图2）。
用“Add Files to List”按钮选择要识别的乐谱图片（可多选），然后单击“Begin Recognition”按钮开始识别。
图2识别完成后会弹出一个对话框，提示将识别的结果保存为“SmartScore”专用格式的.enf 文件。
此时窗口分为上下两个部分：上半部分显示扫描得到的图像原稿，下半部分是识别的结果（如图3）,用户可对照着原稿检查识别的准确性。
乐谱编辑“SmartScore”提供了一些简单的编辑工具，可对识别错误的地方进行修改。
如需要试听识别后的结果，可按电脑键盘上的空格键，或在“Realtime”菜单下选择“Play”。
多声部乐谱图象识别系统
多声部乐谱图象识别系统
张登胜;马颂德
【期刊名称】《计算机工程》
【年(卷),期】1998(024)003
【摘要】文章提出一个完整的系统,将多声部乐谱原文转换成可编辑的乐谱文本.系统首先在乐符检测阶段将图象切分为诺表,然后再将其切分成个别对象.在识别阶段用非均匀密度特征和句法规则将这些对象识别出来,并将其登记,构成语义编码,然后由乐谱恢复模块将其恢复成乐谱原文.系统中使用的句法规则可根据乐谱类别重新定义或修改,具有很强的灵活性和适应性.系统对离散乐符的识别率为98%,对谱段的识别率为92%.
【总页数】4页(P41-43,47)
【作者】张登胜;马颂德
【作者单位】安庆师范学院数学系,安庆,246011;北京模式识别国家重点试验室,北京,100080
【正文语种】中文
【中图分类】TP3
【相关文献】
1.基于GPU通用计算平台的乐谱自动识别系统设计 [J], 谢晨伟;陆天翼;汤勇明
2.多声部乐谱音符基元抽取方法 [J], 刘晓翔
3.区域特征的乐谱识别系统 [J], 王林泉;章文怡
4.基于句法规则和面向对象的乐谱识别系统 [J], 张登胜;马烦德
5.图象自动输入、自动处理微机图象识别系统 [J], 荆扬
因版权原因，仅展示原文概要，查看原文内容请购买。
乐谱图像中的音符识别方法
乐谱图像中的音符识别方法第36卷V oL36第9期No9计算机工程ComputerEngineering2010年5月May2010人工智能及识别技术?文章编号:1000—_3428(2010)09—_o163—_o5文献标识码:A中图分类号:TP18乐谱图像中的音符识别方法刘晓翔(暨南大学珠海学院计算机科学与技术系,珠海519070)摘要:面向多声部乐谱,实现基于结构模式的音符识别方法.在音符基元抽取阶段,提出基于游程分析的符干,符头,符梁3类基元抽取算法,具有较好的抗相交和抗粘连干扰能力.在音符结构分析阶段,采用"作用场"描述音符基元关系,将音符分为6类子结构,可缩小基元搜索范围.在此基础上细分音符结构,遵循关键子结构优先定位原则实现音符基元重组,可降低分析复杂度且具有良好的基元冗余排错能力.实验结果表明,该方法能快速准确识别多声部乐谱中的音符,在音符排列密集,结构复杂时适应能力较强.关健诃:光学乐谱识别;音符识别;基元抽取;结构分析NoteRecognitionMethodinMusicScoreImageLIUXiao.xiang(DepartmentofComputerScienceandTechnology,ZhuhaiCollegeofJinanUniversity,Zhuhai519070)[Abstract]Thispaperrealizesnoterecognitionmethodbasedstructuremodeformulti-voice musicscore.Intheprocedureofprimitiveextraction, threekindsofalgorithmsbasedonrun—lengthcodingareproposedrespectivelyforextractingstem,noteheadandbeam,theyhavebet terabilityforresolvetroublesomeanti-intersectionandanti—conglutination.Intheprocedureofstructureanalysis,interactionfieldisintroducedtodescrib etheassociationrelationshipofprimitives,andnoteisdividedtosixkindsofsubstructurestoreduc eprimitivesearchingrange.Itsubdividesnote structurebasedonaforesaidprocedure,noteprimitiveisrealizedrecombinationwhichfollo wstheprincipleofgivingprioritytothekeysubstructure,itcanreduceanalysiscomplexityandhaswellabilityofprimitiveredundancyd ebugging.Experimentalresultsshowthatthismethod carlrecognizenoteinmulti—voicewithhighaccuracyandefficiency,andpowerfuladaptability,ithasgoodadaptabilityatt hesituationofnotesintensivearrangementandcomplicatedstructure.[Keywords]opticalmusicscorerecognition;noterecognition;primitiveextraction;structur eanalysis1概述光学乐谱识别技术是对乐谱文档的扫描图像加以处理,分析,识别,最终获得乐谱图形及音乐语义的数字表达.乐谱中的音符用于记录音高与音长(时值),相对于乐谱其他图形和符号,具有重要的语义信息,在数量上也占绝大多数.因此,音符识别是乐谱识别的核心与关键.音符形态千变万化,其多样性和多态性特点决定了音符识别难以采用常规符号(如文字),需要将所有形态模式作为一个模式类逐一识别.对于这种情形,识别的要求不是分类而是描述与分析,即根据音符基元的属性和关系按一定规则分析音符的结构和语义信息,相应研究方法为结构模式识别, 由音符基元抽取和音符结构分析2个部分组成.现有音符基元抽取方法有:投影法,骨架化,模板匹配,数学形态学等【lJ.音符结构分析常见的方法有:基于串文法J 匹配和基于图文法的匹配_jJ.然而上述方法表现出以下共同局限性:(1)基元抽取算法抗噪声,粘连等干扰能力较差,难以适应复杂,密集版面的多声部乐谱;(2)音符基元关系描述过于刚性,对音符中不精确的位置关系表达不足;(3)缺乏对音符结构特征细化的区分,识别时没有"重点",造成效率低和排除基元冗余错误能力弱.针对上述局限性,提出基于游程分析的基元抽取算法和基于"作用场"的音符结构分析方法.2预处理预处理阶段的重要任务是谱线的定位和删除,目的是获取谱线的位置,线宽和间距以及消除谱线对音符的叠加和相交干扰.乐谱文档在扫描过程中,由于人为因素和扫描仪走纸的机械误差影响,生成的图像普遍存在一定角度的倾斜,倾斜变形不仅让谱段的分析与删除过程变得困难,同时给后续的音符识别带来负面影响,因此在谱线删除之前,要引入一个乐谱图像倾角的自动检测与校正算法满足系统的实际应用需要.在倾斜校正环节,采用文献[4]提出的基于交叉相关性的乐谱变形校正和谱线定位方法,该方法利用"化整为零,相关计算"的思想,对传统水平投影方法做了改进,能够自动校正乐谱图像的小角度倾斜,弯曲变形,同时能精确计算谱线的各项参数.在谱线删除环节,采用文献[5]提出的基于图段拓扑关系的谱线删除方法,该方法通过相邻图段的拓扑关系进行谱段判断,能有效克服谱线的"过删除"现象,保障音符的完整性不遭破坏.基金项目:广东省自然科学博士科研启动基金资助项目(7300090); 暨南大学引进人才科研启动基金资助项目(510061)作者简介:刘晓翔(1977一),男,讲师,博士,主研方向:图形图像处理,图纸识别与理解收稿日期:2009—11-23E-mail:************.cn163—3基元抽取3.1符干抽取符干为连接符头与符梁/尾的垂线,是音符的基本骨架.常见的投影法,骨架化和数学形态学方法等符干抽取方法对粘连和相交敏感,不利于处理音符复杂密集的多声部乐谱.遵循人工识图"逐步求精"的原则,本文提出一种"粗看垂直游程,细看水平游程"的符干抽取算法.该算法注重垂直和水平游程编码在信息表达上的互补性,能实现一次性快速准确抽取垂线,同时避开因粘连,相交干扰引起的多段合并问题.算法具体描述如下:Stepl沿垂直方向扫描,对乐谱图像(算法中的图像均指谱线删除后的图像)进行垂直游程编码,若黑像素游程中长度超过一定阈值(2倍谱线间距),则标记该游程为"种子游程".Step2沿水平方向扫描,对图像进行水平游程编码,检索出"种子游程"中像素点所在的水平游程,获得"种子游程"左右边界的轮廓点.Step3若"种子游程"轮廓点满足以下条件,则确定该游程为候选符干.条件1(线宽约束)点两侧的轮廓点之间的距离小于一定闽值(2倍谱线线宽).条件2(对称性约束)轮廓点对相对于"种子游程"左右对称.条件3(一致性约束)同时满足条件1,条件2的轮廓点必须连续且达到一定长度(1.5倍谱线线宽).Stepl强调符干整体上的垂向连续性,相当于从全局"粗看" 保证抽取结果的完整性;Step2,Step3考察符干左右边界的轮廓细节特征,相当于局部"细看"确保抽取结果的正确性.3.2符头抽取符头用于记录音符的音高,分为实心符头与空心符头2类.空心符头构成的音符结构相对简单(无符梁,全音符无符干),谱线删除后自然分离,本文仅讨论实心符头的抽取方法. 符头抽取的策略可分为2类:(1)根据符头的直观形象设计模板进行匹配;(2)先分割出潜在的符头连通域,再根据连通域特征进行筛选.考虑到模板匹配的效率瓶颈,本文采用第2类方法.第2类方法的主要困难是粘连切分问题,密集和声音中的符头粘连现象不可避免.人工读谱时会利用符头的环境特征,结合音符特定先验知识对粘连做出准确切分.音符特定先验知识指的是乐谱记写规范,规定:符头中心位于谱线上或谱线问,符头两侧至少有一符干与之相连.可见,利用已有谱线,符干信息,可为粘连符头提供切分依据.本文符头抽取步骤如下:Stepl沿水平方向扫描,对图像进行水平游程编码,删除长度小于一定闽值(3倍谱线问距)的水平黑像素游程.该步骤删除符头与符梁的连接部分,实现符头与符梁的分离. Step2对图像进行连通城标识,对于每一个连通域,若宽度大于一定阈值(3倍谱线间距),且上下任何一条边缘线接近直线,则删除该连通域.其目的是去除具有明显符梁特征的连通域,避免符梁经过下一步的切分后误识为符头.Step3以符干为切分线,切分所有连通域,以谱线或谱线间线为切分线切分高度大于一定阈值(2倍谱线间距)的连通域.Step4通过长,高和面积3个指标检测切分后的连通域一164一是否具备符头特征(符头连通域长约为1.5倍谱线间距,高为1倍谱线间距,像素面积与连通域包围框面积比约为0.8).上述算法可归结为:符头/符梁分离一删除符梁一沿符干切分一沿谱线切分一连通域特征检测.该算法可快速准确地分离出具备符头特征的块状基元,同时对粘连符头有较理想的切分结果.3.3符粱抽取符梁是以拍子为单位分音群连写的横线,仅出现在组合音符中,图形上表现为有一定厚度,相互平行的水平或小角度倾斜直线.符梁抽取的传统方法是图纸识别中的直线检测算法,运用此类方法时,符梁会因与符干相交而被分为多段, 下一步的搜索,拼接操作繁琐且耗时,且难以处理符梁粘连的情况.由于符梁的语义信息(音符时值)仅取决于符梁的个数,与其直线参数无关,因此本文抽取符梁采取避开直线检测的策略,以单符梁或粘连符梁形成的块状连通域为目标, 然后根据连通域厚度计算符梁个数.实现步骤与实心符头类似,具体步骤如下:Stepl同抽取符头的Stepl,分离符头与符梁.Step2通过厚度,长度,边缘线的直线度检测图像中的连通域是否具备符梁特征.连通域厚度不小于2倍谱线厚度,长度不小于谱线间距,符梁上下边缘线中至少一条接近直线. Step3计算音符符梁个数.符梁连通域厚度除以单符梁厚度即为符梁个数.由于不同出版商使用的符梁厚度标准不同,单符梁厚度无法使用固定阈值,因此给出一种通过统计垂直游程长度频数自动计算单符梁厚度的方法:(1)对分割出的符梁图像进行垂直方向的游程编码.(2)统计游程编码中游程随长度变化的频数,生成频数直方图,选取直方图中最大峰值对应的游程长度作为单符梁厚度.(3)如果频数直方图中出现多个峰值,则表示符梁存在上下粘连的情况,此时选取最左端峰值对应的游程长度作为单符梁厚度.音符中还有一类基元"符尾",它与符梁的语义功能相同,但仅用于独立音符,多声部乐谱数量较少.由于符尾尺寸相对固定其形态无明显几何特征,因此通常采用模板匹配或光学字符识~lJ(OpticalCharacterRecognition,OCR)方法识别之, 本文不再赘述.4音符结构分析4.1基于"作用场"的音符基元关系描述判别基元之间的关系是结构分析的重要前提.现有音符基元关系描述方法普遍过于刚性和几何化,将位置关系归结为几种固定类型,使用固定的阈值进行判别.这种方法对音符中的连续或不精确的位置关系表达不足,造成对复杂环境适应性弱,容错性差J.为克服这个缺陷,本文受模糊集理论思想的启发,结合物理学中的"作用场"概念,提出基于"作用场"的音符基元关系描述方法.定义1(音符基元作用场)设F代表音符基元作用场,F是一个四元组<l,v2,Fh,>,即F=<V1,,,>,其中,,为作用体,代表产生作用场的2个音符基元对象,对象属性包括基元包围框数据,校验位及其相关的作用场队列;为水平方向作用势;为垂直方向作用势.根据作用体的不同,音符作用场分为"符干一符头作用场" 与"符干一符梁作用场".定义中的作用势是一标量值,由以基元空间位置(坐标)为自变量的势函数决定.表1给出了"符干符头垂直方向作用势"的函数定义.另外3个不同基元和方向的势函数定义与之类似,此处从略.其中,stem表示符于基元;nh表示符头基元;space表示当前基元所属五线谱的谱线问距,gap=qmce/2;TOP,BOT分别为基元连通域包围框的上下边界.表1中厂的变化趋势说明如下:符头远离符十时(区间I,区间9),不产生作用场;随着符头逐渐接近符干端点(区问2,区间8),{厂l逐渐增大;当符头与符干重叠到一定程度(区间3, 区间7),达到最大值1;随着符头逐渐离开符十两端进入符干内部(区间4,区间6),逐渐减小;当符头到达符干腹部区域(区间5),减小到最小值0;0时符头靠近符_f上方;0时符头靠近符十卜方.表l符千-符头垂直方向作用势基于"作用场"的音符基元关系描述方法具有如下优势:(1)距离能够直观,连续地表示基元之间的关系.势函数是距离的函数,通过势函数描述基元问的关系,能达到鲁棒性和精确性的统一,对于复杂的数据环境有良好的适应能力.(2)从势函数定义可以看出,作用场携带有知识.具有正确音符结构的基元之间拥有较大的作用势,而非特征结构的作用势相对较小或不产生作用场.因此,作用场在很大程度上揭示了音符结构的内在特征,为一步的音符结构细分提供了极大方便.(3)在作用场的"吸引"下,离散基元聚合成若干组基元集群,而基元集群包含了潜在的音符对象.因此,音符结构分析时只需在基元集群这个"小环境"内进行搜索和判断, 不必遍历所有基元,从而降低搜索空间,提高效率.4.2音符子结构定义及其特征分析本文将音符细分为6类子结构:主音符结构,和声结构,反向和声结构,主符梁结构,符梁中音符结构和副符梁结构. 前3类为独立音符子结构,后3类为组合音符子结构,任何形式的音符均可由这6类结构组合而成.定义2(主音符结构,主符头,主音符作用场)设符干基元stem与符头基元"^的作用场为.n,fsn=<stem,nh肪>. 若fh×>0,则stem与组合成为主音符结构,"称为主符头,fsn称为主音符作用场.主音符结构是构成所有音符的必要成分,每个独立音符有且仅有一个主音符结构,该结构中的符干与符头具有稳定的位置关系,见图l(a).定义3(和声结构,和声符头,和声作用场)设为主音符作用场,.rt=<stem.nh:>,另有一符头基元'与stem 的作用场为',J,kn':<stem,nh'''>.若.'=0锄×'>O,则与stem组合成和声结构,"'称为和声符头,fsn'称为和声作用场,见罔1(b).和声结构依附于主音符结构,是音符中常见但非必要的结构成分.一个音符可以拥有多个和声结构,该结构中的符头相对于符干的纵向位置不稳定.若符干连接有符梁,和声符头与符梁垂向距离需大于谱线问距.符千朝I肺<0A,()符干朝Fo(a)主青符结构和声头I\.Il(b)和声结构和声符头\I+_{符头(c)反向和声结构图1独立音符子结构定义4(反向和声结构,反向和声符头,反向和声作用场)没fsn为一主音符作用场,H=<steln,nh>,另有一符头基元"'与stem的作用场为','=<stem,nh'1『7j''>.若,'=0/\×'<0,则月矗'与stem组合成为反向和声结构,'称为反向和声符头,'称为反向和声作用场.反向和声结构依附于主音符结构或和声结构,是音符中少见且非必要的成分,一个音符可以拥有多个反向和声结构, 其位置靠近和声符头或主符头,见图1【c).定义5(主符梁结构,主符梁,主符梁作用场)设stem为一主音符作用场的符千作用体,另有一符梁基元beam与~'tem 的作用场为6,fsb:<stem,beam>.若/77≠O,则stem与beam组合构成主符梁结构,beam称为主符梁,6称为主符梁作用场.主符梁结构是构成所有组合音符的必要成分,任何一个组合音符左右两端各有一个主符梁结构,符梁与符干具有稳定的位置关系,见图2(a).主0≠I】符粱_纛符符梁.t—剐.(a)主符梁结构(b)符梁中音符结构(c)副符梁结构图2组合音符子结构定义6(符梁中音符结构,符梁中音符作用场)设stem为一主音符作用场的符干作用体,beam为一主符梁作用场中的符梁作用体,beam与.~'tem的作用场为6,/;s'b=<stem,beam, >.若=O/\擘0,则stem与beam组合构成符梁中音符结构,Jsb称为符梁中音符作用场.符梁中音符结构依附于主音符结构和主符梁结构,是组合音符中常见但非必要的结构成分.一个组合音符可以拥有多个中符梁音符结构,该结构中符干与符梁的横向位置不稳定,见图2(b).定义7(副符梁结构,副符梁,副符梁作用场)设stem为一主音符作用场的符干作用体,另有一符梁基元beam与stem 的作用场为fsb,b=<stem,beam:/77,>.若=0,则beam与stem组合构成副符梁结构,beam称为副符梁,fsb称之为副165—符梁作用场.副符梁结构依附于主符梁结构和主音符结构,是组合音符中少见且非必要的成分.一个组合音符可以拥有多个副符梁结构,符梁的纵向和横向位置均不稳定,但符梁间距小于谱线间距,见图2(c).上文针对符尾基元的相关结构进行定义,符尾依附于符干末端,可将它看成一种特殊的符头基元,与符干构成主音符结构,其识别方法亦同主音符结构.表2从基元关系稳定性,结构间依附性,关键程度3个方面对音符子结构进行评述.表2音符予结构评述4.3音符结构分析现有音符结构分析方法大多采用二阶段模式.首先分析符干与符头,识别出独立音符,然后分析符干与符梁,识别出组合音符J.二阶段模式未对音符结构进行细分,识别过程无"重点".而人工读谱是一个"先全局,再局部,后细节"的逐步求精过程,并按关键程度从高到低的顺序分析候选基元的结构匹配条件.以表2内容为依据,确定关键结构优先定位的音符结构分析工作流程,如图3所示.册图3音符结构分析工作流程每个音符虫的结构确定如下:Stepl对于每个候选音符基元(作用体),初始化其作用场队列,计算垂直,水平方向作用势,校验位设为Unchecked. Step2根据定义2搜索"主音符作用场",设置其相应符干,符头的校验位为Checked.Step3根据定义5搜索"主符梁作用场",若其符干的校验位为Checked,则设置其符梁校验位为Checked.Step4若某符梁作用体的校验位为Checked,根据定义6搜索该符梁的"符梁中音符作用场".Step5若某符干作用体的校验位为Checked,根据定义3判断该符干是否存在"和声作用场",若存在,则设置其和声符头的校验位为Checked.Step6若某符干作用体的校验位为Checked,根据定义4判断该符干是否存在"反向和声作用场",若存在,则设置其反向和声符头的校验位为Checked.Step7若某符梁作用体的校验位为Checked,根据定义7判断该符梁是否存在"副符梁作用场",若存在,则设置其副符梁的校验位为Checked.在结构分析完成后,音符语义确定如下:Stepl将每一个校验位为Checked的符干标记为一个"发音单元".Step2找出该符干的作用场队列中所有校验位为Checked的符头与符梁/尾.Step3由符头所处的谱线位置确定音高,若存在多个符头,则该"发音单元"为和声音符,主符头与和声符头同属一个发音单元(同时发音).Step4由符梁/尾的个数确定发音单元的时值.音符结构细分,关键结构优先定位具有如下优势:(1)减小复杂音符的识别难度,降低因不必要判断而付出的开销,提高识别效率.如,如果符干上未搜索到主符头(符干校验位为Unchecked),则直接判定为"伪符干",无需再判断该符干附近的其他基元.(2)关键,稳定的结构识别准确性通常较高,优先识别能减少先识别次要结构引起的误识,还能指导后续复杂结构的分析,排除候选基元中的冗余.以图4为例,其中一个符梁的特征与符头相似,基元抽取阶段会出现冗余(既是符头候选又是符梁候选).若采用传统二阶段模式的音符结构分析方法,则独立音符首先被识别,该符梁将被误识为符头.本文方法优先确定较稳定的主符梁结构,主符梁对后续和声结构中符头的位置产生约束,当符头与主符梁的间距小于谱线间距时即可判断该符头为"伪符头",从而避免误识.,.图4符粱误识为符头的情况5实验评测应用本文方法开发智能光学乐谱识别系统(IntelligentOpticalMusicRecognitionSystem,~OMRS).将IOMRS与现今流行的2款商业乐谱识别软件SharpEye2.68和SmartScore XPro进行对比评测,其音符识别效率和正确性都较高.测试谱例来源文献[7】,谱例均为多声部钢琴谱,音符类型丰富且乐谱内容复杂程度不一.评测方法:无论何种形态音符,均以识别出的发音单元为评测对象,若音符发音单元中符头个数,位置以及符梁/尾个数全部正确,则该音符识别正确.表3为3个系统在InterCore63001.86GHzPC机上的实测结果,包括8个谱例的详细数据和总平均数据,其中,扫描分辨率为150dpi;图像尺寸1200x1600像素;C为正确识别数;F为错误识别数;M为漏识数;发音单元总数:c;识别率=C/T.表3IOMRS,SmartScore,SharpEye测试结果测试项发元SmartScoreSharpEye伽∞m舯鹕㈣㈨O00O0328O000●25279906387OO22444伽m=呈啪拍"㈣㈨呲呱000O02240OO2238798052O50O22454圮8273369O346009898888"99999990111O200●O2278795424001245579907657OO●,r24:,2345678例例例例例例例例谱谱谱谱谱谱谱谱随着谱例音符数的增加,音符排列越密集,音符结构越复杂.由表1可知,谱例1～谱例8,SmartScore与SharpEye的识别率呈较明显的下降趋势,IOMRS保持相对稳定的识别率,IOMRS的平均识别率为98.65%优于SmartScore的98.00%与SharpEye的98.28%;IOMRS的单幅处理时间为0.5s-0.7s优于SmartScore的2s-3s与SharpEye的3s-4s.图5为表中谱例8(局部),图6在[MORS下的音符识别结果,识别结果全部正确.图5多声部乐谱谱例(局部).…b一.一..[[I一}一一一图6对图5的音符识别结果图7和图8分别为该谱例在SmartScore和SharpEye下的识别结果,SmartScore显示有10处音符识别错误,SharpEye 显示有7处音符识别错误.图7SmartScore识剐结果图8SharpEye识别结果6结束语在音符基元抽取阶段提出算法借鉴人工读谱的"逐步求精"和"先验知识引导"思想.在音符结构分析阶段提出音符基元关系描述方法能够直观,精确地描述基元关系.在此基础上实现关键结构优先识别的音符结构分析方法,该方法能够减少将次要结构先分析引起的误识.实验测试结果表明, 本文方法的音符识别性能达到目前优秀商业乐谱识别系统的水平.下一步的研究方向是将本文方法扩展应用到自然手写乐谱的脱机和联机识别中.参考文献[1]GeorgeSE.VisualPerceptionofMusicNotation:On—lineandOff-lineRecognition[M].[S.I.】:IRMPress,2004【2]BainbridgeD,BellTC.AMusicNotationConstructionEnginefor OpticalMusicRecognition[J]2003,33(2):173—200.[3]FahmyH.AGraph-rewritingPapadigmforDiscreteRelaxation: ApplicationtoSheet—musicRecognition[J].InternationalJournalof PatternRecognitionandArtificialIntelligence,1999,12(6): 763—799.[4]刘晓翔,张树生.乐谱图像倾角快速检测方法[J].计算机工程, 2004,3O(2):33—35.[5】刘晓翔,张树生.乐谱图像中谱线的检测与删除方法研究[JJ. 中国图象图形:A版,2003,8(增刊1):657-661[6]RossantBlochIRobustandAdaptiveOMRSystemIncluding FuzzyModeling,FusionofMusicalRules,andPossibleError Detection[J].EURASIPJournalonAppliedSignalProcessing,2007.(1):815-841.[7]许民.理查德?克莱德曼经典通俗钢琴曲[M].长春:长春出版社,1995.编辑陆燕菲～】67—。
[重点]四、五线谱、简谱音阶对照示意图
![[重点]四、五线谱、简谱音阶对照示意图](https://img.taocdn.com/s3/m/92799e89195f312b3169a5c0.png)
[重点]四、五线谱、简谱音阶对照示意图四、五线谱、简谱音阶对照示意图四、五线谱、简谱音阶对照示意图五、简谱唱法与五线谱的音名唱法对照表六、简谱与钢琴(电子琴)键盘位置对照图编辑本段五线谱知识五线谱用来记载音符的五条平行横线叫做五线谱。
五线谱的五条线和由五条线所形成的间，都自下而上计算的。
假使音乐作品是写在数行五线谱上，那么，这数行五线谱还要用连谱号连结起来。
在五线谱上音的位置愈高，音也愈高，反之音的位置愈低，音也愈低，但到底高多少,低多少,却无法确定。
在五线谱上要确定音的高低，必须用谱号来标明。
谱号记在五线谱的某一条线上，便使这条线具有了固定的音级名称和高度，同时也确定了其他各线上或间内的音级名称和高度。
谱号通常用的谱号有三种: G谱号表示小字一组的g，记在五线谱的第二线上，又叫高音谱号;另外有记在第一线上的，叫古法国式高音谱号。
F谱号表示小字组的f，记在五线谱的第四线上，也叫低音谱号;另外还有记在第五线上的，叫倍低音谱号。
C谱号表示小字一组的c，可记在五线谱的任何一线上。
目前被采用的C谱号有C三线谱号(又名中音谱号)为中音提琴所用，有时也长号所用。
C四线谱号(又名次中音谱号)为大提琴、大管和长号所用。
其他C谱号一般较少应用。
使用许多谱号的目的是为了避免过多的加线，以使写谱和读谱更加方便。
各种谱号可以单独使用，也可以连接起来使用，如高、低音谱号所组成的大谱表便是。
变音记号调号临时记号用来表示升高或降低基本音级的记号叫做变音记号。
变音记号有五种: 升记号(#)表示将基本音级升高半音。
降记号(b)表示将基本音级降低半音。
重升记号(×)表示将基本音级升高两个半音(一个全音)。
重降记号(bb)表示将基本音级降低两个半音(一个全音)。
还原记号(ヰ)表示将已经升高或降低的音还原。
变音记号可以记在五线谱的线上和间内;可以记在音符的前面和谱号的后面。
记在谱号后面的变音记号叫做调号。
在未改变新调之前，它对音列中所有同音名的音都生效。
[重点]四、五线谱、简谱音阶对照示意图
[重点]四、五线谱、简谱音阶对照示意图四、五线谱、简谱音阶对照示意图四、五线谱、简谱音阶对照示意图五、简谱唱法与五线谱的音名唱法对照表六、简谱与钢琴(电子琴)键盘位置对照图编辑本段五线谱知识五线谱用来记载音符的五条平行横线叫做五线谱。
五线谱的五条线和由五条线所形成的间，都自下而上计算的。
假使音乐作品是写在数行五线谱上，那么，这数行五线谱还要用连谱号连结起来。
在五线谱上音的位置愈高，音也愈高，反之音的位置愈低，音也愈低，但到底高多少,低多少,却无法确定。
在五线谱上要确定音的高低，必须用谱号来标明。
谱号记在五线谱的某一条线上，便使这条线具有了固定的音级名称和高度，同时也确定了其他各线上或间内的音级名称和高度。
谱号通常用的谱号有三种: G谱号表示小字一组的g，记在五线谱的第二线上，又叫高音谱号;另外有记在第一线上的，叫古法国式高音谱号。
F谱号表示小字组的f，记在五线谱的第四线上，也叫低音谱号;另外还有记在第五线上的，叫倍低音谱号。
C谱号表示小字一组的c，可记在五线谱的任何一线上。
目前被采用的C谱号有C三线谱号(又名中音谱号)为中音提琴所用，有时也长号所用。
C四线谱号(又名次中音谱号)为大提琴、大管和长号所用。
其他C谱号一般较少应用。
使用许多谱号的目的是为了避免过多的加线，以使写谱和读谱更加方便。
各种谱号可以单独使用，也可以连接起来使用，如高、低音谱号所组成的大谱表便是。
变音记号调号临时记号用来表示升高或降低基本音级的记号叫做变音记号。
变音记号有五种: 升记号(#)表示将基本音级升高半音。
降记号(b)表示将基本音级降低半音。
重升记号(×)表示将基本音级升高两个半音(一个全音)。
重降记号(bb)表示将基本音级降低两个半音(一个全音)。
还原记号(ヰ)表示将已经升高或降低的音还原。
变音记号可以记在五线谱的线上和间内;可以记在音符的前面和谱号的后面。
记在谱号后面的变音记号叫做调号。
在未改变新调之前，它对音列中所有同音名的音都生效。
线谱乐谱图像识别与演奏
计 算 机 音
用 范 围
图助乐：
数乐档用 字谱图图 音图像像 乐像分处
算 机
景
光
学
书音 馆乐 等教 等学
格 式
自 动
析 等
理 、
，
乐 谱
。转相模
识
化关式） 别
成技识技
通术别术
用，、，
4
基本乐理知识与算法原理
5
MN
Sij(m,n)T(m,n)
R(i, j)
m1n1
M N Sij(m,n)2 M N Tij(m,n)2
01
读取图像
02
图像预处 理
03
谱线识别 与删除
04
乐谱分割
05
模板匹配
06
单行乐谱 生成
07
乐谱分段 载入
08
音频播放
8
• 图像预处理 #2022 RGB图像
灰度图像 于阈
值主的二要值图流像程步骤
grb2gray（） 设置合理阈值，灰度大 值的设为255，小于阈 设为0
9
主要流程步骤
图像预处理
02 音符对应的时长：
time =
8
8
8
4
8
8
4
4
2
8
8
8
8
17
总结与展望
尚未解决的问题
一．只能识别二分音符、四分音符、八分音符，对于和弦、十六分音符、 三分音符以及多声部的音乐等情况尚无法识别。
二．谱线删除算法会造成部分音符的破碎，尚需改进。 三．算法鲁棒性较低，对原始输入图像的质量要求较高。 四．由于基于相关系数的模板匹配算法的局限性，在识别音符时会出现
m1n1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
五线谱乐谱图像识别与演奏
2011年10月26日
1
主要内容
➢背景 ➢基本乐理知识与算法原理 ➢实现步骤 ➢总结与展望
2
2020/9/9
背景
• 现代计算机科学与音乐艺术的结合产生了计算机音
乐，人们对音乐的创作、演奏、传播从传统的手工 作业方式一跃而为高科技方式。
• 目前，数字乐谱的录入工作主要由人手动完成，输
• 1）对模板和待测图像进行延拓 • 2）对待测图像进行预处理，用二维FFT算法对其
进行处理
• 3）用二维FFT算法对模板进行处理，并取共轭 • 4）将待测图像的变换矩阵与模板的变换矩阵相乘 • 5）对结果做IFFT变换，并作归一化处理，得到
相关系数矩阵
7
2020/9/9
流程图
读取图像
图像预处理
谱线识别与删除
程序运行结果
• 乐谱对应的频率：
frequent =
330 392 494 392 440 392 349 494 440 330 392 494 587 587
• 音符对应的时长：
time =
888848844 28888
17
2020/9/9
总结与展望
• 尚未解决的问题
1.只能识别二分音符、四分音符、八分音符，对于和弦 、十六分音符、三分音符以及多声部的音乐等情况尚无 法识别。
2.谱线删除算法会造成部分音符的破碎，尚需改进。 3.算法鲁棒性较低，对原始输入图像的质量要求较高。 4.由于基于相关系数的模板匹配算法的局限性，在识别
音符时会出现误识别。
18
2020/9/9
五线谱乐谱图像识别与演奏
Thank You !
19
2020/9/9
音频播放
乐谱分割
乐谱分段载入
模板匹配
8
单行乐谱生成
202灰度图像
二值图像
主要流程步骤
grb2gray（） 设置合理阈值，灰度大于阈 值的设为255，小于阈值的 设为0
9
2020/9/9
主要流程步骤
• 图像预处理
转化后的二值图像
10
2020/9/9
主要流程步骤
• 应用范围：
计算机音乐 计算机辅助音乐教学 数字音乐图书馆等等
4
2020/9/9
基本乐理知识与算法原理
5
2020/9/9
模板匹配算法
MN
Sij(m,n)T(m,n)
R(i, j)
m1n1
M N Sij(m,n)2 M N Tij(m,n)2
m1n1
m1n1
6
2020/9/9
基于FFT的快速算法
• 谱线识别与删除
11
2020/9/9
主要流程步骤
• 谱线删除后的乐 谱图像
12
2020/9/9
• 音符识别
主要流程步骤
13
2020/9/9
• 音符识别
主要流程步骤
14
2020/9/9
• 符梁的提取
主要流程步骤
15
2020/9/9
主要流程步骤
乐谱的生成
GPCAD音阶频率表
16
2020/9/9
入工作量大、效率低。因此，不可避免地产生了低 速的音乐信息输入与高速信息处理之间的矛盾。
• 目标：计算机读懂五线谱并进行演奏
3
2020/9/9
背景
• 计算机光学乐谱识别（Optical Music
Recognition，OMR）技术，利用图像处理、模 式识别、文档图像分析等相关技术，把乐谱图像自 动转化成通用的数字音乐格式。