本发明涉及新一代信息，尤其涉及基于麻雀搜索算法的五线谱识别方法及装置。
背景技术：
1、随着计算机技术和音乐艺术的不断发展，人们对音乐创作、传播、演奏渠道也发生了巨大的改变，衍生出了五线谱识别这一新兴技术。五线谱识别技术融合了多个领域的先进技术，以实现自动识别和提取五线谱中的音符信息。
2、当前，五线谱识别技术已经在多个领域中得到了初步应用，期望在未来可以结合音乐理论、信号处理和其他领域的知识，进一步提高识别的准确性和实用性，跨学科的融合将为五线谱识别技术发展带来新的机遇和挑战。
3、例如公告号为：cn110516542b的发明专利公告的一种五线谱图像自动识别方法及系统、存储介质及终端，包括：识别五线谱图像中的段落结构信息，根据所述段落结构信息将所述五线谱图像按照小节顺序组合成曲谱流；对每个小节的曲谱图像进行语义分割，生成曲谱单元的语义图；基于所述语义图推测曲谱的定长向量编码；将所述定长向量编码转换为不定长文本；将所述不定长文本转换为mus i cxml文件。本发明的五线谱图像自动识别方法及系统、存储介质及终端能够准确识别音乐曲谱图像并实现文本化，识别准确率高，实用性强。
4、例如公告号为：cn105022993b的发明专利公告的一种基于图像识别技术的五线谱播放方法，包括：图像预处理识别步骤；去除五线谱步骤；分离音符步骤；连音音符分割步骤；识别每个小节的音符步骤；根据对应频率发声步骤。利用本发明实施例，能够在不懂曲谱的情况下欣赏到曲谱的旋律，同时方法复杂度低，容易实现，具有很大的实用价值。
5、但本技术在实现本技术实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：
6、在识别待检测五线谱图像时，由于存在复杂的装饰音符或音符重叠的情况，且待检测的五线谱图像不存在数据库中，导致存在无法确定待检测五线谱图像的识别结果是否正确的问题。
技术实现思路
1、本技术实施例通过提供基于麻雀搜索算法的五线谱识别方法及装置，解决了在识别待检测五线谱图像时，无法确定待检测五线谱图像的识别结果是否正确的问题。
2、本技术实施例提供了基于麻雀搜索算法的五线谱识别方法，包括以下步骤：首先将待检测的五线谱图像与预设的五线谱图像合并，识别合并图像中的谱线并移除；识别移除谱线后的图像中的每个独立图像，分为第一音符图像数据集和第一符号图像数据集；将第一音符图像和第一符号图像的图像量化为数值后，通过麻雀搜索算法从数据库中匹配出与第一音符图像和第一符号图像一一对应的最相似的标准音符图像和标准符号图像；从数据库中获取预设的五线谱图像对应的原始音频，记为第二音频；将预设的五线谱图像对应的部分标准音符和标准符号生成第一音频，分析第一音频中与第二音频的音频相似度评估值；将音频相似度评估值与音频相似度评估值阈值进行对比，若音频相似度评估值大于音频相似度评估值阈值，则识别完成，将输出待检测的五线谱图像对应部分标准音符和标准符号，否则，调整麻雀搜索算法的迭代次数、种群大小参数，重新数据库中匹配与第一音符图像和第一符号图像一一对应的最相似的标准音符图像和标准符号图像，直到音频相似度评估值大于音频相似度评估值阈值。
3、进一步的，将待检测的五线谱图像与预设的五线谱图像合并，识别合并图像中的谱线并移除的步骤包括：将待检测的五线谱图像与预设的五线谱图像中的音符和符号调整为同一识别等级；将预设的五线谱图像与待检测的五线谱图像进行合并，记为：合并图像；分析合并图像中的像素点，找出符合谱线特征的直线段；提取谱线的特征信息，包括位置、长度、方向；根据提取到的特征信息，将谱线所在位置的像素值设置为背景色。
4、进一步的，识别移除谱线后的图像中的每个独立图像，分为第一音符图像数据集和第一符号图像数据集，并分别统计它们的数量包括：将移除谱线后的图像转换为二值图像；识别二值图像中的独立图像，作为连通组件；识别和分类连通组件为第一音符图像数据集和第一符号图像数据集；统计第一音符图像和第一符号图像的数量，便于后续计算使用。
5、进一步的，识别和分类连通组件为第一音符图像数据集和第一符号图像数据集的步骤包括：预先准备含有标准五线谱音符和符号的模版图像；将连通组件与模版图像进行匹配操作；根据匹配后的结果，将连通组件分类为第一音符图像数据集和第一符号图像数据集。
6、进一步的，将第一音符图像和第一符号图像的图像量化为数值后，通过麻雀搜索算法从数据库中匹配出最相似的音符图像和最相似的符号图像步骤包括：将第一音符图像和第一符号图像量化为数值；获取数据库中标准音符图像和标准符号图像量化后的数值；通过麻雀搜索算法将第一音符图像和第一符号图像的图像量化数值与标准音符图像和标准符号图像量化数值进行相似性匹配。
7、进一步的，通过麻雀搜索算法将第一音符图像和第一符号图像的图像量化数值与标准音符图像和标准符号图像量化数值进行相似性匹配，获取最相似的标准音符图像和标准符号图像的步骤包括：将第一音符图像相似度评估值和第一符号图像相似度评估值计算公式作为目标函数，搜索范围为数据库中标准音符图像和标准符号图像量化特征空间，随机生成初始种群，种群中的每个个体代表第一音符图像或第一符号图像的量化值；计算种群个体的初始的第一音符图像相似度评估值和第一符号图像相似度评估值，根据初始的第一音符图像相似度评估值和第一符号图像相似度评估值将种群个体从大到小进行排序，选择序列中靠前的预设比例的个体作为发现者，剩余个体作为加入者；发现者负责广泛搜索，寻找潜在的最大的第一音符图像相似度评估值和第一符号图像相似度评估值；加入者负责利用发现者提供的信息更新，获取更大的第一音符图像相似度评估值和第一符号图像相似度评估值；遍历更新种群个体位置，计算更新后种群个体的图像相似度评估值，并根据图像相似度评估值更新种群个体类型；当达到设置的遍历次数时结束遍历，最大的第一音符图像相似度评估值和第一符号图像相似度评估值即为找到与第一音符图像和第一符号图像最相似的标准音符图像和标准符号图像的量化值，从而得到第一音符图像和第一符号图像的最相似的标准音符图像和标准符号图像。
8、进一步的，第一音符图像相似度评估值和第一符号图像相似度评估值的计算公式为：
9、
10、式中，si表示第i个第一音符图像相似度评估值，λ表示音符图像形状相似度的权重因子，(1-λ)表示音符图像位置相似度的权重因子，ji、ki、li分别表示第i个第一音符图像的符头、符干、符尾对于整个第一音符图像音符的权重，xhi、xmi、xei分别表示第一音符图像中第i个音符的符头、符干、符尾图像的量化值，yhi、ymi、yei分别表示数据库中与第i个第一音符图像进行匹配的标准音符图像的符头、符干、符尾图像的量化值，xi、yi分别代表第一音符图像中第i个音符的图像位置的量化值和数据库中与第i个第一音符图像进行匹配的标准音符图像位置的量化值，sn表示第n个第一符号图像相似度评估值，μ表示符号图像形状相似度的权重，(1-μ)表示符号图像位置相似度的权重，msn、nsn分别代表第一符号图像中第n个符号的图像和数据库中与第n个第一符号图像进行匹配的标准符号图像形状的量化值，mxn、nxn分别代表第一符号图像中第n个符号的图像和数据库中与第n个第一符号图像进行匹配的标准符号图像符号位置的量化值，i为音符的编号时，i＝1,2,3...，n1代表音符的数量，n为符号的编号，n＝1,2,3...，n2代表符号的数量。
11、进一步的，将预设的五线谱图像对应的部分标准音符和标准符号生成第一音频，分析第一音频中与第二音频的音频相似度评估值的步骤包括：首先将预设的五线谱图像对应的部分标准音符和标准符号生成第一音频，将其转换为数字音频信号；将数字音频信号生成波形图，确定出波形的周期，根据波形的周期计算频率；对数字音频信号进行采样，获取各个采样点的振幅值；利用音频相似度评估值计算公式求出第一音频与第二音频的音频相似度评估值。
12、进一步的，音频相似度评估值的计算公式为：
13、
14、式中，s表示音频相似度评估值，η表示时值相似度的权重因子，(1-η表示音调和强度相似度的权重因子，jk、kk分别表示音调和强度在第k个采样点中的权重，mlk、mfk分别表示第一音频中第k个采样点中的音调和强度值，mdj表示第一音频中第j个音符的时值，nlk、nfk表示第二音频中第k个采样点中的音调和强度值，ndj表示第二音频中第j个音符的时值，φk表示第k个振幅值相位差影响的校正系数，e表示自然对数的底数，其中音调通过测量声音波形的周期计算其频率获得的，强度是根据采样点的振幅值得到的，单个音符的时值是根据全音符时长和音符类型计算的，j为音符的编号，j＝1,2,3...，n1代表音符的数量，k为采样点的数量标号，k＝1,2,3...，n，n表示采样点的总数量。
15、本技术实施例提供了基于麻雀搜索算法的五线谱识别系统，所述包括：谱线处理模块、数据分类模块、图像匹配模块、第二音频获取模块、音频相似度评估模块、最终图像获取模块；其中，所述谱线处理模块，用于将待检测的五线谱图像与预设的五线谱图像合并，识别合并图像中的谱线并移除；所述数据分类模块，用于识别移除谱线后的图像中的每个独立图像，分为第一音符图像数据集和第一符号图像数据集，并分别统计它们的数量；所述图像匹配模块，用于将第一音符图像和第一符号图像的图像量化为数值后，通过麻雀搜索算法从数据库中匹配出与第一音符图像和第一符号图像一一对应的最相似的标准音符图像和标准符号图像；所述第二音频获取模块，用于从数据库中获取预设的五线谱图像对应的原始音频，记为第二音频；所述音频相似度评估模块，用于将预设的五线谱图像对应的部分标准音符和标准符号生成第一音频，分析第一音频中与第二音频的音频相似度评估值；所述最终图像获取模块，用于将音频相似度评估值与音频相似度评估值阈值进行对比，若音频相似度评估值大于音频相似度评估值阈值，则识别完成，将输出待检测的五线谱图像对应部分标准音符和标准符号，否则，调整麻雀搜索算法的迭代次数、种群大小参数，重新数据库中匹配与第一音符图像和第一符号图像一一对应的最相似的标准音符图像和标准符号图像，直到音频相似度评估值大于音频相似度评估值阈值。
16、本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
17、1、通过将筛选出的图像转换为音频，并与预设五线谱图像的音频部分进行比对，通过参考音频相似度评估值来验证图像识别的准确性，进一步增强了结果的可信度，有效解决了现有技术中无法确定待检测五线谱图像的识别结果是否正确的问题。
18、2、整个流程高度自动化，从图像合并、谱线移除、对象识别分类到特征量化匹配，再到音频生成与比对，减少了人工干预，提高了处理效率和准确性。
19、3、通过处理图像和利用麻雀搜索算法优化相似度评估值，能够精确地识别图像中的音符和符号，并匹配出最相似的图像，当音频相似度评估值未达到音频相似度评估值阈值时，可以通过调整算法的迭代次数、种群大小参数，重新匹配最相似的标准音符图像和标准符号图像，直到音频相似度评估值达到音频相似度评估值阈值，从而保证了结果的准确性。
1.基于麻雀搜索算法的五线谱识别方法，其特征在于所述方法，包括以下步骤：
2.如权利要求1所述基于麻雀搜索算法的五线谱识别方法，其特征在于：所述将待检测的五线谱图像与预设的五线谱图像合并，识别合并图像中的谱线并移除的步骤包括：
3.如权利要求1所述基于麻雀搜索算法的五线谱识别方法，其特征在于：所述识别移除谱线后的图像中的每个独立图像，分为第一音符图像数据集和第一符号图像数据集，具体步骤包括：
4.如权利要求3所述基于麻雀搜索算法的五线谱识别方法，其特征在于：所述识别和分类连通组件为第一音符图像数据集和第一符号图像数据集的步骤包括：
5.如权利要求1所述基于麻雀搜索算法的五线谱识别方法，其特征在于：所述将第一音符图像和第一符号图像的图像量化为数值后，通过麻雀搜索算法从数据库中匹配出最相似的音符图像和最相似的符号图像步骤包括：
6.如权利要求5所述基于麻雀搜索算法的五线谱识别方法，其特征在于：所述通过麻雀搜索算法将第一音符图像和第一符号图像的图像量化数值与标准音符图像和标准符号图像量化数值进行相似性匹配，获取最相似的标准音符图像和标准符号图像的步骤包括：
7.如权利要求6所述基于麻雀搜索算法的五线谱识别方法，其特征在于：所述第一音符图像相似度评估值和第一符号图像相似度评估值的计算公式为：
8.如权利要求1所述基于麻雀搜索算法的五线谱识别方法，其特征在于：所述将预设的五线谱图像对应的部分标准音符和标准符号生成第一音频，分析第一音频中与第二音频的音频相似度评估值的步骤包括：
9.如权利要求8所述基于麻雀搜索算法的五线谱识别方法，其特征在于：所述音频相似度评估值的计算公式为：
10.基于麻雀搜索算法的五线谱识别系统，其特征在于，包括：谱线处理模块、数据分类模块、图像匹配模块、第二音频获取模块、音频相似度评估模块、最终图像获取模块；
