一种自动作曲方法及系统与流程

1.本发明涉及自动作曲技术领域，特别是涉及一种自动作曲方法及系统。


背景技术：

2.音乐是一门丰富人们生活的艺术，如今已成为社会生活不可或缺的一部分。而自动作曲技术，是一种利用计算机，以算法、规则或结构模型等主要技术手段为基础的作曲系统。自动作曲技术已成为人工智能技术研究的热点之一。
3.现有的基于进化算法等的作曲方法，生成的音乐参差不齐，需要人工的去对生成音乐进行评判和选择，无法自动对生成音乐进行优化，自动生成优化后的音乐。


技术实现要素：

4.本发明的目的是提供一种自动作曲方法及系统，以自动对生成音乐进行优化，自动生成优化后的音乐。
5.为实现上述目的，本发明提供了如下方案：
6.本发明提供一种自动作曲方法，所述方法包括如下步骤：
7.构建音乐数据训练集；
8.以所述音乐数据训练集中的音乐数据作为lstm网络模型的输入，以所述音乐数据的质量数据作为lstm网络模型的输出，利用所述音乐数据训练集训练lstm网络模型，获得训练后的lstm网络模型；
9.以训练后的lstm网络模型的输出的最大化为优化目标，采用优化算法，进行音乐生成。
10.可选的，所述构建音乐数据训练集，具体包括：
11.获取原始音乐数据集；
12.采用遗传算法对所述原始音乐数据集进行处理，获得生成音乐数据集；
13.将所述原始音乐数据集和所述生成音乐数据集合并到音乐数据训练集中；
14.采用音乐质量评价算法对音乐数据训练集中的每个音乐数据进行评价，获得每个音乐数据的质量数据。
15.可选的，所述遗传算法中按照所述原始音乐数据集中每个音高的统计概率生成初始的父代种群中的随机音乐。
16.可选的，所述遗传算法中的适应度函数为m＝s
r
‑2‑
gram
s
r
‑3‑
gram
‑
s
rule
‑
n
；其中，s
r
‑2‑
gram
为随机音乐中连续相邻2个音高数据在原始音乐数据集中出现的次数、s
r
‑3‑
gram
为随机音乐中连续相邻3个音高数据在原始音乐数据集中出现的次数及，s
rule
‑
n
为随机音乐中为音乐规则中不和谐音乐的音调出现的次数。
17.可选的，所述采用音乐质量评价算法对音乐数据训练集中的每个音乐数据进行评价，获得每个音乐数据的质量数据，具体包括：
18.采用n
‑
gram相似度评价方法，利用公式f1＝s2‑
gram
s3‑
gram
，对音乐数据训练集中的
每个音乐数据进行评价，获得音乐数据训练集中的每个音乐数据的第一评价结果；
19.其中，f1表示音乐数据训练集中的音乐数据的第一评价结果，s2‑
gram
表示音乐数据训练集中的音乐数据的相邻两个音高数据在原始音乐数据集中出现的次数，s3‑
gram
表示音乐数据训练集中的音乐数据的相邻三个音高数据在原始音乐数据集中出现的次数；
20.采用音乐规则评价方法，利用公式f2＝∑s
rule
，对音乐数据训练集中的每个音乐数据进行评价，获得音乐数据训练集中的每个音乐数据的第二评价结果；其中，f2表示音乐数据训练集中的音乐数据的第二评价结果，s
rule
表示音乐数据符合的音乐规则中的规则的得分；
21.以所述第一评价结果和所述第二评价结果的和为依据，对所述音乐数据训练集中的音乐数据进行分层；
22.分别从每层的音乐数据中获取小样本数据进行听觉感知评分，获得每层的音乐数据中的每个小样本数据的第三评价结果；
23.采用小样本学习技术，分别根据每层的音乐数据中的每个小样本数据的第三评价结果，对每层中的每个音乐数据进行评价，获得每层中的每个音乐数据的第三评价结果；
24.对音乐数据训练集中每个音乐数据的第一评价结果、第二评价结果和第三评价结果进行加权求和，得到音乐数据训练集中每个音乐数据的质量数据。
25.一种自动作曲系统，所述系统包括：
26.音乐数据训练集构建模块，用于构建音乐数据训练集；
27.lstm网络模型训练模块，用于以所述音乐数据训练集中的音乐数据作为lstm网络模型的输入，以所述音乐数据的质量数据作为lstm网络模型的输出，利用所述音乐数据训练集训练lstm网络模型，获得训练后的lstm网络模型；
28.音乐生成模块，用于以训练后的lstm网络模型的输出的最大化为优化目标，采用优化算法，进行音乐生成。
29.可选的，所述音乐数据训练集构建模块，具体包括：
30.原始音乐数据集获取子模块，用于获取原始音乐数据集；
31.音乐数据生成子模块，用于采用遗传算法对所述原始音乐数据集进行处理，获得生成音乐数据集；
32.数据集合并子模块，用于将所述原始音乐数据集和所述生成音乐数据集合并到音乐数据训练集中；
33.质量数据获取子模块，用于采用音乐质量评价算法对音乐数据训练集中的每个音乐数据进行评价，获得每个音乐数据的质量数据。
34.可选的，所述遗传算法中按照所述原始音乐数据集中每个音高的统计概率生成初始的父代种群中的随机音乐。
35.可选的，所述遗传算法中的适应度函数为m＝s
r
‑2‑
gram
s
r
‑3‑
gram
‑
s
rule
‑
n
；
36.其中，s
r
‑2‑
gram
为随机音乐中连续相邻2个音高数据在原始音乐数据集中出现的次数、s
r
‑3‑
gram
为随机音乐中连续相邻3个音高数据在原始音乐数据集中出现的次数及，s
rule
‑
n
为随机音乐中为音乐规则中不和谐音乐的音调出现的次数。
37.可选的，所述质量数据获取子模块，具体包括：
38.第一评价单元，用于采用n
‑
gram相似度评价方法，利用公式f1＝s2‑
gram
s3‑
gram
，对
音乐数据训练集中的每个音乐数据进行评价，获得音乐数据训练集中的每个音乐数据的第一评价结果；
39.其中，f1表示音乐数据训练集中的音乐数据的第一评价结果，s2‑
gram
表示音乐数据训练集中的音乐数据的相邻两个音高数据在原始音乐数据集中出现的次数，s3‑
gram
表示音乐数据训练集中的音乐数据的相邻三个音高数据在原始音乐数据集中出现的次数；
40.第二评价单元，用于采用音乐规则评价方法，利用公式f2＝∑s
rule
，对音乐数据训练集中的每个音乐数据进行评价，获得音乐数据训练集中的每个音乐数据的第二评价结果；其中，f2表示音乐数据训练集中的音乐数据的第二评价结果，s
rule
表示音乐数据符合的音乐规则中的规则的得分；
41.分层单元，用于以所述第一评价结果和所述第二评价结果的和为依据，对所述音乐数据训练集中的音乐数据进行分层；
42.听觉感知评分单元，用于分别从每层的音乐数据中获取小样本数据进行听觉感知评分，获得每层的音乐数据中的每个小样本数据的第三评价结果；
43.第三评价单元，用于采用小样本学习技术，分别根据每层的音乐数据中的每个小样本数据的第三评价结果，对每层中的每个音乐数据进行评价，获得每层中的每个音乐数据的第三评价结果；
44.加权求和单元，用于对音乐数据训练集中每个音乐数据的第一评价结果、第二评价结果和第三评价结果进行加权求和，得到音乐数据训练集中每个音乐数据的质量数据。
45.根据本发明提供的具体实施例，本发明公开了以下技术效果：
46.本发明公开了一种自动作曲方法，所述方法包括如下步骤：构建音乐数据训练集；以所述音乐数据训练集中的音乐数据作为lstm网络模型的输入，以所述音乐数据的质量数据作为lstm网络模型的输出，利用所述音乐数据训练集训练lstm网络模型，获得训练后的lstm网络模型；以训练后的lstm网络模型的输出的最大化为优化目标，采用优化算法，进行音乐生成。本发明结合lstm网络模型和优化算法实现对生成音乐的自动评价和优化，实现了自动对生成音乐进行优化，自动生成优化后的音乐。
47.本发明通过n
‑
gram相似度评价模型和音乐规则评价模型从音乐数据训练集中选取不同层次的音乐，然后要求不同的观众对所选音乐进行评分。然后，利用小样本学习技术生成与音乐训练数据集相同规模的人为评分。然后，分别对n
‑
gram评分、规则评分和人的评分三种评价权重，得到最终的综合评分，克服了现有的音乐生成方法中由于评价的原因，在音乐生成方面会存在一定的局限性的技术问题。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
49.图1为本发明提供的一种自动作曲方法的总体流程图；
50.图2为本发明提供的一种自动作曲方法的具体流程图；
51.图3为本发明提供的一种自动作曲方法的原理图；
52.图4为本发明提供的一种自动作曲系统的结构图。
具体实施方式
53.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.本发明的目的是提供一种自动作曲方法及系统，以自动对生成音乐进行优化，自动生成优化后的音乐。
55.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
56.实施例1
57.如图1、2和3所示，本发明提供一种自动作曲方法，所述方法包括如下步骤：
58.步骤101，构建音乐数据训练集。
59.步骤101所述构建音乐数据训练集，具体包括：
60.s1获取原始音乐数据集。
61.s2采用遗传算法对所述原始音乐数据集进行处理，获得生成音乐数据集。
62.s21：统计原始音乐数据集中每个音高出现的概率；
63.s22：统计原始数据集相邻连续2个音高数据、相邻连续3个音高数据出现的次数；
64.s23：利用遗传算法根据所述每个音高出现的概率生成随机音乐，并以所述随机音乐中连续相邻2个音高数据、连续相邻3个音高数据在原始音乐数据集中出现的次数和，再与所述随机音乐符合音乐规则中不和谐音乐的次数的差，作为适应度函数，保留每一代生成音乐数据，并且之后剔除相同的音乐数据，获得生成音乐数据集。
65.s3将所述原始音乐数据集和所述生成音乐数据集合并到音乐数据训练集中。
66.s4采用音乐质量评价算法对音乐数据训练集中的每个音乐数据进行评价，获得每个音乐数据的质量数据。
67.由于评价的原因，在音乐生成方面会存在一定的局限性。对于基于音乐语法规则的自动作曲技术，进化算法在搜索目标的过程中存在随机性，未与原始音乐数据集进行比较就可以获得最终的音乐数据。而对于相似度评价的自动作曲技术，由于受限于无法评估音乐的听觉感知，从而未能生成好的音乐作品。基于此，本发明提供了多准则评价算法。
68.s4所述采用音乐质量评价算法对音乐数据训练集中的每个音乐数据进行评价，获得每个音乐数据的质量数据，具体包括：
69.采用n
‑
gram相似度评价方法，利用公式f1＝s2‑
gram
s3‑
gram
，对音乐数据训练集中的每个音乐数据进行评价，获得音乐数据训练集中的每个音乐数据的第一评价结果；
70.其中，f1表示音乐数据训练集中的音乐数据的第一评价结果，s2‑
gram
表示音乐数据训练集中的音乐数据的相邻两个音高数据在原始音乐数据集中出现的次数，s3‑
gram
表示音乐数据训练集中的音乐数据的相邻三个音高数据在原始音乐数据集中出现的次数；
71.采用音乐规则评价方法，利用公式f2＝∑s
rule
，对音乐数据训练集中的每个音乐数据进行评价，获得音乐数据训练集中的每个音乐数据的第二评价结果；其中，f2表示音乐数
据训练集中的音乐数据的第二评价结果，s
rule
表示音乐数据符合的音乐规则中的规则的得分；
72.以所述第一评价结果和所述第二评价结果的和为依据，对所述音乐数据训练集中的音乐数据进行分层；
73.分别从每层的音乐数据中获取小样本数据进行听觉感知评分，获得每层的音乐数据中的每个小样本数据的第三评价结果；
74.采用小样本学习技术，分别根据每层的音乐数据中的每个小样本数据的第三评价结果，对每层中的每个音乐数据进行评价，获得每层中的每个音乐数据的第三评价结果；
75.对音乐数据训练集中每个音乐数据的第一评价结果、第二评价结果和第三评价结果进行加权求和，得到音乐数据训练集中每个音乐数据的质量数据。
76.s4具体包括如下步骤：
77.s41对音乐数据训练集进行相似度和音乐规则评价，选出代表性音乐进行人为评价，该步骤具体包括：
78.s411：统计音乐数据训练集在原始音乐数据集中2
‑
gram、3
‑
gram的出现的次数，作为评价1得分；
79.s22：统计音乐数据训练集中符合音乐规则的次数，作为评价2得分，所述音乐规则如下表1所述：
80.表1提出的音乐规则
[0081][0082][0083]
所述小二度指的是连续两个音高数据的差的绝对值为1；小七度指的是连续两个音高数据的差的绝对值为10；超过一个八度指的是连续两个音高数据的差的绝对值大于12；非小二度、非小三度、非大三度指的连续两个音高数据的差的绝对值不为2、3、4。
[0084]
s42：扩充人为评价结果规模，对三种评价归一化和加权处理，得到唯一评价，该步骤具体包括：
[0085]
s421：根据每个听众打的分数，对所述选出的代表性音乐的每个分数进行概率统计；
[0086]
s422：利用小样本学习技术，对每个层次的音乐数据训练集依据所述每个分数的概率进行随机生成分数；即，对每个层次的音乐数据按照每种分数的概率进行分数生成。
[0087]
s423：分别对n
‑
gram得到评价分数、音乐规则得到的评价分数、人为评价得到的分数按照公式进行归一化处理，可以得到每首音乐归一化后的n
‑
gram评价分数、
音乐规则评价分数、人为评价分数；
[0088]
s424：给予所述三种评价的归一化分数不同权重w1、w2、w3，并根据公式f
″
＝w1*f'1 w2*f'2 w3*f'3获得每首音乐的唯一评价。
[0089]
步骤102，以所述音乐数据训练集中的音乐数据作为lstm网络模型的输入，以所述音乐数据的质量数据作为lstm网络模型的输出，利用所述音乐数据训练集训练lstm网络模型，获得训练后的lstm网络模型；
[0090]
步骤103，以训练后的lstm网络模型的输出的最大化为优化目标，采用优化算法，进行音乐生成。所述优化算法可以但不限于粒子群算法、遗传算法等。
[0091]
实施例2
[0092]
自动作曲的过程具体如下：
[0093]
s2
‑
1、首先利用音乐数据生成模块进行音乐数据的生成，包括原始音乐数据集的处理和利用遗传算法生成音乐数据集，并使两者合并得到最终的音乐数据训练集，其中原始音乐数据集包括24首唢呐音乐数据。
[0094]
s2
‑
2、通过音乐评价模块对音乐数据训练集中每首音乐进行评价，包括根据n
‑
gram评价与规则评价的综合得分，选出具有代表性的音乐进行人为打分。
[0095]
s2
‑
3、利用数据扩充模块对人为评价的分数进行扩充，使之规模与音乐数据训练集的规模一样。
[0096]
s2
‑
4、利用数据融合模块，将三种评价的归一化后的评价分数进行加权计算，在本实施例中，分别以0.7、0.2、0.1对应给予f1、f2、f3权重。
[0097]
s2
‑
5、网络训练模块，分别以音乐数据x
k
作为lstm的输入，f
″
作为lstm网络的输出，进行网络训练，设置训练次数为4200次，得到一个训练好的网络模型。
[0098]
s2
‑
6、音乐优化模块。以遗传算法随机生成的初始音乐作为输入，所述训练好的网络模型的输出作为目标函数，利用原子搜索优化方法进行音乐的优化，得到目标函数中数值最高的音乐，即最好的音乐。
[0099]
s2
‑
7、对所述最好的音乐进行人为评价。
[0100]
本具体实施方式选用30名听众中，其中接受过专业音乐学习的听众和未接受过专业音乐学习的听众分别有15名。听众的平均年龄24.33
±
1.34岁，听众的年龄差异无统计学意义。
[0101]
采用本发明的方法，首先通过s2
‑
1、s2
‑
2、s2
‑
3、s2
‑
4得到每首音乐以及对应的唯一评价分数，接着通过s2
‑
5、s2
‑
6得到最好的音乐，最后通过s2
‑
7得到最好的音乐的人为评价分数，打分的分值区间为1至10，最后评价分数的平均分为8.233。说明使用基于多评价准则的自动作曲方法能够生成较好的唢呐音乐。
[0102]
实施例3
[0103]
如图4所示，本发明还提供一种自动作曲系统，所述系统包括：
[0104]
音乐数据训练集构建模块401，用于构建音乐数据训练集；
[0105]
所述音乐数据训练集构建模块，具体包括：
[0106]
原始音乐数据集获取子模块，用于获取原始音乐数据集；
[0107]
音乐数据生成子模块，用于采用遗传算法对所述原始音乐数据集进行处理，获得生成音乐数据集；所述遗传算法中按照所述原始音乐数据集中每个音高的统计概率生成初
始的父代种群中的随机音乐。所述遗传算法中的适应度函数为m＝s
r
‑2‑
gram
s
r
‑3‑
gram
‑
s
rule
‑
n
；其中，s
r
‑2‑
gram
为随机音乐中连续相邻2个音高数据在原始音乐数据集中出现的次数、s
r
‑3‑
gram
为随机音乐中连续相邻3个音高数据在原始音乐数据集中出现的次数及，s
rule
‑
n
为随机音乐中为音乐规则中不和谐音乐的音调出现的次数。
[0108]
数据集合并子模块，用于将所述原始音乐数据集和所述生成音乐数据集合并到音乐数据训练集中。
[0109]
质量数据获取子模块，用于采用音乐质量评价算法对音乐数据训练集中的每个音乐数据进行评价，获得每个音乐数据的质量数据。
[0110]
所述质量数据获取子模块，具体包括：
[0111]
第一评价单元，用于采用n
‑
gram相似度评价方法，利用公式f1＝s2‑
gram
s3‑
gram
，对音乐数据训练集中的每个音乐数据进行评价，获得音乐数据训练集中的每个音乐数据的第一评价结果；
[0112]
其中，f1表示音乐数据训练集中的音乐数据的第一评价结果，s2‑
gram
表示音乐数据训练集中的音乐数据的相邻两个音高数据在原始音乐数据集中出现的次数，s3‑
gram
表示音乐数据训练集中的音乐数据的相邻三个音高数据在原始音乐数据集中出现的次数；
[0113]
第二评价单元，用于采用音乐规则评价方法，利用公式f2＝∑s
rule
，对音乐数据训练集中的每个音乐数据进行评价，获得音乐数据训练集中的每个音乐数据的第二评价结果；其中，f2表示音乐数据训练集中的音乐数据的第二评价结果，s
rule
表示音乐数据符合的音乐规则中的规则的得分；
[0114]
分层单元，用于以所述第一评价结果和所述第二评价结果的和为依据，对所述音乐数据训练集中的音乐数据进行分层；
[0115]
听觉感知评分单元，用于分别从每层的音乐数据中获取小样本数据进行听觉感知评分，获得每层的音乐数据中的每个小样本数据的第三评价结果；
[0116]
第三评价单元，用于采用小样本学习技术，分别根据每层的音乐数据中的每个小样本数据的第三评价结果，对每层中的每个音乐数据进行评价，获得每层中的每个音乐数据的第三评价结果；
[0117]
加权求和单元，用于对音乐数据训练集中每个音乐数据的第一评价结果、第二评价结果和第三评价结果进行加权求和，得到音乐数据训练集中每个音乐数据的质量数据。
[0118]
lstm网络模型训练模块402，用于以所述音乐数据训练集中的音乐数据作为lstm网络模型的输入，以所述音乐数据的质量数据作为lstm网络模型的输出，利用所述音乐数据训练集训练lstm网络模型，获得训练后的lstm网络模型；
[0119]
音乐生成模块403，用于以训练后的lstm网络模型的输出的最大化为优化目标，采用优化算法，进行音乐生成。
[0120]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0121]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。