一种基于深度学习的古诗词配乐方法及系统

1.本技术涉及配乐领域，尤其涉及一种基于深度学习的古诗词配乐方法及系统。


背景技术：

2.中国古典诗词是中华文化库中的瑰宝，不仅承担着提高文学素养的作用，也是弘扬中华优秀传统文化的重要手段。随着多媒体教学法的广泛普及，教师为了更顺利地推进教学活动，需要经常查找并获取与古诗词相匹配的背景音乐资源。
3.但是，海量的音乐作品造成了严重的信息过载问题，导致在检索与授课内容相匹配的音乐作品时，消耗了大量的不必要的时间与精力。因此，如何实现针对古诗词的音乐检索成为了一个极其重要的问题。
4.相较于普通文本信息，古诗词中凝练了大量的意象，旨在表达作者丰富的情感思想，因此古诗词文本分析的重点是结构、文字之间的连接关系以及诗词整体表现出的“意境”，把握住古诗词表达情感才能为其匹配合适的音乐。
5.目前，市面上存在一些根据文本信息进行配乐的方法，但是基本上都只是单纯的进行文本特征提取从而进行音乐的匹配，而忽略了古诗词相比于普通文本的的特点，导致无法给予古诗词文本相较于普通文本的同样准确的匹配率，最终给用户带来了极差的体验，因此，如何实现基于古诗词文本内容的音乐检索是一个亟需解决的问题。


技术实现要素：

6.本技术提供了一种基于深度学习的古诗词配乐方法及系统，能够解决现有的基于文本信息进行配乐的技术无法给予古诗词文本相较于普通文本的同样准确的匹配率的问题。
7.第一方面，本技术的技术方案是一种基于深度学习的古诗词配乐方法，包括：
8.s1：构建关于音乐情感的音乐分类模型；可通过输入音乐文件至所述音乐分类模型，用于相应地确定音乐文件的音乐情感类型；
9.s2：构建包括若干个音乐文件的音乐库，通过音乐分类模型分别确定音乐库中若干个音乐文件的音乐情感类型；
10.s3：基于深度学习构建关于古诗词情感的古诗词分类模型；可通过输入古诗词文本至所述古诗词分类模型，用于相应地确定古诗词文本的主题分类结果和情感分类结果；
11.s4：获取待配乐的古诗词的待匹配文本，输入待匹配文本至古诗词分类模型，确定待匹配文本的主题分类结果和情感分类结果；
12.s5：基于预设的特征匹配模型，根据待匹配文本的主题分类结果和情感分类结果，确定相应于待匹配文本的可匹配的音乐情感类型并且在音乐库中搜索相应于可匹配的音乐情感类型的音乐文件，确定相应于待匹配文本的匹配音乐。
13.可选地，所述音乐分类模型包括：音乐特征模型、音乐识别模型和分类认知模型；
14.所述音乐特征模型，用于确定音乐文件中音乐基本单元的音乐特征；
15.所述音乐识别模型，用于确定音乐文件中音乐基本单元的音乐情感类型；
16.所述分类认知模型，用于根据音乐文件中音乐基本单元的音乐特征和音乐情感类型，确定音乐文件的音乐情感类型。
17.可选地，所述音乐特征模型中的音乐特征包括：音高、音强、旋律方向、速度、节拍和音色；
18.以及，所述音乐特征模型包括：hevner情感环模型；
19.以及，所述分类认知模型基于决策树理论确定音乐文件的音乐情感类型。
20.可选地，所述古诗词分类模型包括：主题分类模型fasttext和情感分类模型bilstm；
21.以及，所述步骤s3包括：
22.s31：构建包括若干个古诗词的诗词库，以及对诗词库中的若干个古诗词进行预处理，得到预处理文库；
23.s32：在预处理文库中挑选出训练集和测试集；
24.s33：根据训练需求，通过训练集训练模型并且通过测试集测试模型，得到相应于训练需求的主题分类模型fasttext和情感分类模型bilstm；
25.可通过输入音乐文件至所述主题分类模型fasttext，用于相应地确定音乐文件的主题分类结果；可通过输入音乐文件至所述情感分类模型bilstm，用于相应地确定音乐文件的情感分类结果。
26.可选地，所述步骤s31包括：
27.s311：基于包含诗词内容的语料库和包含情感标签的知识库，构建起包含古诗词内容和古诗词对应情感标签的的诗词库；
28.s312：去除诗词库中的若干个古诗词的标点符号，分别得到若干个古诗词的纯文本；
29.s313：基于预设标准对纯文本进行切分，得到相应于若干个古诗词的切分文本；
30.s314：通过python中的gensim自然语言处理工具包使用word2vec模型将若干个切分文本转化为相应于若干个古诗词的词向量，得到预处理文库。
31.可选地，所述步骤s313中的预设标准可为以字为单位，也可为以词为单位。
32.可选地，所述步骤s33包括：
33.s331：设置输入层，输入词向量并采用n-gram语言模型扩充特征词，增加文本的时序特征；设置隐藏层，对文本中的词向量进行叠加平均；设置输出层，输出softmax分类概率；
34.s332：通过训练集训练模型并且通过测试集测试模型，得到相应于训练需求的主题分类模型fasttext；
35.s333：设置输入层，输入词向量；设置映射层，将句中的每一个词都映射成固定长度的向量；设置lstm层，用双向的lstm对进入此层的向量进行计算，得到更高级别的句子向量；设置attention层，对双向lstm的结果加权；设置输出层；
36.s334：通过训练集训练模型并且通过测试集测试模型，得到相应于训练需求的情感分类模型bilstm。
37.可选地，所述步骤s2包括：
38.s21：构建包括若干个音乐文件的音乐库，通过音乐分类模型分别确定音乐库中若干个音乐文件的音乐情感类型和相应于音乐情感类型的音乐情感标签；
39.以及，所述步骤s4包括：
40.s41：获取待配乐的古诗词的待匹配文本，输入待匹配文本至古诗词分类模型，确定待匹配文本的主题分类结果和情感分类结果，以及确定相应于主题分类结果的古诗词主题标签和相应于情感分类结果的古诗词情感标签；
41.以及，所述步骤s5包括：
42.s51：构建基于音乐情感标签、古诗词主题标签和古诗词情感标签的初始数据集；
43.s52：通过初始训练集对随机森林算法模型进行训练，得到特征匹配模型；
44.s53：基于特征匹配模型，根据待匹配文本的古诗词主题标签和古诗词情感标签，确定相应于待匹配文本的可匹配的音乐情感标签并且在音乐库中搜索相应于可匹配的音乐情感标签的音乐文件，确定相应于待匹配文本的匹配音乐。
45.第二方面，本技术的技术方案是一种基于深度学习的古诗词配乐系统，包括：模型构建模块、音乐库模块、音乐分类模块、古诗词输入模块、古诗词分类模块和匹配模块；
46.所述模型构建模块，用于构建音乐分类模型和古诗词分类模型；
47.所述音乐库模块，用于存储音乐库；
48.所述音乐分类模块，用于存储音乐分类模型，以及通过音乐分类模型确定若干个音乐文件的音乐情感类型；所述音乐库模块还用于存储已确定音乐情感类型的音乐库；
49.所述古诗词输入模块，用于获取待配乐的古诗词并且确定待配乐的古诗词的待匹配文本，以及传送待匹配文本；
50.所述古诗词分类模块，用于存储古诗词分类模型，用于接收待匹配文本并且通过古诗词分类模型确定待匹配文本的主题分类结果和情感分类结果；
51.所述匹配模块，用于存储预设的特征匹配模型，以及根据待匹配文本的主题分类结果和情感分类结果，确定相应于待匹配文本的可匹配的音乐情感类型，以及通过所述音乐库模块在已确定音乐情感类型的音乐库中搜索相应于可匹配的音乐情感类型的音乐文件，确定相应于待匹配文本的匹配音乐。
52.可选地，所述模型构建模块包括：文本获取单元、数据预处理单元、数据转化单元、主题分类单元和情感分类单元；
53.所述文本获取单元，构建包括若干个古诗词的诗词库；
54.所述数据预处理单元，用于对诗词库中的若干个古诗词进行预处理，得到预处理文库；
55.所述数据转化单元，用于在预处理文库中挑选出训练集和测试集；
56.所述主题分类单元，用于通过训练集训练模型并且通过测试集测试模型，得到相应于训练需求的主题分类模型fasttext；
57.所述情感分类单元，用于通过训练集训练模型并且通过测试集测试模型，得到相应于训练需求的情感分类模型bilstm。
58.有益效果：
59.本技术通过构建基于古诗词文本的关于古诗词情感的古诗词分类模型，可以有针对性地对古诗词文本所表达的情感进行分析，因此在确定好音乐情感类型的基础上，迅速
地基于古诗词文本的情感进行音乐匹配，整个过程智能简便，准确率高而且效率高，因此能够解决现有的基于文本信息进行配乐的技术无法给予古诗词文本相较于普通文本的同样准确的匹配率的问题。
附图说明
60.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
61.图1为本技术实施例中一种基于深度学习的古诗词配乐方法的流程示意图；
62.图2为本技术实施例中音乐识别模型的hevner模型的示意图；
63.图3为本技术实施例中一种基于深度学习的古诗词配乐系统的结构示意图；
64.其中，1-模型构建模块；2-音乐库模块；3-音乐分类模块；4-古诗词输入模块；5-古诗词分类模块；6-匹配模块。
具体实施方式
65.下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本技术相一致的所有实施方式。仅是与权利要求书中所详述的、本技术的一些方面相一致的系统和方法的示例。
66.针对古诗词进行音乐检索，主要包括两个方面，一方面，需要对文本信息进行处理，即从中提取出情感基调、文本特征等信息；另一方面，面对海量的音乐作品数据库，需要精准有效的从中检索出与文本信息相匹配的背景音乐。
67.在文本信息处理方面，机器学习和深度学习都被广泛应用且有着优秀的表现。在自然语言处理领域中，文本识别技术、语义识别技术可以将古典诗词从主题和情感方面进行有效的分类和标识。其中文本情感分析是指通过计算机技术对文本的主客观性、观点、情绪等的挖掘和分析，对文本的情感倾向做出分类判断。音乐和文本是人类描述情感信息的两种符号系统。实现文本和音乐之间的匹配常常需要建立这两个符号系统之间的语义对应关系，从而实现两种系统描述情感的对应。传统机器学习方法领域的分类算法有支持向量机、回归模型、随机森林等。除此之外，深度学习的各种nlp神经网络算法使得文本识别技术、语义识别技术更加成熟。基于深度学习的情感分析也逐渐成为主流，该方法将文本向量化成能够被计算机计算的连续向量，同时结合各种深度学习模型针对上下文进行建模提取特征。
68.音乐分析，本质上是对音乐的检索，传统的音乐检索方式有基于文本的音乐检索和基于内容的音乐检索。基于文本的音乐检索这一过程依赖人工标注，通过将音乐属性作为关键字，如音乐名称、作曲人姓名、歌词信息等，与数据库中的音乐信息对比进行检索和匹配。但该方式存在明显的局限性：在实际检索过程中，用户可能无法提供有效的音乐属性信息，对于无明确关键字信息这一情况，并且文本信息对音乐自身属性的表达并不全面，该方式目前无法满足用户的检索需求。基于内容的音乐检索方法以音乐本身拥有的属性特征作为出发点，提取可以表征音乐的特征，如频谱、相位、旋律、音色等，相关检索技术有哼唱
音乐检索、乐谱自动转换等。音乐也是情感传递的一种载体，文本情感分析与音频情感分析提取出的情感色彩和情感趋向性可作为文本与音乐匹配的依据。音乐的情感识别分析本质上是一个多分类问题，主要包含两个步骤：情感特征提取和情感识别。情感特征的提取和识别涉及多方面的专业知识，如声学特征，情感分类算法、情感语料等。情感识别则是将语音信息通过传感器获得语音信号，通过对语音信号的提取识别出情感特征，最后将得到的情感特征进行识别判断。
69.(一)本技术实施例提供了一种基于深度学习的古诗词配乐方法，如图1所示，图1为本技术实施例中一种基于深度学习的古诗词配乐方法的流程示意图，方法包括：
70.s1：构建关于音乐情感的音乐分类模型。可通过输入音乐文件至音乐分类模型，用于相应地确定音乐文件的音乐情感类型。
71.具体地，音乐分类模型包括：音乐特征模型、音乐识别模型和分类认知模型。音乐识别模型作为最终分类的基础，选择尤为重要。音乐识别模型中最为通用、常见的有hevner模型、thayer模型、twc模型和pad模型等。
72.其中，音乐特征模型是分类认知模型的输入，用于确定音乐文件中音乐基本单元的音乐特征。
73.一首完整的音乐分为若干小节，小节作为音乐的基本单元。
74.低层特征如能量特征、频域特征、时域特征、乐音特征和感知特征等，与人认知层面的情感间接相关；高层特征与情感之间有更强且更直接的相关性，如速度、节拍、伴奏、和弦、调式等。
75.音高：小节的平均音高。
76.音强：小节的平均音强。
77.旋律方向：音高和音符时长都有可能影响旋律方向。
78.速度：音乐速度的快慢影响着情感表达。通常轻快的音乐速度较快，严肃、庄重的音乐速度较慢。这里使用单个音符时长来衡量，单个音符的时长越短则音乐速度越快，反之则越慢。
79.节拍：衡量节奏的单位。节拍对音乐情感的表现也起到重要作用。节拍可以从midi音乐文件中直接读取。
80.音色：不同乐器产生的音色不同，而音色特征常常间接的反应音乐的情感主体。如萧、二胡用于表达悲伤的情感，笛子、贝斯用于演奏欢快的乐曲。通过对midi音乐文件进行分析得到乐曲音色信息。
81.使用上述六个音乐特征，包括音高、音强、旋律方向、速度、节拍、音色，构成音乐的特征向量，用音乐特征向量来表示音乐基本单元的情感。表示为：x＝[pitch，velocity，melody，tempo，beat，tone]，x作为分类认知模型的输入。
[0082]
音乐识别模型，具体记载分类标准，用于确定音乐文件中音乐基本单元的音乐情感类型。
[0083]
在一些实施例中，如图2所示，图2为本技术实施例中音乐识别模型的hevner模型的示意图，由隶属于八个类别的67个形容词组成，每个类别中的形容词为近义词，用来表示
相近的情感，并且八个类别根据相互关系构成了一个环形图，称为hevner情感环模型。
[0084]
分类认知模型，用于根据音乐文件中音乐基本单元的音乐特征和音乐情感类型，确定音乐文件的音乐情感类型。
[0085]
在一些实施例中，分类认知模型基于决策树理论确定音乐文件的音乐情感类型。
[0086]
s2：构建包括若干个音乐文件的音乐库，通过音乐分类模型分别确定音乐库中若干个音乐文件的音乐情感类型。
[0087]
其中，步骤s2包括：
[0088]
s21：构建包括若干个音乐文件的音乐库，通过音乐分类模型分别确定音乐库中若干个音乐文件的音乐情感类型和相应于音乐情感类型的音乐情感标签。
[0089]
s3：基于深度学习构建关于古诗词情感的古诗词分类模型。可通过输入古诗词文本至古诗词分类模型，用于相应地确定古诗词文本的主题分类结果和情感分类结果。
[0090]
具体地，古诗词分类模型可通过输入古诗词文本，经过模型处理得到该古诗词文本的主题分类结果和情感分类结果，其中主题分类的结果主要是根据古诗词文本中文字字面表达的含义，将古诗词文本进行字面含义上的主题分类；情感分类的结果是通过分析古诗词文本中诗句所要表达的情感信息，将古诗词文本根据蕴含的情感进行分类。
[0091]
主题分类结果和情感分类结果各自起到不同的作用，但是又相互协同，对应生成的古诗词主题标签和古诗词情感标签能够更好的确定与古诗词对应的“音乐情感类型”，从而能够更精确的体现出古诗词文本与音乐文件之间的匹配关系，提高古诗词配乐的准确性。
[0092]
古诗词分类模型包括：主题分类模型fasttext和情感分类模型bilstm。
[0093]
其中，步骤s3包括：
[0094]
s31：构建包括若干个古诗词的诗词库，以及对诗词库中的若干个古诗词进行预处理，得到预处理文库。
[0095]
其中，步骤s31包括：
[0096]
s311：基于包含诗词内容的语料库和包含情感标签的知识库，构建起包含古诗词内容和古诗词对应情感标签的的诗词库。
[0097]
s312：去除诗词库中的若干个古诗词的标点符号，分别得到若干个古诗词的纯文本。
[0098]
s313：基于预设标准对纯文本进行切分，得到相应于若干个古诗词的切分文本。
[0099]
具体地，预设标准可为以字为单位，也可为以词为单位。
[0100]
s314：通过python中的gensim自然语言处理工具包使用word2vec模型将若干个切分文本转化为相应于若干个古诗词的词向量，得到预处理文库。
[0101]
具体地，在文本预处理部分，分词是进行自然语言处理的重要步骤，中文分词与英文分词区别较大，古诗词是一种具有人文内涵且凝练性高的中文文本，随着中国古典诗词语料库的不断建设，可以使用针对于古汉语处理的nlp工具包甲言进行分词，还有其它的中文分词包值得使用，如segtag、jieba、pkuseg。
[0102]
在完成分词后，文本会出现大量的单字，例如语气助词、连接词、代词等无实际意义的单字被称为停用词，可以将停用词进行过滤去除，提高模型的效率，常用的停用词表有哈工大停用词表、百度停用词表、机器智能实验室停用词库。
[0103]
在分词的基础上，可以通过中国古典诗词语料库确定每个词的情感含义，对词语进行情感标注，通过某种算法将整首诗词中词语情感合一，生成整首诗词的情感标签。
[0104]
文本预处理后，进行文本向量化。文本向量化又称词嵌入，词嵌入是指把一个维数是所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组是映射到实数域上的向量。将文本转化为计算机可以看懂的语言，常用的文本向量化有one-hot编码、tf-idf矩阵、word2vec模型。其中，word2vec模型为常用的词嵌入方法，通过设置虚拟空间维度和词语的最低保存词频即可实现词嵌入处理。
[0105]
s32：在预处理文库中挑选出训练集和测试集。
[0106]
s33：根据训练需求，通过训练集训练模型并且通过测试集测试模型，得到相应于训练需求的主题分类模型fasttext和情感分类模型bilstm。
[0107]
可通过输入音乐文件至主题分类模型fasttext，用于相应地确定音乐文件的主题分类结果。可通过输入音乐文件至情感分类模型bilstm，用于相应地确定音乐文件的情感分类结果。
[0108]
其中，步骤s33包括：
[0109]
s331：设置输入层，输入词向量并采用n-gram语言模型扩充特征词，增加文本的时序特征。设置隐藏层，对文本中的词向量进行叠加平均。设置输出层，输出softmax分类概率。
[0110]
s332：通过训练集训练模型并且通过测试集测试模型，得到相应于训练需求的主题分类模型fasttext。
[0111]
s333：设置输入层，输入词向量。设置映射层，将句中的每一个词都映射成固定长度的向量。设置lstm层，用双向的lstm对进入此层的向量进行计算，得到更高级别的句子向量。设置attention层，对双向lstm的结果加权。设置输出层。
[0112]
s334：通过训练集训练模型并且通过测试集测试模型，得到相应于训练需求的情感分类模型bilstm。
[0113]
s4：获取待配乐的古诗词的待匹配文本，输入待匹配文本至古诗词分类模型，确定待匹配文本的主题分类结果和情感分类结果。
[0114]
其中，步骤s4包括：
[0115]
s41：获取待配乐的古诗词的待匹配文本，输入待匹配文本至古诗词分类模型，确定待匹配文本的主题分类结果和情感分类结果，以及确定相应于主题分类结果的古诗词主题标签和相应于情感分类结果的古诗词情感标签。
[0116]
s5：基于预设的特征匹配模型，根据待匹配文本的主题分类结果和情感分类结果，确定相应于待匹配文本的可匹配的音乐情感类型并且在音乐库中搜索相应于可匹配的音乐情感类型的音乐文件，确定相应于待匹配文本的匹配音乐。
[0117]
其中，步骤s5包括：
[0118]
s51：构建基于音乐情感标签、古诗词主题标签和古诗词情感标签的初始数据集。
[0119]
s52：通过初始训练集对随机森林算法模型进行训练，得到特征匹配模型。
[0120]
s53：基于特征匹配模型，根据待匹配文本的古诗词主题标签和古诗词情感标签，确定相应于待匹配文本的可匹配的音乐情感标签并且在音乐库中搜索相应于可匹配的音乐情感标签的音乐文件，确定相应于待匹配文本的匹配音乐。
[0121]
(二)本技术实施例还提供了一种基于深度学习的古诗词配乐系统，如图3所示，图3为本技术实施例中一种基于深度学习的古诗词配乐系统的结构示意图，系统包括：模型构建模块1、音乐库模块2、音乐分类模块3、古诗词输入模块4、古诗词分类模块5和匹配模块6。
[0122]
模型构建模块1，用于构建音乐分类模型和古诗词分类模型。
[0123]
具体地，模型构建模块1包括：文本获取单元、数据预处理单元、数据转化单元、主题分类单元和情感分类单元。
[0124]
文本获取单元，构建包括若干个古诗词的诗词库。
[0125]
数据预处理单元，用于对诗词库中的若干个古诗词进行预处理，得到预处理文库。
[0126]
具体地，数据预处理单元用于将从诗词库获得的古诗词文本和待匹配文本进行标点符号去除，按字切分，可选的，按词切分，对类标进行onehot化。
[0127]
数据转化单元，用于在预处理文库中挑选出训练集和测试集。
[0128]
主题分类单元，用于通过训练集训练模型并且通过测试集测试模型，得到相应于训练需求的主题分类模型fasttext。
[0129]
情感分类单元，用于通过训练集训练模型并且通过测试集测试模型，得到相应于训练需求的情感分类模型bilstm。
[0130]
音乐库模块2，用于存储音乐库。
[0131]
音乐分类模块3，用于存储音乐分类模型，以及通过音乐分类模型确定若干个音乐文件的音乐情感类型。音乐库模块2还用于存储已确定音乐情感类型的音乐库。
[0132]
古诗词输入模块4，用于获取待配乐的古诗词并且确定待配乐的古诗词的待匹配文本，以及传送待匹配文本。
[0133]
古诗词分类模块5，用于存储古诗词分类模型，用于接收待匹配文本并且通过古诗词分类模型确定待匹配文本的主题分类结果和情感分类结果。
[0134]
匹配模块6，用于存储预设的特征匹配模型，以及根据待匹配文本的主题分类结果和情感分类结果，确定相应于待匹配文本的可匹配的音乐情感类型，以及通过音乐库模块2在已确定音乐情感类型的音乐库中搜索相应于可匹配的音乐情感类型的音乐文件，确定相应于待匹配文本的匹配音乐。
[0135]
具体地，匹配模块6用于构建、训练并测试随机森林分类算法模型，将音乐库中匹配的音乐随机化推荐给用户。
[0136]
以上对本技术的实施例进行了详细说明，但内容仅为本技术的较佳实施例，不能被认为用于限定本技术的实施范围。凡依本技术范围所作的均等变化与改进等，均应仍属于本技术的专利涵盖范围之内。