一种基于基因表达式编程的动态搜索空间设计方法与流程

1.本发明涉及互联网技术领域，具体为一种基于基因表达式编程的动态搜索空间设计方法。


背景技术：

2.随着互联网的快速发展，人们表达情感的方式丰富多彩，如何分析多模态情感数据是情感分析领域面临的挑战，如何有效利用各模态的情感信息是亟待解决的问题。
3.而通过神经网络架构搜索算法(nas)自动搜索出的网络架构在众多领域取得了比人类专家设计的神经网络更好的结果，因此nas方法引起了国内外研究者的广泛关注，并应用于诸多领域，其中，搜索空间定义了nas方法原则上可以表示的神经网络架构，然而现有nas的搜索空间设计方法使得神经网络结构的组合方式较为单一，不利于搜索出自动化程度更高的网络结构。
4.现有的基于链式结构的搜索空间：将整个网络结构表示成链式的顺序结构，然后架构中的每一层都以前一层的输出为输入。
5.基于多分支结构的搜索空间：整个网络架构的每一层的输入由前几层的输出组合而成。
6.基于基本单元结构的搜索空间：搜索网络架构的基本模块而不是搜索整个网络结构，然后，将这些基本模块以预定义的方式堆叠成最终的架构。
7.现有的决策层融合方法：对各模态数据使用不同的模型提取特征，之后在模型的决策层融合各模态的特征信息，从而完成情感识别；此方法仅融合决策层的特征，无法充分利用其它层的特征，限制融合特征的组合方式，从而影响识别精度。
8.基于此，本发明设计了一种基于基因表达式编程的动态搜索空间设计方法，以解决上述问题。


技术实现要素：

9.本发明的目的在于提供一种基于基因表达式编程的动态搜索空间设计方法，以解决上述背景技术中提出的现有nas的搜索空间设计方法使得神经网络结构的组合方式较为单一，不利于搜索出自动化程度更高的网络结构的问题。
10.为实现上述目的，本发明提供如下技术方案：
11.一种基于基因表达式编程的动态搜索空间设计方法，包括以下步骤：
12.s1:将视频分片切割，从中获取图像数组和语音信息；
13.s2:通过特征提取器提取图像数组的图像特征和语音信息的语音特征；
14.s3:通过提取得到的图像特征选取5个不同层提取的特征构成图像特征列表；
15.s4:通过提取得到的语音特征，选取3层特征构成语音特征列表；
16.s5:将图像特征列表与音频特征列表中的特征融合的方式表示成基因表达式；
17.s6:使用基于半监督学习的方法评估各表达式的性能，依据评估性能选出最佳的
融合模块；
18.s7:情感分类。
19.优选的，s1中，所述将视频分片切割具体为将视频分为图像部分和音频部分。
20.优选的，s1中，所述获取图像数组和语音数据具体为通过人脸检测提取图像特征，通过梅尔倒谱系数提取语音信息。
21.优选的，s2中，所述图像特征为使用经过情感数据集预训练的resnet18网络模型提取得到。
22.优选的，s2中，所述语音特征为使用convlstm网络提取识别得到。
23.优选的，s3中，所述图像特征列表为结合递归精炼单元获取视频图像数组的动态特征得到。
24.优选的，s5中，所述基因表达式为使用基因型-表型映射算法将染色体的基因型转化成表达式从而获取融合模块的表达式。
25.优选的，所述基因表达式的基因由基因头部和基因尾部构成，基因头部由函数符号组成，基因尾部由终结符组成。
26.优选的，s6中，所述半监督学习具体为从训练中获取一部分模型架构的准确率，剩余部分的架构准确率由控制器获取。
27.优选的，所述控制器通过置信度驱动的精英保留方法筛选融合模块的表达式，随着训练次数的增加而增强对其的依赖程度。
28.与现有技术相比，本发明的有益效果是：
29.本发明通过使用神经网络架构搜索方法(nas)搜索出高精度低时耗的视听情感识别模型。为了搜索出更加灵活、自动化程度更高的网络结构，改进nas的搜索空间，从而提供结构差异更加明显的基本单元结构，广泛地适用于视听情感识别、电影标签分类、文本到语音合成等。
附图说明
30.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1为本发明流程图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
33.请参阅图1，本发明提供一种技术方案：一种基于基因表达式编程的动态搜索空间设计方法，包括以下步骤：
34.s1:将视频分片切割，从中获取图像数组和语音信息；
35.s2:通过特征提取器提取图像数组的图像特征和语音信息的语音特征；
36.s3:通过提取得到的图像特征选取5个不同层提取的特征构成图像特征列表；
37.s4:通过提取得到的语音特征，选取3层特征构成语音特征列表；
38.s5:将图像特征列表与音频特征列表中的特征融合的方式表示成基因表达式；
39.s6:使用基于半监督学习的方法评估各表达式的性能，依据评估性能选出最佳的融合模块；
40.s7:情感分类。
41.本发明使用基于半监督学习的基因表达式编程算法构建融合模块，主要分为模块的染色体结构、基因型表型转换及基于半监督学习方法。
42.染色体结构
43.基本搜索单元
44.基因表达式编程(gep)需要终结符和函数符号对架构个体进行形式化描述，其中终结符和函数符号都属于基本搜索单元，需要依据指定任务设置。
45.线性基因
46.基因表达式编程(gep)的基因由基因头部和基因尾部构成，基因头部由函数符号组成，基因尾部由终结符组成，因此不同的字母应该出现在基因的不同区域内。给定基因头部长度为h，基因尾部的长度t是h的函数：
47.t＝h*(n-1) 1
48.式中，n表示头部函数符号的最大参数量。
49.每个基因都有编码不同大小和形状的基本单元结构的潜力，无论基因进行何种修改，总会生成有效的基本单元。显然，必须保留基因的组织结构，始终保持基因头部和尾部的边界，不允许函数符号在基因尾部出现。
50.多基因染色体
51.gep的染色体通常由一个或多个基因组成，因此需要为每个具体问题选择基因个数及基因头部长度。每个基因可以编码一个基本单元结构，多个基本单元结构组成一个结构更复杂的架构个体。
52.基因型表型转换
53.gep中遗传信息的表达很简单，基因上的信息可以不经过转录直接转译给基本单元结构。gep基因是线性表示的，因此由gep基因组成的染色体结构也是线性的，称为染色体结构的基因型。
54.为了使得架构的染色体结构更易于理解，并便于处理，使用基因型-表型映射算法将染色体的基因型转化成表达式树从而获取架构的表达式。类似数学表达式的修改比模块的直接修改简单得多，此映射算法提供一种只需少量修改就能改变模型结构的表达式，使得模型变形更加简便，便于提供结构差异更明显的模块。
55.基于半监督学习的方法
56.传统的基因表达式编程算法的演化过程基于进化算法，然而基于进化算法的方法计算资源消耗大，为了解决这个问题，本发明提出使用半监督学习优化基因表达式编程算法。
57.基于半监督的适应度计算方法
58.从头到尾训练搜索空间中的每一个模型获取其准确率，计算资源消耗大，因此引入半监督的方式，一部分模型架构的准确率由训练获取，剩余部分的架构准确率由控制器获取，保证基因适应度的同时，降低计算资源。
59.置信度驱动的精英保留方法
60.为了避免nas在搜索初期对控制器的性能过于依赖，提出置信度驱动的精英保留方法，随着训练次数的增加，增强对控制器的依赖程度，从而保证nas的无偏搜索。
61.具体流程如下
62.预处理：
63.视频分片切割
64.人脸检测
65.提取音频梅尔倒谱系数
66.特征提取器：
67.使用经过情感数据集预训练的resnet18网络模型提取视频的图像特征，为了捕获视频的动态特征，结合递归精炼单元获取视频图像数组的动态特征，选取5个不同层提取的特征构成图像特征列表；使用convlstm网络提取识别语音数据的特征，选取3层特征构成语音特征列表。
68.融合模块的构建：
69.使用基因表达式编程方法构建融合模块的搜索空间，将图像特征列表与音频特征列表中特征融合的方式表示成基因表达式，然后使用基于半监督学习的方法评估各表达式的性能，依据评估性能选出最佳的融合模块。
70.情感分类。
71.本发明中使用基因型-表型转换的映射函数将融合模块的基因型表示转换为表达式的形式，其类似数学表达式的修改比模块的直接修改简单得多，此映射算法提供一种只需少量修改就能改变模型结构的表达式，使得模型变形更加简便，便于提供结构差异更明显的模块。
72.本发明提出结合半监督学习改进其演化过程，保证基因适应度的同时，降低计算资源，降低经典的基因表达式编程算法计算资源消耗。
73.本发明提出置信度驱动的精英保留方法，置信度反应对控制器的依赖程度，保证了nas的无偏搜索。
74.在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
75.以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。