图像识别模型的训练方法、图像识别方法及相关设备与流程
本技术涉及计算机,尤其涉及图像识别模型的训练方法、图像识别方法及相关设备。
背景技术:
1、随着科学技术的不断发展,通过图像处理技术帮助完成需要人工参与的识别工作,广泛地铺展到了各个领域中,例如,交通卡口处的车辆识别功能、公共场合下摄像头的物体轨迹识别功能、医疗领域中的病变特征识别功能等等,这些应用场景中,都存在着图像处理技术的身影。
2、然而,所有的图像识别技术都不得不面临相同的情况,即:获取图像的设备硬件不同,导致不同的设备获得的图像之间存在图像风格上的巨大差异,换言之,不同的设备在拍摄相同的物体时,得到的图像会存在不同的色彩对比和亮度分布,而图像识别模型的训练却是基于训练时使用的图像数据,与应用时处理的图像数据会具有相同的图像风格这一前提下进行的。
3、这样的情况在核心特征比较突出的图像识别处理过程中,可能不会造成较大的影响,但是,在某些图像处理技术的应用中,由于识别对象的对精细度要求,微小的扰动都会对识别结果造成较大的影响,如此,图像之间风格的差别,就会带来图像识别模型的图像识别结果准确性的严重降低。
4、例如,在医疗领域的病变特征识别过程中,某些病变特征会非常微小,这样,当使用了不同的拍摄硬件获取到图像时,不同的图像风格会导致图像中的病变特征表现具有明显的差异。在这种情况下,由于图像识别模型的训练过程中使用的样本数据无法涵盖所有的图像风格,因此,在图像识别模型的应用过程中,面对具有样本数据中不曾涵盖的图像风格的待处理图像时,图像识别模型的识别准确率就会严重降低。
5、因此,亟需一种新的图像识别模型的训练方法,用以提高针对不同具有不同的图像风格的图像识别处理的准确性。
技术实现思路
1、本技术实施例提供了一种图像识别模型的训练方法、图像识别方法及相关设备,用以提高针对不同具有不同的图像风格的图像识别处理的准确性。
2、第一方面,提供一种图像识别模型的训练方法,包括:
3、获取样本数据集;每个样本数据包括:待处理图像,以及对应的识别标签;
4、基于所述样本数据集对待训练模型进行迭代训练;其中,每轮训练执行:
5、针对选取的待处理图像,提取出图像特征和初始语义特征;
6、基于所述图像特征和所述初始语义特征之间的关联程度,以所述图像特征为基准,对所述初始语义特征进行重构处理,获得重构语义特征;
7、基于所述重构语义特征和所述初始语义特征之间的特征元素区别,获得所述重构语义特征中,每个特征元素的识别权重;
8、基于所述重构语义特征和各识别权重,结合所述图像特征,获得图像识别结果,以及,基于所述图像识别结果与对应的识别标签之间的差异,对所述图像识别模型进行调参处理。
9、第二方面,提供一种图像识别的方法,包括:
10、接收图像识别请求端发送的待处理图像;
11、采用已训练的图像识别模型,对所述待处理图像进行识别处理,获得相应的图像识别结果;其中,所述图像识别模型是采用如第一方面任一项所述的方法训练得到的;
12、向所述图像识别请求端返回所述图像识别结果。
13、第三方面,提供一种图像识别模型的训练装置,包括:
14、获取模块:用于获取样本数据集;每个样本数据包括:待处理图像,以及对应的识别标签;
15、处理模块:用于基于所述样本数据集对待训练模型进行迭代训练;其中,每轮训练执行:针对选取的待处理图像,提取出图像特征和初始语义特征;基于所述图像特征和所述初始语义特征之间的关联程度,以所述图像特征为基准,对所述初始语义特征进行重构处理,获得重构语义特征;基于所述重构语义特征和所述初始语义特征之间的特征元素区别,获得所述重构语义特征中,每个特征元素的识别权重;基于所述重构语义特征和各识别权重,结合所述图像特征,获得图像识别结果,以及,基于所述图像识别结果与对应的识别标签之间的差异,对所述图像识别模型进行调参处理。
16、可选的,所述处理模块具体用于:
17、提取所述选取的待处理图像对应的原始特征,并对所述原始特征进行多轮特征提取处理,直到完成预设轮次为止;其中,每轮特征提取执行:
18、基于预设的信息权重,对上轮输出特征中的各输出特征元素进行加权处理,获得加权后的上轮输出特征;其中,在第一轮处理时,所述上轮输出特征为所述原始特征;
19、对所述加权后的上轮输出特征进行特征提取,获得本轮输出特征;
20、将第一轮处理获得的本轮输出特征作为所述图像特征,以及将除第一轮处理以外的其他轮次获得的各本轮输出特征,作为所述初始语义特征。
21、可选的,所述处理模块具体用于:
22、针对所述初始语义特征中的每个本轮输出特征,分别执行如下操作:
23、基于预设的维度条件,对所述图像特征和一个本轮输出特征进行维度调整处理,获得调整图像特征和调整语义特征;其中,所述调整图像特征和所述调整语义特征具有相同的特征维度;
24、基于交叉注意力机制,对所述调整语义特征中的各特征元素中的每个语义特征元素分别执行:确定一个语义特征元素,与所述调整图像特征中的各图像特征元素之间的各注意力权重;其中,所述注意力权重用于描述:
25、一个语义特征元素与一个图像特征元素之间的关联程度;
26、基于获得的各注意力权重,以所述调整图像特征为基准,对所述调整语义特征进行重构处理,获得重构后的调整语义特征;
27、将获得的各重构后的调整语义特征,作为所述重构语义特征。
28、可选的,所述处理模块具体用于:
29、基于所述调整语义特征,结合预设的查询矩阵参数,获得相应的查询矩阵,以及基于所述调整图像特征,结合预设的键矩阵参数,获得相应的键矩阵;
30、对所述查询矩阵与所述键矩阵进行矩阵乘法处理,获得相应的注意力权重矩阵;其中,所述注意力权重矩阵中的每个矩阵元素用于描述:一个语义特征元素与一个调整图像特征元素之间的注意力权重;
31、则所述基于获得的各注意力权重,以所述调整图像特征为基准,对所述调整语义特征进行重构处理,获得重构后的调整语义特征,包括:
32、基于所述调整图像特征,结合预设的值矩阵参数,获得相应的值矩阵;
33、基于所述注意力权重矩阵,对所述值矩阵进行加权融合处理,获得所述重构后的调整语义特征。
34、可选的,所述处理模块具体用于:
35、对所述加权后的上轮输出特征进行特征提取,获得相应的本轮中间特征;
36、针对所述本轮中间特征中每个通道的通道特征,分别执行:
37、基于一个通道的通道特征中,各通道特征元素的平均值,对所述各通道特征元素进行亮度偏移处理,获得偏移后的通道特征;
38、基于所述各通道特征元素的标准差,对所述偏移后的通道特征中的各通道特征元素进行对比度平滑处理,获得平滑后的通道特征;
39、基于获得的各平滑后的通道特征,确定所述本轮输出特征。
40、可选的,所述处理模块具体用于:
41、确定包含所述选取的待处理图像的样本数据子集中,所述一个通道在每个待处理图像对应的通道特征;所述样本数据子集中包括至少两个样本数据;
42、基于获得的各通道特征中,每个通道特征元素的取值,对所述选取的待处理图像对应的各通道特征元素,进行所述亮度偏移处理以及所述纹理平滑处理,获得样本间处理后的通道特征;
43、基于所述平滑后的通道特征,以及,所述样本间处理后的通道特征,获得相应的去风格化通道特征;
44、则所述基于获得的各平滑后的通道特征,确定所述本轮输出特征,包括:
45、基于获得的各去风格化通道特征,确定所述本轮输出特征。
46、可选的,所述处理模块具体用于:
47、以所述重构语义特征为基准,对所述图像特征进行维度对齐处理,获得对齐后的图像特征;
48、基于所述各识别权重,对所述重构语义特征中相应的重构特征元素进行加权处理,获得加权后的重构语义特征,以及,基于所述各识别权重,对所述对齐后的图像特征中相应的图像特征元素进行加权处理,获得加权后的图像特征;
49、基于所述加权后的重构语义特征,以及所述加权后的图像特征,对所述选取的待处理图像进行图像识别处理,获得所述图像识别结果。
50、第四方面,提供一种图像识别的装置,包括:
51、收发模块:用于接收图像识别请求端发送的待处理图像;
52、处理模块:用于采用已训练的图像识别模型,对所述待处理图像进行识别处理,获得相应的图像识别结果;其中,所述图像识别模型是采用第一方面任一项所述的方法训练得到的;
53、所述收发模块还用于:向所述图像识别请求端返回所述图像识别结果。
54、第五方面,提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面或第二方面所述的方法。
55、第六方面,提供一种计算机设备,包括:
56、存储器,用于存储程序指令;
57、处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行如第一方面或第二方面所述的方法。
58、第七方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面或第二方面所述的方法。
59、本技术实施例中,在对图像识别模型进行训练的过程时,对样本数据中的待处理图像进行了图像特征与初始语义特征的提取,并以较为底层的图像特征为基础,对较为高层的初始语义特征进行重构,从而获得相应的重构语义特征。由于底层的图像特征容易受到图像风格的影响,从而产生不同的识别结果,而高层的语义特征对应的识别结果则相对较为稳定,因此,以图像特征为基础进行重构得到重构语义特征后,可以利用重构语义特征与初始语义特征之间的区别,来判断哪些特征元素容易受到图像风格的影响,进而从图像特征和语义特征中,确定能够指向识别标签对应的结果的本质性特征。
60、如此,利用重构语义特征和初始语义特征之间的区别,确定重构语义特征中,每个特征元素的识别权重,可以使得图像识别模型更加关注在重构过程中,能够不受图像风格影响,而保持稳定的特征元素,利用这些较为稳定的特征元素,进行图像识别,从而提高图像识别结果的准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com