基于行人重识别的行人图像预处理方法及装置与流程

1.本发明涉及神经网络领域，特别是涉及一种基于行人重识别的行人图像预处理方法及装置。


背景技术：

2.行人重识别技术(person re-identification，re-id)是现在计算机视觉研究的热门方向，该技术能够根据行人的穿着、体态、发型等信息认知行人，实现跨摄像头跨场景下行人的识别与检索。但是摄像头的种类、抓拍角度、所在场景的实际环境，都会直接影响抓拍到的行人图像质量，因此行人图像的质量非常重要。
3.现有技术中不同摄像头有不同的成像传感器，加之参数的调整、成像条件、成像角度的不同，往往同一个摄像头获取的行人图像在画面的不同位置易存在不同程度的透视畸变和画面失真；并且在通过摄像头获取行人图像后，需要先准确定位到行人的图像位置，再截取行人的图像进行有效输入处理，同样对行人信息的完整性有所要求。
4.因此，如何在行人重识别处理前得到高质量的行人图像是一个亟待解决的问题。


技术实现要素：

5.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于行人重识别的行人图像预处理方法及装置，用于解决现有技术中未能在行人重识别处理前得到高质量的行人图像的问题。
6.为实现上述目的及其他相关目的，本发明提供一种基于行人重识别的行人图像预处理方法，包括以下步骤：基于待处理的行人图像，应用神经网络模型的第一特征提取模块，确定所述行人图像对应的图像特征；基于所述图像特征，应用插值放缩算法，确定插值放缩后的图像特征；基于所述插值放缩后的图像特征，应用神经网络模型的第二特征提取模块和第三特征提取模块，确定放缩后的图像；且基于所述插值放缩后的图像特征，应用神经网络模型的第四特征提取模块和透视变换模块，确定所述图像特征对应的透视矩阵；基于所述放缩后的图像和所述透视矩阵，应用透视变换法，确定处理后的行人图像。
7.于本发明的一实施例中，所述第一特征提取模块的处理图像的输入通道值小于所述第一特征提取模块的处理图像的输出通道值；所述第二特征提取模块的处理图像的输入通道值等于所述第二特征提取模块的处理图像的输出通道值；所述第三特征提取模块的处理图像的输入通道值大于所述第三特征提取模块的处理图像的输出通道值；所述第四特征提取模块的处理图像的输入通道值等于所述第四特征提取模块的处理图像的输出通道值。
8.于本发明的一实施例中，所述基于所述插值放缩后的图像特征，应用神经网络模型的第四特征提取模块和透视变换模块，确定所述图像特征对应的透视矩阵，包括：基于所述插值放缩后的图像特征，应用所述第四特征提取模块，确定所述第四特征提取模块转化后的图像特征；将所述第四特征提取模块转化后的图像特征输入所述透视变换模块，经过二维卷积层、二维池化层、折叠转变为一维层以及线性层的处理，得到所述透视矩阵。
9.于本发明的一实施例中，所述确定处理后的行人图像之后，还包括：基于所述行人图像，应用第二神经网络模型，确定所述行人图像对应的行人特征和行人类别特征。
10.对应地，本发明提供一种基于行人重识别的行人图像预处理装置，包括：第一处理模块，用于基于待处理的行人图像，应用神经网络模型的第一特征提取模块，确定所述行人图像对应的图像特征；第二处理模块，用于基于所述图像特征，应用插值放缩算法，确定插值放缩后的图像特征；第一确定模块，用于基于所述插值放缩后的图像特征，应用神经网络模型的第二特征提取模块和第三特征提取模块，确定放缩后的图像；且基于所述插值放缩后的图像特征，应用神经网络模型的第四特征提取模块和透视变换模块，确定所述图像特征对应的透视矩阵；第二确定模块，用于基于所述放缩后的图像和所述透视矩阵，应用透视变换法，确定处理后的行人图像。
11.于本发明的一实施例中，所述第一特征提取模块的处理图像的输入通道值小于所述第一特征提取模块的处理图像的输出通道值；所述第二特征提取模块的处理图像的输入通道值等于所述第二特征提取模块的处理图像的输出通道值；所述第三特征提取模块的处理图像的输入通道值大于所述第三特征提取模块的处理图像的输出通道值；所述第四特征提取模块的处理图像的输入通道值等于所述第四特征提取模块的处理图像的输出通道值。
12.于本发明的一实施例中，所述第一确定模块，具有用于：基于所述插值放缩后的图像特征，应用所述第四特征提取模块，确定所述第四特征提取模块转化后的图像特征；将所述第四特征提取模块转化后的图像特征输入所述透视变换模块，经过二维卷积层、二维池化层、折叠转变为一维层以及线性层的处理，得到所述透视矩阵。
13.于本发明的一实施例中，所述第二确定模块，还用于：基于所述行人图像，应用第二神经网络模型，确定所述行人图像对应的行人特征和行人类别特征。
14.本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于行人重识别的行人图像预处理方法。
15.本发明提供一种行人图像预处理系统，包括存储器，用于存储计算机程序；处理器，用于运行所述计算机程序以实现上述的基于行人重识别的行人图像预处理方法。
16.如上所述，本发明的基于行人重识别的行人图像预处理方法及装置，具有以下有益效果：
17.(1)将插值放缩算法引入神经网络中，减少图像预处理带来的风格影响。
18.(2)在神经网络中进行透视变换处理，降低了行人图像在不同视角下带来的差异，起到行人语义信息归一化的作用。
19.(3)实现了行人图像的去风格化，保证图像跨域的行人风格统一与行人语义对齐，增强行人重识别系统的鲁棒性和泛化能力，降低系统的复杂度，提高系统的可移植性。
附图说明
20.图1显示为本发明的基于行人重识别的行人图像预处理方法于一实施例中的流程图。
21.图2显示为本发明的基于行人重识别的行人图像预处理方法于一实施例中的神经网络模型处理图。
22.图3显示为本发明的基于行人重识别的行人图像预处理装置于一实施例中的结构
示意图。
23.图4显示为本发明的基于行人重识别的行人图像预处理装置于一实施例中的行人图像预处理系统图。
24.元件标号说明
25.31
ꢀꢀꢀꢀꢀꢀꢀꢀ
第一处理模块
26.32
ꢀꢀꢀꢀꢀꢀꢀꢀ
第二处理模块
27.33
ꢀꢀꢀꢀꢀꢀꢀꢀ
第一确定模块
28.34
ꢀꢀꢀꢀꢀꢀꢀꢀ
第二确定模块
29.41
ꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
30.42
ꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
具体实施方式
31.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
32.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
33.本发明的基于行人重识别的行人图像预处理方法及装置，能够将插值放缩算法引入神经网络中，减少图像预处理带来的风格影响；同时在神经网络中进行透视变换处理，降低了行人图像在不同视角下带来的差异，起到行人语义信息归一化的作用；此外，还实现了行人图像的去风格化，保证图像跨域的行人风格统一与行人语义对齐，增强行人重识别系统的鲁棒性和泛化能力，降低系统的复杂度，提高系统的可移植性。
34.如图1所示，于本实施例中，本发明的基于行人重识别的行人图像预处理方法包括以下步骤：
35.步骤s1、基于待处理的行人图像，应用神经网络模型的第一特征提取模块，确定所述行人图像对应的图像特征。
36.具体地，通过摄像头获取待处理的行人图像后，应用神经网络模型的第一特征提取模块，确定行人图像对应的图像特征，这里的图像特征为浅层的神经网络特征。比如，第一特征提取模块的结构如表一所示。
37.表一
38.第一特征提取模块1.conv2d(kennel_size＝7
×
7,ch_in＝3,ch_out＝16，stride＝1，padding＝3),relu2.conv2d(kennel_size＝1
×
1,ch_in＝16,ch_out＝16，stride＝1，padding＝0),relu3.batchnorm2d(ch_in＝16,ch_out＝16)
39.其中，conv2d表示二维的卷积层，kennel_size表示卷积核大小，ch_in为输入的通
道大小，ch_out为输出的通道大小，stride＝1表示步长为2，padding＝1表示填充的大小为1，relu表示激活函数，batchnorm2d表示二维批标准化。
40.步骤s2、基于所述图像特征，应用插值放缩算法，确定插值放缩后的图像特征。
41.举例来说，图像特征的维度为16*宽*高，对图像特征的每一个宽*高的特征应用插值放缩算法进行插值放缩，确定插值放缩后的图像特征。其中，插值放缩算法包括最近邻插值法、双线性插值、双三次插值中的任一种。通过在神经网络中引入插值放缩算法对图像特征的处理，能够使得通过神经网络学习和调整插值放缩后的行人特征，减少神经网络预处理中统一输入大小时，对行人图像风格的干预；进一步地，可以根据实际需要设定图像放缩后的大小。
42.步骤s3、基于所述插值放缩后的图像特征，应用神经网络模型的第二特征提取模块和第三特征提取模块，确定放缩后的图像；且基于所述插值放缩后的图像特征，应用神经网络模型的第四特征提取模块和透视变换模块，确定所述图像特征对应的透视矩阵。
43.具体地，经插值放缩算法处理得到的图像特征包含有传统插值算法的变化特性，神经网络模型的第二特征提取模块和第四特征提取模块将处理这些包含有传统插值算法的变化特性的图像特征，其中，第二特征提取模块主要用于学习和提取这些图像特征的信息，进一步地，由于神经网络模型具有隐式的学习能力，在第二特征提取模块处理图像特征的过程中能够学习来自不同摄像机、不同场景的行人图像风格，在一定程度上统一后续行人重识别处理的输入的视觉特性，实现图像跨域的变换；第四特征提取模块主要用于将这些图像特征的信息进行转化，为后续的透视变换处理做准备。比如，第二特征提取模块的结构如表二所示。
44.表二
45.第二特征提取模块1.conv2d(kennel_size＝3
×
3,ch_in＝16,ch_out＝16，stride＝1，padding＝1)2.batchnorm2d(kennel_size＝3
×
3,ch_in＝16,ch_out＝16)，relu3.conv2d(kennel_size＝3
×
3,ch_in＝3,ch_out＝16，stride＝1，padding＝1)4.batchnorm2d(ch_in＝16,ch_out＝16) 第二特征提取模块的输入
46.其中，conv2d表示二维的卷积层，kennel_size表示卷积核大小，ch_in为输入的通道大小，ch_out为输出的通道大小，stride＝1表示步长为2，padding＝1表示填充的大小为1，relu表示激活函数，batchnorm2d表示二维批标准化。
47.第四特征提取模块的结构如表三所示。
48.表三
49.第四特征提取模块1.conv2d(kennel_size＝3
×
3,ch_in＝16,ch_out＝16，stride＝1，padding＝1)2.batchnorm2d(kennel_size＝3
×
3,ch_in＝16,ch_out＝16)，relu3.conv2d(kennel_size＝3
×
3,ch_in＝3,ch_out＝16，stride＝1，padding＝1)4.batchnorm2d(ch_in＝16,ch_out＝16) 第四特征提取模块的输入
50.其中，conv2d表示二维的卷积层，kennel_size表示卷积核大小，ch_in为输入的通道大小，ch_out为输出的通道大小，stride＝1表示步长为2，padding＝1表示填充的大小为1，relu表示激活函数，batchnorm2d表示二维批标准化。
51.进一步具体地，基于所述插值放缩后的图像特征，应用所述第四特征提取模块，确定所述第四特征提取模块转化后的图像特征；将所述第四特征提取模块转化后的图像特征输入所述透视变换模块，经过二维卷积层、二维池化层、折叠转变为一维层以及线性层的处理，得到所述透视矩阵。
52.进一步具体地，第三特征提取模块的结构如表四所示。
53.表四
54.第三特征提取模块1.conv2d(kennel_size＝7
×
7,ch_in＝16,ch_out＝3，stride＝1，padding＝3)
55.其中，conv2d表示二维的卷积层，kennel_size表示卷积核大小，ch_in为输入的通道大小，ch_out为输出的通道大小，stride＝1表示步长为2，padding＝1表示填充的大小为1。
56.进一步具体地，所述第一特征提取模块的处理图像的输入通道值小于所述第一特征提取模块的处理图像的输出通道值；所述第二特征提取模块的处理图像的输入通道值等于所述第二特征提取模块的处理图像的输出通道值；所述第三特征提取模块的处理图像的输入通道值大于所述第三特征提取模块的处理图像的输出通道值；所述第四特征提取模块的处理图像的输入通道值等于所述第四特征提取模块的处理图像的输出通道值。其中，第一特征提取模块中的输入通道值小于输出通道值，以做到对行人图像的升维处理，再通过第二特征提取模块的处理和第四特征提取模块的处理，提高神经网络对行人图像的学习能力；第三特征提取模块中的输入通道值大于输出通道值，以做到对图像特征的降维处理。
57.进一步具体地，透视变换模块的结构如表五所示。
58.表五
59.透视变换模块1.conv2d(kennel_size＝5
×
5,ch_in＝16,ch_out＝16，stride＝1，padding＝1)2.maxpool2d(kennel_size＝4
×
4,stride＝2)，relu3.flatten(ch_in＝n,ch_out＝n)4.linear(ch_in＝n,ch_out＝9)
60.其中，conv2d表示二维的卷积层，kennel_size表示卷积核大小，ch_in为输入的通道大小，ch_out为输出的通道大小，stride＝1表示步长为2，padding＝1表示填充的大小为1，maxpool2d表示二维池化层，relu表示激活函数，flatten表示将输入的特征图折叠成一维的数组，linear表示线性层。
61.举例来说，经过透视变换模块处理后得到的透视矩阵为：
[0062][0063]
步骤s4、基于所述放缩后的图像和所述透视矩阵，应用透视变换法，确定处理后的行人图像。通过这种处理方法得到处理后的行人图像，在保留行人语义信息完整性的同时，能够使得不同风格和不对齐的行人图像变为一致。
[0064]
进一步具体地，所述确定处理后的行人图像之后，还包括：基于所述行人图像，应用第二神经网络模型，确定所述行人图像对应的行人特征和行人类别特征。
[0065]
举例来说，在确定处理后的行人图像后，将行人图像输入至行人重识别的第二神经网络模型中处理，其中，第二神经网络模型有2个损失函数，第一损失函数对应行人特征的训练处理，第二损失函数对应行人类别特征的训练处理。
[0066]
由上述步骤s1至s4的处理，能够将插值放缩算法引入神经网络中，减少图像预处理带来的风格影响；同时在神经网络中进行透视变换处理，降低了行人图像在不同视角下带来的差异，起到行人语义信息归一化的作用；此外，还实现了行人图像的去风格化，保证图像跨域的行人风格统一与行人语义对齐，增强行人重识别系统的鲁棒性和泛化能力，降低系统的复杂度，提高系统的可移植性。
[0067]
如图3所示，于本实施例中，本发明的基于行人重识别的行人图像预处理装置包括：
[0068]
第一处理模块31，用于基于待处理的行人图像，应用神经网络模型的第一特征提取模块，确定所述行人图像对应的图像特征；
[0069]
第二处理模块32，用于基于所述图像特征，应用插值放缩算法，确定插值放缩后的图像特征；
[0070]
第一确定模块33，用于基于所述插值放缩后的图像特征，应用神经网络模型的第二特征提取模块和第三特征提取模块，确定放缩后的图像；且基于所述插值放缩后的图像特征，应用神经网络模型的第四特征提取模块和透视变换模块，确定所述图像特征对应的透视矩阵；
[0071]
第二确定模块34，用于基于所述放缩后的图像和所述透视矩阵，应用透视变换法，确定处理后的行人图像。
[0072]
其中，所述第一特征提取模块的处理图像的输入通道值小于所述第一特征提取模块的处理图像的输出通道值；所述第二特征提取模块的处理图像的输入通道值等于所述第二特征提取模块的处理图像的输出通道值；所述第三特征提取模块的处理图像的输入通道值大于所述第三特征提取模块的处理图像的输出通道值；所述第四特征提取模块的处理图像的输入通道值等于所述第四特征提取模块的处理图像的输出通道值。
[0073]
所述第一确定模块，具有用于：基于所述插值放缩后的图像特征，应用所述第四特征提取模块，确定所述第四特征提取模块转化后的图像特征；将所述第四特征提取模块转化后的图像特征输入所述透视变换模块，经过二维卷积层、二维池化层、折叠转变为一维层以及线性层的处理，得到所述透视矩阵。
[0074]
本实施例的基于行人重识别的行人图像预处理装置具体实现的技术特征与实施例1中基于行人重识别的行人图像预处理方法中的各步骤的原理基本相同，方法和装置之间可以通用的技术内容不作重复赘述。
[0075]
本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的基于行人重识别的行人图像预处理方法。
[0076]
如图4所示，于本实施例中，本发明的行人图像预处理系统包括：处理器41及存储器42。
[0077]
所述存储器42用于存储计算机程序。
[0078]
所述存储器42包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
[0079]
所述处理器41与所述存储器42相连，用于执行所述存储器42存储的计算机程序，以使所述行人图像预处理系统执行上述的基于行人重识别的行人图像预处理方法。
[0080]
优选地，上述的处理器41可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0081]
综上所述，本发明的基于行人重识别的行人图像预处理方法及装置，能够将插值放缩算法引入神经网络中，减少图像预处理带来的风格影响；同时在神经网络中进行透视变换处理，降低了行人图像在不同视角下带来的差异，起到行人语义信息归一化的作用；此外，还实现了行人图像的去风格化，保证图像跨域的行人风格统一与行人语义对齐，增强行人重识别系统的鲁棒性和泛化能力，降低系统的复杂度，提高系统的可移植性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0082]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。