一种图像属性识别方法、属性识别模型训练方法及装置与流程

1.本公开涉及人工智能领域，尤其涉及图像处理、计算机视觉等技术领域，可应用于智能交通、智慧城市等场景，具体涉及一种图像属性识别方法、属性识别模型训练方法及装置。


背景技术：

2.随着时代发展，当前对图像进行属性识别变的越来越常见。在一些场景下，可以通过采集设备获取一段视频或者拍摄一张图像。然后，可以针对采集设备获取到的视频或图像进行识别，以确定对应的属性信息。例如，可以通过对图像进行识别，以确定出图像中具有花朵、行人、车辆、路牌等属性信息。


技术实现要素：

3.本公开提供了一种图像属性识别方法、属性识别模型训练方法、装置、设备以及存储介质。
4.根据本公开的第一方面，提供了一种图像属性识别方法，可以包括：获取第一图像，第一图像为包括目标物体的图像。之后，可以根据第一图像确定第二图像，第二图像为第一图像中包括目标物体的部分区域图像。将第一图像和第二图像输入至单一的属性识别模型，得到目标图像属性。其中，目标图像属性包括第一图像的第一属性信息和目标物体对应的第二属性信息。本公开可以通过一个模型对不同的图像同时进行属性识别，提升了模型识别效率，避免了多个模型共同运行导致的运行速率下降。
5.根据本公开的第二方面，提供了一种属性识别模型训练方法，可以包括：获取训练样本集，训练样本集包括至少一个训练样本组，每个训练样本组包括携带第一标签的第一训练图像、携带第二标签的第二训练图像以及区域位置信息。其中，第一训练图像为包括目标物体的图像，第二训练图像为第一训练图像中包括目标物体的部分区域图像，区域位置信息用于表示第二训练图像在第一训练图像中的区域位置。之后，可以针对每个训练样本组，将训练样本组输入至单一的初始识别模型，确定第一训练图像的第一训练属性信息和第二图像的第二训练属性信息。根据第一标签、第一训练属性信息、第二标签和第二训练属性信息，对单一的初始识别模型进行调整，确定单一的第一属性识别模型。本公开通过训练得到单一的模型，以便使用该单一模型可以对不同的图像同时进行属性识别，提升了模型识别效率，避免了多个模型共同运行导致的运行速率下降。
6.根据本公开的第三方面，提供了一种图像属性识别装置，包括：获取模块，用于获取第一图像，第一图像为包括目标物体的图像；确定模块，用于根据第一图像确定第二图像，第二图像为第一图像中包括目标物体的部分区域图像；识别模块，用于将第一图像和第二图像输入至单一的属性识别模型，得到目标图像属性，其中，目标图像属性包括第一图像的第一属性信息和目标物体对应的第二属性信息。本公开可以通过一个模型对不同的图像同时进行属性识别，提升了模型识别效率，避免了多个模型共同运行导致的运行速率下降。
7.根据本公开的第四方面，提供了一种属性识别模型训练装置，包括：获取模块，用于获取训练样本集，训练样本集包括至少一个训练样本组，每个训练样本组包括携带第一标签的第一训练图像、携带第二标签的第二训练图像以及区域位置信息，其中，第一训练图像为包括目标物体的图像，第二训练图像为第一训练图像中包括目标物体的部分区域图像，区域位置信息用于表示第二训练图像在第一训练图像中的区域位置；训练模块，用于针对每个训练样本组，将训练样本组输入至单一的初始识别模型，确定第一训练图像的第一训练属性信息和第二图像的第二训练属性信息；根据第一标签、第一训练属性信息、第二标签和第二训练属性信息，对单一的初始识别模型进行调整，确定单一的第一属性识别模型。本公开通过训练得到单一的模型，以便使用该单一模型可以对不同的图像同时进行属性识别，提升了模型识别效率，避免了多个模型共同运行导致的运行速率下降。
8.根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述第一方面或第二方面中的任意一项方法。
9.根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述第一方面或第二方面中的任意一项方法。
10.根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述第一方面或第二方面中的任意一项方法。
11.本公开提供的一种图像属性识别方法、属性识别模型训练方法、装置、设备以及存储介质，保证了可以通过一个模型对不同的图像同时进行属性识别，提升了模型识别效率，避免了多个模型共同运行导致的运行速率下降。
12.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
13.附图用于更好地理解本方案，不构成对本公开的限定。其中：
14.图1是本公开实施例的一种应用场景示意图；
15.图2是本公开实施例的一种图像属性识别方法流程图；
16.图3是本公开实施例的一种属性识别模型结构示意图；
17.图4是本公开实施例的另一种图像属性识别方法流程图；
18.图5是本公开实施例的一种特征提取分支结构示意图；
19.图6是本公开实施例的另一种属性识别模型结构示意图；
20.图7是本公开实施例的又一种图像属性识别方法流程图；
21.图8是本公开实施例的一种属性识别模型训练方法流程图；
22.图9是本公开实施例的另一种属性识别模型训练方法流程图；
23.图10是本公开实施例的又一种属性识别模型训练方法流程图；
24.图11是本公开实施例的一种图像属性识别装置示意图；
25.图12是本公开实施例的一种属性识别模型训练装置示意图；
26.图13是本公开实施例的一种图像属性识别设备、属性识别模型训练设备示意图。
具体实施方式
27.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
28.本公开主要应用的场景，例如可以是对车辆进行属性识别的场景。如图1所示出的。该场景下包括被拍摄的物体车辆110、拍摄图像的采集设备120以及网络设备130。可以看出，车辆110在正常行驶或者停放时，采集设备120可以进行拍照，以得到包含车辆110的图像。当然，在一些例子中，采集设备120也可以在预设期间内持续的进行摄像，以得到包含车辆110的视频。之后，采集设备120可以将拍摄的图像或者视频通过有线或者无线的方式发送给网络设备130。以便网络设备130针对采集设备120拍摄的图像或者视频进行属性识别。例如，可以直接对采集设备120拍摄的图像进行属性识别，又或者，可以针对采集设备120拍摄的视频中的相应帧进行属性识别。可以理解的是，视频中的任意一帧均可以认为是一个图像。
29.在一些情况中，由于一些任务需求，可能需要对图像进行属性识别以获得相应的属性。例如，可以对包含车辆的图像进行识别，以确定与车辆相关的属性。以图像为车辆图像为例，对于一个包含车辆的车辆图像，若需要针对车辆中车牌进行相应的属性识别，由于车辆图像中车牌过小，大多数情况下将无法有效识别出与车牌相关的属性。
30.在一些例子中，可以使用另外单独的模型，通过输入相关的车牌图像，以识别出与车牌相关的属性。对于其它与车辆相关的属性，则可能也需要单独配置相应的模型以进行相应的属性识别。然而，当部署并使用多个模型以针对不同的属性进行识别时，多个模型并行运行将严重限制多个模型各自的运行速度，进而导致整体识别速度过慢，严重影响使用体验。
31.因此，本公开提供了一种图像属性识别方法，以及相应的属性识别模型训练方法。通过一个模型对不同的图像同时进行属性识别，提升了模型识别效率，避免了多个模型共同运行导致的运行速率下降。
32.接下来将结合附图对本公开进行详细阐述。
33.图2是根据本公开一示例性实施方式中示出的一种图像属性识别方法流程图。该方法可以采用预先训练得到的属性识别模型进行属性识别，该方法可以应用于网络设备上，例如可以是网络设备130。
34.在一些例子中，网络设备例如可以是服务器或服务器集群。当然也可以是部署在虚拟机上的服务器或服务器集群，本公开不作限定。
35.当然，在一些例子中，该方法也可以应用于终端设备上。例如，终端设备例如可以包括但不限于手机、可穿戴设备、平板电脑、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digitalassistant，pda)、膝上型计算机(laptop)、移动电脑、增强现实(augmented reality，ar)设备、虚拟现实(virtual reality，vr)设备、人工智能(artificial intelligence，ai)设备和/或车载设备等任意终端设备或便携式终端设备。
36.本公开所涉及的方法可以包括以下步骤：
37.s201，获取第一图像。
38.在一些例子中，第一图像可以是预先存储在网络设备130或数据库中，也可以是通过有线或无线方式从采集设备120获取到的，本公开不作限定。其中，第一图像为包括有目标物体的图像。
39.s202，根据第一图像确定第二图像。
40.在一些例子中，可以从第一图像中提取得到第二图像，例如第二图像可以为第一图像中包括目标物体的部分区域图像。
41.当然，在一些例子中，第二图像也可以预先通过第一图像确定得到。例如，采集设备120在采集到第一图像之后，可以基于第一图像确定第二图像。网络设备130也可以直接从采集设备120获取到已生成的第二图像。当然，在一些例子中，第二图像还可以预先存储至网络设备130或数据库中，以便网络设备130可以在需要时直接获取。
42.s203，将第一图像和第二图像输入至单一的属性识别模型，得到目标图像属性。
43.在一个例子中，可以将第一图像和第二图像输入到预先训练好的单一的属性识别模型中，以使得单一的属性识别模型对第一图像和第二图像进行属性识别，得到目标图像属性。其中，目标图像属性可以包括第一图像对应的第一属性信息和第二图像对应的第二属性信息。
44.本公开可以通过一个模型对不同的图像同时进行属性识别，提升了模型识别效率，避免了多个模型共同运行导致的运行速率下降。
45.下面将结合其它附图对图2所描述的方案进行更详细的描述。
46.作为一示例性实施方式，图3是根据本公开一示例性实施方式中示出的一种属性识别模型结构示意图。通过图3可以看出，该属性识别模型300可以包括第一特征提取分支310、第二特征提取分支320、特征融合层330、全连接层340和归一化层350。
47.图4是根据本公开一示例性实施方式中示出的另一种图像属性识别方法流程图。可以基于图3所示出的模型结构，s203中得到目标图像属性，还可以包括：
48.s401，通过单一的属性识别模型的不同通道，分别对第一图像和第二图像进行特征提取，得到第一图像特征和第二图像特征。
49.在一些例子中，可以将第一图像输入至单一的属性识别模型的第一特征提取分支310中进行特征提取，以得到出第一图像对应的第一图像特征。
50.当然，在一些例子中，第一特征提取分支310可以是卷积神经网络(convolutional neural networks，cnn)，可以如图5所示出的，包括输入层510和至少一个中间层520。可以理解的是，输入层510用于提取输入的图像的各个信息。以便将提取的信息输入到至少一个中间层520中进行相应的卷积操作，得到第一图像特征。
51.在一些例子中，每个中间层可以由卷积层、池化层和/或下采样层构成。本公开不对中间层作具体限定。
52.继续回到图3，在另一些例子中，可以将第二图像输入至单一的属性识别模型的第二特征提取分支320中进行特征提取，以确定出第二图像对应的第二图像特征。
53.可以理解的是，第二特征提取分支320结构可以与第一特征提取分支310相类似，具体可以参考图5所示出的结构，本公开在此不做赘述。
54.s402，基于第一图像特征和第二图像特征，识别得到目标图像属性。
55.在一些例子中，当通过s401确定第一图像特征以及第二图像特征后，可以根据第一图像特征与第二图像特征进行属性识别，以识别得到目标图像数据，即得到第一属性信息和第二属性信息。
56.本公开通过单一模型中的不同通道，实现了对不同图像进行属性识别，避免了使用多个模型识别不同图像的属性，从而提升了模型的识别效率，同时避免多个模型共同运行导致的运行速率下降。
57.在一些实施例中，在s202确定第二图像时，方法还可以包括：确定区域位置信息。该区域位置信息用于表示第二图像在所述第一图像中的区域位置。
58.可以理解的是，在一些例子中，在s202根据第一图像确定第二图像时，还可以确定出第二图像在第一图像中的区域位置。例如，网络设备或终端设备可以采用预先配置的检测模型对第一图像进行检测，确定区域位置信息。
59.因此，s402基于第一图像特征和第二图像特征，识别目标图像属性，还可以包括：基于区域位置信息，从第一图像特征中确定区域子特征。将区域子特征与第二图像特征相融合，得到融合特征。基于融合特征，确定第二属性信息。
60.在一些例子中，可以基于确定出的区域位置信息，从第一图像特征中确定出相应区域的区域子特征。之后，可以将区域子特征与第二图像特征相融合，以得到融合特征。然后，可以基于融合特征进行属性识别，以确定第二属性信息。
61.例如，可以将第一图像特征与第二图像特征输入至单一的属性识别模型的特征融合层330中。同时，还需将区域位置信息一并输入至属性识别模型的特征融合层330中。属性识别模型的特征融合层330则基于区域位置信息，从第一图像特征中确定出区域子特征。然后将区域子特征与第二图像特征进行融合，确定融合特征。应当明白，区域子特征即第一图像特征中区域位置信息所对应的部分特征。
62.在一些例子中，属性识别模型的特征融合层330可以基于区域位置信息，确定出第一图像特征中区域位置信息所指示的位置上的部分特征，即区域子特征。然后，可以将该区域子特征与第二图像特征进行融合，以得到融合特征。以二维坐标为例，可以假设区域位置信息包括4个坐标，分别例如为a(x1，y1)、b(x2，y2)、c(x3，y3)和d(x4，y4)。基于上述a、b、c和d四个点，可以确定第一图像中的一个部分区域。该区域表示第二图像在第一图像中的区域位置。之后，可以将该部分区域对应的区域子特征与第二图像特征进行融合，得到融合特征。显然，该融合特征将具有更多特征信息，有利于后续根据融合特征确定第二图像的第二属性信息。
63.可以理解的是，上述区域位置信息中各个坐标仅为示例性描述，并不作为对本公开的限定。
64.在一些例子中，特征进行融合的方式可以是直接叠加，或者可以基于预设的权重进行叠加，又或者可以按照预设的方式进行相应融合，还可以采用任意等效的方式进行融合。可以理解，本公开对于融合的具体方式不作限定。
65.在一些例子中，对于第一属性信息，则可以直接基于第一图像特征进行属性识别，以得到第一属性信息。其具体方式可以参考现有方式，本公开在此不再赘述。
66.本公开基于区域位置信息，将区域子特征与第二图像特征相融合，以使得融合特征，使得融合特征可以携带更多信息，有利于后续识别出更多更准确的第二属性信息。
67.在一些实施例中，对于s402中，基于第一图像特征和第二图像特征，识别得到目标图像属性，可以包括：根据第一图像特征确定第一属性信息，以及根据第二图像融合特征确定第二属性信息。或，将第一图像特征和融合特征相结合。根据结合后的特征，确定第一属性信息和第二属性信息。
68.在一个例子中，在属性识别模型中，可以针对第一图像特征和融合特征，分别进行属性识别，以确定出相应的属性信息。即依次将第一图像特征和融合特征输入至属性识别模型的全连接层340，并将全连接层340的输出输入至属性识别模型的归一化层350中。例如，可以将第一图像特征输入至属性识别模型的全连接层340，之后，将全连接层340的输出输入至属性识别模型的归一化层350，确定出第一属性信息。该第一属性信息表示第一图像中相应的属性信息。以及，可以将融合特征输入至属性识别模型的全连接层340，之后，将全连接层340的输出输入至属性识别模型的归一化层350，确定出第二属性信息。该第二属性信息表示第二图像中相应的属性信息。可以理解的是，全连接层中的每个神经元可以对应于相应可能的属性。因此，全连接层340中可以同时具有第一图像所有可能的属性，以及第二图像所有可能的属性。
69.当然，在一些例子中，对于包含第一图像所有可能的属性，以及第二图像所有可能的属性的全连接层340，还可以将第一图像特征和融合特征进行叠加，并输入至属性识别模型的全连接层340。之后，将全连接层340的输出输入至属性识别模型的归一化层350，以确定出目标图像属性。确定的目标图像属性可以包含第一属性信息和第二属性信息。
70.当然，在又一些例子中，例如图6所示出的模型结构，图6所示的模型600中包含了第一特征提取分支610、第二特征提取分支620、特征融合层630、第一全连接层640、第一归一化层650、第二全连接层660和第二归一化层670。其中，第一特征提取分支610与第一特征提取分支310相类似，第二特征提取分支620与第二特征提取分支320相类似，特征融合层630与特征融合层330相类似，具体可以参考图3中相应描述，在此不再赘述。
71.如图6所示出的，第一特征提取分支610确定的第一图像特征可以直接输入第一全连接层640。之后，将第一全连接层640的输出输入至第一归一化层650，从而确定出第一属性信息。以及，可以将特征融合层630确定的融合特征直接输入至第二全连接层660。之后，将第二全连接层660的输出输入至第二归一化层670，从而确定出第二属性信息。
72.本公开可以基于不同的需求选择不同的模型结构，可以适用于更多可能的场景。
73.作为一示例性实施方式，图7是根据本公开一示例性实施方式中示出的又一种图像属性识别方法流程图。该方法可以包括以下步骤：
74.s701，获取第一图像。
75.可以理解的是，s701的实现过程与s201相类似，为方便描述，本公开在此不再赘述。
76.s702，对第一图像进行裁剪、填充，确定第二图像。
77.网络设备或终端设备可以采用预先配置的检测模型对第一图像进行检测，确定目标物体在第一图像中的位置。然后基于该位置对第一图像进行裁剪第一图像进行裁剪，以得到相应区域的局部图像。之后，可以对该局部图像进行填充，以确定第二图像。可以理解，经过裁剪、填充后得到的第二图像与第一图像的像素值相同，即图像大小相同。因此，目标物体在第一图像中的位置，也即上述区域位置信息。
78.在一些例子中，填充的方式可以采用现有的任意一种方式进行填充。例如可以使得第二图像与第一图像具有相同大小，即像素相同。当然，在其它例子中，也可以使第二图像的大小满足预设条件，例如预设的固定像素大小或者是第一图像大小的l倍，其中l可以是任意正数。
79.可以理解的是，对第一图像相应区域的局部图像进行填充的目的在于保证第二图像与第一图像相应区域的局部图像不完全一样，避免特征提取后的特征相同。
80.当然，在一些实施例中，上述图7所描述的方案也可以在采集设备上执行，例如采集设备120。在采集设备120通过图7中相应方法确定出第二图像后，可以将第一图像、第二图像以及区域位置信息发送至网络设备，如网络设备130中。
81.当然可以理解，图7仅描述了第二图像可以根据第一图像确定的情况。在其它例子中，第二图像也可以是预先配置好的，本公开不作限定。
82.s703，将第一图像和第二图像输入至单一的属性识别模型，得到目标图像属性。
83.可以理解的是，s703的实现过程与s203相类似，为方便描述，本公开在此不再赘述。
84.本公开可以通过第一图像确定出第二图像，从而保证在实际应用过程中，基于一张图片可以准确识别出多类不同的属性，同时保证模型还可具有一定的识别精度。
85.在一些实施例中，上述图2至图7所描述的图像属性识别方法中，第一图像可以是车辆图像，以及第二图像可以是车牌图像，目标物体可以为车牌。
86.本公开以车辆图像和车牌图像为例，使得在对车辆相关属性进行识别时，可以减小模型部署难度和复杂度，同时可以保证模型识别效率，并提升了模型识别精度。
87.作为一示例性实施方式，图8是根据本公开一示例性实施方式中示出的一种属性识别模型训练方法流程图。该方法可以应用于网络设备130，网络设备可以通过对单一的初始识别模型进行训练以得到训练后的单一的属性识别模型。也就是说，在上述图2至图7所描述的方法之前，可以通过该方法训练得到单一的属性识别模型。因此，该方法可以包括以下步骤：
88.s801，获取训练样本集。
89.在一些例子中，训练样本集中可以包括至少一个训练样本组。每个训练样本组中可以包括携带第一标签的第一训练图像、携带第二标签的第二训练图像以及区域位置信息。可以理解，在训练阶段的区域位置信息用于表示第二训练图像在第一训练图像中的区域位置。其中，第一训练图像为包括目标物体的图像，第二训练图像为第一训练图像中包括目标物体的部分区域图像。第一标签用于表示第一训练图像的真实属性信息，第二标签用于表示第二训练图像的真实属性信息。
90.应当注意的是，在训练阶段中描述的区域位置信息均应理解为第二训练图像在第一训练图像中的区域位置。而在应用阶段中的区域位置信息应当理解为第二图像在第一图像中的区域位置。
91.s802，针对每个训练样本组，将训练样本组输入至单一的初始识别模型，确定第一训练图像的第一训练属性信息和第二图像的第二训练属性信息。
92.在一些例子中，在训练阶段，可以基于每个训练样本组进行迭代训练。例如，可以将每个训练样本组逐次输入至单一的初始识别模型中。针对每个训练样本组，在每次训练
时，可以确定出第一训练图像的第一训练属性信息和第二图像的第二训练属性信息。
93.可以理解的是，单一的初始识别模型的模型结构可以参考上述图3、图5和图6所示出的，并且具体模型中的数据处理过程与图2、图4、图7中识别得到目标图像属性的过程相类似，具体可以参考图2、图4、图7中相应的描述，本公开在此不再赘述。
94.s803，根据第一标签、第一训练属性信息、第二标签和第二训练属性信息，对单一的初始识别模型进行调整，确定单一的第一属性识别模型。
95.在一些例子中，可以根据第一标签、第一训练属性信息、第二标签和第二训练属性信息，并按照采用预先配置的损失函数(loss)对单一的初始识别模型中的参数进行调整。该损失函数例如可以是交叉熵损失函数。当然，在其它例子中，还可以采用任意可能的损失函数进行训练。本公开不作限定。
96.在一些例子中，当经过大量的训练样本组训练后，直至该模型收敛，从而确定出单一的第一属性识别模型。
97.可以理解，单一的第一属性识别模型，即图2至图7中所涉及到的单一的属性识别模型。
98.本公开通过训练得到单一的模型，以便使用该单一模型可以对不同的图像同时进行属性识别，提升了模型识别效率，避免了多个模型共同运行导致的运行速率下降。
99.可以理解的是，对模型训练的过程即调整模型中各个网络层中相应的参数，因此，当对单一的初始识别模型训练完成后，模型中各参数也得到了优化，从而得到单一的第一属性识别模型。也就是说，单一的初始识别模型与单一的第一属性识别模型的区别仅在于模型中的相应参数不同。
100.在一种实施例中，图9是根据本公开实施例的又一种属性识别模型训练方法流程图。例如，在s802中确定第一训练图像的第一训练属性信息和第二图像的第二训练属性信息，可以包括以下步骤：
101.s901，通过单一的初始识别模型的不同通道，分别对第一训练图像和第二训练图像进行特征提取，得到第一训练图像特征和第二图像训练特征。
102.在一些例子中，可以通过单一的初始识别模型的不同通道，分别对第一训练图像和第二训练图像进行特征提取。从而得到第一训练图像对应的第一训练图像特征，以及第二训练图像对应的第二图像训练特征。
103.以图3和图6所示出的模型结构为例，可以将第一训练图像输入至单一的初始识别模型的第一特征提取分支310或第一特征提取分支610中进行特征提取，以确定出第一训练图像对应的第一训练图像特征。以及，将第二训练图像输入至单一的初始识别模型的第二特征提取分支320或第二特征提取分支620中进行特征提取，以确定出第二训练图像对应的第二训练图像特征。
104.s902，基于第一训练图像特征识别得到第一训练属性信息，以及基于第二训练图像特征识别得到第二训练属性信息。
105.在一些例子中，当通过s901确定第一训练图像特征以及第二训练图像特征后，可以根据第一训练图像特征进行属性识别，以识别得到第一训练属性信息；以及可以根据第二训练图像特征进行属性识别，以识别得到第二训练属性信息。
106.本公开通过单一模型中的不同通道，实现了对不同图像进行属性识别，避免了使
用多个模型识别不同图像的属性，从而提升了模型的识别效率，同时避免多个模型共同运行导致的运行速率下降。
107.在一个实施例中，s902中基于第二训练图像特征识别得到第二训练属性信息，可以包括：基于区域位置信息，从第一训练图像特征中确定区域训练子特征；将区域训练子特征与第二训练图像特征相融合，得到训练融合特征；基于训练融合特征，确定第二训练属性信息。
108.在一些例子中，可以基于区域位置信息，从第一训练图像特征中确定区域训练子特征。然后，将区域训练子特征与第二训练图像特征进行融合，得到训练融合特征。之后，可以基于该训练融合特征，确定第二训练属性信息。
109.例如，当确定第一训练图像特征，以及确定第二训练图像特征后，可以将第一训练图像特征与第二训练图像特征输入至单一的初始识别模型的特征融合层330或特征融合层630中。在一些情况下，区域位置信息也一并输入至单一的初始识别模型的特征融合层330或特征融合层630中。通过特征融合层330或特征融合层630得到训练融合特征。
110.可以理解，得到训练融合特征的过程与应用阶段得到融合特征的过程相类似，具体可以参考相应的描述，本公开在此不再赘述。
111.本公开基于区域位置信息，将区域训练子特征与第二训练图像特征相融合，以使得融合后的训练融合特征可以携带更多信息，有利于后续识别出更多更准确的第二训练属性信息。
112.在一些实施例中，s803可以基于图3所示出的模型结构，将第一训练图像特征和训练融合特征相结合，再将结合后的特征进行属性识别，以确定出第一训练属性信息和第二训练属性信息。当然，在一些例子中，还可以基于图3或图6所示出的模型结构，分别对第一训练图像特征进行属性识别确定出相应的第一训练属性信息，以及对训练融合特征进行属性识别确定出第二训练属性信息。
113.具体实现过程可以参考模型应用时相应的描述，本公开在此不再赘述。
114.可以理解的是，在训练过程中，当确定出第一属性信息和第二属性信息之后，可以利用损失函数，结合第一标签、第二标签对单一的初始识别模型中相应层中的参数进行调整。在一个例子中，例如可以采用交叉熵损失函数进行调整。
115.例如，可以根据第一标签和第一属性信息，利用交叉熵损失函数调整第一特征提取分支310或第一特征提取分支610中相应层的参数。经过训练样本集中大量的训练样本组，直至单一的初始识别模型收敛。同理，可以根据第二标签和第二属性信息，利用交叉熵损失函数调整第二特征提取分支320或第二特征提取分支620中相应层的参数。经过第一训练集中大量的第一训练样本组，直至单一的初始识别模型收敛。当第一特征提取分支310或第一特征提取分支610，以及第二特征提取分支320或第二特征提取分支620训练完成后，则可以认为初始识别模型完成了训练，此时单一的初始识别模型中相应层的参数为训练完成后的参数，因此，训练完成的单一的初始识别模型即为单一的第一属性识别模型。
116.本公开可以基于不同的需求选择不同的模型结构，可以适用于更多可能的场景。
117.作为一示例性实施方式，图10是根据本公开一示例性实施方式中示出的又一种属性识别模型训练方法流程图。该方法可以通过对上述图8至图9中训练得到的单一的第一属性识别模型进行二次训练，以得到单一的第二属性识别模型。因此，在s803之后，该方法还
可以包括以下步骤：
118.s1001，基于区域训练子特征和第二训练图像特征，对单一的第一属性识别模型进行调整，确定单一的第二属性识别模型。
119.在一些例子中，当训练得到单一的第一属性识别模型后，可以进一步训练。例如，可以基于训练时得到的区域训练子特征和第二训练图像特征计算损失函数。例如可以采用交叉熵损失函数。通过不断迭代训练，直至单一的第一属性识别模型收敛，以得到单一的第二属性识别模型。
120.其中，单一的第二属性识别模型在应用阶段，可以仅保留模型中的第一特征提取分支310或第一特征提取分支610即可。
121.可以理解的是，上述图10的训练过程目的是为了让属性识别模型内第一特征提取分支提取的特征，其对应的区域子特征与单一的第一属性识别模型中第二特征提取分支提取的特征更靠近。使得单一的第二属性识别模型中第一特征提取分支提取的特征仍然可以有效的识别出更多属性信息，例如第二属性信息。
122.在一些例子中，在训练得到单一的第二属性识别模型时，还可以采用新的训练样本集进行训练。例如，第二训练样本集可以包括至少一个第二训练样本组，每个第二训练样本组可以包括第三训练图像、第四训练图像以及第二区域位置信息。其中，第二区域位置信息用于表示第四训练图像在第三训练图像中的区域位置，第三训练图像包括目标物体的图像，第四训练图像为第三训练图像中包括目标物体的部分区域图像。
123.可以理解的是，在该示例中，可以称s801中获取到的训练样本集为第一训练样本集，以及称第一训练样本集中的区域位置信息为第一区域位置信息。
124.之后，将第二训练样本集中的各训练样本组，输入至单一的第一属性识别模型进行训练。例如，针对每个第二训练样本组，确定第三训练图像对应的第三训练图像特征和第四图像对应的第四训练图像特征。然后，基于第二区域位置信息，从第三训练图像特征中确定第二区域训练子特征。可以理解，在该示例中，可以将训练得到单一的第一属性识别模型过程中涉及的区域训练子特征称为第一区域训练子特征。然后，可以基于第二区域训练子特征和第四训练图像特征，并采用损失函数对单一的第一属性识别模型进行调整，以确定单一的第二属性识别模型。当然在其它例子中，也可以采用任意等效的损失函数对第一属性模型进行调整，本公开不作限定。
125.在一些例子中，可以通过单一的第一属性识别模型的特征融合层330或特征融合层630确定第二区域训练子特征。例如，单一的第一属性识别模型的特征融合层330或特征融合层630可以基于第二区域位置信息和第三训练图像特征，确定出第三训练图像特征中第二区域位置信息对应的部分特征，该部分特征即为第二区域训练子特征。
126.本公开通过上述方式确定单一的第二属性识别模型，使得图2至图7中所描述的方案还可以采用单一的第二属性识别模型进行图像属性的识别。可以理解的是，由于单一的第二属性识别模型仅仅保留第一特征提取分支，因此，可以直接基于第一图像进行识别，从而识别出第一属性信息和第二属性信息。该方案可以进一步降低模型的部署难度，减少模型占用的空间，同时还可以保证识别效率，并提升了识别精度。
127.在一些实施例中，上述所涉及的第一训练图像可以是车辆图像，第二训练图像可以是车牌图像，目标物体为车牌。
128.当然，在另一些实施例中，上述所涉及的第三训练图像可以是车辆图像，第四训练图像可以是车牌图像。
129.本公开以车辆图像和车牌图像为例，使得在对车辆相关属性进行识别时，可以减小模型部署难度和复杂度，同时可以保证模型识别效率，并提升了模型识别精度。
130.以第一特征提取分支针对车辆图提取车辆图像特征，以及第二特征提取分支针对车牌图提取车牌图像特征为例，可以理解，上述单一的第一属性识别模型保证了通过对车辆图像特征与车牌图像特征进行融合，可以同时识别出更为精准的车辆属性信息以及车牌属性信息。对于上述单一的第二属性识别模型则可以保证仅利用车辆图提取车辆图像特征，即可最终识别出更为精准的车辆属性信息以及车牌属性信息。
131.本公开以车辆图像和车牌图像为例，使得在对车辆相关属性进行识别时，可以减小模型部署难度和复杂度，同时可以保证模型识别效率，并提升了模型识别精度。
132.作为一示例性实施方式，本公开将以车辆图像、车牌图像为例并结合图1所描述的场景进行阐述。当然，图1中的网络设备130也可以替换为终端设备。本实施例将以网络设备为例进行描述。
133.例如，首先可以通过采集设备120获取到包含车辆110的车辆图像。之后可以通过前置的检测器对车辆图像进行检测，确定出车牌位置。可以理解，前置的检测器可以是预先配置的检测模型。该检测模型可以位于采集设备120上，也可以位于网络设备130上。例如，若预先配置的检测模型位于采集设备120上，则采集设备可以对车辆图像进行检测，确定车牌位置。之后，可以将车辆图像中的车牌区域裁剪、填充，得到车牌图像。再将车辆图像、车牌图像和车牌位置发送至网络设备130中。又例如，若预先配置的检测模型位于网络设备130上，则采集设备直接将获取到的车辆图像发送至网络设备130上。由网络设备130根据预先配置的检测模型对车辆图进行检测，确定车牌位置。之后，可以将车辆图像中的车牌区域裁剪、填充，得到车牌图像。可以理解，车辆图像即上述第一图像、车牌图像即上述第二图像、车牌位置即上述区域位置信息，车牌即上述目标物体。
134.之后，网络设备可以采用训练好的单一的属性识别模型(即单一的第一属性识别模型)对车辆图像和车牌图像分别进行相应的特征提取。并基于车牌位置、车辆特征、车牌特征，确定出车牌融合特征。该过程与图2至图7中确定融合特征过程相类似，本公开在此不再赘述。之后，可以对车辆特征、车牌融合特征进行属性识别，以确定车辆相关属性和车牌相关属性。其中，确定车辆相关属性和车牌相关属性与图2至图7中确定第一属性信息和第二属性信息过程相类似，本公开在此不再赘述。
135.作为一示例性实施方式，本公开在进行图像属性识别时，还可以利用上述图10所描述方法确定出的单一的第二属性识别模型。例如，可以利用单一的第二属性识别模型，对第一图像直接进行属性识别，以同时确定出第一属性信息和第二属性信息。仍然以第一图像为车辆图像、第一属性信息为车辆相关属性、第二属性信息为车牌相关属性为例进行描述。该示例中，可以采用单一的第二属性识别模型，直接对车辆图像进行属性识别，确定出车辆相关属性和车牌相关属性。其原因在于，在单一的第二属性识别模型训练的过程中，通过拉近第一特征提取分支提取的特征与第二特征提取分支提取的特征之间的距离。使得仅利用第一特征提取分支，即可提取出更为准确的特征。例如，在训练过程中，通过对模型参数的调整，使得车辆特征中的车牌部分特征与第二特征提取分支确定的车牌特征逐渐靠
近。从而在应用阶段，可以直接对车辆图像进行特征提取，也可以保证车辆特征中的车牌部分特征可以很好的用于进行车牌相关属性识别。
136.基于相同的构思，本公开实施例还提供一种图像属性识别装置、属性识别模型训练装置。
137.可以理解的是，本公开实施例提供的一种图像属性识别装置、一种属性识别模型训练装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
138.作为一示例性实施方式，图11是根据本公开一示例性实施方式中示出的一种图像属性识别装置示意图。参阅图11所示，提供了一种图像属性识别装置1100，该装置1100可以实现上述图2至图7中所涉及的任意一种方法。该装置1100可以包括：获取模块1101，用于获取第一图像，第一图像为包括目标物体的图像；确定模块1102，用于根据第一图像确定第二图像，第二图像为第一图像中包括目标物体的部分区域图像；识别模块1103，用于将第一图像和第二图像输入至单一的属性识别模型，得到目标图像属性，其中，目标图像属性包括第一图像的第一属性信息和目标物体对应的第二属性信息。
139.本公开可以通过一个模型对不同的图像同时进行属性识别，提升了模型识别效率，避免了多个模型共同运行导致的运行速率下降。
140.在一个可能的实施方式中，识别模块1103还用于：通过单一的属性识别模型的不同通道，分别对第一图像和第二图像进行特征提取，得到第一图像特征和第二图像特征；基于第一图像特征和第二图像特征，识别得到目标图像属性。
141.本公开通过单一模型中的不同通道，实现了对不同图像进行属性识别，避免了使用多个模型识别不同图像的属性，从而提升了模型的识别效率，同时避免多个模型共同运行导致的运行速率下降。
142.在一个可能的实施方式中，确定模块1102还用于：确定区域位置信息，区域位置信息用于表示第二图像在第一图像中的区域位置；识别模块1103还用于：基于区域位置信息，从第一图像特征中确定区域子特征；将区域子特征与第二图像特征相融合，得到融合特征；基于融合特征，确定第二属性信息。
143.本公开基于区域位置信息，将区域子特征与第二图像特征相融合，以使得融合特征，使得融合特征可以携带更多信息，有利于后续识别出更多更准确的第二属性信息。
144.在一个可能的实施方式中，确定模块1102还用于：对第一图像进行裁剪、填充，确定第二图像，其中第二图像与第一图像的像素值相同。
145.本公开可以通过第一图像确定出第二图像，从而保证在实际应用过程中，基于一张图片可以准确识别出多类不同的属性，同时保证模型还可具有一定的识别精度。
146.在一个可能的实施方式中，第一图像为车辆图像，第二图像为车牌图像，目标物体为车牌。
147.本公开以车辆图像和车牌图像为例，使得在对车辆相关属性进行识别时，可以减
小模型部署难度和复杂度，同时可以保证模型识别效率，并提升了模型识别精度。
148.作为一示例性实施方式，图12是根据本公开一示例性实施方式中示出的一种属性识别模型训练装置示意图。参阅图12所示，提供了一种属性识别模型训练装置1200，该装置1200可以实现上述图8至图10中所涉及的任意一种方法。该装置1200可以包括：获取模块1201，用于获取训练样本集，训练样本集包括至少一个训练样本组，每个训练样本组包括携带第一标签的第一训练图像、携带第二标签的第二训练图像以及区域位置信息，其中，第一训练图像为包括目标物体的图像，第二训练图像为第一训练图像中包括目标物体的部分区域图像，区域位置信息用于表示第二训练图像在第一训练图像中的区域位置；训练模块1202，用于针对每个训练样本组，将训练样本组输入至单一的初始识别模型，确定第一训练图像的第一训练属性信息和第二图像的第二训练属性信息；根据第一标签、第一训练属性信息、第二标签和第二训练属性信息，对单一的初始识别模型进行调整，确定单一的第一属性识别模型。
149.本公开通过训练得到单一的模型，以便使用该单一模型可以对不同的图像同时进行属性识别，提升了模型识别效率，避免了多个模型共同运行导致的运行速率下降。
150.在一个可能的实施方式中，训练模块1202还用于：通过单一的初始识别模型的不同通道，分别对第一训练图像和第二训练图像进行特征提取，得到第一训练图像特征和第二图像训练特征；基于第一训练图像特征识别得到第一训练属性信息，以及基于第二训练图像特征识别得到第二训练属性信息。
151.本公开通过单一模型中的不同通道，实现了对不同图像进行属性识别，避免了使用多个模型识别不同图像的属性，从而提升了模型的识别效率，同时避免多个模型共同运行导致的运行速率下降。
152.在一个可能的实施方式中，训练模块1202还用于：基于区域位置信息，从第一训练图像特征中确定区域训练子特征；将区域训练子特征与第二训练图像特征相融合，得到训练融合特征；基于训练融合特征，确定第二训练属性信息。
153.本公开基于区域位置信息，将区域训练子特征与第二训练图像特征相融合，以使得融合后的训练融合特征可以携带更多信息，有利于后续识别出更多更准确的第二训练属性信息。
154.在一个可能的实施方式中，训练模块1202还用于：基于区域训练子特征和第二训练图像特征，对单一的第一属性识别模型进行调整，确定单一的第二属性识别模型。
155.本公开可以进一步降低模型的部署难度，减少模型占用的空间，同时还可以保证识别效率，并提升了识别精度。
156.在一个可能的实施方式中，第一训练图像为车辆图像，第二训练图像为车牌图像，目标物体为车牌。
157.本公开以车辆图像和车牌图像为例，使得在对车辆相关属性进行识别时，可以减小模型部署难度和复杂度，同时可以保证模型识别效率，并提升了模型识别精度。
158.关于本公开上述涉及的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
159.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
160.根据本公开的实施例，本公开还提供了一种图像属性识别设备、一种属性识别模型训练设备、一种可读存储介质和一种计算机程序产品。
161.图13示出了可以用来实施本公开的实施例的一种设备1300的示意性框图。可以理解，该设备1300可以是图像属性识别设备，也可以是属性识别模型训练设备。该设备1300旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、服务器集群和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
162.如图13所示，设备1300包括计算单元1301，其可以根据存储在只读存储器(rom)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(ram)1303中的计算机程序，来执行各种适当的动作和处理。在ram 1303中，还可存储设备1300操作所需的各种程序和数据。计算单元1301、rom 1302以及ram 1303通过总线1304彼此相连。输入/输出(i/o)接口1305也连接至总线1304。
163.设备1300中的多个部件连接至i/o接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
164.计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理，例如图2至图7所描述的任意一种图像属性识别方法，和/或例如图8至图10所描述的任意一种属性识别模型训练方法。例如，在一些实施例中，图2至图7所描述的任意一种图像属性识别方法，和/或图8至图10所描述的任意一种属性识别模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由rom 1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序加载到ram 1303并由计算单元1301执行时，可以执行上文描述的一种图像属性识别方法，和/或一种属性识别模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述图2至图7所描述的图像属性识别方法，和/或被配置为执行上述图8至图10所描述的属性识别模型训练方法。
165.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
166.本公开通过一个模型对不同的图像同时进行属性识别，提升了模型识别效率，避免了多个模型共同运行导致的运行速率下降。
167.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
168.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
169.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
170.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
171.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。当然，在一些例子中，服务器还可以指代服务器集群。
172.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
173.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。