人体结构化信息解析方法及系统与流程

1.本发明涉及计算机技术领域，更具体地，涉及人体结构化信息解析方法及系统。


背景技术：

2.随着计算机视觉的不断发展，基于深度学习的算法层出不穷，针对特定的领域，所有的深度学习算法都面临数据问题，需要大量人工采集和标注工作，才能使得模型在该领域下达到较好的结果。
3.目前针对人工智能中与人体相关的某些复杂场景，对人群行为进行分析的难度很大。而在一些特征的场景，比如在安全领域中，通常需要知道工人有无佩戴安全帽，正确穿戴工装等，医生是否在手术中正确着装等。若要在实际应用场景中获得较好的效果，则需要针对现场的具体情况进行数据采集，采集的数据需要包含各种实际情况，人体是一个非刚体的系统，所有的姿势变化均需要覆盖，这样训练数据集的采集与标注将花费大量的人力。所以，目前需要一种适用于各类实际应用场景，针对各种人体姿态的自动化与智能化的数据采集与标注方法，降低数据采集与标注中的工作量，解决训练样本量不足的问题，辅助场景分析，提高算法在实际应用中的效果。
4.目前人工智能领域中，与人(人脸，行人，帽子，衣着，鞋子)相关的检测或分割数据通常需要人工进行标注，需要大量的人工才能标注足够的数据用于训练深度学习模型。另外，现有技术中也存在通过人体结构化信息解析方法实现对人体结构进行标注，现有的人体结构化信息解析方法通常是基于2d的人体结构解析(human parsing)算法实现和基于3d的人体结构解析算法实现。对于基于2d的人体结构解析算法，这种算法不仅可以解析出人体结构，还可以解析出与人体结构本身无关的部分，例如衣服，帽子，配饰等。但是在复杂场景下受到环境的干扰后非常容易失效，例如对于存在多人共同存在的场景或人体处于复杂背景的情况下，将会存在目标人像与其他人像或背景图像重叠的情况发生，将会导致对目标人像的人体结构解析结果不准确，产生误差。对于基于3d的人体结构解析算法，这种算法通常只能解析出人体结构，不会解析与人体结构本身无法的部分。
5.因此，现急需提供一种人体结构化信息解析方法及系统。


技术实现要素：

6.为克服上述问题或者至少部分地解决上述问题，本发明实施例提供了一种人体结构化信息解析方法及系统。
7.第一方面，本发明实施例提供了一种人体结构化信息解析方法，包括：
8.获取彩色图像和所述彩色图像对应的深度图像，所述彩色图像中包含有目标人像；
9.基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深度信息，确定所述目标人像的结构化信息。
10.优选地，所述基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深
度信息，确定所述目标人像的结构化信息，具体包括：
11.将所述彩色图像和所述深度图像同时输入至卷积神经网络模型，由所述卷积神经网络模型基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深度信息，输出所述目标人像的结构化信息；
12.其中，所述卷积神经网络模型基于样本彩色图像、所述样本彩色图像对应的深度图像以及所述样本彩色图像中样本人像对应的结构化信息训练得到。
13.优选地，所述目标人像的结构化信息具体包括所述目标人像的各个结构及对应的标注信息；相应地，所述方法还包括：
14.获取所述目标人像的每个结构的外接矩形，基于所述彩色图像中与所述外接矩形对应的区域以及所述目标人像的每个结构对应的标注信息，对检测模型进行训练。
15.优选地，所述方法还包括：
16.将所述目标人像的每个结构对应的标注信息作为每个结构中所有的像素点对应的标注信息，基于每个结构中所有的像素点以及对应的标注信息，对分割模型进行训练。
17.优选地，所述彩色图像和所述深度图像均由3d摄像装置获取。
18.优选地，所述3d摄像装置具体包括3d摄像头和深度信息计算单元。
19.第二方面，本发明实施例提供了一种人体结构化信息解析系统，包括：获取模块和解析模块。其中，
20.获取模块用于获取彩色图像和所述彩色图像对应的深度图像，所述彩色图像中包含有目标人像；
21.解析模块用于基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深度信息，确定所述目标人像的结构化信息。
22.优选地，所述解析模块具体用于：
23.将所述彩色图像和所述深度图像同时输入至卷积神经网络模型，由所述卷积神经网络模型基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深度信息，输出所述目标人像的结构化信息；
24.其中，所述卷积神经网络模型基于样本彩色图像、所述样本彩色图像对应的深度图像以及所述样本彩色图像中样本人像对应的结构化信息训练得到。
25.第三方面，本发明实施例提供了一种电子设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的人体结构化信息解析方法的步骤。
26.第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的人体结构化信息解析方法的步骤。
27.本发明实施例提供的一种人体结构化信息解析方法及系统，所述方法首先获取彩色图像和所述彩色图像对应的深度图像，所述彩色图像中包含有目标人像；然后基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深度信息，确定所述目标人像的结构化信息。由于引入了深度图像中的深度信息，不仅可以使得到的人体结构解析结果排除复杂场景下的环境干扰，更加准确。还可以实现各种复杂场景下的自动化、智能化的人体结构标注过程，通过对人体结构进行解析，为各种与之相关场景下的模型练提供数据支持。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1为本发明实施例提供的一种体结构化信息解析方法的流程示意图；
30.图2为本发明实施例提供的一种体结构化信息解析方法中利用卷积神经网络模型输出目标人像的结构化信息的流程示意图；
31.图3为本发明实施例提供的一种人体结构化信息解析方法应用于对检测模型或分割模型训练样本的标注时的流程示意图；
32.图4为本发明实施例提供的一种体结构化信息解析系统的结构示意图；
33.图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
34.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.如图1所示，本发明实施例提供了一种人体结构化信息解析方法，包括：
36.s1，获取彩色图像和所述彩色图像对应的深度图像，所述彩色图像中包含有目标人像；
37.s2，基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深度信息，确定所述目标人像的结构化信息。
38.具体地，本发明实施例中提供的人体结构化信息解析方法，其执行主体为服务器，服务器具体可以是电脑服务器或者云端服务器，本发明实施例中对此不作具体限定。本发明实施例中提供的人体结构化信息解析方法，可以应用于人体行为识别领域，例如识别人的肢体动作、识别球员的动作、识别舞蹈者的舞蹈动作等。
39.首先执行步骤s1，服务器获取到获取彩色图像和彩色图像对应的深度图像。彩色图像是指包含有目标人像的场景形成的彩色图像，其中包括了r、g、b三通道信息。彩色图像具体可以通过3d摄像装置中的3d摄像头拍摄得到。根据彩色图像可以确定深度图像，具体可以通过3d摄像装置实现，即将3d摄像头拍摄得到的彩色图像输入至3d摄像装置中的深度信息计算单元，得到彩色图像对应的深度图像，深度图像中包含有目标人像在所处的场景中的深度信息。本发明实施例中，具体可以将服务器与3d摄像装置连接，通过3d摄像装置采集彩色图像以及彩色图像对应的深度图像。需要说明的是，彩色图像中包含的目标人像的数量可以是一个，也可以是多个，彩色图像中包含的所有人像均可以作为目标人像，根据具体应用需要进行选取，本发明实施例中对此不作具体限定。每个目标人像均对应一结构化信息。
40.然后执行步骤s2，服务器结合彩色图像中的r、g、b三通道信息以及深度图像中的深度信息，确定目标人像的结构化信息。其中，目标人像的结构化信息是指根据目标人像的
服饰、穿着颜色等通过r、g、b三通道信息表示的内容将目标人像进行分割得到的各个结构以及各个结构对应的标注信息，即人体结构的解析结果。其中，各个结构可以包括头、脸、颈、上身、四肢，头上佩戴的帽子、眼镜等，身上穿的衣服等，各个结构对应的标注信息具体可以包括人体本身结构的结构名，例如脸、胳膊等，还可以包括结构对应的穿着等起标识作用的信息，例如帽子、鞋子以及对应的颜色、品牌等。
41.本发明实施例中可以以2d的人体结构解析算法为基础，在原有的r、g、b三通道信息的基础上，引入表示目标人像在所处的外界环境中的深度信息。将深度信息作为第四个通道信息，将2d的人体结构解析算法由三个通道增加至四个通道，如此使得到的人体结构解析结果排除了复杂场景下的环境干扰，更加准确。本发明实施例中还可以通过2d的人体结构解析算法，基于彩色图像中的r、g、b三通道信息对目标人像的人体结构进行解析，并将得到的结构化信息与深度图像中的深度信息进行比较，若得到的结构化信息与深度信息不矛盾，则说明得到的结构化信息是准确的。
42.本发明实施例中提供的人体结构化信息解析方法，首先获取彩色图像和所述彩色图像对应的深度图像；然后基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深度信息，确定所述目标人像的结构化信息。由于引入了深度图像中的深度信息，不仅可以使得到的人体结构解析结果排除复杂场景下的环境干扰，更加准确。还可以实现各种复杂场景下的自动化、智能化的人体结构标注过程，通过对人体结构进行解析，为各种与之相关场景下的模型练提供数据支持。
43.在上述实施例的基础上，彩色图像可以是视频流中的一帧，即本发明实施例中提供的人体结构化信息解析方法可以用于对视频流进行逐帧处理，以确定视频流的每帧彩色图像中目标人像的结构化信息。
44.在上述实施例的基础上，本发明实施例中可以通过多个3d摄像装置实现多角度获取视频流，进而可以增加较为丰富的场景细节。
45.在上述实施例的基础上，本发明实施例中提供的人体结构化信息解析方法，所述基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深度信息，确定所述目标人像的结构化信息，具体包括：
46.将所述彩色图像和所述深度图像同时输入至卷积神经网络模型，由所述卷积神经网络模型基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深度信息，输出所述目标人像的结构化信息；
47.其中，所述卷积神经网络模型基于样本彩色图像、所述样本彩色图像对应的深度图像以及所述样本彩色图像中样本人像对应的结构化信息训练得到。
48.具体地，本发明实施例中，引入卷积神经网络模型，通过卷积神经网络模型实现对目标人像的人体结构进行解析，得到目标人像的结构化信息。首先将彩色图像和深度图像同时输入至卷积神经网络模型，通过卷积神经网络模型根据彩色图像中的r、g、b三通道信息以及深度图像中的深度信息，输出目标人像的结构化信息。本发明实施例中采用的卷积神经网络模型，可以在基于2d的人体结构解析算法构建的卷积神经网络模型的基础上，将卷积神经网络模型的输入在r、g、b三通道的基础上，增加一个通道用于深度信息，即卷积神经网络模型的输入变为r、g、b三通道以及深度信息构成的四通道，将深度信息与r、g、b三通道信息进行结合，综合确定目标人像的结构化信息，提高卷积神经网络模型的鲁棒性。对于
卷积神经网络模型的内部各层，则根据输入的通道数进行相应调整。如图2所示，为利用卷积神经网络模型输出目标人像的结构化信息的流程示意图。首先获取彩色图像以及彩色图像对应的深度图像，然后将彩色图像和深度图像同时输入至卷积神经网络模型，由卷积神经网络模型输出彩色图像中目标人像的结构化信息。
49.一般，卷积神经网络模型先从彩色目标人像中识别出目标人像，然后再对目标人像进行精细分割，确定目标人像的结构化信息。本发明实施例中的卷积神经网络模型是根据样本彩色图像、样本彩色图像对应的深度图像以及样本彩色图像中样本人像对应的结构化信息训练得到。样本彩色图像中每个样本人像对应的结构化信息均是已知的。
50.本发明实施例中，利用卷积神经网络模型，实现对彩色图像中目标人像的结构化信息的解析，可以提高解析效率，快速得到目标人像的结构化信息。
51.在上述实施例的基础上，本发明实施例中提供的人体结构化信息解析方法，所述目标人像的结构化信息具体包括所述目标人像的各个结构及对应的标注信息；相应地，所述方法还包括：
52.获取所述目标人像的每个结构的外接矩形，基于所述彩色图像中与所述外接矩形对应的区域以及所述目标人像的每个结构对应的标注信息，对检测模型进行训练。
53.具体地，目标人像的结构化信息具体包括目标人像的各个结构及对应的标注信息。本发明实施例中提供的人体结构化信息解析方法，具体可以应用于对检测模型训练样本的标注。其中，检测模型用于识别彩色图像中目标人像的某些部分，例如帽子、鞋子等，主要是基于神经网络模型构建。
54.首先，需要获取目标人像的每个结构的外接矩形，每个结构均具有一个外接矩形，外接矩形是指将每个结构形成的封闭图形围起来的矩形。
55.其次，将目标人像中与外接矩形对应的区域作为训练样本，将目标人像的每个结构对应的标注信息作为该训练样本对应的标注信息，对检测模型进行训练。
56.本发明实施例中，采用本发明实施例中提供的人体结构化信息解析方法得到目标人像的结构化信息，将目标人像的每个结构对应的标注信息作为该训练样本对应的标注信息，可以使得检测模型的训练样本并不需要人工进行标注，使得训练样本的标注更加自动化，可以大量节省标注的工作，尽量减少训练样本的标注成本，且得到的标注信息更加准确。
57.在上述实施例的基础上，本发明实施例中提供的人体结构化信息解析方法，所述方法还包括：
58.将所述目标人像的每个结构对应的标注信息作为每个结构中所有的像素点对应的标注信息，基于每个结构中所有的像素点以及对应的标注信息，对分割模型进行训练。
59.具体地，本发明实施例中提供的人体结构化信息解析方法，还可以应用于对分割模型训练样本的标注。其中，分割模型用于对彩色图像中目标人像的某些部分进行分割，例如分割目标人像的脸部、裤子等，主要是基于神经网络模型构建。通常，分割模型需要每个像素的标签，而由于本发明实施例中在对人体结构化信息进行解析时，已经得到目标人像的每个结构对应的标注信息，因此可以将目标人像的每个结构对应的标注信息作为每个结构中所有的像素点对应的标注信息。然后将每个结构中每个像素点均作为训练样本，对分割模型进行训练。也就是说，对于分割模型的训练样本，均采用目标人像的每个结构对应的
标注信息，如此操作的标注工作量远小于逐像素点进行标注的工作量。
60.为进一步提高分割模型的分割准确度，可以对分割模型进行人工微调。也就是说，对于检测模型，只需要获取每个结构的外接矩形即可，对于分割模型，还需要检查将目标人像的每个结构对应的标注信息作为每个结构中所有的像素点对应的标注信息是否合理，如果使分割模型的分割结果不是很准确，则需要进行人工微调，即使如此，对训练样本的整个标注过程也节省了大量的人工工作量。
61.本发明实施例中，采用本发明实施例中提供的人体结构化信息解析方法得到的彩色目标人像的结构化信息，作为分割模型的训练样本的标注信息，可以使得分割模型的训练样本并不需要人工进行标注，使得训练样本的标注更加自动化，且更加准确。
62.如图3所示，为本发明实施例中提供的人体结构化信息解析方法应用于检测模型或分割模型的训练样本标注时的流程示意图。首先基于人体结构化信息解析方法确定目标人像的结构化信息，然后判断是否应用于检测模型，如果是，则获取目标人像的每个结构的外接矩形，基于彩色图像中与外接矩形对应的区域以及目标人像的每个结构对应的标注信息，对检测模型进行训练；否则，将目标人像的每个结构对应的标注信息作为每个结构中所有的像素点对应的标注信息，基于每个结构中所有的像素点以及对应的标注信息，对分割模型进行训练。
63.在上述实施例的基础上，还需要对标注信息进行后处理，对于检测模型以及分割模型，均需要根据模型需要的标签格式将目标人像的每个结构对应的标注信息进行转换。
64.如图4所示，在上述实施例的基础上，本发明实施例中提供了一种人体结构化信息解析系统，包括：获取模块41和解析模块42。
65.获取模块41用于获取彩色图像和所述彩色图像对应的深度图像，所述彩色图像中包含有目标人像；
66.解析模块42用于基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深度信息，确定所述目标人像的结构化信息。
67.具体地，本发明实施例中提供的人体结构化信息解析系统中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
68.在上述实施例的基础上，本发明实施例中提供的人体结构化信息解析系统，所述解析模块具体用于：
69.将所述彩色图像和所述深度图像同时输入至卷积神经网络模型，由所述卷积神经网络模型基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深度信息，输出所述目标人像的结构化信息；
70.其中，所述卷积神经网络模型基于样本彩色图像、所述样本彩色图像对应的深度图像以及所述样本彩色图像中样本人像对应的结构化信息训练得到。
71.图5所示，在上述实施例的基础上，本发明实施例中提供了一种电子设备，包括：处理器(processor)501、存储器(memory)502、通信接口(communications interface)503和通信总线504；其中，
72.所述处理器501、存储器502、通信接口503通过通信总线504完成相互间的通信。所述存储器502存储有可被所述处理器501执行的程序指令，处理器501用于调用存储器502中
的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取彩色图像和所述彩色图像对应的深度图像，所述彩色图像中包含有目标人像；基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深度信息，确定所述目标人像的结构化信息。
73.需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为pc机，还可以为其他设备，只要其结构中包括如图5所示的处理器501、通信接口503、存储器502和通信总线504，其中处理器501、通信接口503和存储器502通过通信总线504完成相互间的通信，且处理器501可以调用存储器502中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
74.存储器502中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
75.进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取彩色图像和所述彩色图像对应的深度图像，所述彩色图像中包含有目标人像；基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深度信息，确定所述目标人像的结构化信息。
76.在上述实施例的基础上，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：获取彩色图像和所述彩色图像对应的深度图像，所述彩色图像中包含有目标人像；基于所述彩色图像中的r、g、b三通道信息以及所述深度图像中的深度信息，确定所述目标人像的结构化信息。
77.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
78.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
79.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管
参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。