一种处理方法及装置与流程

1.本技术涉及处理领域中的信息处理技术，尤其涉及一种处理方法及装置。


背景技术：

2.随着视觉理论及计算机科学与技术的迅速发展，摄像头随处可见，经常用来采集人的图像，并通过人的图像来确定人的动作信息，当人在运动摄像头采集人的图像时，摄像头会因为视觉盲区无法采集到人的部分部位，导致确定的人的动作信息不准确。


技术实现要素：

3.本技术的技术方案是这样实现的：
4.一种处理方法，包括：
5.通过摄像头模组获取至少两帧目标对象的投影图像，所述投影图像至少包括所述目标对象的目标部位在目标光源下的投影的图像，所述目标部位是所述目标对象在所述摄像头模组的取景方向上被遮挡的部位；
6.确定所述目标部位在所述至少两帧投影图像中的位姿变化信息；
7.至少基于所述位姿变化信息确定所述目标对象的动作信息。
8.上述方案中，所述通过摄像头模组获取至少两帧目标对象的投影图像，包括：
9.在所述摄像头模组获取每一帧图像的过程中，控制所述目标光源的至少三个光源依次发光，以得到包括所述目标部位的至少三个投影的一帧图像，其中，通过所述至少三个光源能够获得所述目标对象至少360度的投影。
10.上述方案中，其中，确定所述目标部位在所述至少两帧投影图像中的位姿变化信息，包括：
11.获得所述目标对象的相邻两部位在物理空间和投影图像之间的对应关系，所述相邻两部位中至少包括所述目标对象的一目标部位；
12.获得所述目标对象的相邻两部位在第一帧投影图像和第二帧投影图像中的投影关系，所述第一帧投影图像和所述第二帧投影图像至少具有时序上的关联关系；
13.基于所述对应关系和所述投影关系确定所述目标对象的相邻两部位的物理空间关系变化信息，以得到所述位姿变化信息。
14.上述方案中，所述获得所述目标对象的相邻两部位在物理空间和投影图像之间的对应关系，包括：
15.确定标定对象的可见部位和不可见部位之间的第一位置关系；其中，所述不可见部位是所述标定对象在所述摄像头模组的取景方向上被遮挡的部位；
16.获得所述可见部位和不可见部位在所述目标光源的至少三个光源下的投影图像中的第二位置关系；
17.确定所述第一位置关系和所述第二位置关系之间的关系矩阵，将所述关系矩阵确定为所述目标对象的相邻两部位在物理空间和投影图像之间的对应关系。
18.上述方案中，所述基于所述对应关系和所述投影关系确定所述目标对象的相邻两部位的物理空间关系变化信息，包括：
19.获得所述相邻两部位在第一帧投影图像中的至少三个帧时刻的第一投影关系，基于所述对应关系和所述第一投影关系，得到所述相邻两部位在获取第一帧投影图像时的第一物理空间关系；
20.获得所述相邻两部位在第二帧投影图像中的至少三个帧时刻的第二投影关系，基于所述对应关系和所述第二投影关系，得到所述相邻两部位在获取第二帧投影图像时的第二物理空间关系；
21.基于所述第一物理空间关系和所述第二物理空间关系得到所述物理空间关系变化信息；
22.其中，所述至少三个帧时刻是所述至少三个光源分别发光的时刻。
23.上述方案中，所述基于所述对应关系和所述投影关系确定所述目标对象的相邻两部位的物理空间关系变化信息，以得到所述位姿变化信息，包括：
24.获得第一可见部位和第一目标部位在物理空间和投影图像之间的第一对应关系，所述第一可见部位与所述第一目标部位相邻；
25.获得所述第一可见部位和所述第一目标部位在第一帧投影图像中的第一投影关系、以及在第二帧投影图像中的第二投影关系；
26.基于所述第一对应关系和所述第一投影关系得到所述第一可见部位和所述第一目标部位的第一物理空间关系，基于所述第一对应关系和所述第二投影关系得到所述第一可见部位和所述第一目标部位的第二物理空间关系；
27.获得第一可见部位在获取第一帧投影图像时的第一空间位置信息和在获取第二帧投影图像时的第二空间位置信息；
28.基于所述第一物理空间关系和所述第一空间位置信息确定所述第一目标部位的第三空间位置信息，基于所述第二物理空间关系和所述第二空间位置信息确定所述第一目标部位的第四空间位置信息；
29.基于所述第三空间位置信息和所述第四空间位置信息得到所述位姿变化信息。
30.上述方案中，其中，还包括：
31.获得第一目标部位和所述第二目标部位在物理空间和投影图像之间的第二对应关系，所述第一目标部位与所述第二目标部位相邻；
32.获得所述第一目标部位和第二目标部位在第一帧投影图像中的第三投影关系、以及在第二帧投影图像中的第四投影关系；
33.基于所述第二对应关系和所述第三投影关系得到所述第一目标部位和第二目标部位的第三物理空间关系，基于所述第二对应关系和所述第四投影关系得到所述第一目标部位和所述第二目标部位的第四物理空间关系；
34.基于所述第三物理空间关系和所述第三空间位置信息确定所述第二目标部位的第五空间位置信息，基于所述第四物理空间关系和所述第四空间位置信息确定所述第二目标部位的第六空间位置信息；
35.基于所述第三空间位置信息、所述第四空间位置信息、所述第五空间位置信息、所述第六空间位置信息得到的物理空间关系变化信息，得到所述位姿变化信息。
36.上述方案中，其中，至少基于所述位姿变化信息确定所述目标对象的动作信息，包括：
37.获得所述目标对象的可见部位的位姿变化信息，基于所述可见部位和所述目标部位的位姿变化信息确定所述目标对象的动作信息。
38.上述方案中，其中，基于所述可见部位和所述目标部位的位姿变化信息确定所述目标对象的动作信息，包括：
39.获得所述可见部位在获取所述至少两帧投影图像时所对应的采集时刻的位姿信息，基于所述采集时刻的位姿信息确定所述可见部位的位姿变化信息；
40.基于所述可见部位与所述目标部位之间的关联关系对所述可见部位和所述目标部位的位姿变化信息进行处理，得到所述目标对象的动作信息。
41.一种处理装置，包括：
42.获取单元，用于通过摄像头模组获取至少两帧目标对象的投影图像，所述投影图像至少包括所述目标对象的目标部位在目标光源下的投影的图像，所述目标部位是所述目标对象在所述摄像头模组的取景方向上被遮挡的部位；
43.确定单元，用于确定所述目标部位在所述至少两帧投影图像中的位姿变化信息；
44.所述确定单元，还用于至少基于所述位姿变化信息确定所述目标对象的动作信息。
45.一种电子设备，包括：存储器、处理器和通信总线；
46.所述通信总线用于实现所述处理器和所述存储器之间的通信连接；
47.所述处理器用于执行所述存储器中存储的处理程序，以实现以下步骤：
48.通过摄像头模组获取至少两帧目标对象的投影图像，所述投影图像至少包括所述目标对象的目标部位在目标光源下的投影的图像，所述目标部位是所述目标对象在所述摄像头模组的取景方向上被遮挡的部位；
49.确定所述目标部位在所述至少两帧投影图像中的位姿变化信息；
50.至少基于所述位姿变化信息确定所述目标对象的动作信息。
51.一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现处理方法的步骤。
52.本技术实施例所提供的处理方法及装置，通过摄像头模组获取至少两帧目标对象的投影图像，投影图像至少包括目标对象的目标部位在目标光源下的投影的图像，目标部位是目标对象在摄像头模组的取景方向上被遮挡的部位；确定目标部位在至少两帧投影图像中的位姿变化信息；至少基于位姿变化信息确定目标对象的动作信息；如此，可以根据被遮挡部位在至少两帧投影图像中的位姿变化信息来确定目标对象的动作信息，避免无法采集被遮挡部分的图像导致确定的目标对象的动作信息不准确的问题，提高了确定目标对象的动作信息的准确率。
附图说明
53.图1为本技术的实施例提供的一种处理方法的流程示意图；
54.图2为本技术的实施例提供的一种处理方法的场景示意图；
55.图3为本技术的实施例提供的另一种处理方法的流程示意图；
56.图4为本技术的实施例提供的又一种处理方法的场景示意图；
57.图5为本技术的实施例提供的又一种处理方法的流程示意图；
58.图6为本技术的实施例提供的又一种处理方法的流程示意图；
59.图7为本技术的实施例提供的又一种处理方法的场景示意图；
60.图8为本技术的实施例提供的又一种处理方法的场景示意图；
61.图9为本技术的实施例提供的又一种处理方法的场景示意图；
62.图10为本技术的实施例提供的又一种处理方法的场景示意图；
63.图11为本技术的实施例提供的又一种处理方法的流程示意图；
64.图12为本技术的实施例提供的一种处理装置的结构示意图。
65.图13为本技术的实施例提供的一种电子设备的结构示意图。
具体实施方式
66.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
67.应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
68.本技术的实施例提供一种处理方法，该方法可以应用于电子设备中，参照图1所示，该方法包括以下步骤：
69.步骤101、通过摄像头模组获取至少两帧目标对象的投影图像。
70.其中，投影图像至少包括目标对象的目标部位在目标光源下的投影的图像，目标部位是目标对象在摄像头模组的取景方向上被遮挡的部位；目标对象可以是运动状态的对象，也可以是静止状态的对象；摄像头模组包括至少一个摄像头。
71.在本技术实施例中，在目标对象处于摄像头模组的取景范围，且目标对象与目标光源之间的距离符合目标距离范围的情况下，摄像头的取景范围无法完全覆盖目标对象的全部，由于目标部位被遮挡，摄像头模组无法直接采集到目标部位的图像，此时，便可以采集目标部位在目标光源下的投影的图像，并将采集到的投影图像发送至电子设备。
72.在一种可行的实现方式中，目标对象为人，如图2所示，摄像头模组可以包括2个摄像头，两个摄像头间隔一定的距离设置，在人在处于摄像头模组的取景范围，且与目标光源的距离符合目标距离范围的情况下，此时人在运动可以看到身体会遮挡某些部位(即目标部位)，此时摄像头模组采集人的图像时存在视觉盲区，无法采集到目标部位的图像，可以通过采集目标部位在目标光源照射下的投影的图像来确定目标部位的图像，以此来弥补无法直接采集目标部位的图像的缺陷。
73.下述结合应用场景，对通过摄像头模组获取投影图像进行详细的解释说明。
74.在一种可行的实现方式中，当目标对象为人且人处于运动状态时，可以实时检测人与目标光源的距离，当确定人与目标光源的距离小于或等于目标距离时，控制目标光源发光，通过摄像头模组来采集人在目标光源下对应的投影图像，之后当检测到人与目标光源的距离越来越远，且人与目标光源的距离大于目标距离时，则可以控制目标光源熄灭；如此，通过检测人与目标光源的距离是否小于或等于目标距离来确保在目标光源下人产生投影的有效距离，避免在目标光源发光时人由于距离目标光源太远未产生投影，导致摄像头模组无法采集到人的投影图像的问题，提高了获取投影图像的效率，而且，当人在运动状态
下通过检测人与目标光源的距离来控制目标光源的开启或熄灭，进一步可以节约电能。
75.在另一种可行的实现方式中，当目标对象为人且人处于静止状态时，可以检测人与目标光源的距离，在检测到人与目标光源的距离小于或等于目标距离时，可以控制目标光源发光，通过摄像头模组来采集人的投影图像；如此，可以确保在目标光源下人处于静态时产生投影的有效距离，避免在目标光源发光时人由于距离目标光源太远未产生投影，导致摄像头模组无法采集到人的投影图像的问题，提高了获取投影图像的效率。
76.需要说明的是，投影图像可以是从摄像头模组采集的目标对象的目标部位在目标光源下的投影的多帧待处理图像中筛选得到的图像。
77.在一种可行的实现方式中，电子设备可以对每一帧待处理图像进行分析，确定每一帧待处理图像的清晰度，并按照清晰度从大到小对多帧待处理图像进行排序，从排序后的多帧待处理图像中确定清晰度大于目标清晰度阈值的图像为投影图像。
78.步骤102、确定目标部位在至少两帧投影图像中的位姿变化信息。
79.其中，位姿变化信息包括位置变化信息和姿态变化信息；其中，姿态变化信息包括但不限于角度变化信息。
80.在本技术实施例中，电子设备可以对至少两帧投影图像进行分析，确定每帧投影图像中目标部位的位置信息和姿态信息，通过对每帧投影图像中目标部位的位置信息进行分析来确定目标部位的位置变化信息，并通过对每帧图像中目标部位的姿态信息进行分析来确定目标部位的姿态变化信息。
81.步骤103、至少基于位姿变化信息确定目标对象的动作信息。
82.其中，位姿信息包括位置信息和姿态信息。
83.在本技术实施例中，可以通过摄像头模组采集多帧目标对象的可见部位的图像，并对多帧目标对象的可见部位的图像进行分析，确定可见部位的位姿变化信息和目标部位的位姿变化信息来确定目标对象的位姿变化信息，并对目标对象的位姿变化信息进行分析，确定目标对象的动作信息。
84.本技术实施例所提供的处理方法，通过摄像头模组获取至少两帧目标对象的投影图像，投影图像至少包括目标对象的目标部位在目标光源下的投影的图像，目标部位是目标对象在摄像头模组的取景方向上被遮挡的部位；确定目标部位在至少两帧投影图像中的位姿变化信息；至少基于位姿变化信息确定目标对象的动作信息；如此，可以至少根据被遮挡部位在至少两帧投影图像中的位姿变化信息来确定目标对象的动作信息，避免无法采集被遮挡部分的图像导致确定的目标对象的动作信息不准确的问题，提高了确定目标对象的动作信息的准确率。
85.基于前述实施例，本技术实施例提供一种处理方法，参照图3所示，该方法包括以下步骤：
86.步骤201、在摄像头模组获取每一帧图像的过程中，控制目标光源的至少三个光源依次发光，以得到包括目标部位的至少三个投影的一帧图像。
87.其中，通过至少三个光源能够获得目标对象至少360度的投影。
88.在本技术实施例中，电子设备在摄像头模组获取每一帧图像的过程中，可以控制至少三个光源同时发光；也可以控制至少三个光源中每次只有一个光源发光，进而来采集在每个光源下目标部位的投影的图像。
89.以光源的数量为三个为例，光源包括第一光源、第二光源和第三光源，在目标对象处于摄像头模组的取景范围内，且目标对象处于运动状态的情况下，电子设备可以控制第一光源、第二光源和第三光源依次发光；还可以在目标对象处于摄像头模组的取景范围内，且目标对象距离每个光源的距离小于目标距离时，控制每个光源依次发光。在一种可行的实现方式中，如图4所示，在目标对象处于摄像头模组的取景范围内，且目标对象处于运动状态的情况下，电子设备可以实时检测目标对象距离每个光源的距离，当电子设备检测到目标对象距离第一光源的距离小于或等于目标距离的情况下，可以控制第一光源发光，来采集在第一光源的照射下目标对象的目标部位的投影图像，当电子设备检测到目标对象距离第二光源的距离小于或等于目标距离的情况下，可以控制第二光源发光，来采集在第二光源的照射下目标对象的目标部位的投影图像，当电子设备检测到目标对象距离第三光源的距离小于或等于目标距离的情况下，可以控制第三光源发光，来采集在第三光源的照射下目标对象的目标部位的投影图像。
90.需要说明的是，当电子设备已经控制光源发光，在确定目标对象与光源的距离大于目标距离的情况下，可以控制光源熄灭以节约电能；当目标对象在运动时，被遮挡的部位可能实时会发生不同，也就是说，不同光源下采集到的目标部位的投影图像可能会是不同的目标部位的投影图像，在一种可行的实现方式中，在第一光源的照射下采集的是目标部位a的投影图像，在第二光源的照射下采集的是目标部位b的投影图像，在第三光源的照射下采集的是目标部位c的投影图像，其中，目标部位a、目标部位b和目标部位c可以相同，也可以不同；可以在每一光源下获取多帧目标对象的投影图像，以便提高确定的目标部位的位姿变化信息的准确率。
91.在本技术实施例中，可以采集在第一光源的照射下目标对象的投影的图像，在第二光源的照射下目标对象的投影的图像，以及在第三光源的照射下目标对象的投影的图像，并从采集的在第一光源的照射下目标对象的投影的图像中提取目标对象被遮挡部位的投影图像，从采集的在第二光源的照射下目标对象的投影的图像中提取目标对象被遮挡部位的投影图像，以及从采集的在第三光源的照射下目标对象的投影的图像中提取目标对象被遮挡部位的投影图像，得到三个投影图像。
92.步骤202、获得目标对象的相邻两部位在物理空间和投影图像之间的对应关系。
93.其中，相邻两部位中至少包括目标对象的一目标部位。
94.在本技术实施例中，可以基于标定对象的可见部位和不可见部位之间在物理空间和投影图像之间的对应关系，来确定目标对象的相邻两部位在物理空间和投影图像之间的对应关系；其中，标定对象指的是设置的基准对象。
95.在一种可行的实现方式中，目标对象可以为人，相邻两部位可以是人的手和胳膊，其中，手为目标部位。
96.需要说明的是，如图5和图6所示步骤202可以通过步骤a1-a3来实现：
97.步骤a1、确定标定对象的可见部位和不可见部位之间的第一位置关系。
98.其中，不可见部位是标定对象在摄像头模组的取景方向上被遮挡的部位；在本技术实施例中，第一位置关系指的是标定对象的可见部位和不可见部位在物理空间的相对位置关系。
99.在本技术实施例中，通过摄像头模组可以针对标定对象采集标定图像，基于标定
图像中像素点的坐标，确定标定对象的可见部位在标定图像中的位置，并确定标定图像的不可见部位在标定图像中的位置，并根据标定对象的可见部位在标定图像中的位置和标定对象的不可见部位在标定图像中的位置，确定标定对象的可见部位和不可见部位之间的第一位置关系；还可以是用户在物理空间通过测量确定标定对象的可见部位的位置和标定对象的不可见部位的位置，得到标定对象的可见部位和不可见部位之间的第一位置关系。
100.需要说明的是，标定对象的可见部位和不可见部位之间的距离可以小于预设距离；标定对象的可见部位和不可见部位可以是相邻的两部位，也可以是不相邻的两部位。
101.优选地，标定对象的可见部位和不可见部位可以是相邻的两部位。
102.步骤a2、获得可见部位和不可见部位在目标光源的至少三个光源下的投影图像中的第二位置关系。
103.在本技术实施例中，可以控制目标光源的至少三个光源依次发光，来得到标定对象在每个光源下的投影，并通过摄像头模组获取标定对象在每个光源下的投影图像，根据该投影图像中像素点的坐标，确定投影图像中标定对象的可见部位的位置和不可见部位的位置，并对每个光源下摄像头模组采集的投影图像中标定对象的可见部位的位置和不可见部位的位置进行分析，确定第二位置关系。
104.在一种可行的实现方式中，如图7所示，标定对象为t形物体，在t形物体的不同方向具有三个光源，可以控制三个光源依次发光得到标定对象的三个投影，并通过摄像头模组获取标定对象的三个投影图像，确定每个投影图像中标定对象的可见部位的位置和不可见部位的位置，得到每个投影图像中可见部位和不可见部位的位置关系，基于三个位置关系得到第二位置关系。其中，标定对象可以是人形。
105.步骤a3、确定第一位置关系和第二位置关系之间的关系矩阵，将关系矩阵确定为目标对象的相邻两部位在物理空间和投影图像之间的对应关系。
106.在本技术实施例中，电子设备可以对第一位置关系和第二位置关系进行分析，得到第一位置关系和第二位置关系之间的关系，并根据第一位置关系和第二位置关系之间的关系得到关系矩阵。
107.在一种可行的实现方式中，第一位置关系可以为在物理空间中标定对象的可见部位和不可见部位之间位置的第一矩阵a，第二位置关系可以为在投影图像中可见部位和不可见部位之间位置的第二矩阵b，可以对第一矩阵a和第二矩阵b进行分析，得到第一位置关系和第二位置关系之间的关系矩阵c，并将关系矩阵c作为目标对象的相邻两部位在物理空间和投影图像之间的关系矩阵。
108.步骤203、获得目标对象的相邻两部位在第一帧投影图像和第二帧投影图像中的投影关系。
109.其中，第一帧投影图像和第二帧投影图像至少具有时序上的关联关系。
110.在一种可行的实现方式中，第一帧投影图像和第二帧投影图像可以是从多帧投影图像中提取的清晰度大于目标清晰度的相邻两帧投影图像；还可以是从多帧投影图像中插帧提取的两帧图像。
111.在本技术实施例中，电子设备可以分别对第一帧投影图像和第二帧投影图像中的目标对象进行分析，确定目标对象的相邻两部位在第一帧投影图像中的位置关系和在第二帧投影图像中的位置关系，来得到目标对象的相邻两部位在第一帧投影图像的投影关系和
相邻两部位在第二帧投影图像中的投影关系。
112.步骤204、基于对应关系和投影关系确定目标对象的相邻两部位的物理空间关系变化信息，以得到位姿变化信息。
113.在本技术实施例中，电子设备可以根据对应关系和投影关系确定目标对象的相邻两部位在多个不同时刻的物理空间关系，并对多个物理空间关系进行分析，确定目标对象的相邻两部位的物理空间关系变化信息，来得到位姿变化信息。其中，位姿变化信息包括位置变化信息和姿态变化信息。
114.需要说明的是，如图5所示，步骤204中基于对应关系和投影关系确定目标对象的相邻两部位的物理空间关系变化信息，可以通过步骤b1-b3来实现：
115.步骤b1、获得相邻两部位在第一帧投影图像中的至少三个帧时刻的第一投影关系，基于对应关系和第一投影关系，得到相邻两部位在获取第一帧投影图像时的第一物理空间关系。
116.在本技术实施例中，电子设备或摄像头模组可以获得相邻两部位在第一帧投影图像中的至少三个帧时刻的第一投影关系，基于对应关系和第一投影关系可以得到至少三个相邻两部位的坐标平面关系，对至少三个坐标平面关系进行拟合处理得到相邻两部位在获取第一帧投影图像时的第一物理空间关系。
117.其中，至少三个帧时刻是至少三个光源分别发光的时刻；第一帧投影图像还可以为至少三个光源发光时目标对象的相邻两部位的三个投影子图像；第一投影关系可以包括相邻两部位在至少三个投影子图像中的至少三个子投影关系。
118.在一种可行的实现方式中，可以控制目标光源的三个光源依次发光，得到目标对象的三个投影子图像，并对每个投影子图像中的相邻两部位进行分析，得到每个投影子图像对应的相邻两部位的子投影关系，之后可以根据三个子投影关系和对应关系确定三个坐标平面关系，并对三个坐标平面关系进行拟合得到相邻两部位在获取第一帧投影图像时的第一物理空间关系。
119.在一种可行的实现方式中，当目标对象处于运动状态时，当人距离第一个光源的距离小于或等于目标距离时，如图8所示，可以控制第一个光源发光，摄像头模组可以采集人在第一个光源发光下对应的第一个投影子图像，之后当人距离第二个光源的距离小于或等于目标距离时，如图9所示可以控制第二个光源发光，摄像头模组可以采集人在第二个光源发光下对应的第二个投影子图像，当人距离第三个光源的距离小于或等于目标距离时，如图10所示，可以控制第三个光源发光，摄像头模组可以采集人在第三个光源发光下对应的第三个投影子图像，之后可以确定每个投影子图像中人的相邻两个关节之间的第一投影关系，并根据对应关系和第一投影关系确定至少三个相邻两个关节点的坐标平面关系，进而得到第一物理空间关系，以便之后根据摄像头模组捕捉到的已知关节点，以及第一物理空间关系，确定被遮挡的关节点的位姿变化信息。其中，第一个投影子图像可以为表示人的第一瞬态的投影的图像，第二个投影子图像可以表示人的第二瞬态的投影的图像，第三个投影子图像可以表示人的第三瞬态的投影的图像。
120.在另一种可行的实现方式中，当目标对象处于静止状态时，可以通过设置目标距离来确保在光源发光下目标对象产生投影的有效距离，避免目标对象距离光源距离过大时，无法采集到每一光源下对应的投影子图像。
121.需要说明的是，还可以建立光源与目标对象之间的角度与距离的关系，以提高后续确定动作信息的准确率。
122.步骤b2、获得相邻两部位在第二帧投影图像中的至少三个帧时刻的第二投影关系，基于对应关系和第二投影关系，得到相邻两部位在获取第二帧投影图像时的第二物理空间关系。
123.在本技术实施例中，电子设备可以获得相邻两部位在第二帧投影图像中的至少三个帧时刻的第二投影关系，基于对应关系和第二投影关系可以得到至少三个相邻两部位的坐标平面关系，对至少三个坐标平面关系进行拟合处理得到相邻两部位在获取第二帧投影图像时的第二物理空间关系。
124.需要说明的是，步骤b2的实现过程与步骤b1的具体实现过程相同，本技术实施例对此不再赘述。
125.步骤b3、基于第一物理空间关系和第二物理空间关系得到物理空间关系变化信息。
126.在本技术实施例中，可以对第一物理空间关系和第二物理空间关系进行比较，确定第一物理空间关系和第二物理空间关系之间的变化，得到物理空间关系变化信息。
127.需要说明的是，如图6所示，步骤204中基于对应关系和投影关系确定目标对象的相邻两部位的物理空间关系变化信息，还可以通过步骤b4-b9来实现：
128.步骤b4、获得第一可见部位和第一目标部位在物理空间和投影图像之间的第一对应关系。
129.其中，第一可见部位与第一目标部位相邻。
130.在本技术实施例中，可以确定标定对象的可见部位和不可见部位的第一位置关系，并获取标定对象的可见部位和不可见部位在目标光源的至少三个光源下的投影图像中的第二位置关系，确定第一位置关系和第二位置关系之间的关系矩阵，将该关系矩阵作为目标对象的第一可见部位和第一目标部位在物理空间和投影图像之间的第一对应关系。
131.步骤b5、获得第一可见部位和第一目标部位在第一帧投影图像中的第一投影关系、以及在第二帧投影图像中的第二投影关系。
132.在本技术实施例中，电子设备可以采集目标对象的第一帧投影图像和第二帧投影图像，并分别确定第一帧投影图像和第二帧投影图像中第一可见部位的位置以及第一目标部位的位置，并对第一可见部位的位置和第一目标部位的位置进行分析得到第一投影关系和第二投影关系。
133.步骤b6、基于第一对应关系和第一投影关系得到第一可见部位和第一目标部位的第一物理空间关系，基于第一对应关系和第二投影关系得到第一可见部位和第一目标部位的第二物理空间关系。
134.在本技术实施例中，可以对第一可见部位和第一目标部位在物理空间和投影图像之间的第一对应关系以及第一投影关系进行分析，得到第一可见部位和第二目标部位的第一物理空间关系，并对第一对应关系和第二投影关系进行分析，得到第一可见部位和第一目标部位的第二物理空间关系。
135.步骤b7、获得第一可见部位在获取第一帧投影图像时的第一空间位置信息和在获取第二投影帧图像时的第二空间位置信息。
136.其中，第一空间位置信息为第一可见部位在获取第一帧投影图像时对应的物理空间位置信息，第二空间信息信息为第一可见部位在获取第二帧投影图像时对应的物理空间位置信息。
137.在本技术实施例中，可以通过摄像头模组采集针对目标对象的至少两帧图像，并基于目标对象的至少两帧图像确定第一可见部位的第一空间位置信息和第二空间位置信息。
138.步骤b8、基于第一物理空间关系和第一空间位置信息确定第一目标部位的第三空间位置信息，基于第二物理空间关系和第二空间位置信息确定第一目标部位的第四空间位置信息。
139.在本技术实施例中，电子设备可以对第一可见部位和第一目标部位的第一物理空间关系以及第一可见部位的第一空间位置信息进行分析，得到第一目标部位的第三空间位置信息，并对第一可见部位和第一目标部位的第二物理空间关系以及第一可见部位的第二空间位置信息进行分析，得到第一目标部位的第四空间位置信息。
140.步骤b9、基于第三空间位置信息和第四空间位置信息得到位姿变化信息。
141.在本技术实施例中，目标对象仅第一目标部位属于在摄像头模组的取景方向上被遮挡的部位，电子设备可以对第一目标部位在不同时刻对应的第三空间位置信息和第四空间位置信息进行分析，确定第三空间位置信息和第四空间位置信息之间的变化，来得到位置变化信息和姿态变化信息；其中，位姿变化信息包括位置变化信息和姿态变化信息。
142.步骤205、获得目标对象的可见部位的位姿变化信息，基于可见部位和目标部位的位姿变化信息确定目标对象的动作信息。
143.在本技术实施例中，可以将可见部位的位姿变化信息和目标部位的位姿变化信息进行分析，确定目标对象的运动轨迹，并至少根据目标对象的运动轨迹来确定目标对象的动作信息。
144.本技术实施例所提供的处理方法，可以根据被遮挡部位在至少两帧投影图像中的位姿变化信息来确定目标对象的动作信息，避免无法采集被遮挡部分的图像导致确定的目标对象的动作信息不准确的问题，提高了确定目标对象的动作信息的准确率。
145.基于前述实施例，本技术实施例提供一种处理方法，参照图11所示，该方法包括以下步骤：
146.步骤301、在摄像头模组获取每一帧图像的过程中，控制目标光源的至少三个光源依次发光，以得到包括目标部位的至少三个投影的一帧图像。
147.其中，通过至少三个光源能够获得目标对象至少360度的投影。
148.步骤302、确定标定对象的可见部位和不可见部位之间的第一位置关系。
149.其中，不可见部位是标定对象在摄像头模组的取景方向上被遮挡的部位。
150.步骤303、获得可见部位和不可见部位在目标光源的至少三个光源下的投影图像中的第二位置关系。
151.步骤304、确定第一位置关系和第二位置关系之间的关系矩阵，将关系矩阵确定为目标对象的相邻两部位在物理空间和投影图像之间的对应关系。
152.其中，相邻两部位中至少包括目标对象的一目标部位。
153.步骤305、获得目标对象的相邻两部位在第一帧投影图像和第二帧投影图像中的
投影关系。
154.其中，第一帧投影图像和第二帧投影图像至少具有时序上的关联关系。
155.步骤306、获得第一目标部位和第二目标部位在物理空间和投影图像之间的第二对应关系。
156.其中，第一目标部位与第二目标部位相邻，第一目标部位和第二目标部位为在摄像头模组的取景方向上被遮挡的部位。
157.在本技术实施例中，电子设备可以获取标定对象的可见部位和不可见部位之间的第一位置关系，并获得标定对象的可见部位和不可见部位在目标光源的至少三个光源下的投影图像中的第二位置关系，之后确定第一位置关系和第二位置关系之间的关系矩阵，将关系矩阵确定为第一目标部位和第二目标部位在物理空间和投影图像之间的第二对应关系。
158.需要说明的是，目标部位包括但不限于第一目标部位和第二目标部位；在一种可行的实现方式中，目标部位可以包括为第一目标部位、第二目标部位和第三目标部位；其中，第一目标部位、第二目标部位和第三目标部位均为摄像头模组的取景方向上被遮挡的部位；其中，第一目标部位可以为人的胳膊，第二目标部位可以为人的手臂、第三目标部位可以为人的手掌。
159.步骤307、获得第一目标部位和第二目标部位在第一帧投影图像中的第三投影关系、以及在第二帧投影图像中的第四投影关系。
160.在本技术实施例中，确定第三投影关系和第四投影关系的实现过程和上述实施例步骤b5中确定第一投影关系和第二投影关系的实现过程类似，本技术实施例对此不再赘述。
161.步骤308、基于第二对应关系和第三投影关系得到第一目标部位和第二目标部位的第三物理空间关系，基于第二对应关系和第四投影关系得到第一目标部位和第二目标部位的第四物理空间关系。
162.在本技术实施例中，电子设备可以对第一目标部位和第二目标部位在物理空间和投影图像之间的第二对应关系以及第一目标部位和第二目标部位在第一帧投影图像中的第三投影关系进行分析，得到第一目标部位和第二目标部位的第三物理空间关系，并对第二对应关系和第四投影关系进行分析得到第一目标部位和第二目标部位的第四物理空间关系。
163.步骤309、基于第三物理空间关系和第三空间位置信息确定第二目标部位的第五空间位置信息，基于第四物理空间关系和第四空间位置信息确定第二目标部位的第六空间位置信息。
164.在本技术实施例中，可以对第一目标部位和第二目标部位的第三物理空间关系以及第一目标部位的第三空间位置信息进行分析，得到第二目标部位的第五空间位置信息，并对第一目标部位和第二目标部位的第四物理空间关系以及第一目标部位的第四空间位置信息进行分析得到第二目标部位的第六空间位置信息。
165.步骤310、基于第三空间位置信息、第四空间位置信息、第五空间位置信息、第六空间位置信息得到的物理空间关系变化信息，得到位姿变化信息。
166.在本技术实施例中，可以对第一目标部位的第三空间位置信息和第四空间位置信
息进行比对确定第一目标部位的物理空间变化信息，并根据物理空间变化信息得到第一目标部位的位置变化信息和姿态变化信息，并可以对第二目标部位的第五空间位置信息和第六空间位置信息进行比对确定第二目标部位的物理空间变化信息，并根据第二目标部位的物理空间变化信息得到第二目标部位的位置变化信息和姿态变化信息。
167.需要说明的是，当目标部位还包括第三目标部位时，确定第三目标部位的位置变化信息和姿态变化信息与确定第二目标部位的位置变化信息和姿态变化信息的实现过程相同，本技术实施例再此不再赘述。
168.步骤311、获得可见部位在获取至少两帧投影图像时所对应的采集时刻的位姿信息，基于采集时刻的位姿信息确定可见部位的位姿变化信息。
169.其中，位姿信息可以包括可见部位在物理空间的位置信息和可见部位在物理空间的姿态信息。
170.在本技术实施例中，可以对获得可见部位在获取至少两帧投影图像时所对应的采集时刻的位置信息进行分析得到位置变化信息，并对获得可见部位在获取至少两帧投影图像时所对应的采集时刻的姿态信息进行分析得到姿态变化信息。
171.步骤312、基于可见部位与目标部位之间的关联关系对可见部位和目标部位的位姿变化信息进行处理，得到目标对象的动作信息。
172.在本技术实施例中，可以根据可见部位与目标部位之间的关联关系，对可见部位的位姿变化信息以及目标部位的位姿变化信息进行分析，得到目标对象的运动轨迹，并至少根据目标对象的运动轨迹确定目标对象的动作信息。
173.需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
174.本技术实施例所提供的处理方法，可以至少根据被遮挡部位在至少两帧投影图像中的位姿变化信息来确定目标对象的动作信息，避免无法采集被遮挡部分的图像导致确定的目标对象的动作信息不准确的问题，提高了确定目标对象的动作信息的准确率。
175.基于前述实施例，本技术实施例提供一种处理装置，该装置可以应用于图1、图3、图5、图6和图11对应的实施例提供的处理方法中，参照图12所示，该处理装置4包括：
176.获取单元41，用于通过摄像头模组获取至少两帧目标对象的投影图像，投影图像至少包括目标对象的目标部位在目标光源下的投影的图像，目标部位是目标对象在摄像头模组的取景方向上被遮挡的部位；
177.确定单元42，用于确定目标部位在至少两帧投影图像中的位姿变化信息；
178.确定单元42，还用于至少基于位姿变化信息确定目标对象的动作信息。
179.在本技术实施例中，获取单元41，还用于
180.在摄像头模组获取每一帧图像的过程中，控制目标光源的至少三个光源依次发光，以得到包括目标部位的至少三个投影的一帧图像，其中，通过至少三个光源能够获得目标对象至少360度的投影。
181.在本技术实施例中，确定单元42，还用于：
182.获得目标对象的相邻两部位在物理空间和投影图像之间的对应关系，相邻两部位中至少包括目标对象的一目标部位；
183.获得目标对象的相邻两部位在第一帧投影图像和第二帧投影图像中的投影关系，
第一帧投影图像和第二帧投影图像至少具有时序上的关联关系；
184.基于对应关系和投影关系确定目标对象的相邻两部位的物理空间关系变化信息，以得到位姿变化信息。
185.在本技术实施例中，确定单元42，还用于：
186.确定标定对象的可见部位和不可见部位之间的第一位置关系；其中，不可见部位是标定对象在摄像头模组的取景方向上被遮挡的部位；
187.获得可见部位和不可见部位在目标光源的至少三个光源下的投影图像中的第二位置关系；
188.确定第一位置关系和第二位置关系之间的关系矩阵，将关系矩阵确定为目标对象的相邻两部位在物理空间和投影图像之间的对应关系。
189.在本技术实施例中，确定单元42，还用于：
190.获得相邻两部位在第一帧投影图像中的至少三个帧时刻的第一投影关系，基于对应关系和第一投影关系，得到相邻两部位在获取第一帧投影图像时的第一物理空间关系；
191.获得相邻两部位在第二帧投影图像中的至少三个帧时刻的第二投影关系，基于对应关系和第二投影关系，得到相邻两部位在获取第二帧投影图像时的第二物理空间关系；
192.基于第一物理空间关系和第二物理空间关系得到物理空间关系变化信息；
193.其中，至少三个帧时刻是至少三个光源分别发光的时刻。
194.在本技术实施例中，确定单元42，还用于：
195.获得第一可见部位和第一目标部位在物理空间和投影图像之间的第一对应关系，第一可见部位与第一目标部位相邻；
196.获得第一可见部位和第一目标部位在第一帧投影图像中的第一投影关系、以及在第二帧投影图像中的第二投影关系；
197.基于第一对应关系和第一投影关系得到第一可见部位和第一目标部位的第一物理空间关系，基于第一对应关系和第二投影关系得到第一可见部位和第一目标部位的第二物理空间关系；
198.获得第一可见部位在获取第一帧投影图像时的第一空间位置信息和在获取第二帧投影图像时的第二空间位置信息；
199.基于第一物理空间关系和第一空间位置信息确定第一目标部位的第三空间位置信息，基于第二物理空间关系和第二空间位置信息确定第一目标部位的第四空间位置信息；
200.基于第三空间位置信息和第四空间位置信息得到位姿变化信息。
201.在本技术实施例中，确定单元42，还用于：
202.获得第一目标部位和第二目标部位在物理空间和投影图像之间的第二对应关系，第一目标部位与第二目标部位相邻；
203.获得第一目标部位和第二目标部位在第一帧投影图像中的第三投影关系、以及在第二帧投影图像中的第四投影关系；
204.基于第二对应关系和第三投影关系得到第一目标部位和第二目标部位的第三物理空间关系，基于第二对应关系和第四投影关系得到第一目标部位和第二目标部位的第四物理空间关系；
205.基于第三物理空间关系和第三空间位置信息确定第二目标部位的第五空间位置信息，基于第四物理空间关系和第四空间位置信息确定第二目标部位的第六空间位置信息；
206.基于第三空间位置信息、第四空间位置信息、第五空间位置信息、第六空间位置信息得到的物理空间关系变化信息，得到位姿变化信息。
207.在本技术实施例中，确定单元42，还用于：
208.获得目标对象的可见部位的位姿变化信息，基于可见部位和目标部位的位姿变化信息确定目标对象的动作信息。
209.在本技术实施例中，确定单元42，还用于：
210.获得可见部位在获取至少两帧投影图像时所对应的采集时刻的位姿信息，基于采集时刻的位姿信息确定可见部位的位姿变化信息；
211.基于可见部位与目标部位之间的关联关系对可见部位和目标部位的位姿变化信息进行处理，得到目标对象的动作信息。
212.需要说明的是，本技术实施例中各单元之间的交互过程，可以参照图1、图3、图5、图6和图11对应的实施例提供的处理方法的实现过程，此处不再赘述。
213.本技术实施例所提供的处理装置，可以根据被遮挡部位在至少两帧投影图像中的位姿变化信息来确定目标对象的动作信息，避免无法采集被遮挡部分的图像导致确定的目标对象的动作信息不准确的问题，提高了确定目标对象的动作信息的准确率。
214.基于前述实施例，本技术的实施例提供一种电子设备，该电子设备5可以应用于图1、图3、图5、图6和图11对应的实施例提供的处理方法中，参照图13所示，该电子设备5包括：存储器51、处理器52和通信总线53；
215.通信总线53用于实现处理器52和存储器51之间的通信连接；
216.处理器52用于执行存储器51中存储的处理程序，以实现上述图1、图3、图5、图6和图11对应的实施例提供的处理方法的步骤。
217.本技术实施例所提供的电子设备，可以根据被遮挡部位在至少两帧投影图像中的位姿变化信息来确定目标对象的动作信息，避免无法采集被遮挡部分的图像导致确定的目标对象的动作信息不准确的问题，提高了确定目标对象的动作信息的准确率。
218.基于前述实施例，本技术实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现图1、图3、图5、图6和图11对应的实施例提供的处理方法中的步骤。
219.需要说明的是，上述计算机可读存储介质可以是只读存储器(read only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性随机存取存储器(ferromagnetic random access memory，fram)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(compact disc read-only memory，cd-rom)等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
220.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排
他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
221.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
222.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所描述的方法。
223.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
224.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
225.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
226.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。