基于多个图像获取设备确定特征点的方法及系统与流程

技术特征：
1.一种基于多个图像获取设备确定特征点的方法，所述方法包括：每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息；以及对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。2.根据权利要求1所述所述的方法，在每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像之前还包括：获取主体对象的位置属性和方向属性，基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置。3.根据权利要求2所述的方法，所述位置属性包括：主体对象的位置坐标和/或主题对象的位置区域。4.根据权利要求2所述的方法，所述方向属性包括：主体对象的单个朝向信息或主题对象的多个朝向信息。5.根据权利要求2所述的方法，所述获取主体对象的位置属性和方向属性包括：接收输入数据并对输入数据进行解析以确定主体对象的位置属性和方向属性；或者利用定位设备获取主体对象的定位信息，根据定位信息确定主体对象的位置属性和方向属性。6.根据权利要求2所述的方法，所述基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置包括：基于位置属性和方向属性确定获取目标对象的动态图像的多个候选位置；从多个候选位置中为每个图像获取设备确定基准位置；其中每个图像获取设备的基准位置均不相同。7.根据权利要求1所述的方法，每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像包括：每个图像获取设备在各自的基准位置处，以各自的预定拍摄角度分别获取主体对象的动态图像；或者每个图像获取设备基于各自的基准位置形成移动路径，通过在各自的移动路径选择拍摄位置，并在拍摄位置处以所选择的拍摄角度分别获取主体对象的动态图像。8.根据权利要求1所述的方法，根据所获取的动态图像生成每个图像获取设备各自的动态图像文件包括：根据每个图像获取设备各自所获取的动态图像，得到动态图像数据流；利用动态图像数据流生成每个图像获取设备各自的动态图像文件。9.根据权利要求1所述的方法，所述预先设置的配置文件中包括神经网络的名称和神经网络的参数信息。
10.根据权利要求9所述的方法，所述根据预先设置的配置文件为每个动态图像文件确定各自的神经网络包括：根据预先设置的配置文件中的神经网络的名称确定所要使用的神经网络；根据神经网络的参数信息对所要使用的神经网络进行参数配置；将经过参数配置的神经网络确定为每个动态图像文件各自的神经网络；其中每个动态图像文件的神经网络是相同的神经网络。11.根据权利要求1所述的方法，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集包括：利用每个动态图像文件各自的神经网络对每个图像获取设备所获取的动态图像文件进行数据处理，以获取与每个图像获取设备相关联的热图集。12.根据权利要求1所述的方法，所述对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集包括：将多个热图集中的每个热图集依次选择作为当前热图集以进行：将多个热图集中除了当前热图集之外的每个热图集确定为融合热图集；基于多个融合热图集对当前热图集进行数据融合，以获得每个图像获取设备的经过数据融合的当前热图集。13.根据权利要求1所述的方法，所述基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息包括：基于每个图像获取设备的经过数据融合的热图集进行主体对象的特征点的识别，得到多幅同一时刻的二维特征点；根据每个图像获取设备的世界坐标系的坐标和图像坐标对二维特征点标定内外参数，基于内外参数获取包括主体对象的三维信息。14.根据权利要求1所述的方法，所述对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息包括：利用图像识别设备对对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息。15.根据权利要求1或14所述的方法，所述对象信息包括：客体对象的数量和客体对象的类型。16.根据权利要求1所述的方法，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：对客体对象的对象信息进行解析以确定客体对象的数量为零时，确定特征点修复类型为不进行修复；当特征点修复类型为不进行修复时，不根据特征点修复类型对所述三维信息进行特征点的修复，直接根据主题对象的三维信息确定与主体对象相关联的多个特征点。17.根据权利要求1所述的方法，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型
为辅助物体时，确定特征点修复类型为辅助物体修复；利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。18.根据权利要求17所述的方法，当辅助物体为跟随型辅助物体时，主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化；当辅助物体为固定型辅助物体时，主体对象在每一帧图像中的空间特征以及连续帧的时间特征进行变化，而客体对象在每一帧图像中具有稳定的空间特征，且连续帧中的时间特征保持一致；主题对象和客体对象的交互部分的空间特征存在波动。19.根据权利要求18所述的方法，根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；对主体对象和客体对象进行标记，获得主体对象范围b
s
和客体对象范围b
o
；在主体对象范围b
s
内，通过自下而上的姿态识别网络对主体对象的多个部分进行初始识别,以获得多个初始特征点s
parts
；在客体对象范围b
o
内，将客体对象标记为o；提取每一帧的空间特征f
space
，以及连续帧的时间特征f
time
；对空间特征f
space
与时间特征f
time
进行融合以确定客体对象的对象类别，分别进行跟随型辅助物体和固定型辅助物体的子场景标记s
i
，其中i＝1,2；其中s1为跟随型辅助物体并且s2为固定型辅助物体；其中空间特征f
space
包括：形状、体积、角度、纹理、颜色、梯度和位置；时间特征f
time
包括位移、速度、上下文信息和旋转；对于s1子场景，随着时间推移，在主体对象范围的s1子场景和客体对象范围的s1子场景间存在动态交集其中t1为第一时间并且t2为第二时间；提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征主体对象时间特征客体对象空间特征和客体对象时间特征在辅助物体的对象类别为跟随型辅助物体情况下，构建局部交互特征提取算子a
switho
,针对交集时间段[t1，t2]，对多个遮挡部位的初始特征点进行重新识别，从而确定与主体对象相关联的多个特征点s
′
parts
；对于s2子场景，随着时间推移，在主体对象范围的s2子场景和客体对象范围的s2子场景间存在动态交集提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征主体对象时间特征和客体对象空间特征其中在辅助物体的对象类别为固定
型辅助物体的s2场景下，客体对象静止不动，因此不存在客体对象时间特征特征；在动态交集的时间段[t1,t2]内，由进入的范围而发生遮挡,对于每一个遮挡时刻t
j
，利用主体对象和客体对象的局部交互特征提取算子a
sbyo
，结合运动学先验知识k
prior
，,对遮挡下的每一帧f(t＝t
j
)进行修补，从而确定与主体对象相关联的多个特征点s
″
parts
。20.根据权利要求1所述的方法，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助对象时，确定特征点修复类型为辅助对象修复；利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。21.根据权利要求20所述的方法，主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化。22.根据权利要求1所述的方法，根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；获取主体对象和客体对象中每个的对象范围b
i
,其中n≥i≥1,n为主体对象和客体对象的总数量，i为自然数；针对每个b
i
，通过自下而上的姿态识别网络对主体对象和客体对象各自的多个部分进行识别，以获得多个初始的特征点其中n为主体对象和客体对象的总数量，m为主体对象或客体对象的所有初始特征点的总数量，其中包括主体对象的多个初始的特征点和客体对象的多个初始的特征点；通过b
i
和构造交互识别算子a
interactive
，基于交互识别算子a
interactive
对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复；构造主客体识别算子a
sando
，基于主客体识别算子a
sando
分别计算的时空特征时空特征对应于主体对象和客体对象中每个的对象范围b
i
；通过计算主体对象和客体对象中每个的支撑点随时间的轨迹其中t为时间范围上限，s为空间，下标s
‑
t是时空特征，s
‑
spatial为空间，t
‑
temporal为时间以及主体对象和客体对象中全部支撑点随时间的轨迹通过对比与
co
t
确定客体对象以及主体对象s；按照主体对象和客体对象重新对b
i
进行初步分类，以获得主体对象范围b
s
和客体对象范围b
o
；对于时间维度，主体对象范围b
s
和客体对象范围b
o
存在动态交集t2≥t≥t1；其中t1为第一时间并且t2为第二时间提取主体对象和客体对象两者的时间特征与空间特征，在[t1,t2]的交互时间段内，分别记为主体对象空间特征主体对象时间特征客体对象空间特征和客体对象时间特征主客体识别算子a
sando
在利用了特征点位置信息和点对方向信息的基础上，进一步添加力学信息利用杠杆原理，分别计算动态交集内与的力矩与力臂；结合运动学先验知识r
prior
，对主体对象和客体对象的初始特征点进行重新标定以获得与主体对象相关联的多个特征点b
′
s
和与客体对象相关联的多个特征点b'
o
。23.根据权利要求23所述的方法，当客体对象的数量为1时，基于交互识别算子a
interactive
对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复包括：利用自上而下的姿态识别网路与自下而上的姿态识别网路结合后对对主体对象和客体对象的位于交互区域的部分中的特征点进行识别以获得数据主体对象范围b1和客体对象范围b2，以及主体对象的多个初始的特征点和客体对象的多个初始的特征点通过交互识别算子a
interactive
，对b1和b2中淘汰的特征点进行互补范围的二次匹配；更新以获取最新的特征点分别得到以及以及24.一种基于多个图像获取设备确定特征点的系统，所述系统包括：多个图像获取设备，其中每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；数据处理设备，用于根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；数据融合设备，用于对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息；以及图像识别设备，用于对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。25.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1
‑
23任一所述的方法。26.一种电子设备，其特征在于，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1
‑
23任一所述的方法。

技术总结
本发明提供一种基于多个图像获取设备确定特征点的方法及系统，其中方法包括：根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，进而获得包括主体对象的三维信息；以及对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。个特征点。个特征点。


技术研发人员：张硕 张惠斌
受保护的技术使用者：北京复数健康科技有限公司
技术研发日：2021.07.15
技术公布日：2021/11/14