基于神经网络的关键点检测方法和系统与流程

技术特征：
1.用于确定包含在图像中的多个对象的关键点并基于神经网络(2)和与神经网络(2)耦合的后处理系统(3)将所述关键点与各相应对象相关联的计算机实现方法，其中，所述方法包括以下步骤：-由神经网络(2)提供置信热图(ch)(s10)，其中，所述置信热图(ch)包含比所述图像更低的分辨率，并由此提供有关感兴趣的关键点的大致位置的信息；-由神经网络(2)提供细化偏移矢量(rov)(s11)，其中，每个细化偏移矢量(rov)与一特定关键点相关联，其中，每个细化偏移矢量(rov)提供用于细化相关联的关键点的位置的信息；-提供(s12)：o由神经网络(2)提供质心偏移矢量(cov)集，其中，所述质心偏移矢量(cov)集中的每个质心偏移矢量都与一关键点相关联，其中，所述质心偏移矢量(cov)提供有关关键点与所述关键点所属对象的质心之间的距离和方向的信息；或o由神经网络(2)提供一个或多个质心置信热图，其中，每个质心置信热图包括比所述图像更低的分辨率，并由此提供关于质心大致位置的信息，其中，由神经网络(2)提供一个或多个质心细化偏移矢量，其中，每个质心细化偏移矢量与一质心相关联，并提供用于对相关联的质心的位置进行细化的信息；-确定各相应置信热图(ch)中的最大值位置，并将各相应置信热图(ch)中的最大值位置用作关键点大致位置，并通过添加细化偏移矢量(rov)对所述关键点大致位置进行细化，从而获得细化的关键点位置(s13)；-通过以下方式确定所述多个对象的质心(s14)o将质心偏移矢量(cov)添加到细化的关键点位置或关键点大致位置；或o通过向各相应质心大致位置添加质心细化偏移矢量，对由质心置信热图提供的质心大致位置进行细化(s14)；-基于所确定的对象质心将关键点与对象相关联(s15)。2.根据权利要求1所述的方法，其中，神经网络(2)提供一亲和场矢量(afv)集，其中，所述亲和场矢量(afv)提供有关关键点对之间的连接的信息。3.根据权利要求2所述的方法，其中，亲和场矢量(afv)用于确定通过对象连接结构相互连接的关键点对。4.根据权利要求2或3所述的方法，其中，在关键点模糊不清情况下，亲和场矢量(afv)用于消除关键点的模糊性。5.根据上述权利要求中任一权利要求所述的方法，其中，神经网络(2)为不同类型的对象提供置信热图(ch)、细化偏移矢量(rov)、质心偏移矢量和/或质心置信热图。6.根据上述权利要求中任一权利要求所述的方法，其中，置信热图(ch)根据给定的关键点类型进行分组和/或标记。7.根据上述权利要求中任一权利要求所述的方法，其中，将关键点与对象相关联的步骤是基于搜索与一个或多个关键点最接近的质心来实施的。8.根据上述权利要求中任一权利要求所述的方法，其中，将关键点与对象相关联的步骤是通过确定一个或多个质心集群、为每个质心集群分配一标记以及通过考虑与所述关键点相关联的质心偏移矢量(cov)将一特定质心集群的标记分配给关键点来执行的。
9.根据上述权利要求中任一权利要求所述的方法，其中，确定对象质心的步骤包括：将质心偏移矢量(cov)应用于关键点位置以产生多个临时质心，和将插值算法应用于所述多个临时质心以确定质心。10.根据上述权利要求中任一权利要求所述的方法，其中，所述方法的各步骤由包括在车辆中的处理硬件执行，用于处理汽车周围环境的图像和/或处理从车辆内部拍摄的图像。11.根据上述权利要求中任一权利要求所述的方法，其中，所述方法的各步骤由包括在车辆摄像装置中的处理硬件执行。12.根据上述权利要求中任一权利要求所述的方法，其中，为估计对象的姿态，将与对象相关联的关键点连接起来。13.用于确定包含在图像中的多个对象的关键点并将所述关键点与各相应对象相关联的计算机程序产品，其中，所述计算机程序产品包括含有程序指令的一计算机可读存储介质，其中，所述程序指令可由处理器执行，以使所述处理器执行根据上述权利要求中任一权利要求所述的方法。14.用于确定包含在图像中的多个对象的关键点并将所述关键点与各相应对象相关联的系统，其中，所述系统包括神经网络(2)和与所述神经网络(2)耦合的后处理系统(3)，其中，所述系统还配置用于执行以下步骤：-由神经网络(2)提供置信热图(ch)，其中，所述置信热图(ch)包含比所述图像更低的分辨率，并由此提供有关感兴趣的关键点的大致位置的信息；-由神经网络(2)提供细化偏移矢量(rov)，其中，每个细化偏移矢量(rov)与一特定关键点相关联，其中，每个细化偏移矢量(rov)提供用于细化相关联的关键点的位置的信息；-提供：o由神经网络(2)提供质心偏移矢量(cov)集，其中，所述质心偏移矢量(cov)集中的每个质心偏移矢量(cov)都与一关键点相关联，其中，所述质心偏移矢量(cov)提供有关关键点与所述关键点所属对象的质心之间的距离和方向的信息；或o由神经网络(2)提供一个或多个质心置信热图，其中，每个质心置信热图包括比所述图像更低的分辨率，并由此提供关于质心的大致位置的信息，其中，由神经网络(2)提供一个或多个质心细化偏移矢量，其中，每个质心细化偏移矢量与一质心相关联，并提供用于对相关联的质心的位置进行细化的信息；-确定各相应置信热图(ch)中的最大值位置，并将各相应置信热图(ch)中的最大值位置用作关键点大致位置，并通过添加细化偏移矢量(rov)对所述关键点大致位置进行细化，从而获得细化的关键点位置；-通过以下方式确定所述多个对象的质心o将质心偏移矢量(cov)添加到细化的关键点位置或关键点大致位置；或o通过向各相应质心大致位置添加质心细化偏移矢量，对由质心置信热图提供的质心大致位置进行细化。-基于所确定的对象质心，将一组关键点与对象相关联。

技术总结
本发明涉及确定包含在图像中的多个对象的关键点并基于神经网络(2)和与神经网络(2)耦合的后处理系统(3)将所述关键点与各相应对象相关联的一种计算机实现方法。象相关联的一种计算机实现方法。象相关联的一种计算机实现方法。


技术研发人员：C
受保护的技术使用者：大陆智行德国有限公司
技术研发日：2021.03.17
技术公布日：2022/12/2