具有不确定性的特征点位置估计的图像处理系统和方法与流程

技术特征：

1.一种用于根据概率性的基于图像的特征点定位来执行任务的控制器，所述控制器包括：

输入接口，所述输入接口被配置为接受具有结构化特征点集的对象类型的输入图像集；

存储器，所述存储器被配置为存储神经网络，所述神经网络被训练以处理具有所述结构化特征点集的所述类型的对象的图像，以产生每个处理的图像中的每个特征点的位置上的由参数的值限定的参数概率分布；以及

处理器，所述处理器被配置为：1)将所述输入图像集提交给所述神经网络以产生限定每个输入图像的所述结构化特征点集中的每个特征点的位置上的所述参数概率分布的所述参数的值；2)针对每个输入图像，基于所述输入图像中的特征点的所述参数概率分布确定该图像的全局特征点不确定性；并且3)基于每个输入图像中的特征点的所述参数概率分布和每个输入图像的所述全局特征点不确定性来执行所述任务。

2.根据权利要求1所述的控制器，其中，每个特征点的参数概率分布的不同参数限定所述特征点的位置的点估计和所述特征点的位置估计的不确定性。

3.根据权利要求2所述的控制器，其中，所述处理器基于每个图像中的特征点的位置的所述点估计和每个输入图像的所述全局特征点不确定性来执行所述任务。

4.根据权利要求1所述的控制器，其中，为了确定每个输入图像的特征点定位的精度，所述处理器被配置为：

基于针对所述特征点产生的所述参数概率分布的不确定性的测量，确定所述输入图像中的每个特征点的位置估计的不确定性；并且

对于每个输入图像，组合所确定的所述图像中的特征点的估计的不确定性以产生所述输入图像的所述全局特征点不确定性。

5.根据权利要求1所述的控制器，其中，所述对象类型是人脸，所述神经网络被训练以处理不同面部的图像，并且所述结构化特征点集限定出现在典型面部上的特定面部特征点。

6.根据权利要求5所述的控制器，其中，所述输入图像集是所述人脸的图像的时间序列。

7.根据权利要求1所述的控制器，其中，所述对象是人体，所述神经网络被训练以处理不同人体的图像，并且所述结构化特征点集限定所述人体的特定关节。

8.根据权利要求7所述的控制器，其中，所述输入图像集是所述人体的图像的时间序列。

9.根据权利要求2所述的控制器，其中，所述特征点的所述参数概率分布是高斯概率分布，其中，所述特征点的位置的所述点估计由所述高斯概率分布的均值确定，并且所述特征点的位置估计的不确定性由所述高斯概率分布的协方差矩阵确定。

10.根据权利要求9所述的控制器，其中，从一个或更多个热图获得所述高斯概率分布的均值，并且通过直接回归获得确定所述协方差矩阵的参数。

11.根据权利要求9所述的控制器，其中，所述特征点的位置估计的不确定性是所述高斯概率分布的所述协方差矩阵的行列式的第n根。

12.根据权利要求9所述的控制器，其中，所述特征点的位置估计的不确定性是所述高斯概率分布的所述协方差矩阵的特征值的平均值。

13.根据权利要求9所述的控制器，其中，所述神经网络包括沙漏子网络的堆叠，其中，每个沙漏从所述沙漏的最后、最大特征映射层输出每个特征点的热图，其中，热图是指示所述特征点的位置的强度图像，其中，所述参数概率分布的均值是所述热图的正值位置的位置的加权均值，其中，每个沙漏从瓶颈层输出特征，其中，所述瓶颈层的特征值由Cholesky估计器网络处理以产生导出每个特征点的协方差矩阵的值。

14.根据权利要求9所述的控制器，其中，所述神经网络被训练以提供从所述输入图像到所述高斯概率分布的映射，该映射使真实特征点位置的可能性最大化。

15.根据权利要求14所述的控制器，其中，使用负对数似然度作为损失函数来训练所述神经网络。

16.根据权利要求1所述的控制器，其中，当前输入图像的特征点的参数概率分布是高斯概率分布，并且其中，所述处理器被配置为使用卡尔曼滤波器来获得所述图像中的所述特征点的位置上的最终高斯概率分布，所述卡尔曼滤波器使用针对先前输入图像确定的高斯概率分布来更新针对所述当前输入图像由所述卡尔曼滤波器输出的高斯概率分布。

17.根据权利要求1所述的控制器，其中，任务执行涉及如果所述输入图像的所述全局特征点不确定性低于阈值则采取主要动作过程，并且如果所述输入图像的所述全局特征点不确定性高于阈值则采取辅助动作过程。

18.根据权利要求1所述的控制器，其中，输入图像的所述全局特征点不确定性提供不确定性反馈，该不确定性反馈用于改进所述图像的特征点定位。

19.根据权利要求18所述的控制器，其中，如果所述输入图像的所述全局特征点不确定性高于阈值，则所述处理器被配置为：

在所述输入图像上多次执行所述特征点定位，每次使用不同的随机扰动并计算全局特征点不确定性；

比较所述全局特征点不确定性；并且

选择产生最小全局特征点不确定性的特征点定位的执行结果。

20.根据权利要求1所述的控制器，其中，所述任务是车辆驾驶员监控系统的一部分。

技术总结
一种用于根据概率性的基于图像的特征点定位来执行任务的控制器使用神经网络，所述神经网络被训练以处理具有结构化特征点集的类型的对象的图像，以产生每个处理的图像中的每个特征点的位置的由参数的值限定的参数概率分布。所述控制器将输入图像集提交给所述神经网络以产生限定每个输入图像的结构化特征点集中的每个特征点的位置上的参数概率分布的所述参数的值。此外，所述控制器针对每个输入图像基于所述输入图像中的特征点的参数概率分布确定该图像的全局特征点不确定性，并且基于每个输入图像中的特征点的参数概率分布和每个输入图像的全局特征点不确定性来执行任务。

技术研发人员：T·马克斯;A·库玛尔;牟雯萱;冯晨;刘小明;
受保护的技术使用者：三菱电机株式会社;
技术研发日：2020.09.30
技术公布日：2022.05.13