车载屏幕画面投影矫正的方法及装置与流程

技术特征：

1.一种车载屏幕画面投影矫正的方法，其特征在于，所述方法包括：

获取车载屏幕在正视角度下的正视图像，从所述正视图像中选取多个角点以及计算所述多个角点的像素坐标，得到第一像素坐标集合；

获取所述车载屏幕在目标座位的视角下的目标图像，以及计算所述目标图像中的所述多个角点的像素坐标，得到第二像素坐标集合；

根据所述第一像素坐标集合和第二像素坐标集合中各角点的像素坐标的对应关系，计算出单应性矩阵；

根据所述单应性矩阵对所述车载屏幕上当前显示的图像进行转换，得到转换后的所述目标座位的视角下的投影图像。

2.如权利要求1所述的方法，其特征在于，所述根据所述第一像素坐标集合和第二像素坐标集合中各角点的像素坐标的对应关系，计算出单应性矩阵，包括：

追踪所述目标座位上的乘客的头部姿态，通过头部姿态估计方法计算所述乘客的头部姿态变化前后的变换矩阵；

根据所述变换矩阵及所述第二像素坐标集合，计算所述乘客的头部姿态变化后的目标图像中的多个角点的像素坐标，得到第三像素坐标集合；

根据所述第一像素坐标集合和所述第三像素坐标集合中各角点的像素坐标的对应关系，计算出所述单应性矩阵。

3.如权利要求2所述的方法，其特征在于，所述变换矩阵的计算通过如下方式实现：在获取车载屏幕在所述目标座位的角度下的所述目标图像后，保持头部姿势不变，同时触发获取在所述目标座位上的乘客的面部图像数据的指令，并记录初始时刻的面部姿态的特征点数据，每间隔时间周期分别采集乘客的面部图像数据，以及比较前后两次的面部姿态的特征点的数据变化，计算出所述变换矩阵。

4.如权利要求2或3所述的方法，其特征在于，所述获取所述车载屏幕在目标座位的视角下的目标图像，包括：

通过所述目标座位上的乘客头部上佩戴的头戴式相机拍摄获取所述目标图像；

其中，所述通过所述目标座位上的乘客头部上佩戴的头戴式相机拍摄获取所述目标图像之前，所述方法还包括：

对所述头戴式相机进行坐标标定。

5.如权利要求3所述的方法，其特征在于，所述乘客的面部图像数据通过安装在车辆驾驶舱内的2D相机拍摄获取，其中，所述2D相机在获取乘客的面部图像数据之前进行坐标标定。

6.如权利要求3所述的方法，其特征在于，所述通过头部姿态估计方法计算所述乘客的头部姿态变化前后的变换矩阵，包括：

获取所述乘客的2D的面部图像，提取其中的特征点；

从模型数据库中选取3D的头部模型并匹配2D的面部图像上对应的所述特征点；

建立世界坐标系与像素坐标系的相机矩阵关系模型：

，其中，和分别为相机的内参矩阵和外参矩阵，u、v分别表示某点在像素坐标系中的坐标，fx、fy分别为x轴和y轴方向归一化焦距，u0、v0为图像中心的位置坐标；[xw,yw,zw,1]为选取的某点在世界坐标系下的位置坐标；

根据前后两次获取的面部图像数据以及所述的关系模型，分别求解出两次的外参矩阵；

根据两次的外参矩阵，计算出前后两次姿态间的旋转矩阵和平移矩阵。

7.如权利要求5所述的方法，其特征在于，拍摄的所述车载屏幕的照片或乘客的面部照片通过车载蓝牙或WiFi传输给车机系统，车机系统根据所述照片计算出所述角点的像素坐标。

8.如权利要求1所述的方法，其特征在于，所述目标座位包括一个座位或多个不同座位，所述方法还包括：

当所述目标座位包括多个不同座位时，将所述车载屏幕分屏为多个功能区域，不同座位的乘客分别获取各自视角下的车载屏幕上的不同功能区域的目标图像，并计算各自对应的单应性矩阵，以得到各自座位视角下的经过转换的投影图像。

9.如权利要求8所述的方法，其特征在于，所述车载屏幕为车机中控系统的屏幕，所述当所述目标座位包括多个不同座位时，将所述车载屏幕分屏为多个功能区域之前，所述方法还包括：

当所述目标座位包括多个不同座位时，检测所述车机中控系统当前运行的应用程序情况；

若所述车机中控系统当前运行的应用程序情况满足预设条件，将所述车载屏幕分屏为多个功能区域。

10.一种车载屏幕画面投影矫正的装置，其特征在于，该装置包括：

第一像素坐标计算单元，用于获取车辆车载屏幕在正视角度下的正视图像，以及计算所述正视图像中的多个角点的像素坐标，得到第一像素坐标集合；

第二像素坐标计算单元，用于获取所述车载屏幕在目标座位视角下的目标图像，以及计算所述目标图像中的多个角点的像素坐标，得到第二像素坐标集合；

单应性矩阵计算单元，用于根据所述第一像素坐标集合和第二像素坐标集合中各角点的像素坐标的对应关系，计算出单应性矩阵；

投影转换单元，根据所述单应性矩阵对所述车载屏幕上当前显示的图像进行转换，得到转换后的所述目标座位视角下的投影图像。

技术总结
本申请公开了一种车载屏幕画面投影矫正的方法及装置，该方法包括：获取车载屏幕在正视角度下的正视图像，从正视图像中选取多个角点以及计算多个角点的像素坐标，得到第一像素坐标集合；获取车载屏幕在目标座位视角下的目标图像，计算目标图像中的多个角点的像素坐标，得到第二像素坐标集合；根据第一像素坐标集合和第二像素坐标集合中各角点的像素坐标的对应关系，计算出单应性矩阵；根据单应性矩阵对车载屏幕上当前显示的图像进行转换，得到转换后的目标座位的视角下的投影图像。本申请通过对不同座位视角看到的存在失真效果的车载屏幕画面进行单应性变换，使得用户看到的画面矫正成从正面视角看到的正常的画面一样，提高了用户的体验性。

技术研发人员：乐海平;
受保护的技术使用者：宁波均联智行科技股份有限公司;
技术研发日：2022.01.04
技术公布日：2022.02.01