一种车载HUD系统投影效果检测方法及装置与流程

一种车载hud系统投影效果检测方法及装置
技术领域
1.本发明涉及hud检测技术领域，具体涉及一种车载hud系统投影效果检测方法及装置。


背景技术：

2.车载hud将驾驶辅助信息投射到挡风玻璃，再反射到驾驶员前向视域内，既能扩展驾驶员的环境感知信息，又能避免驾驶员过多地低头查看仪表，从而有效地提高了驾驶的安全性。
3.为保障车载hud在投入市场使用前，各项功能指标均能满足设计要求与使用要求。在出厂前需对车载hud系统进行测试，对hud投影虚像的距离、畸变、eyebox区域大小等重要参数进行检测，判断其是否合格。
4.车载hud系统中包含汽车挡风玻璃、hud光机、控制模块等几大部分组成。若其中某个部分存在加工或设计缺陷都可能会影响使用者的使用安全与使用感受。为此需要对车载hud系统投影效果进行全面的检测，确保车载hud在投入市场使用前，各项功能指标均能满足设计要求与使用要求。目前，国内外研究学者对hud虚像成像质量进行了大量研究，例如申请公布号为cn108132156a的申请公开了一种车用hud全功能检测方法，该方法提供了一种可对hud投影虚像位置、可视角度、屏幕背光亮度等参数检测的设备及方法。但仍缺乏对虚像大小、畸变、重影等重要参数的检测。


技术实现要素：

5.本发明的目的在于克服现有技术中所存在的hud检测方法不能全面准确的检测hud投影效果的不足，提供一种车载hud系统投影效果检测方法及装置。
6.为了实现上述发明目的，本发明提供了以下技术方案：
7.一种车载hud系统投影效果检测方法，包括以下步骤：
8.s1，车辆前方放置标定板，标定人眼模拟设备，建立标定板坐标系与车辆坐标系的转换关系；
9.s2，调整人眼模拟设备的位置，测量hud的可视区域和最佳可视区域；所述可视区域为人眼模拟设备中至少有一个相机能完整采集hud投影虚像的位置的集合；所述最佳可视区域为人眼模拟设备的相机均能完整采集hud投影虚像的位置的集合；最佳可视区域的最大内接矩形区域记作待测hud系统的eyebox区域；
10.s3，使用人眼模拟设备在eyebox区域的各视点下捕获标定板图像与hud投影虚像图像，计算虚像成像距离；
11.根据预设的roi区域，获取人眼模拟设备在eyebox区域各视点下捕获的hud投影虚像图像的roi区域，计算对比度；
12.将人眼模拟设备在eyebox区域的各视点时，采集的hud投影虚像图像的所有角点畸变的平均值记作eyebox区域的各视点的hud系统畸变；其中角点畸变的计算方式为：依据
虚像成像距离设置投影平面，投影虚像图像中的角点映射于投影平面，记作投影点；投影点与该角点的在投影平面的理论位置点的距离记作角点畸变；
13.调节hud系统输出亮度值，采集hud系统输出不同亮度值时，人眼模拟设备处于eyebox区域同一位置的hud投影虚像图像；计算hud系统不同亮度值时的hud投影虚像图像的亮度均匀度；计算hud系统输出的亮度值最小和亮度值最大时，hud投影虚像图像的平均亮度，获取hud投影虚像图像的亮度调节范围；根据自适应阈值判断不同亮度时，hud投影虚像图像的各点是否存在重影，若存在重影则根据像素灰度值变化进行聚类，获取各点的重影在图像上的范围；
14.将hud系统输出亮度值调节至最大值，采集人眼模拟设备在eyebox区域的中心位置的hud投影虚像图像和标定板图像，根据hud投影虚像图像最大内接矩形的4个边界角点计算视场角fov。
15.优选地，所述步骤s2的实施方式如下所示：采用双目相机作为人眼模拟设备，采用协作机器人调整双目相机的位置，hud系统投影的图像设置为棋盘格图像。
16.优选地，所述步骤s3通过以下步骤计算虚像成像距离：
17.根据已知参数的人眼模拟设备在eyebox区域内的多个视点捕获的标定板图像，标定人眼模拟设备的外参；
18.通过角点提取算法获取人眼模拟设备各相机拍摄的hud投影虚像图像中的角点坐标，对同一视点人眼模拟设备的不同相机拍摄的hud投影虚像图像中对应的角点进行匹配；计算各角点的空间三维坐标；
19.计算eyebox区域的各视点的hud投影虚像图像的各角点的深度信息的平均值，记作虚像成像距离。
20.优选地，所述步骤s3通过以下步骤计算对比度：
21.使用人眼模拟设备在eyebox区域内获取hud投影虚像图像，根据预设的roi区域选取hud投影虚像图像的多个局部区域，在每个局部区域内利用下式进行局部区域对比度计算：
[0022][0023]
其中：表示相邻像素间的灰度差；表示相邻像素间的灰度差为时的像素分布概率；
[0024]
多个局部区域的对比度的平均值即为该视点的对比度。。
[0025]
优选地，所述步骤s3通过以下步骤计算畸变：
[0026]
对人眼模拟设备采集的hud投影虚像图像进行预处理操作，然后分别获取hud投影虚像图像的各角点映射于投影平面的投影点；所述投影平面为垂直于y轴，深度与hud虚像成像距离相同的平面；所有投影点组成映射区域，获取映射区域的最大内接矩形区域，根据hud输入图像的分辨率对最大内接矩形区域进行采样量化，计算投影点的坐标；根据输入图像的坐标与投影点的坐标计算畸变；输入图像的点p(x,y)经投影映射后的投影点p'(x',y')，点p处的畸变λ表示为：
[0027][0028]
其中(x0,y0)是图像中心点坐标。
[0029]
那么在相机拍摄图像的视点位置下所观察到的hud畸变大小表示为：
[0030][0031]
其中，n为特征点数目，以此分别计算出在eyebox区域内的平均畸变。
[0032]
优选地，所述步骤s3通过以下步骤计算检测hud投影虚像图像的亮度均匀度：
[0033]
将hud系统输出的亮度值从最小调节至最大，并通过双目相机在eyebox区域的同一位置处捕获在hud系统输出不同亮度值时的hud投影虚像图像；
[0034]
分别计算hud系统输出不同亮度值时投影虚像图像的亮度均匀度；某一亮度值时的亮度均匀度的计算方式为：依次统计捕获的hud投影虚像图像在多个自定义区域(例如图3中的roi区域)的灰度平均值，比较多个自定义区域的灰度平均值的大小，得到最大灰度平均值i
max
和最小灰度平均值i
min
，最小灰度平均值与最大灰度平均值的比值i
min
/i
max
为亮度均匀度的数值大小。
[0035]
优选地，所述步骤步骤s3通过以下步骤计算检测hud投影虚像图像的亮度范围：
[0036]
分别计算在hud系统输出亮度值最小时所有自定义区域的灰度平均值的均值，记作最小亮度以及亮度值最大时的所有自定义区域的灰度平均值的均值，记作最大亮度β；得到hud亮度调节范围[α，β]。
[0037]
优选地，所述步骤s3通过以下步骤检测重影：
[0038]
分析hud系统输出不同亮度值时的hud投影虚像图像中各点灰度值变化情况，根据图像灰度变化情况得到自适应阈值，并根据自适应阈值对灰度图像进行处理，判断各点是否存在重影，若存在重影则根据像素灰度值变化进行聚类，获取各点的重影在图像上的范围，并通过下式求取重影大小：
[0039]
g＝arctan(h/f)
[0040]
其中h表示重影范围拟合圆形的直径，f表示相机的焦距。
[0041]
优选地，所述步骤s3通过以下步骤计算测量视场角fov：
[0042]
将hud系统输出亮度值调节至最大，并通过人眼模拟设备在eyebox区域的中心位置处捕获hud投影图像与标定板图像；
[0043]
利用标定板图像对人眼模拟设备进行标定，获取人眼模拟设备的外参；对人眼模拟设的各相机获取的hud投影虚像图像分别进行预处理，获取hud投影虚像图像的最大内接矩形的4个边界角点，并将4个角点映射到投影平面，所述投影平面为深度与hud虚像成像距离相同的平面，获取边界角点的空间三维坐标，根据eyebox区域的中心位置处视点和边界角点的空间三维坐标计算水平视场角、垂直视场角以及对角线视场角。
[0044]
一种车载hud系统投影效果检测装置，包括标定板，人眼模拟设备、位置调节装置以及控制器；人眼模拟设备的输出端与控制器的输入端连接，控制器的输出端与位置调节
装置的输入端连接；所述控制器用于根据上述的方法控制位置调节装置调节人眼模拟设备的位置，并采集人眼模拟设备拍摄的图像，检测投影效果。
[0045]
与现有技术相比，本发明的有益效果：本发明提供了一种车载hud系统投影效果检测方法及装置，通过对hud系统可视区域、虚像成像距离、对比度、畸变、亮度均匀度、亮度调节范围、重影以及视场角fov等进行全面的检测分析，可实现高效率、高准确率的对车载hud系统投影效果的各项指标进行检测。
附图说明：
[0046]
图1为本发明示例性实施例1的车载hud系统投影效果检测方法的流程图；
[0047]
图2为本发明示例性实施例1的棋盘格图像示意图；
[0048]
图3为本发明示例性实施例1的roi区域示意图；
[0049]
图4为本发明示例性实施例1的投影平面示意图；
[0050]
图5为本发明示例性实施例1的视场角fov示意图。
具体实施方式
[0051]
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
[0052]
实施例1
[0053]
如图1所示，本实施例提供一种车载hud系统投影效果检测方法，包括以下步骤：
[0054]
s1，车辆前方放置标定板，标定人眼模拟设备，建立标定板坐标系与车辆坐标系的转换关系；
[0055]
s2，调整人眼模拟设备的位置，测量hud的可视区域和最佳可视区域；所述可视区域为人眼模拟设备中至少有一个相机能完整采集hud投影虚像的位置的集合；所述最佳可视区域为人眼模拟设备的相机均能完整采集hud投影虚像的位置的集合；最佳可视区域的最大内接矩形区域记作待测hud系统的eyebox区域；
[0056]
s3，使用人眼模拟设备在eyebox区域的各视点下捕获标定板图像与hud投影虚像图像，计算虚像成像距离；
[0057]
根据预设的roi区域，获取人眼模拟设备在eyebox区域各视点下捕获的hud投影虚像图像的roi区域，计算对比度；
[0058]
使用人眼模拟设备在eyebox区域的各视点下，采集hud投影虚像图像，计算虚像中所有角点的角点畸变平均值，记作eyebox区域各视点的hud投影图像畸变；其中角点畸变的计算方式为：依据虚像成像距离设置投影平面，投影虚像图像中的角点映射于投影平面，记作投影点；投影点与该角点在投影平面的理论位置点的距离记作角点畸变；
[0059]
调节hud系统输出亮度值，采集hud系统输出不同亮度值时，人眼模拟设备处于eyebox区域同一位置的hud投影虚像图像；计算hud系统不同亮度值时的hud投影虚像图像的亮度均匀度；计算hud系统输出的亮度值最小和亮度值最大时，hud投影虚像图像的平均亮度，获取hud投影虚像图像的亮度调节范围；根据自适应阈值判断不同亮度时，hud投影虚像图像的各点是否存在重影，若存在重影则根据像素灰度值变化进行聚类，获取各点的重
影在图像上的范围；
[0060]
将hud系统输出亮度值调节至最大值，采集人眼模拟设备在eyebox区域的中心位置的hud投影虚像图像和标定板图像，根据hud投影虚像图像各角点所在区域内的最大内接矩形的4个边界角点，计算视场角fov。
[0061]
根据上述的hud投影虚像图像各角点所在区域内的最大内接矩形的4个边界角点，利用相机参数可计算其在投影平面的空间位置，即可表示虚像大小。
[0062]
通过对hud系统可视区域、虚像成像距离、对比度、畸变、亮度均匀度、亮度调节范围、重影、虚像大小以及视场角fov等进行全面的检测分析，以实现高效率、高准确率的对车载hud系统投影效果的各项指标进行检测，便于车载hud系统的优化设计。
[0063]
具体的，步骤s2的实施方式如下所示：采用双目相机作为人眼模拟设备，采用机械手臂或协作机器人调整双目相机的位置，hud投影图像设置为棋盘格图像(如图2所示，棋盘格图像图案规则便于计算)。将机械手臂或协作机器人伸入待测hud产品所装配的车内，以设定步长从左到右，从上到下，从前到后依次移动机械手臂或协作机器人，每次移动后，利用双目相机拍摄车辆前方的标定板，再使用双目相机拍摄hud投影虚像，即经hud投射的棋盘格图像的虚像，得到hud投影虚像图像。若双目相机的左右两个相机都能完整拍摄棋盘格图中的矩形框，则双目相机光心所在位置的视点处于hud产品的最佳可视区域内，并将上述图像存储。若双目相机的左右两个相机中任意一相机能完整拍摄棋盘格图中的矩形框，则双目相机光心所在位置的视点处于hud产品的可视区域内，并将上述图像存储。最佳可视区域的最大内接矩形区域即为待测hud产品的eyebox区域。车载hud的eyebox区域表示驾驶员能完整查看hud投影图像的眼位活动区域。
[0064]
具体的，步骤s3通过以下步骤计算虚像成像距离：
[0065]
根据已知参数的人眼模拟设备在eyebox区域内的多个视点捕获的标定板图像，标定人眼模拟设备的外参；
[0066]
通过角点提取算法获取人眼模拟设备各相机拍摄的hud投影虚像图像中的角点坐标，对同一视点人眼模拟设备的不同相机拍摄的hud投影虚像图像中对应的角点进行匹配；计算各角点的空间三维坐标；
[0067]
计算eyebox区域的各视点的hud投影虚像图像的各角点的深度信息的平均值，记作虚像成像距离(vid)。深度信息为角点在y轴方向的数值，坐标系以车辆正前方作为y轴正向。
[0068]
示例性的，根据已知相机参数(内参与畸变系数)的双目相机采集的标定板图像，利用张正友标定法计算标定相机外参。所述外参用于表示相机坐标系与世界坐标系(车辆坐标系)之间的相对位置关系。通过角点提取算法获取双目相机的左右相机分别拍摄的hud投影虚像图像中棋盘格角点坐标，并通过双目匹配将左右相机的视图上对应的角点匹配起来。根据上述获取的匹配角点对，利用双目视差原理计算各角点的空间三维坐标。根据上述步骤可获取在eyebox区域内，各个视点下hud投影虚像图像的各角点的深度信息，可求取其平均值作为hud投影虚像成像距离。另外对上述各视点下获取的角点的空间三维坐标进行曲面拟合，可获取各个视点下hud投影虚像成像曲面，直观的查看hud投影虚像成像距离。
[0069]
示例性的，步骤s3通过以下步骤计算对比度：
[0070]
使用双目相机在eyebox区域内获取hud投影虚像图像，根据预设的roi区域选取
hud投影虚像图像的多个局部区域，在每个局部区域内利用下式进行局部区域对比度计算：
[0071][0072]
其中：表示相邻像素间的灰度差；表示相邻像素间的灰度差为时的像素分布概率；
[0073]
多个局部区域的对比度的平均值即为该视点的对比度。具体的，预设的roi区域可以为图3中虚线框所示的区域。
[0074]
示例性的，步骤s3通过以下步骤计算畸变：
[0075]
使用双目相机在eyebox区域的各视点拍摄hud投影虚像(hud投影的棋盘格虚像)，记作hud投影虚像图像，进行如下步骤：
[0076]
对双目相机采集的hud投影虚像图像进行裁剪和二值化等预处理操作，然后分别获取左右视图的hud投影虚像图像的各角点映射于投影平面的投影点；所述投影平面为垂直于y轴，深度与hud虚像成像距离相同的平面；所有投影点组成映射区域，获取映射区域的最大内接矩形区域，根据hud输入图像的分辨率对最大内接矩形区域进行采样量化，计算投影点的坐标；根据输入图像的坐标与投影点的坐标计算畸变；输入图像的点p(x,y)，经投影映射后的投影点p'(x',y')，点p处的畸变λ表示为：
[0077][0078]
其中(x0,y0)是图像中心点坐标。
[0079]
那么在相机拍摄图像的视点位置下所观察到的hud畸变大小表示为：
[0080][0081]
其中，n为特征点数目，以此可计算出在eyebox区域各视点下hud投影虚像的平均畸变。
[0082]
如图4所示，hud的输入图像中有一点p(x,y)，p点经过hud投影并映射到投影平面，得到p'点；得到原输入图像中的所有点经过映射投影后组合形成的区域的最大内接矩形r；按照原输入图像的分辨率对最大内接矩形r进行采样量化，计算与p点坐标一致的p'点的坐标p'(x',y')。然后就可在同一坐标系下计算点的畸变，并通过统计等方式计算图像的畸变。
[0083]
示例性的，步骤s3通过以下步骤计算检测hud投影虚像图像的亮度调节范围与亮度均匀度：
[0084]
将hud系统输出的亮度值从最小调节至最大，并通过双目相机在eyebox区域的同一位置处捕获在hud系统输出不同亮度值时的hud投影虚像图像。由于中心位置采集的hud投影虚像图像的效果最好，因此本技术捕获中心位置的hud投影虚像图像用于亮度调节范围与亮度均匀度的分析。
[0085]
分别计算hud系统输出不同亮度值时投影虚像图像的亮度均匀度；某一亮度值时
的亮度均匀度的计算方式为：依次统计捕获的hud投影虚像图像在多个自定义区域(例如图3中的roi区域)的灰度平均值，比较多个自定义区域的灰度平均值的大小，得到最大灰度平均值i
max
和最小灰度平均值i
min
，最小灰度平均值与最大灰度平均值的比值i
min
/i
max
为亮度均匀度的数值大小。依次获取hud系统在各亮度设置下的亮度均匀度，亮度均匀度的数值越大，表示hud输出图像的亮度越均匀。
[0086]
亮度调节范围的分析过程如下：分别计算在hud系统输出亮度值最小时所有自定义区域的灰度平均值的均值，记作最小亮度以及亮度值最大时的所有自定义区域的灰度平均值的均值，记作最大亮度β，得到hud亮度调节范围[α，β]。
[0087]
示例性的，步骤s3通过以下步骤检测重影：
[0088]
将hud系统输出的亮度值从最小调节至最大，并通过双目相机在eyebox区域的同一位置处捕获在hud系统输出不同亮度值时的hud投影虚像图像，分析各hud投影虚像图像中各点灰度值变化情况，根据图像灰度变化情况得到自适应阈值，并根据自适应阈值对灰度图像进行处理，判断各点是否存在重影，若存在重影则根据像素灰度值变化进行聚类，获取各点的重影在图像上的范围，并通过下式求取重影大小：
[0089]
g＝arctan(h/f)
[0090]
其中h表示重影范围拟合圆形的直径，f表示相机的焦距。
[0091]
示例性的，步骤s3通过以下步骤计算测量视场角fov：
[0092]
首先，将hud系统输出亮度值调节至最大，并通过人眼模拟设备在eyebox区域的中心位置处捕获hud投影图像与标定板图像；
[0093]
然后，利用标定板图像对人眼模拟设备进行标定，获取人眼模拟设备的外参；对人眼模拟设的各相机获取的hud投影虚像图像分别进行预处理，获取hud投影虚像图像的最大内接矩形的4个边界角点，并将4个角点映射到投影平面(深度与hud虚像成像距离相同的平面)获取边界角点的空间三维坐标，根据eyebox区域的中心位置处视点和边界角点的空间三维坐标计算水平视场角、垂直视场角以及对角线视场角。
[0094]
fov(field of view，视场角)表示hud投影所形成的虚像中，人眼可观察到部分的边缘与人眼瞳孔中心连线的夹角，包括水平视场角、垂直视场角、对角线视场角。视场角越大，hud设备带来的沉浸感就会越强。本实施例通过在eyebox区域的中心位置处捕获图像，以清晰地拍摄到hud投影虚像图像，然后通过灰度化等图像处理操作对hud投影虚像图像进行预处理，以便得到边界角点，进行视场角的计算。视场角的计算过程如下所示：
[0095]
假设上述，在视点e处观察到的hud投影虚像图像的4个边界角点以左上角的点为起点，顺时针方向排列，记作点a(xa，y0，za)、b(xb，y0，zb)、c(xc，y0，zc)、d(xd，y0，zd)；其中由于4个角点都映射到投影平面，即其y轴坐标值相同，均为hud虚像成像距离值y0；人眼模拟设备的双目相机的位置为e(xe，ye，ze)；
[0096]
则水平视场角fovw可表示为：
[0097]
fovw＝arccos([(xa-xe)(xb-xe) (ya-ye)(yb-ye)]/|ea||eb|)
[0098]
其中ea＝(xa-xe，ya-ye)，eb＝(xb-xe，yb-ye)；
[0099]
垂直视场角fovh可表示为：
[0100]
fovh＝arccos([(xa-xe)(xd-xe) (ya-ye)(yd-ye)]/|ea||ed|)
[0101]
其中ed＝(xd-xe，yd-ye)；
[0102]
对角线视场角fovv可表示为：
[0103]
fovv＝arccos([(xa-xe)(xc-xe) (ya-ye)(yc-ye)]/|ea||ec|)
[0104]
其中ec＝(xc-xe，yc-ye)。
[0105]
通过对hud系统可视区域、虚像成像距离、对比度、畸变、亮度均匀度、亮度调节范围、重影以及视场角fov等进行全面的检测分析，以实现高效率、高准确率的对车载hud系统投影效果的各项指标进行检测。
[0106]
实施例2
[0107]
本实施例提供一种车载hud系统投影效果检测装置，包括标定板，人眼模拟设备、位置调节装置以及控制器；人眼模拟设备的输出端与控制器的输入端连接，控制器的输出端与位置调节装置的输入端连接；所述控制器用于根据实施例1所述的方法控制位置调节装置调节人眼模拟设备的位置，并采集人眼模拟设备拍摄的图像，检测投影效果。
[0108]
具体的，本实施例所述人眼模拟设备采用的相机，为了更好地模拟人眼的视觉效果，采用的高分辨率的定焦双目相机，所述双目相机左右相机间距为61mm。所述位置调节装置采用的机械手臂，通过相机支架将相机固定在机械手臂上，便于模拟不同位置人眼观看hud投影的情况；为了更准确的调节位置，本实施采用六轴的高精度协作机器人。
[0109]
根据待测hud系统所应用的车型，安装车载hud系统投影效果检测装置，并初始化机械手臂的位姿。同时在待测hud系统所装配的车辆的前方，放置标定板，并建立标定板坐标系与车辆坐标系的转换关系，控制器根据实施例1所述的方法控制位置调节装置调节人眼模拟设备的位置，并采集人眼模拟设备拍摄的图像，检测投影效果。
[0110]
以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。