一种用于车载相机边缘场景检测的在环测试系统

1.本发明涉及一种车载相机测试平台及方法，特别涉及一种用于车载相机边缘场景检测的在环测试系统。


背景技术：

2.目前对于智能汽车图像感知部分测试仍处于研究阶段，各大供应商和研究机构对智能汽车图像感知部分测试主要为实车道路测试和仿真测试。边缘场景是指用于测试和验证特定的智能汽车功能的场景库。针对安全、功能以及舒适度等方面的边缘场景对于智能汽车发开具有重要意义。对于传统道路测试而言，边缘场景出现频率极小进而导致测试效率较低，同时也需要大量的测试经济成本和时间进行测试实验，且实验可重复性低。对于仿真测试而言，真实度较低导致测试结果置信度低。因此，需要一种基于高置信度的虚拟仿真场景与实际物理环境相结合的边缘场景测试平台，同时需要一种与测试平台搭配的对智能汽车车载相机功能边界进行测试的方法，以满足实际需要。


技术实现要素：

3.本发明为了解决上述技术问题，提供一种用于车载相机边缘场景检测的在环测试系统，包括测试平台，测试平台一端设有纵向运动滑轨，纵向运动滑轨上设有六自由度运动平台，六自由度运动平台与纵向运动滑轨滑动连接，车载相机设在六自由度运动平台上；测试平台的另一端设有显示器；车载相机与显示器之间设有气象模拟系统，车载相机与气象模拟系统之间设有车用级硅玻璃；气象模拟系统与显示器之间设有高透玻璃，车用级硅玻璃、高透玻璃与测试平台的侧板及顶板围合成密封模拟舱；
4.所述的气象模拟系统包括分级式雨量模拟系统、光照模拟系统和雾气模拟系统；
5.所述的分级式雨量模拟系统包括喷水管路、水箱、水泵、降雨控制器和光学雨量传感器，数条喷水管路沿平台横向设置在模拟舱顶部，喷水管路互相平行，模拟数级雨量；每个喷水管路的下部设有数个等距设置的喷嘴；水箱设在模拟舱外部，模拟舱底部设有排水口，排水口通过管路与水箱相连；水箱的出水口与水泵相连，水泵通过水管与降雨控制器相连，降雨控制器通过水管与喷水管路相连；光学雨量传感器设在车载相机同侧的模拟舱底部，通过线路与降雨控制器相连；光学雨量传感器用于反馈实验条件是否满足实验指定要求，提高实验平台置信度。
6.所述的光照模拟系统包括发光二极管太阳光模拟器、光照强度测试仪和光照控制器，发光二极管太阳光模拟器设在显示器侧的模拟舱顶部，光照强度测试仪设在车载相机同侧的模拟舱底部，发光二极管太阳光模拟器、光照强度测试仪分别通过线路与光照控制器相连；发光二极管太阳光模拟器布置在显示器上方模拟真实的光照角度，光照强度测试仪用于反馈实验条件是否满足实验指定要求，提高实验平台置信度。
7.所述的雾气模拟系统包括造雾控制器、能见度测试仪、造雾水箱，造雾水箱设在模拟舱外部，模拟舱侧壁设有雾气入口，造雾水箱通过管路与造雾控制器相连，造雾控制器通
过管路与模拟舱侧壁上的雾气入口相连；能见度测试仪设在车载相机同侧的模拟舱底部，通过线路与造雾控制器相连；造雾控制器形成人造雾气的现象，模拟舱内湿度发成变化，不同的湿度会模拟对应不同的雾气能见度，能见度测试仪用于反馈实验条件是否满足实验指定要求，提高平台置信度。
8.所述的六自由度运动平台包括上平台、下平台、六个可伸缩的电动缸和运动控制器，上平台和下平台均为正六边形平台，六个电动缸等距均匀设在上平台和下平台之间，通过球铰相连，六个电动缸分别通过线路与运动控制器相连，受运动控制器控制，在六个电动缸的驱动下进行空间中横向、纵向、垂向、俯仰、横摆和侧倾运动，位姿信息来源于车辆动力学软件输出的车辆俯仰角、侧倾角和横摆角。六自由度运动平台位姿模拟通过车辆动力学软件获得六个空间位姿参数[x,y,z,α,β,γ]；
[0009]
首先建立位置坐标系，包括静坐标系(下平台)与动坐标系(上平台)，以下平台中心点作为坐标系原点o,ox、oy轴分别在该平面内，ox轴方向垂直于显示器方平面向向前，oz轴与该平面垂直方向向上，oy轴方向平行于显示器平面按照右手系规则确定方向；下平台六个铰点为(d1，d2，
…
，d6)；按照相同原理在上平台建立动坐标系o
′‑
x
′y′z′
，ox
′
轴方向垂直于显示器平面方向向前，oz
′
轴与该平面垂直方向向上，oy
′
轴方向平行于显示器平面按照右手系规则确定方向；上平台六个铰点为(u1，u2，
…
，u6)；同时规定刚体旋转姿态运动时绕各坐标轴的欧拉角，绕x
′
、y
′
和z
′
轴旋转角度为α,β和γ；
[0010]
通过矩阵表示绕z轴顺时针转过γ角度时，动坐标系下的位置变化：
[0011][0012]
同理得到绕y轴、x轴的旋转矩阵表达，并通过矩阵相乘得到旋转变化矩阵：
[0013][0014]
将[t]带入下式，通过转换公式得到上平台静坐标系下的六个铰点坐标
[0015][0016]
其中(xs′
,ys′
,zs′
)是上平台六个铰点动态坐标，(x,y,z)为动坐标系下的铰接点坐标；
[0017]
设为下平台六个铰点静坐标系下的原始位置，为了达到车辆动力学要求的角度，因此求解出每一个电动缸体的空间长度li(i＝1,2,
…
,6)：
[0018]
通过改变对应电动缸体的长度进而完成车载相机的位置姿态仿真模拟。
[0019]
运动控制器根据输入的车辆俯仰侧倾等运动信息控制六自由度运动平台的六个电动缸伸缩，保证车载相机模拟真实运动位姿；上位机安装场景仿真软件，场景仿真软件提供高置信度的车载相机行驶视角，并在显示器播放为车载相机提供图像输入源；同时气象模拟系统按照测试需求定量地确定好气象条件以模拟真实的气象天气信息；车载相机边缘场景主要分为5个不同测试等级即像素级、图像域级、物体级、图像级和场景级。
[0020]
测试实验步骤共分为3部分即测试平台标定、边缘场景测试和测试数据采集。
[0021]
第一部分：测试平台标定。测试平台标定主要包括平台布置标定、车载相机标定、气象模拟系统标定。
[0022]
平台布置标定：在实验开始时调整车载相机捕捉图像中心点与显示器中心点对齐，调整六自由度平台在纵向运动滑轨上的位置，改变车载相机与显示器的距离满足实际车辆行驶过程中车载相机的图像捕捉条件；车载相机标定：图像去畸变；气象模拟系统标定包括：分级式雨量模拟系统标定、光照模拟系统标定和雾气模拟系统标定；
[0023]
(1)分级式雨量模拟系统标定：满足模拟降雨强度15-105毫米/小时数级可调，通过不同数量的互相平行的雨水平面来定量评价车载相机功能边缘场景；
[0024]
(2)光照模拟系统标定：满足模拟光照度5-2500勒克斯数级可调，用于定量地确定车载相机光照条件下的边缘场景；
[0025]
(3)雾气模拟系统标定：满足人造雾能见度15-100米数级可调，通过模拟不同能见度的雾气定量地评价车载相机边缘场景；
[0026]
第二部分：边缘场景测试。本发明按照车载相机所对应的图像场景数据的复杂度逐渐提高的顺序，将车载相机边缘场景测试主要分为5个不同的测试等级：
[0027]
等级1，像素级边缘测试：主要测试车载相机在大范围像素数值同时超过正常取值极限和小范围超过正常取值极限时的场景。像素级边缘测试通过光照模拟系统曝光模拟、显示器中的部分图像死点模拟以及车用级硅玻璃上的部分污渍等方式实现。
[0028]
等级2，图像域级边缘测试：图像中的内容语义未发生变化，但物体所处的背景域发生变化，例如针对在雨天、雾天和黑夜中的同一物体目标算法测试，得到车载相机的边缘场景。同时基于该平台气象模拟系统的可调节功能，量化评估车载相机功能边缘；针对图像域级边缘测试，通过模拟雨水天气、浓雾天气以及显示器播放黑夜场景对多种图像域中的车载相机场景进行测试并定量分析针对车载相机的边缘场景。
[0029]
等级3，物体级边缘测试：图像中出现图像识别算法从未训练过的图像或已知的物体但部分被遮挡。
[0030]
等级4，图像级边缘测试：在该等级中所有的物体都在图像处理算法训练集中有被考虑到，但出现在非常规位置，或者以非常规的位姿出现在车载相机数据采集范围内。
[0031]
等级5，场景级边缘测试：(1)设计过程中没考虑完整的场景并具有一定危险的场景；(2)设计过程中没考虑完整的场景但不具有危险的场景；(3)设计过程中考虑的场景但具有一定危险的场景；测试在各场景发生时间范围内车载相机的响应以及感知功能是否能够满足功能要求。
[0032]
第三部分：数据采集与结果分析。在模拟仿真的环境下记录不同测试等级对车载相机的功能影响，所记录的数据包括车载相机识别物体的类别、车载相机识别物体的数量、车载相机识别物体的距离、车载相机从物体出现在图像捕捉范围内到准确识别的延迟、车
载相机识别物体框与真实人工标定识别框iou数值等功能参数；同时记录光学雨量传感器、能见度测试仪和光照强度测试仪数值保证实验置信度。
[0033]
本发明的有益效果：
[0034]
本发明能够同时模拟多种气象条件，为车载相机提供更丰富的测试场景，本发明通过5个不同的测试等级对车载相机进行边缘场景测试，提高相机测试的精准度和可靠性。本发明平台通过获得的功能参数为车载相机功能开发者提供更加准确、丰富的数据信息，进而更新智能汽车车载相机功能和功能对应的边缘场景以满足实际智能汽车感知要求。并针对更新后的车载相机功能下设计实验，进行迭代测试智能汽车车载相机功能。
附图说明
[0035]
图1为本发明测试平台的结构示意图一；
[0036]
图2为本发明测试平台的结构示意图二；
[0037]
图3为本发明测试平台的测试实验流程示意图。
[0038]
1、测试平台 2、纵向运动滑轨 3、六自由度运动平台 4、车载相机 5、显示器 6、车用级硅玻璃 7、高透玻璃 8、模拟舱 9、分级式雨量模拟系统 10、光照模拟系统 11、雾气模拟系统 12、喷水管路 13、水箱 14、水泵 15、降雨控制器 16、光学雨量传感器 17、喷嘴 18、排水口 19、过滤器 20、发光二极管太阳光模拟器 21、光照强度测试仪 22、光照控制器 23、造雾水箱 24、造雾控制器 25、能见度测试仪 26、雾气入口 27、上平台 28、下平台 29、电动缸。
具体实施方式
[0039]
请参阅图1-3所示：
[0040]
本发明提供一种用于车载相机边缘场景检测的在环测试系统，包括测试平台1，测试平台1一端设有纵向运动滑轨2，纵向运动滑轨2上设有六自由度运动平台3，六自由度运动平台3与纵向运动滑轨2滑动连接，车载相机4设在六自由度运动平台3上；测试平台1的另一端设有显示器5，显示器5采用高清144hz显示器5，并保证显示器5尺寸在平台标定过程中显示的图像可以满足车载相机4捕捉要求；车载相机4与显示器5之间设有气象模拟系统，车载相机4与气象模拟系统之间设有车用级硅玻璃6，模拟真实车载相机4在数据采集时的挡风玻璃模糊状态，使测试平台1置信度提高；气象模拟系统与显示器5之间设有高透玻璃7，车用级硅玻璃6、高透玻璃7与测试平台1的侧板及顶板围合成密封模拟舱8；
[0041]
所述的气象模拟系统包括分级式雨量模拟系统9、光照模拟系统10和雾气模拟系统11；
[0042]
所述的分级式雨量模拟系统9包括喷水管路12、水箱13、水泵14、降雨控制器15和光学雨量传感器16，九条喷水管路12沿平台横向设置在模拟舱8顶部，即与车载相机镜头垂直；且九条喷水管路12互相平行，可以模拟9级雨量；每个喷水管路12的下部设有数个等距设置的喷嘴17；水箱13设在模拟舱8外部，模拟舱8底部设有排水口18，排水口18通过管路与水箱13相连；水箱13的出水口与水泵14相连，水泵14通过水管与降雨控制器15相连，降雨控制器15通过水管与喷水管路12相连；水箱13的进水管路和出水管路上分别设有过滤器19；光学雨量传感器16设在车载相机4同侧的模拟舱8底部，通过线路与降雨控制器15相连；光
学雨量传感器16用于反馈实验条件是否满足实验指定要求，提高实验平台置信度。
[0043]
所述的光照模拟系统10包括发光二极管太阳光模拟器20、光照强度测试仪21和光照控制器22，发光二极管太阳光模拟器20设在显示器5侧的模拟舱8顶部，光照强度测试仪21设在车载相机4同侧的模拟舱8底部，发光二极管太阳光模拟器20、光照强度测试仪21分别通过线路与光照控制器22相连；发光二极管主要的发光部件是由pn结组成，向pn结施加正向电压时，电子移动并在结合部再次结合释放大量能量，这些能量以光形式释放，发光二极管太阳光模拟器20的特点在于形成光谱范围广、安全稳定可控；发光二极管太阳光模拟器20布置在显示器5上方模拟真实的光照角度，光照强度测试仪21用于反馈实验条件是否满足实验指定要求，提高实验平台置信度。
[0044]
所述的雾气模拟系统11包括造雾水箱23、造雾控制器24、能见度测试仪25，造雾水箱23设在模拟舱8外部，模拟舱8侧壁设有雾气入口26，造雾水箱23通过管路与造雾控制器24相连，造雾水箱23与造雾控制器24之间的管路上还设有过滤器19，造雾控制器24通过管路与模拟舱8侧壁上的雾气入口26相连；能见度测试仪25设在车载相机4同侧的模拟舱8底部，通过线路与造雾控制器24相连；造雾控制器24将过滤后的水加压至5至8兆帕斯卡，雾化后的水微粒通过管路进入模拟舱8内，同时液态水发生物态变化变为气态，形成人造雾气的现象，模拟舱8内湿度发成变化，不同的湿度会模拟对应不同的雾气能见度，能见度测试仪25用于反馈实验条件是否满足实验指定要求，提高平台置信度。
[0045]
所述的六自由度运动平台3包括上平台27、下平台28、六个可伸缩的电动缸29和运动控制器，上平台27和下平台28均为正六边形平台，六个电动缸29等距均匀设在上平台27和下平台28之间，通过球铰与正六边形平台的六个角相连，六个电动缸29分别通过线路与运动控制器相连，受运动控制器控制，在六个电动缸29的驱动下进行空间中横向、纵向、垂向、俯仰、横摆和侧倾运动，位姿信息来源于车辆动力学软件输出的车辆俯仰角、侧倾角和横摆角。所采用的六自由度运动平台3位姿模拟属于机构位置反解过程，即根据车辆动力学得到的位置与姿态对输入构建的位置进行反求解过程，通过车辆动力学软件获得六个空间位姿参数[x,y,z,α,β,γ]；
[0046]
首先建立位置坐标系，包括静坐标系(下平台28)与动坐标系(上平台27)，以下平台28中心点作为坐标系原点o,ox、oy轴分别在该平面内，ox轴方向垂直于显示器平面方向向前，oz轴与该平面垂直方向向上，oy轴方向平行于显示器平面按照右手系规则确定方向；下平台六个铰点为(d1，d2，
…
，d6)；按照相同原理在上平台27建立动坐标系o
′‑
x
′y′z′
；ox
′
轴方向垂直于显示器平面方向向前，oz
′
轴与该平面垂直方向向上，oy
′
轴方向平行于显示器平面按照右手系规则确定方向；上平台六个铰点为(u1，u2，
…
，u6)；同时规定刚体旋转姿态运动时绕各坐标轴的欧拉角，绕x
′
、y
′
和z
′
轴旋转角度为α,β和γ；
[0047]
通过矩阵表示绕z轴顺时针转过γ角度时，动坐标系下的位置变化：
[0048][0049]
同理得到绕y轴、x轴的旋转矩阵表达，并通过矩阵相乘得到旋转变化矩阵：
[0050][0051]
将[t]带入下式，通过转换公式得到上平台静坐标系下的六个铰点坐标
[0052][0053]
其中(xs′
,ys′
,zs′
)是上平台六个铰点动态坐标，(x,y,z)为动坐标系下的铰接点坐标；
[0054]
设为下平台六个铰点静坐标系下的原始位置，为了达到车辆动力学要求的角度，因此求解出每一个电动缸29体的空间长度li(i＝1,2,
…
,6)：
[0055][0056]
通过改变对应电动缸29体的长度进而完成车载相机4的位置姿态仿真模拟。
[0057]
下位机安装车辆动力学软件实时计算车辆动力学模型并将车辆横向和纵向控制信息传输给上位机，同时车辆动力学软件计算车辆俯仰侧倾等运动信息传输到六自由度运动平台3的运动控制器，控制六个电动缸29伸缩，保证车载相机4模拟真实运动位姿；上位机安装场景仿真软件，场景仿真软件提供高置信度的车载相机4行驶视角，并在显示器5播放为车载相机4提供图像输入源；同时气象模拟系统按照测试需求定量地确定好气象条件以模拟真实的气象天气信息；车载相机4边缘场景主要分为5个不同测试等级即像素级、图像域级、物体级、图像级和场景级。
[0058]
测试实验步骤共分为3部分即测试平台1标定、边缘场景测试和测试数据采集。
[0059]
第一部分：测试平台1标定。测试平台1标定主要包括平台布置标定、车载相机4标定、气象模拟系统标定。
[0060]
平台布置标定是为了保证被测车载相机4、显示器5位置以及气象模拟系统空间布置符合测试要求，保证在实验开始时相机捕捉图像中心点与显示器5中心点对齐，调整六自由度平台在纵向运动滑轨2上的位置，改变车载相机4与显示器5的距离满足实际车辆行驶过程中车载相机4的图像捕捉条件；车载相机4标定是为了去畸变，保证成像结果直接用于图像处理算法的开发与测试；气象模拟系统标定，是一种定量评价车载相机4边缘场景的气象模拟系统，其中包括三个子系统：分级式雨量模拟系统9、光照模拟系统10和雾气模拟系统11；
[0061]
分级式雨量模拟系统9满足模拟降雨强度15-105毫米/小时9级可调，通过不同数量的互相平行的雨水平面来定量评价车载相机4功能边缘场景，例如显示器5中的行人信息在2层雨水平面时可以正确识别并完成行人轨迹预测功能、但当雨水平面层数增加到3层时，车载相机4无法正确识别行人，该场景对应此实验工况下针对该车载相机4的边缘场景；并通过光学雨量传感器16得到降雨强度保证平台置信度保证实验条件满足实验要求。
[0062]
光照模拟系统10满足模拟光照度5-2500勒克斯6级可调，用于定量地确定车载相机4光照条件下的边缘场景，例如模拟车辆从隧道阴暗环境进入光照正常环境时发生的曝光条件下定量地确定车载相机4边缘场景即当曝光强度为1700勒克斯时，短暂的曝光会使智能汽车车载相机4无法完成识别车道线功能；并通过光照强度测试仪21保证平台置信度，同时保证实验条件满足实验要求。
[0063]
雾气模拟系统11满足人造雾能见度15-100米5级可调，通过模拟不同能见度的雾气定量地评价车载相机4边缘场景，例如被测对象是基于图像识别算法的主动行人避让系统，当模拟场景雾气条件达到70米时在虚拟交通环境中系统失效率高于功能设计要求即车载相机4在该场景下无法提供正确的感知信息，避让系统失效；通过能见度测试仪25保证平台置信度，同时保证实验条件满足实验要求。
[0064]
第二部分：边缘场景测试。本发明按照车载相机4所对应的图像场景数据的复杂度逐渐提高的顺序，将车载相机4边缘场景测试主要分为5个不同的测试等级(如表1所示)：
[0065]
等级1，像素级边缘测试：主要测试车载相机4在大范围像素数值同时超过正常取值极限和小范围超过正常取值极限时的场景。像素级边缘测试通过光照模拟系统10曝光模拟、显示器5中的部分图像死点模拟以及车用级硅玻璃6上的部分污渍等方式实现。例如模拟太阳光突然照射车载相机4导致的曝光现象的场景进而对车载相机4功能进行测试，并探求边缘场景即曝光强度在数值为多少勒克斯时相机功能失效以得到定量分析曝光强度对车载相机4功能的影响。
[0066]
等级2，图像域级边缘测试：图像中的内容语义未发生变化，但物体所处的背景域发生变化，例如针对在雨天、雾天和黑夜中的同一物体目标算法测试，得到车载相机4的边缘场景。同时基于该平台气象模拟系统的可调节功能，可以量化地评估车载相机4功能边缘。针对图像域级边缘测试，本平台通过模拟雨水天气、浓雾天气以及显示器5播放黑夜场景可以对多种图像域中的车载相机4场景进行测试并定量分析针对车载相机4的边缘场景。例如可以通过本平台模拟真实降雨天气，针对被测车载相机4进行目标识别算法测试，实验结果得到当降雨量达到70毫米/小时的场景时，车载相机4完全失去识别感知功能。
[0067]
等级3，物体级边缘测试：图像中出现图像识别算法从未训练过的图像或已知的物体但部分被遮挡；由于图像识别算法在训练时无法满足所有物体的信息识别，因此本测试主要针对车载相机4感知算法单元的泛化能力。例如道路上行走的行人被车辆遮挡，在图像识别算法设计时并没有考虑过被遮挡的场景，测试车载相机4在该场景下功能的响应并为未来的开发设计提供意见。
[0068]
等级4，图像级边缘测试：在该等级中所有的物体都在图像处理算法训练集中有被考虑到，但出现在非常规位置，或者以非常规的位姿出现在车载相机4数据采集范围内，这在实际的场景中出现频率较高且对于智能汽车功能充满挑战性。例如大量的行人通过马路、道路中央出现交通事故车头反转等场景，测试车载相机4能够具有对应的功能响应例如距离信息。
[0069]
等级5，场景级边缘测试：相比于图像级边缘测试该等级测试将时间维度也考虑进来，可分为三类情况，(1)设计过程没考虑完整的场景并具有一定危险，例如行人突然出现在车载相机4的捕捉图像范围内；(2)设计过程中没考虑完整的场景但不具有危险，例如，十字交叉路口正常通行，横向车道车辆制动停车；(3)设计过程中考虑的场景但具有一定危
险，例如高速公路上的超车行为，虽然功能开发过程中考虑充分但仍然具有一定危险。测试在该场景发生时间范围内车载相机4的响应以及感知功能是否能够满足功能要求。
[0070]
第三部分：数据采集与结果分析。在模拟仿真的环境下记录不同测试等级对车载相机4的功能影响，所记录的数据包括但不限于车载相机4识别物体的类别、车载相机4识别物体的数量、车载相机4识别物体的距离、车载相机4从物体出现在图像捕捉范围内到准确识别的延迟、车载相机4识别物体框与真实人工标定识别框iou数值等功能参数。具体的数据采集信息可以针对开发者所描述的功能设计对应的测试数据采集项目。同时记录光学雨量传感器16、能见度测试仪25和光照强度测试仪21数值保证实验置信度。
[0071]
表1车载相机边缘场景的5个不同的测试等级
[0072][0073]