一种汽车主驾座椅自适应调节系统

1.本发明涉及机器视觉领域，尤其是涉及汽车主驾座椅自适应调节系统。


背景技术：

2.近年来新能源汽车行业的发展十分火热，多样的智能化系统成为了各品牌之间差异化的特征。汽车主驾座椅作为驾驶员长期乘坐的座椅，其舒适度与便利性尤为重要。手动调节座椅作为较早的一种调节方式延续至今仍在使用，后续人们为了提高座椅调节的便利性，发明出了电动调节座椅，但其本质还是需要人为地控制开关调节座椅的方向。随着智能技术的发展，采用红外线测距的自适应座椅调节系统应运而生，它可以通过红外线扫描获取身高数据帮助驾驶员提前自动调节到适合驾驶员乘坐的座椅位置，其主要有两个步骤，第一步：通过红外线扫描驾驶员全身获取驾驶员身高信息；第二步：根据身高信息在驾驶员进入驾驶位之前提前设定好驾驶位的位置，以提供舒适的驾驶姿势。红外线测距技术只能够判断出人的身高，无法识别整体体态，会遇到座椅通过身高自动调节但由于驾驶员过胖或过瘦仍无法调节到最合适位置的情况。红外线视觉测距系统无法识别人体姿态，易产生误触发，会对路过车辆的行人进行扫描致使自适应座椅调节系统频繁工作。目前，视觉测量技术应用十分广泛，现有的视觉测距技术有超声波测距技术、红外线测距技术、电涡流测距技术、雷达测距技术和激光测距技术等等，但是应用在新能源汽车驾驶位自适应调节系统中的测距技术比较少。
3.驾驶位座椅的调节对驾驶员来说非常重要，传统的手动调节和电动调节虽然最终能调节达到满足舒适驾驶的要求，但其耗时过长，在智能化发展迅速的今天也无法体现其方式的便利性、智能化。对于视觉测距技术，目前所使用的红外线测距技术受环境影响较大，一旦遇到光线模糊的情况，扫描获取的数据会和真实数据产生较大偏差，且红外线测距技术的使用功能比较单一，无法精确判断是否需要触发系统工作。其它视觉测距技术也有各种各样的缺点，如电涡流测距技术容易受环境磁场影响；超声波测距技术不适宜测量较近物体，存在测量盲区；激光测距技术难以实现广角测量等等。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在对人体姿态无法识别和对人体体态测量不精准的缺陷而提供一种汽车主驾座椅自适应调节系统。
5.本发明的目的可以通过以下技术方案来实现：
6.一种汽车主驾座椅自适应调节系统，包括相互连接的图像获取模块和处理器，所述图像获取模块设置在汽车上，用于获取汽车主驾车门外的图像数据；所述处理器包括相互通信的视觉识别模块和视觉测距模块；
7.所述视觉识别模块用于根据所述图像数据检测人体姿态，当检测到伸手开车门动作时，触发视觉测距模块工作；
8.所述视觉测距模块用于对所述图像获取模块进行标定，在所述图像数据中标注人
体的待测距区域矩形框，在该待测距区域矩形框中获取四个角点的像素坐标，最后结合图像获取模块的标定结果，获取人体高度和宽度数据，将该人体高度和宽度数据反馈给汽车控制单元，用于调整汽车主驾座椅。
9.进一步地，所述视觉识别模块采用预先训练好的第一yolov5-tiny模型检测人体姿态。
10.进一步地，所述yolov5-tiny模型的训练过程包括：获取人正常走动和伸手开车门的视频，并解码为训练图片数据集，在该训练图片数据集中标注待测人体的矩形框，然后采用第一yolov5-tiny模型进行训练；通过通道修剪算法修剪训练后的第一yolov5-tiny模型中的冗余通道和权重参数，将得到的权重参数应用于第一yolov5-tiny模型中用于检测人体姿态。
11.进一步地，所述图像获取模块为双目相机。
12.进一步地，所述视觉测距模块对图像获取模块进行标定的过程包括：
13.首先通过张正友相机标定法得到，图像获取模块的立体标定参数，将其作为初代变量；通过bouguet算法对含有棋盘格的左右图像进行立体校正，检测出左右图像中棋盘格上所有的角点并得到相应的像素纵坐标，计算每个棋盘角点在立体校正后的左右图像中成像点在像素坐标系下纵坐标的差值，以及和的平均值作为初代优化函数值；
14.再设置步长、随机方向向量、迭代次数和变步长系数后通过基于双目平行极线约束的天牛须搜索算法优化图像获取模块的标定参数以得到最优参数。
15.进一步地，所述视觉测距模块采用预先训练好的第二yolov5-tiny模型标注图像数据中的待测距区域矩形框，对所述图像数据进行二值化处理，保留待测距区域矩形框，最后利用矩形顶点特征的harris算法检测出待测距区域矩形框的四个角点得到像素坐标。
16.进一步地，所述第二yolov5-tiny模型的训练过程包括：获取人体检测数据集，在该人体检测数据集中标注待测距区域矩形框，采用第二yolov5-tiny模型进行训练；通过通道修剪算法修剪训练后的第二yolov5-tiny模型中的冗余通道和权重参数，将得到的权重参数应用于第二yolov5-tiny模型中用于检测图像数据中的待测距区域矩形框。
17.进一步地，保留图像数据中的待测距区域矩形框的过程具体为：
18.将在图像数据中标注的待测距区域矩形框的颜色设置为白色，基于白色对应的灰度值对图像数据进行图像二值化处理，保留待测距区域矩形框。
19.进一步地，采用sgbm立体匹配算法根据图像获取模块的标定结果和四个角点的像素坐标，进行测距得到人体高度和宽度数据。
20.进一步地，所述图像获取模块为双目相机，该双目相机包括相互连接的dsl-3079-he相机和索尼imx179镜头，所述处理器为pc机，所述dsl-3079-he相机连接pc机。
21.与现有技术相比，本发明具有以下优点：
22.(1)本发明设计了一种汽车主驾座椅自适应调节视觉系统，实现了对人体姿态的识别和对体态的高精度测量，克服了传统技术无法识别人体姿态，易导致系统反复工作的问题；避免了因测距不够准确详细所导致的座椅自适应调节准确率低的问题。
23.(2)本技术方案使用视觉识别模块和视觉测距模块，视觉识别模块性能更高，可靠性更好，可以高精度地识别人体姿态，通过识别人体姿态判断识别对象是否要进入车辆；视觉测距模块性能更高，测量更全面，不仅实现了高精度测距，还能实现多维度测距。同时在
参数优化上选择基于双目平行极线约束的天牛须搜索算法以及在定位测量点时采用矩形顶点特征的harris算法实现更高精度的定位。
24.(3)本发明与传统视觉系统相比，结合了视觉识别模块和视觉测距模块，既可以实现对人体姿态的识别又可以实现对人体体态的测量。对于视觉识别模块，加入了openpose算法，通过识别人体姿态来判断是否需要调节座椅，在神经网络的选择上采用了yolov5-tiny网络，该网络训练速度更快，识别准确率更高，可靠性更好。在测距过程中，不仅考虑人体高度，同时加入人体宽度参数，对于标定参数的优化采用了双目平行极线约束的天牛须搜索算法实现了对测量点更高精确的定位。还加入了该算法与粒子群算法和退火模拟算法进行参数优化结果的比对，进一步地提高了该测距系统的测量精度。
25.(4)驾驶员在驾驶过程中一直乘坐主驾座椅，因此获得较为舒适的坐姿极为重要。私家车经常由不同的家庭成员驾驶，因此需要频繁地调节座椅，降低了汽车使用的便利性。本专利实现了对人体姿态的判断，可以通过识别特定动作提前预知是否需要自动调节座椅，避免了系统的误触发；同时视觉测距模块能够精确地测量人体的高度和宽度，提高了座椅自适应调节的准确率，解决了以往座椅调节效率低的问题。
附图说明
26.图1为本发明实施例中提供的一种yolov5-tiny网络结构图；
27.图2为本发明实施例中提供的一种汽车主驾座椅自适应调节系统的处理流程示意图。
具体实施方式
28.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
29.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
31.实施例1
32.本实施例提供一种汽车主驾座椅自适应调节系统，包括相互连接的图像获取模块和处理器，图像获取模块设置在汽车上，用于获取汽车主驾车门外的图像数据；处理器包括相互通信的视觉识别模块和视觉测距模块；
33.视觉识别模块用于根据图像数据检测人体姿态，当检测到伸手开车门动作时，触发视觉测距模块工作；
34.视觉测距模块用于对图像获取模块进行标定，在图像数据中标注人体的待测距区域矩形框，在该待测距区域矩形框中获取四个角点的像素坐标，最后结合图像获取模块的
标定结果，获取人体高度和宽度数据，将该人体高度和宽度数据反馈给汽车控制单元，用于调整汽车主驾座椅，本实施例中，图像获取模块为双目相机。
35.下面对视觉识别模块和视觉测距模块分别进行具体描述。
36.1、视觉识别模块
37.视觉识别模块采用预先训练好的第一yolov5-tiny模型检测人体姿态。
38.作为一种优选的实施方式，yolov5-tiny模型的训练过程包括：获取人正常走动和伸手开车门的视频，并解码为训练图片数据集，在该训练图片数据集中标注待测人体的矩形框，然后采用第一yolov5-tiny模型进行训练；通过通道修剪算法修剪训练后的第一yolov5-tiny模型中的冗余通道和权重参数，将得到的权重参数应用于第一yolov5-tiny模型中用于检测人体姿态。
39.由于所需扫描的人体姿态种类过多以及使用环境相对复杂使得检测模型的参数数量增加导致检测率下降，故使用通道修剪的yolov5-tiny的深度学习算法进行人体姿态种类的检测。
40.2、视觉测距模块
41.作为一种优选的实施方式，双目相机的立体标定参数决定了双目相机的平行程度，双目相机越平行，则测距精度越高，所以有必要对双目相机的立体标定参数进行优化，以提高双目相机的平行程度，从而提高测距精度，使用一种基于双目平行极线约束的天牛须搜索算法优化双目相机的立体标定参数以提高双目相机的平行程度。
42.具体地，视觉测距模块对图像获取模块进行标定的过程包括：
43.首先通过张正友相机标定法得到，图像获取模块的立体标定参数，将其作为初代变量；通过bouguet算法对含有棋盘格的左右图像进行立体校正，检测出左右图像中棋盘格上所有的角点并得到相应的像素纵坐标，计算每个棋盘角点在立体校正后的左右图像中成像点在像素坐标系下纵坐标的差值，以及和的平均值作为初代优化函数值；
44.再设置步长、随机方向向量、迭代次数和变步长系数后通过基于双目平行极线约束的天牛须搜索算法优化图像获取模块的标定参数以得到最优参数。
45.作为一种优选的实施方式，视觉测距模块采用预先训练好的第二yolov5-tiny模型标注图像数据中的待测距区域矩形框，对图像数据进行二值化处理，保留待测距区域矩形框，最后利用矩形顶点特征的harris算法检测出待测距区域矩形框的四个角点得到像素坐标。
46.由于本方案视觉测距模块是测量人体的高度和宽度，需要在实时图像中精确定位到待测距点。针对待测距点的定位，采用角点检测算法将待测距点作为角点进行检测并输出对应的像素坐标以实现精确的定位，
47.本实施例中，采用sgbm立体匹配算法根据图像获取模块的标定结果和四个角点的像素坐标，进行测距得到人体高度和宽度数据。
48.作为一种优选的实施方式，第二yolov5-tiny模型的训练过程包括：获取人体检测数据集，在该人体检测数据集中标注待测距区域矩形框，采用第二yolov5-tiny模型进行训练；通过通道修剪算法修剪训练后的第二yolov5-tiny模型中的冗余通道和权重参数，将得到的权重参数应用于第二yolov5-tiny模型中用于检测图像数据中的待测距区域矩形框。
49.作为一种优选的实施方式，保留图像数据中的待测距区域矩形框的过程具体为：
50.将在图像数据中标注的待测距区域矩形框的颜色设置为白色，基于白色对应的灰度值对图像数据进行图像二值化处理，保留待测距区域矩形框。
51.将上述优选的实施方式进行任意组合可以得到更优的实施方式，如图2所示，下面对一种最优的实施方式进行具体描述。
52.1)本方案涉及一种汽车主驾座椅自适应调节视觉系统，该系统包括装有win10操作系统的嵌入式pc机、视觉识别模块、视觉测距模块等工具。
53.2)基于视觉识别模块和视觉测距模块的人体姿态识别和体态测量系统，视觉识别模块和视觉测距模块共同包括：dsl-3079-he相机和索尼imx179镜头，视觉识别模块和视觉测距模块所用相机通过usb连接到装有win10操作系统的pc机上，在pc机上安装matlab和pycharm并配置好python、opencv、openpose和tensoflow环境，后续的程序设计都用python代码实现。
54.3)视觉识别模块：首先制作识别人体姿态的数据集，通过双目摄像头拍摄一段在设定好的位置内人正常走动和伸手开车门的视频，将视频通过基于python的opencv和openpose代码解码成若干张图片，按照4：1的比例分为人体姿态的训练集和测试集，其中80％为人体姿态的训练集和20％为人体姿态的测试集。
55.4)通过数据标注软件labelimg在数据集上标注待测人体的矩形框。将数据集利用pc上的3060gpu在yolov5-tiny模型上进行训练，通过通道修剪算法修剪训练后的yolov5-tiny人体模型中的冗余通道和权重参数，将上述得到的权重参数应用于yolov5-tiny模型中用来检测人体姿态，通过判断姿态动作给控制器发出指令，正常行走系统不工作，检测到伸手开车门动作时系统开始工作，yolov5-tiny模型的结构如图1所示。
56.5)视觉测距模块：首先通过张正友相机标定法得到的双目相机立体标定参数，将其作为初代变量。通过bouguet算法对含有棋盘格的左右图像进行立体校正，检测出左右图像中棋盘格上所有的角点并得到相应的像素纵坐标，计算每个棋盘角点在立体校正后的左右图像中成像点在像素坐标系下纵坐标的差值和的平均值作为初代优化函数值。设置好初代变量、初代优化函数值、步长、随机方向向量、迭代次数和变步长系数后通过基于双目平行极线约束的天牛须搜索算法优化双目相机立体标定参数以得到最优参数。
57.6)制作视觉测距数据集采用与视觉识别同样的方法，通过数据标注软件labelimg在数据集上标注待测距区域矩形框。将数据集利用pc上的3060gpu在yolov5-tiny模型上进行训练以得到相应的权重参数为后续实时检测待测距区域矩形框做准备。将上述得到的权重参数应用于yolov5-tiny模型中用来检测实时图像中人体的待测距区域矩形框并将框的颜色显示成白色。之后利用图像二值化的特性通过将阈值设置为白色对应的灰度值对数据标注后的实时图像进行图像二值化以保留白色的待测距区域矩形框，滤除除白色外的冗余背景以减少后续检测出冗余的角点，最后利用矩形顶点特征的harris算法检测出四个角点得到像素坐标。将优化后的立体标定参数和待测距点的像素坐标结合sgbm立体匹配算法进行测距以得到人体高度和宽度数据。
58.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。