一种自动泊车控制方法、装置、设备及存储介质与流程
本技术涉及车辆,具体地涉及一种自动泊车控制方法、装置、设备及存储介质。
背景技术:
1、自动泊车系统是一种辅助驾驶员将车辆泊入停车位的智能驾驶辅助系统,其通过车载传感器自动检测周围环境中的可用停车位,并控制车辆的转向、加速和制动操作以完成泊车动作。
2、相关技术中,存在将视觉语言模型应用于自动泊车场景的技术方案。视觉语言模型是一种能够同时处理图像和文本两种信息的人工智能模型,其通过视觉编码器对输入图像进行特征提取以理解图像内容,并通过文本解码器将图像内容转化为自然语言文本输出,从而具备对图像进行描述、分析和推理的能力。具体实现中,车载环视摄像头采集车辆周围的环境图像,环境图像被输入至预先部署的视觉语言模型,视觉语言模型通过对图像内容进行视觉编码和文本解码,输出描述当前泊车场景的自然语言文本。系统读取视觉语言模型输出的自然语言文本,从中提取决策相关信息,并依据所提取的信息生成泊车决策指令。
3、然而,上述方案在应用于实际泊车场景时,其决策可靠性存在不足。具体而言,视觉语言模型仅依赖图像输入进行场景理解,当视觉语言模型因光照异常或视角遮挡等原因而产生感知偏差或理解错误时,系统无法识别该偏差或错误,进而可能导致基于错误语义理解生成的泊车决策指令,引发碰撞风险。
4、需要指出的是,公开于本技术背景技术部分的信息仅仅旨在加深对本技术的一般背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成己为本领域技术人员所公知的现有技术。
技术实现思路
1、有鉴于此,本技术提供了一种自动泊车控制方法、装置、设备及存储介质,以利于解决相关技术中当视觉语言模型因光照异常或视角遮挡等原因而产生感知偏差或理解错误时,系统无法识别该偏差或错误,进而可能导致基于错误语义理解生成的泊车决策指令,引发碰撞风险的问题。
2、第一方面,本技术实施例提供了一种自动泊车控制方法,包括:
3、获取车辆预设范围内的环境图像,并将所述环境图像输入视觉语言模型进行推理,获得所述视觉语言模型输出的与所述环境图像对应的场景语义理解结果;
4、对所述场景语义理解结果进行可信度评估,获得表征所述场景语义理解结果可靠程度的可信度分数;
5、获取车辆周围障碍物的空间位置信息,并基于车辆外轮廓和所述空间位置信息建立几何安全包络模型;
6、根据所述场景语义理解结果规划泊车轨迹,并根据所述几何安全包络模型对所述泊车轨迹进行校验,判断所述泊车轨迹是否与所述几何安全包络模型发生干涉,并获取干涉校验的结果;
7、根据所述可信度分数和所述干涉校验的结果,生成泊车决策指令,其中,所述泊车决策指令为允许泊入、拒绝泊入或需人工确认三种决策状态中的一者。
8、在本技术实施例,通过获取环境图像并输入视觉语言模型进行推理以获得场景语义理解结果,使自动泊车系统具备了场景描述和语义关系推理能力。在获得场景语义理解结果之后,对该结果进行可信度评估以获取可信度分数,使系统能够量化识别模型输出是否可靠,从而当视觉语言模型产生感知偏差时,系统可通过该分数感知到输出可信度较低。同时,通过获取车辆周围障碍物的空间位置信息并建立几何安全包络模型,再根据语义理解结果规划泊车轨迹并由几何安全包络模型对该轨迹进行干涉校验,能够从物理层面对规划轨迹的安全性进行独立于视觉语言模型之外的验证,该几何校验不依赖视觉语言模型的输出。最终,将可信度分数与干涉校验结果两者共同作为决策依据以生成包含允许泊入、拒绝泊入或需人工确认三种决策状态的泊车决策指令,使决策过程融合了视觉语言模型内在置信度评判与外在物理安全校验两个维度的信息。由此,当一个维度提示异常时,另一维度能够予以补充或纠偏,从而提高了自动泊车系统在复杂场景下的决策可靠性。
9、在一种可能的实现方式中,所述对所述场景语义理解结果进行可信度评估,获得表征所述场景语义理解结果可靠程度的可信度分数,包括:
10、获取所述视觉语言模型输出层的概率分布数据,所述概率分布数据用于表征所述视觉语言模型在生成所述场景语义理解结果中的各输出词汇时,对各所述输出词汇的判定确信程度;
11、根据所述概率分布数据,确定所述场景语义理解结果中各个语义标签的置信度分数,其中,一个所述语义标签的置信度分数基于所述语义标签所对应的一个或多个输出词汇的概率值确定;
12、根据所述场景语义理解结果中各个语义标签的置信度分数,确定表征所述场景语义理解结果可靠程度的可信度分数。
13、在本技术实施例中,通过利用视觉语言模型输出层固有的词汇概率分布数据,能够在不引入额外评估网络的情况下获取各语义标签的置信度分数,进而确定整体可信度分数,从而为后续决策提供量化的可信度依据,使系统具备识别模型输出可靠性的能力。
14、在一种可能的实现方式中,在获得表征所述场景语义理解结果可靠程度的可信度分数之后,还包括:
15、根据获取的车辆的运动数据,将上一时刻的视觉语言模型识别结果中的静态障碍物的位置信息投影至当前时刻的车辆坐标系下,获得所述静态障碍物的预测位置信息;
16、获取当前时刻的视觉语言模型识别结果中所述静态障碍物的实际位置信息;
17、根据所述预测位置信息与所述实际位置信息,调整所述可信度分数。
18、在本技术实施例中,通过将上一时刻识别结果中的静态障碍物位置投影至当前时刻车辆坐标系下并与当前识别结果进行空间一致性比对,能够利用静态障碍物短时间内位置不变的物理特性对视觉语言模型的识别结果进行独立验证,并根据比对结果调整可信度分数,从而抑制因光照或遮挡等因素导致的单帧感知异常对可信度评估的影响。
19、在一种可能的实现方式中,
20、所述基于车辆外轮廓和所述空间位置信息建立几何安全包络模型,包括:根据所述车辆外轮廓尺寸建立车辆包络体;根据所述障碍物的空间位置信息建立障碍物包络体;设定所述车辆包络体与所述障碍物包络体之间的最小安全距离阈值;
21、所述根据所述几何安全包络模型对所述泊车轨迹进行校验,判断所述泊车轨迹是否与所述几何安全包络模型发生干涉,并获取干涉校验的结果,包括:沿所述泊车轨迹对所述车辆包络体的运动轨迹进行仿真,计算所述车辆包络体与各个障碍物包络体之间的最近距离;将所述最近距离与所述最小安全距离阈值进行比较,获取干涉校验的结果。
22、在本技术实施例中,通过建立车辆包络体和障碍物包络体并设定最小安全距离阈值,将物理空间安全问题转化为包络体之间的几何距离计算问题,再沿泊车轨迹仿真车辆包络体运动并计算其与各障碍物包络体的最近距离,能够以纯粹的几何计算方式对泊车轨迹进行独立于视觉语言模型的物理安全校验,该校验不受光照或遮挡等环境因素影响。
23、在一种可能的实现方式中,所述根据所述可信度分数和所述干涉校验的结果,生成泊车决策指令,包括:
24、当所述干涉校验的结果为所述泊车轨迹与所述几何安全包络模型发生干涉时,生成所述拒绝泊入的泊车决策指令或所述需人工确认的泊车决策指令。
25、在本技术实施例中,当干涉校验结果为泊车轨迹与几何安全包络模型发生干涉时,即表征在物理空间层面该轨迹已不满足安全通行条件,此时不论视觉语言模型输出的可信度分数高低,均将决策状态降级为拒绝泊入或需人工确认,从而避免单纯依赖语义理解可能引发的碰撞风险,使物理空间的安全判定结果在决策中具有优先效力。
26、在一种可能的实现方式中,所述根据所述可信度分数和所述干涉校验的结果,生成泊车决策指令,包括:
27、通过车载超声波雷达或车载毫米波雷达获取所述障碍物的距离测量值;
28、当所述距离测量值小于预设安全距离阈值,且所述可信度分数和所述干涉校验的结果所对应的泊车决策指令为允许泊入时,将所述泊车决策指令由所述允许泊入调整为所述需人工确认的泊车决策指令或所述拒绝泊入的泊车决策指令。
29、在本技术实施例中,通过将超声波或毫米波雷达的距离测量值与预设安全距离阈值进行比对,并在测量值小于阈值而当前决策状态为允许泊入时调整决策指令,使物理传感器测距结果能够对视觉语言模型的语义决策进行校验,当两者冲突时以物理测距为依据纠正决策,从而避免因语义理解偏差导致距离判断错误而引发的碰撞风险。
30、在一种可能的实现方式中,还包括:
31、当所述距离测量值触发障碍物报警,且所述场景语义理解结果将触发所述报警的障碍物识别为可移动障碍物、且对应的所述场景语义理解结果的所述可信度分数高于预设可信度阈值时,生成所述需人工确认的泊车决策指令。
32、在本技术实施例中,当距离测量值触发报警且视觉语言模型以高于预设阈值的可信度将触发报警的物体识别为可移动障碍物时,可移动障碍物具有被移走的可能性,因此不对泊车轨迹构成永久性限制,此时生成需人工确认的泊车决策指令,可在保证安全的前提下为可移动障碍物场景保留泊入可能性。
33、在一种可能的实现方式中,所述将所述环境图像输入视觉语言模型进行推理,包括:
34、获取所述环境图像的图像边缘复杂度、障碍物候选区域密度和光照直方图熵值中的至少一种;其中,所述图像边缘复杂度用于表征所述环境图像中车位标记线的清晰程度,所述障碍物候选区域密度用于表征所述环境图像中障碍物的稠密程度,所述光照直方图熵值用于表征所述环境图像的光照均匀程度;
35、根据所述图像边缘复杂度、所述障碍物候选区域密度和所述光照直方图熵值中的至少一种,确定场景复杂度等级;
36、根据所述场景复杂度等级,从预定义的多层级提示模板中选取与所述场景复杂度等级对应的目标提示模板;
37、将所述目标提示模板与所述环境图像共同输入所述视觉语言模型进行推理。
38、在本技术实施例中,通过提取环境图像的边缘复杂度、障碍物候选区域密度和光照直方图熵值三个维度的特征来确定场景复杂度等级,使复杂度评估具备多方面的客观依据,再根据该等级从预定义的多层级提示模板中选取对应的目标提示模板与环境图像共同输入视觉语言模型进行推理,使简单场景下启用较少提示层级以降低推理延迟和计算开销,复杂场景下启用较多提示层级以获取更充分的语义信息,从而兼顾不同场景下的响应速度与语义理解深度。
39、在一种可能的实现方式中,在所述根据所述可信度分数和所述干涉校验的结果,生成泊车决策指令之后,还包括:
40、在执行所述泊车决策指令所对应的泊车动作的过程中,持续监测当前泊车场景对应的场景复杂度等级;
41、当所述当前泊车场景对应的场景复杂度等级相对于所述场景复杂度等级发生等级上升时,重新获取车辆预设范围内的环境图像,并生成泊车决策指令。
42、在本技术实施例中,通过在执行泊车动作过程中持续监测场景复杂度等级,并在复杂度等级相对于初始评估发生上升时重新获取环境图像并生成决策指令,使系统能够感知泊车过程中的环境变化并及时更新决策,避免因初始决策所依据的场景条件发生显著改变而导致原有泊车轨迹不再适应变化后的场景。
43、第二方面,本技术实施例提供了一种自动泊车控制装置,包括:
44、场景语义理解结果获取模块,用于获取车辆预设范围内的环境图像,并将所述环境图像输入视觉语言模型进行推理,获得所述视觉语言模型输出的与所述环境图像对应的场景语义理解结果;
45、可信度分数获取模块,用于对所述场景语义理解结果进行可信度评估,获得表征所述场景语义理解结果可靠程度的可信度分数;
46、几何安全包络模型建立模块,用于获取车辆周围障碍物的空间位置信息,并基于车辆外轮廓和所述空间位置信息建立几何安全包络模型;
47、干涉校验的结果获取模块,用于根据所述场景语义理解结果规划泊车轨迹,并根据所述几何安全包络模型对所述泊车轨迹进行校验,判断所述泊车轨迹是否与所述几何安全包络模型发生干涉,并获取干涉校验的结果;
48、泊车决策指令生成模块,用于根据所述可信度分数和所述干涉校验的结果,生成泊车决策指令,其中,所述泊车决策指令为允许泊入、拒绝泊入或需人工确认三种决策状态中的一者。
49、第三方面,本技术实施例提供了一种电子设备,包括:
50、处理器;
51、存储器;
52、以及计算机程序,其中所述计算机程序被存储在所述存储器中,所述计算机程序包括指令,当所述指令被所述处理器执行时,使得所述电子设备执行第一方面中任意一项所述的方法。
53、第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行第一方面中任意一项所述的方法。
54、可以理解地,上述第二方面提供的自动泊车控制装置、上述第三方面提供的电子设备以及上述第四方面提供的计算机可读存储介质均用于执行本技术所提供的部分或者全部方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com