视觉检测方法、装置、车辆、介质以及程序产品与流程

本技术涉及智能座舱，尤其涉及一种视觉检测方法、装置、车辆、介质以及程序产品。

背景技术：

1、随着人工智能和计算机视觉技术的快速发展，基于视觉的自动化检测方法在工业检测、智能驾驶、人机交互等领域得到了广泛应用。在车载场景下，对仪表盘故障指示灯、中控屏界面元素等进行准确检测，是实现车辆状态监控和自动化测试的关键技术环节。

2、相关技术中，车载场景下的视觉检测结果不够准确，影响了车载系统的安全性和测试效率。因此，亟需一种视觉检测方法，以提升视觉检测的准确度，进而提高车载系统的安全性和测试效率。

技术实现思路

1、本技术提供一种视觉检测方法、装置、车辆、介质以及程序产品，用于提升视觉检测的准确性，进而提高车载系统的安全性和测试效率。

2、第一方面，本技术实施例提供一种视觉检测方法，包括：接收用户输入的场景文本，场景文本为对目标场景的描述；基于场景文本，从场景参考图像库中确定与目标场景相对应的目标场景参考图像；获取待检测图像；基于目标场景参考图像，确定待检测图像的视觉检测结果；视觉检测结果用于表征待检测图像中是否存在与目标场景相匹配的内容。

3、本技术实施例至少具有以下有益效果：本技术实施例通过获取用户输入的场景文本，基于场景文本从场景参考图像库中确定与目标场景相对应的目标场景参考图像，为视觉检测提供了参考，使视觉检测不再仅凭待检测图像自身的视觉信息进行判断，而是有了明确的比对依据，从而有效提升了车载场景下视觉检测的准确性，有助于提高车辆状态监控的可靠性和自动化测试的执行效率。此外，本技术实施例中用户只需输入场景文本即可完成对待检测图像的视觉检测，无需用户进行额外的复杂编码或规则配置，提高了用户的使用体验，提高了视觉检测的便捷性。

4、在一种可能的实现方式中，基于场景文本，从场景参考图像库中确定与目标场景相对应的目标场景参考图像，包括：从预设的键值对字典中确定与场景文本对应的目标键值对，键值对字典包括至少一个键值对，每个键值对用于指示场景参考图像库中的一张场景参考图像；基于目标键值对，从场景参考图像库中确定目标场景参考图像。

5、本技术实施例至少具有以下有益效果：本技术实施例通过引入预设的键值对字典，基于场景文本即可从键值对字典中快速索引到对应的目标键值对，实现了场景文本与目标场景参考图像的快速匹配，无需构建大规模的向量数据库或进行复杂的特征提取即可确定与目标场景相对应的目标场景参考图像，提高了匹配检索的速度，也降低了资源的占用率。

6、在一种可能的实现方式中，每个键值对包括键和值；每个键值对指示场景参考图像库中的一张场景参考图像，基于以下方式实现：每个键值对的键为：每个键值对指示的场景参考图像的文件名，每个键值对的值为：每个键值对指示的场景参考图像在场景参考图像库中的存储路径。

7、本技术实施例至少具有以下有益效果：本技术实施例通过将键值对的键配置为场景参考图像的文件名，值配置为对应场景参考图像的存储路径，可以通过键值对将场景参考图像的文件名与存储路径相关联，无需建立额外的索引映射或处理，降低了实现复杂度，减少了资源开销。

8、在一种可能的实现方式中，从预设的键值对字典中确定与场景文本对应的目标键值对，包括：获取场景文本与每个键的相似度；将相似度大于预设相似阈值且相似度最高的键所属的键值对，确定为目标键值对；基于目标键值对，从场景参考图像库中确定目标场景参考图像，包括：根据目标键值对中值对应的存储路径，从场景参考图像库中确定目标场景参考图像。

9、本技术实施例至少具有以下有益效果：本技术实施例通过确定场景文本与键值对中各键的相似度，并以预设相似阈值作为筛选条件，可以将相似度最高且超过预设相似阈值的键所属的键值对确定为目标键值对。由于键值对的值为存储路径，确定目标键值对后即可基于目标键值对的值直接从场景参考图像库中定位到对应的目标场景参考图像。由此，本技术在对目标场景参考图像的检索过程中，仅涉及相似度计算和路径读取，无需对场景参考图像的内容进行特征提取或向量化编码，可以在保证匹配精度的同时，降低检索开销，提高资源的利用率。

10、在一种可能的实现方式中，基于目标场景参考图像，确定待检测图像的视觉检测结果，包括：基于目标场景参考图像，生成提示词，提示词用于引导视觉语言模型（visionlanguage model，vlm）以目标场景参考图像为参考，判断待检测图像的属性与目标场景参考图像的属性是否匹配；将提示词和待检测图像输入vlm，得到vlm输出的视觉检测结果，视觉检测结果包括待检测图像的属性与目标场景参考图像的属性是否匹配的指示信息。

11、本技术实施例至少具有以下有益效果：本技术实施例通过基于目标场景参考图像生成提示词，可以通过提示词引导vlm以目标场景参考图像为参考对待检测图像进行判断。此外，本技术通过将提示词与待检测图像共同输入vlm，可以使得vlm在检测时有了明确的参照对象，而非仅凭其vlm自身的预训练知识对待检测图像进行判断，提高了视觉检测的准确性。

12、在一种可能的实现方式中，基于目标场景参考图像，生成提示词，包括：获取提示词模板；将目标场景参考图像转换为编码文本；编码文本用于表征目标场景参考图像的属性；将编码文本嵌入提示词模板，得到提示词。

13、本技术实施例至少具有以下有益效果：本技术实施例通过将目标场景参考图像转换为能够表征目标场景参考图像的属性的编码文本，并将编码文本嵌入提示词模板生成提示词，可以将目标场景参考图像的图像信息转换为文字的形式，使得目标场景参考图像能够作为提示词中的一部分与待检测图像共同输入vlm，进而使得vlm在接收到提示词后即可获知目标场景参考图像的相关信息，并将其作为判断待检测图像的依据，从而提升了视觉检测的准确性。

14、在一种可能的实现方式中，目标视觉场景为车载场景，待检测图像为车载摄像装置采集的车载显示屏的图像。

15、本技术实施例至少具有以下有益效果：本技术实施例通过将视觉检测方法应用于车载场景，且待检测图像为车载显示屏的图像，能够针对车载显示屏中的元素（例如故障指示灯、界面控件等）进行检测，辅助判断车辆状态或界面显示是否正常，提升了车载场景下视觉检测的准确性和实用性。

16、第二方面，本技术实施例提供了一种视觉检测装置，包括：接收模块，用于接收用户输入的场景文本，场景文本为对目标场景的描述；确定模块，用于基于场景文本，从场景参考图像库中确定与目标场景相对应的目标场景参考图像；获取模块，用于获取待检测图像；确定模块，还用于基于目标场景参考图像，确定待检测图像的视觉检测结果；视觉检测结果用于表征待检测图像中是否存在与目标场景相匹配的内容。

17、在一种可能的实现方式中，确定模块，具体用于从预设的键值对字典中确定与场景文本对应的目标键值对，键值对字典包括至少一个键值对，每个键值对用于指示场景参考图像库中的一张场景参考图像；基于目标键值对，从场景参考图像库中确定目标场景参考图像。

18、在一种可能的实现方式中，每个键值对包括键和值；每个键值对指示场景参考图像库中的一张场景参考图像，基于以下方式实现：每个键值对的键为：每个键值对指示的场景参考图像的文件名，每个键值对的值为：每个键值对指示的场景参考图像在场景参考图像库中的存储路径。

19、在一种可能的实现方式中，确定模块，具体用于获取场景文本与每个键的相似度；将相似度大于预设相似阈值且相似度最高的键所属的键值对，确定为目标键值对；根据目标键值对中值对应的存储路径，从场景参考图像库中确定目标场景参考图像。

20、在一种可能的实现方式中，确定模块，具体用于基于目标场景参考图像，生成提示词，提示词用于引导视觉语言模型vlm以目标场景参考图像为参考，判断待检测图像的属性与目标场景参考图像的属性是否匹配；将提示词和待检测图像输入vlm，得到vlm输出的视觉检测结果，视觉检测结果包括待检测图像的属性与目标场景参考图像的属性是否匹配的指示信息。

21、在一种可能的实现方式中，确定模块，具体用于获取提示词模板；将目标场景参考图像转换为编码文本；编码文本用于表征目标场景参考图像的属性；将编码文本嵌入提示词模板，得到提示词。

22、在一种可能的实现方式中，目标场景为车载场景，待检测图像为车载摄像装置采集的车载显示屏的图像。

23、第三方面，本技术提供了一种车辆，包括如上述第二方面及其任一种可能的实施方式的视觉检测装置。

24、第四方面，本技术提供一种计算机可读存储介质，计算机可读存储介质包括计算机程序或指令，当计算机程序或指令在设备上运行时，使得设备执行第一方面或第一方面的任意一种可能的实现方式中的方法。

25、第五方面，本技术提供了一种计算机程序产品，计算机程序产品包括计算机程序或指令，当计算机程序或指令在设备上运行时，使得设备执行第一方面或第一方面的任意一种可能的实现方式中的方法。

26、上述第二方面至第五方面与本技术实施例的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。需要说明的是，上述各个方面中的任意一个方面的各种可能的实现方式，在方案不矛盾的前提下，均可以进行组合。