一种公交车载多模态目标检测AI智能体系统的制作方法
本发明涉及人工智能及智能交通,尤其涉及一种公交车载多模态目标检测ai智能体系统。
背景技术:
1、人工智能及智能交通技术领域通常围绕道路环境感知、车辆运行状态分析及交通目标识别开展数据采集、传输、计算、判断与存储,车载摄像装置、激光雷达、毫米波雷达、定位设备及车辆接口可分别获取道路图像、点云、测距信息、位置轨迹和运行参数,并由车载计算设备按照时间、空间位置及传感器对应关系进行整理和关联,公交车载多模态目标检测ai智能体是指面向公交车辆行驶场景,对车辆、行人及其他道路目标进行检测和特征识别的系统,通常将不同车载传感器取得的数据进行时序对应和空间匹配,依据目标轮廓、位置、类别、运动状态及相邻时刻记录完成目标定位、类别判定、特征提取与目标关联,并将处理结果存储于车载设备或传送至服务器。
2、现有公交车载目标检测中,摄像装置以及激光雷达和毫米波雷达采集的数据按时间和空间位置进行对应,依据目标位置、类别、特征和运动状态完成目标关联,当受遮挡和车辆运动影响时,同一目标在不同数据来源下的位置、类别或关联结果存在差异,传统流程依据当前观测和相邻时刻记录判定,对数据来源差异缺少针对具体目标的处理依据,冲突目标和一致目标进入相近处理过程,车载计算设备的数据处理量随目标数量增加。
技术实现思路
1、本发明旨在提供一种公交车载多模态目标检测ai智能体系统,通过对车载摄像装置、激光雷达和毫米波雷达采集的多模态数据进行时间和空间对应处理,结合目标证据记录、可信状态评估、冲突回查以及任务调度机制,对不同数据来源下目标检测结果进行关联、校验和修正,解决公交车载环境中因多源检测数据存在位置偏差、类别不一致以及目标关联不确定导致目标检测及特征识别结果一致性不足的问题。
2、为实现上述目的,本发明采用如下技术方案,一种公交车载多模态目标检测ai智能体系统,包括多模态数据接入单元、目标证据管理单元、可信度评估单元、冲突回查单元和ai智能体任务调度单元;
3、多模态数据接入单元用于获取车载摄像装置、激光雷达和毫米波雷达采集的多模态数据,并记录各多模态数据对应的采集时间和数据来源,使不同数据来源的检测数据具备对应的数据时间信息和来源信息;
4、目标证据管理单元用于按照采集时间和空间位置对多模态数据进行对应处理,将不同采集设备获取的数据转换为对应关系,对对应后的多模态数据进行目标检测,获得各目标的位置、类别、特征和运动状态,并结合相邻采集时间下的位置、特征和运动状态确定身份关联状态,形成与各目标对应的目标证据记录。
5、进一步地,目标证据管理单元将采集时间落入同一时间对应区间的多模态数据确定为待对应数据,并依据车载摄像装置、激光雷达和毫米波雷达之间的空间标定关系,将待对应数据转换至统一空间位置,对不同数据来源下的候选目标进行检测,获得候选目标的位置、类别、特征和运动状态,再根据候选目标之间的空间位置对应关系和类别一致关系建立同一目标对应关系,将对应候选目标的位置、类别、特征、运动状态及数据来源写入目标证据记录。
6、进一步地,目标证据管理单元根据相邻采集时间下目标的位置变化和运动状态确定预测位置,将后一采集时间下的目标位置与预测位置进行比较,并对相邻采集时间下的目标特征进行一致性比较,当位置偏差满足关联距离条件且目标特征满足一致条件时,生成关联成立状态,当任一条件不满足时生成关联待核状态,并将关联成立状态或关联待核状态写入目标证据记录作为身份关联状态。
7、进一步地,当目标证据记录中的身份关联状态为关联待核状态时,提取对应目标在连续采集时间下的目标位置、目标特征和运动状态形成历史观测序列,根据历史观测序列中的运动状态确定对应采集时间的预测位置,并对目标位置与预测位置之间的位置关系以及目标特征一致关系进行复核,当连续复核时间窗内的位置偏差持续满足关联距离条件且目标特征持续满足一致条件时,将关联待核状态更新为关联成立状态,当任一条件不满足时维持关联待核状态并继续执行后续采集时间的数据复核;
8、可信度评估单元用于根据同一目标在不同数据来源下的位置偏差、类别一致性和身份关联状态确定各数据来源对应的可信状态,并将可信状态写入目标证据记录。
9、进一步地,可信度评估单元从目标证据记录中提取同一采集时间下同一目标在各数据来源对应的位置、类别和身份关联状态,将任一数据来源对应目标的位置分别与其他数据来源对应目标的位置进行比较,根据位置一致关系形成位置一致结果,并根据类别对应关系形成类别一致结果,当位置一致结果和类别一致结果均满足一致条件且身份关联状态为关联成立状态时,将对应数据来源确定为可信参与状态,当任一条件不满足时,将对应数据来源确定为待复核状态,并将可信参与状态或待复核状态作为可信状态写入目标证据记录。
10、进一步地,针对处于待复核状态的数据来源,在后一采集时间重新获取位置一致结果、类别一致结果和身份关联状态,当位置一致结果和类别一致结果均满足一致条件且身份关联状态为关联成立状态时,将对应数据来源由待复核状态更新为可信参与状态,当任一条件不满足时维持待复核状态,并继续依据后一采集时间的数据执行复核。
11、冲突回查单元用于比较同一目标在不同数据来源下的位置、类别和身份关联状态,当比较结果不满足一致条件时生成冲突状态,并根据目标证据记录中的位置和运动状态确定回查范围,形成对应的回查任务;
12、当比较结果满足一致条件时,将对应目标标记为一致状态。
13、进一步地,冲突回查单元从目标证据记录中提取同一目标在不同数据来源下的位置、类别和身份关联状态,分别比较位置之间的偏差、类别之间的一致关系以及身份关联状态之间的一致关系,当位置偏差超出位置一致范围、类别不一致或身份关联状态不一致时生成冲突状态,并根据产生冲突状态的目标位置和运动状态确定后一采集时间对应的预测位置,以预测位置对应的车载摄像装置采集区域、激光雷达采集区域和毫米波雷达采集区域确定回查范围。
14、进一步地,冲突回查单元按照可信状态从参与冲突状态判定的数据来源中确定待回查数据来源,提取回查范围内与目标对应的多模态数据,并按照采集时间对提取的多模态数据进行对应,根据位置、类别和身份关联状态重新进行目标匹配,当重新匹配结果满足位置一致、类别一致和身份关联状态一致时,将重新匹配结果写入目标证据记录并结束回查任务,当任一一致条件不满足时,保留冲突状态并依据后一采集时间对应的多模态数据继续执行回查任务。
15、ai智能体任务调度单元用于根据冲突状态和车载处理器负载对回查任务进行排序,控制冲突回查单元按照可信状态选择对应数据来源,并对回查范围内的多模态数据重新进行目标匹配,将匹配结果写入目标证据记录。
16、进一步地,ai智能体任务调度单元读取冲突状态对应的回查任务以及车载处理器负载,根据回查任务中位置冲突、类别冲突和身份关联状态冲突的数量确定冲突级别,以冲突级别作为第一排序依据,并以回查任务生成时间作为第二排序依据形成回查任务队列,当车载处理器负载低于预设负载上限时,按照回查任务队列中的排序向冲突回查单元依次下发回查任务,当车载处理器负载达到预设负载上限时,保持未下发的回查任务在回查任务队列中的排序,并在车载处理器负载低于预设负载上限后继续下发。
17、进一步地,ai智能体任务调度单元在冲突回查单元完成排序首位的回查任务后,将完成的回查任务从回查任务队列中移除,并重新获取车载处理器负载,当回查任务队列非空且车载处理器负载低于预设负载上限时,向冲突回查单元下发重新排序后位于首位的回查任务,当回查任务队列非空且车载处理器负载达到预设负载上限时,保持回查任务队列并暂停下发,待车载处理器负载低于预设负载上限后恢复下发,当回查任务队列为空时结束当前回查调度。
18、对于一致状态对应的目标以及完成回查任务的目标,依据对应的目标证据记录确定目标位置、目标类别和目标特征,形成目标检测及特征识别结果。通过上述技术方案,实现对公交车载多模态数据中目标检测结果的对应管理、可信状态评估、冲突回查以及任务调度处理,使不同数据来源下目标信息能够基于目标证据记录进行关联和修正。
19、本发明的工作原理及优点在于:
20、本发明中,通过按照采集时间和空间位置对应多模态数据,将目标位置、类别、特征、运动状态和身份关联状态形成目标证据记录,根据位置偏差、类别一致性和身份关联状态确定可信状态,使回查按可信状态选择数据来源,比较结果不满足一致条件时,依据目标位置和运动状态确定回查范围并形成回查任务,比较结果满足一致条件时形成一致状态,结合冲突状态和车载处理器负载对回查任务排序,对回查范围内多模态数据重新进行目标匹配并写入目标证据记录,减少一致状态目标重复处理,并依据目标证据记录形成目标检测及特征识别结果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com