一种车辆工况实时自标注方法、系统及车辆与流程
本发明涉及自动驾驶视觉感知,尤其涉及一种车辆工况实时自标注方法、系统及车辆。
背景技术:
1、在自动驾驶数据采集中,车辆工况标签(如起步等)是后续算法迭代与功能验证的基础,目前多采用“先采集、后标注”的离线模式:采集阶段通过车载摄像头记录视频,同时从车载can总线获取车速、加速度、转向角等信号;标注阶段依靠人工回放视频并结合can信号手动打标签。然而,该方式依赖can总线接入,需原厂授权或额外硬件改装,不同车型适配困难,且整个过程需在后处理阶段离线人工标注,效率低、周期长、主观性高且无法当场修正,重新补采成本高。
2、为提高效率,还提出can信号阈值触发与视觉检测相结合的半自动工况识别,但识别结果还需人工再逐条确认或事后修正,若在驾驶过程中使用触摸屏等进行同步确认,则需眼手离开驾驶任务,存在安全风险。
技术实现思路
1、为解决上述现有自动驾驶数据的采集依赖车载总线接入导致适配性差、采集后再人工离线标注导致成本高效率低、纯视觉采集与标注的方式无法闭环且安全性差的问题,本发明提供了一种车辆工况实时自标注方法、系统及车辆,在视觉检测的基础上引入语音交互策略,可在不依赖can总线、不在驾驶过程中操作图形界面的前提下,实现轻量化的边采集、边标注、边校验的高效安全作业。
2、第一方面,本发明提供了一种车辆工况实时自标注方法。
3、一种车辆工况实时自标注方法,包括:
4、在车辆驾驶过程中,持续获取车辆周边的连续视频帧图像序列;
5、利用时序视觉模型对图像序列进行实时推理,输出当前车辆工况标签及置信度;
6、比较置信度与预设阈值,当置信度高于预设阈值时,直接将工况标签及其对应的图像序列时间戳绑定存储,反之则触发确认车辆工况的语音播报;
7、在设定语音窗口内采集驾驶人员的语音回复,利用命令词识别模型识别语音回复中的限定关键词,并根据识别结果执行确认、修正或丢弃操作;若超时未响应,则标记为待复核状态;
8、将最终车辆工况标签及其对应的时间戳绑定形成片段并存储,形成带标签的车辆工况视觉数据集。
9、进一步的技术方案,通过滑动窗口方式,按时间顺序依次截取固定帧数的视频帧图像序列,输入至时序视觉模型;
10、所述时序视觉模型采用轻量化卷积网络作为主干网络,所述轻量化卷积网络由多个基本模块堆叠形成,包括升维逐点卷积、深度可分离卷积,用于提取输入图像的空间特征;
11、所述轻量化卷积网络后设置时序位移模块,用于提取时空特征;所述时序位移模块将输入特征图的通道划分为三组,第一组沿时间维度前移一帧,第二组沿时间维度后移一帧,第三组保持不变,以零参数代价实现相邻帧间特征融合;
12、所述时序视觉模型还包括设置在时序位移模块后的全局平均池化层和全连接分类头,提取的时空特征经全局平均池化层聚合后,通过全连接分类头输出各工况类别的概率分布,取最大概率对应类别作为工况标签,取最大概率值作为置信度。
13、进一步的技术方案,所述时序位移模块的位移比例采用1/8,为:将输入特征图通道的前1/8通道作为第一组,将输入特征图通道的后1/8通道作为第二组,其余特征图通道作为第三组。
14、进一步的技术方案,所述工况标签预先定义多类别车辆动态行为,包括:起步、停车、匀速、加速、减速、左转、右转、掉头、换道、跟车、拥堵缓行、行人横穿、红绿灯前停车、红绿灯起步、环岛行驶、匝道进入、匝道离开、紧急制动、倒车及其它类别,每类工况标签对应固定语音播报文本与标签标识符。
15、进一步的技术方案,还包括:在工况标签切换时触发语音播报,为:
16、当连续多帧序列推理输出的工况标签与当前已存储工况标签不一致且新工况标签的置信度超过预设最低阈值时,判定发生工况标签切换,此时对当前已积累的旧工况标签的图像序列进行截断,形成旧工况标签对应的片段并存储,再对新工况标签片段启动语音确认流程。
17、进一步的技术方案,所述语音窗口在语音播报结束后自动开启;在语音窗口有效期内发生新的工况切换触发事件时,新触发事件进入待处理队列,当前语音交互完成后按队列顺序依次处理,当队列中待处理事件数量超过预设上限时,超出部分自动标记为待复核。
18、进一步的技术方案,所述限定关键词至少包括确认指令、修正为指定工况类别的修正指令、忽略指令、重复播报指令;所述命令词识别模型对不属于所述限定关键词的语音内容执行拒识,拒识后重新开启语音窗口最多重试一次,仍拒识则标记为待复核状态;所述语音窗口时长不短于500ms。
19、进一步的技术方案,所述命令词识别模型包括特征提取模块、二维卷积网络、全局平均池化层、全连接分类头;
20、将麦克风采集的原始音频输入至命令词识别模型中,先通过特征提取模块进行分帧加窗处理,经短时傅里叶变换和梅尔滤波器组提取梅尔频谱图特征;再将梅尔频谱图输入多层二维卷积网络,逐层提取局部时频模式,经全局平均池化得到固定长度的语音特征向量;最后经全连接分类头输出各指令类别的概率分布,取最大概率类别作为识别结果,对不属于预设词表的语音内容执行拒识。
21、进一步的技术方案,经语音确认或语音修正的图像序列及其对应的工况标签保存至自训练缓存,通过无线通信连接或有线通信连接定期上传服务器用于时序视觉模型的增量重训练,形成采集-标注-训练持续优化闭环。
22、第二方面,本发明提供了一种车辆工况实时自标注系统。
23、一种车辆工况实时自标注系统,包括:
24、图像采集单元,用于在车辆驾驶过程中,持续获取车辆周边的连续视频帧图像序列;
25、工况推理单元,用于利用时序视觉模型对图像序列进行实时推理,输出当前车辆工况标签及置信度;
26、触发判断单元,用于比较置信度与预设阈值,当置信度高于预设阈值时,直接将工况标签及其对应的图像序列时间戳绑定存储,反之则触发确认车辆工况的语音播报;
27、语音交互单元,用于在设定语音窗口内采集驾驶人员的语音回复,利用命令词识别模型识别语音回复中的限定关键词,并根据识别结果执行确认、修正或丢弃操作;若超时未响应,则标记为待复核状态;
28、存储单元,用于将最终车辆工况标签及其对应的时间戳绑定形成片段并存储,形成带标签的车辆工况视觉数据集。
29、第三方面,本发明还提供了一种车辆,包括上述的车辆工况实时自标注系统,或执行上述的车辆工况实时自标注方法。
30、第四方面,本发明还提供了一种电子设备,包括:存储器,用于存储可执行指令;处理器,用于执行所述存储器中存储的可执行指令时,实现上述的车辆工况实时自标注方法。
31、第五方面,本发明还提供了一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行所述可执行指令时,实现上述的车辆工况实时自标注方法。
32、以上一个或多个技术方案存在以下有益效果:
33、本发明提供了一种车辆工况实时自标注方法、系统及车辆,仅通过车载摄像头持续获取图像序列,不依赖车载can总线或其他传感器,实现纯视觉工况实时识别,有效解决现有技术中依赖车载总线接入、车型适配困难的问题;利用轻量化时序视觉模型对图像序列进行实时推理,通过时序位移模块以零参数代价实现相邻帧间特征融合,并经int8量化后在车机npu(神经处理单元)上实现8ms单帧推理延迟,满足30帧每秒实时需求,实现轻量化识别并提高识别的实时性;采用置信度分级触发策略,高置信度结果直接落盘,低置信度结果触发语音播报,同时在工况标签切换时自动触发语音确认流程,通过语音双向交互使采集人员无需操作图形界面即可完成确认或修正,避免了现有纯视觉离线方案无法闭环的弊端,实现边采集、边标注、边校验的闭环作业模式,可当场修正误判样本,提高了采集安全性与标注效率,解决了现有技术中图形界面交互危及安全、离线人工标注效率低的问题;经语音确认或修正的样本回流用于模型增量重训练,形成采集-标注-训练持续优化闭环,降低了后续数据清洗成本,提升了数据质量与模型迭代效率。
34、本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com