一种无人车车速自适应的FPGA推理加速方法及装置
本发明涉及自动驾驶感知,特别是涉及一种无人车车速自适应的fpga推理加速方法、装置。
背景技术:
1、随着无人驾驶技术的发展,无人车需在复杂道路环境中实时感知目标、道路结构及动态交通参与者状态。现有方案通常通过摄像头、激光雷达、毫米波雷达等多源设备获取环境信息,并采用多模态融合感知方法完成环境理解。近年来,多模态大模型及端到端感知模型逐渐应用于无人车感知任务,能够对视觉、点云、雷达等异构信息统一建模并输出感知结果。然而,此类模型在推理过程中需处理大量词元,涉及跨模态对齐与注意力计算,导致计算量大、推理延迟高,直接部署于边缘端易受车载算力、功耗及实时性限制。
2、fpga凭借可重构、低功耗及并行计算优势,可用于边缘端感知模型加速。但现有fpga加速方案多针对固定网络结构或单一模态,采用预设计算路径与静态资源分配,难以适应不同道路场景、模态重要性及硬件负载的动态变化。当环境复杂度、词元重要性或片上资源状态改变时,现有方案无法动态调整参与推理的模态数据、词元数量、计算精度及并行方式,易造成冗余计算、访存开销大及资源利用率不足。
3、因此,现有技术仍存在推理延迟高、功耗较大、冗余计算多及复杂场景下硬件资源利用效率不足的问题,亟需一种能够结合感知场景、词元重要性与fpga硬件状态进行自适应推理控制的加速芯片及方法,以提高无人车边缘端多模态感知的实时性、能效与部署适应性。
技术实现思路
1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
2、为此,本发明提出了一种无人车车速自适应的fpga推理加速方法,通过获取多源感知数据及车速数据构建多模态感知输入;将车速、场景风险及硬件状态输入自适应控制单元,生成与车速和风险负相关的推理时延预算及自适应策略;根据该策略对感知区域、模态、词元数量及计算资源动态调度,生成包含高、中、低优先级区域及依次递减的词元保留比例、计算精度与并行度的调度结果;将多模态输入映射至可重构并行计算阵列,按梯度精度与并行度加速推理;解码输出满足时延预算的环境感知结果。本发明解决了边缘端多模态推理延迟高、资源利用率低的问题,实现了车速自适应的低时延高能效感知。
3、本发明的另一个目的在于提出一种无人车车速自适应的fpga推理加速装置。
4、为达上述目的,本发明一方面提出一种无人车车速自适应的fpga推理加速方法,包括:
5、获取无人车的多源感知数据及包含当前车速的车辆状态数据,进行时间同步、空间对齐与特征编码,构建多模态感知输入;
6、将当前车速、道路场景风险、感知任务优先级及fpga硬件状态输入车速自适应推理控制单元,生成与当前车速和道路场景风险负相关的推理时延预算及对应的自适应推理策略;
7、根据所述自适应推理策略,对感知区域、模态输入、词元数量、融合精度、计算并行度及片上缓存资源进行动态调度,生成包含各区域优先级标识与差异化计算配置的调度结果;优先级标识包括高优先级区域、中优先级区域和低优先级区域;当当前车速或道路场景风险高于相应阈值时,提高前向行驶区域及障碍物相关区域的优先级至高优先级区域,并为高优先级区域、中优先级区域和低优先级区域分别配置依次递减的词元保留比例、计算精度、缓存驻留优先级,以及依次递减的计算并行度;
8、根据调度结果中的差异化计算配置,将多模态感知输入映射至fpga可重构并行计算阵列,并对高优先级区域采用第一计算精度与第一并行度、对中优先级区域采用低于第一计算精度的第二计算精度及低于第一并行度的第二并行度、对低优先级区域采用低于第二计算精度的第三计算精度及低于第二并行度的第三并行度执行加速推理,得到中间推理结果;
9、对中间推理结果解码或后处理,输出满足推理时延预算的无人车环境感知结果。
10、本发明实施例的一种无人车车速自适应的fpga推理加速方法还可以具有以下附加技术特征:
11、在本发明的一个实施例中,所述获取无人车的多源感知数据及包含当前车速的车辆状态数据,进行时间同步、空间对齐与特征编码,构建多模态感知输入,包括:
12、获取摄像头图像数据、激光雷达点云数据、毫米波雷达数据、惯性测量单元/全球定位系统数据及地图数据中的一种或多种作为多源感知数据,并获取车速、加速度、转向角、制动状态、挡位状态及车辆航向角中的一种或多种作为车辆状态数据;
13、对各数据附加时间戳,以当前感知周期目标时刻为基准,从缓存队列中选取与目标时刻时差最小的数据帧,并当不同传感器数据帧之间的时间差不大于由当前车速确定的同步容差时,作为有效融合输入;
14、将有效融合输入中的图像数据与点云数据分别进行尺度归一化、畸变校正及特征编码,获得图像特征与点云特征,并根据标定参数将图像特征与点云特征对齐至统一车辆坐标系,进而映射至鸟瞰图空间,得到多模态感知输入。
15、在本发明的一个实施例中,将当前车速、道路场景风险、感知任务优先级及fpga硬件状态输入车速自适应推理控制单元,生成与当前车速和道路场景风险负相关的推理时延预算及对应的自适应推理策略,包括:
16、将当前车速、前方最近障碍物距离、目标密度、道路结构复杂度、车道线清晰度及交通参与者数量输入道路场景风险评估模块,输出归一化的道路场景风险评分;
17、将可用逻辑资源比例、片上缓存占用率、片外存储带宽占用率及当前推理队列长度输入fpga硬件状态监测模块,输出fpga硬件状态向量;
18、将当前车速、所述道路场景风险评分及fpga硬件状态向量输入推理时延预算生成模块,输出与当前车速及道路场景风险评分负相关、且不低于预设下限的推理时延预算;
19、将所述推理时延预算、所述道路场景风险评分、感知任务优先级及fpga硬件状态向量输入推理策略生成模块,输出包含感知区域调度策略、模态输入调度策略、词元数量配置策略、计算精度配置策略及并行度配置策略的自适应推理策略。
20、在本发明的一个实施例中,根据所述自适应推理策略,对感知区域、模态输入、词元数量、融合精度、计算并行度及片上缓存资源进行动态调度,生成包含各区域优先级标识与差异化计算配置的调度结果,包括:
21、将感知空间划分为前向行驶区域、侧向区域、后向区域及近距离交互区域,并根据当前车速及道路场景风险,为每个区域计算区域优先级评分;
22、将区域优先级评分高于第一阈值的区域标识为高优先级区域,将区域优先级评分低于第二阈值的区域标识为低优先级区域,将区域优先级评分介于第二阈值与第一阈值之间的区域标识为中优先级区域,其中第二阈值小于第一阈值;
23、为高优先级区域分配第一词元保留比例、第一计算精度及第一缓存驻留优先级,为中优先级区域分配第二词元保留比例、第二计算精度及第二缓存驻留优先级,为低优先级区域分配第三词元保留比例、第三计算精度及第三缓存驻留优先级;其中,第一词元保留比例大于第二词元保留比例,第二词元保留比例大于第三词元保留比例;第一计算精度高于第二计算精度,第二计算精度高于第三计算精度;第一缓存驻留优先级高于第二缓存驻留优先级,第二缓存驻留优先级高于第三缓存驻留优先级;
24、将各区域标识与对应的计算配置打包为区域调度描述符,作为调度结果输出。
25、在本发明的一个实施例中,区域优先级评分由纵向距离评分、横向位置评分、目标风险评分及道路结构评分加权计算得到;其中,纵向距离评分随bev网格块与车辆前方距离增大而降低,横向位置评分在当前车道内取最高值、在相邻车道内取中间值、在道路边缘取较低值,目标风险评分在存在高置信度障碍物时取最高值、无障碍物时取较低值,道路结构评分在包含车道边界或可行驶区域边界时取最高值、否则取较低值;
26、并且,根据当前车速所处区间对加权系数进行动态调整:当当前车速处于低速区间时,提高所述横向位置评分的权重以增强近距离及相邻车道区域的感知优先级;当当前车速处于中速区间时,保持各评分项的默认权重;当当前车速处于高速区间时,提高所述纵向距离评分的权重以增强前方远距离区域的感知优先级。
27、在本发明的一个实施例中,所述根据调度结果中的差异化计算配置,将多模态感知输入映射至fpga可重构并行计算阵列,并对高优先级区域采用第一计算精度与第一并行度、对中优先级区域采用低于第一计算精度的第二计算精度及低于第一并行度的第二并行度、对低优先级区域采用低于第二计算精度的第三计算精度及低于第二并行度的第三并行度执行加速推理,得到中间推理结果,包括:
28、对多模态感知模型进行解析,生成包含图像特征编码算子、点云特征编码算子、空间转换算子、特征融合算子及感知输出算子的计算图;
29、根据调度结果中高优先级区域对应的差异化计算配置,为高优先级区域对应的算子实例分配第一数量计算簇及第一计算精度;
30、根据调度结果中中优先级区域对应的差异化计算配置,为中优先级区域对应的算子实例分配第二数量计算簇及第二计算精度;
31、根据调度结果中低优先级区域对应的差异化计算配置,为低优先级区域对应的算子实例分配第三数量计算簇及第三计算精度;
32、其中,第一数量计算簇大于第二数量计算簇,第二数量计算簇大于第三数量计算簇;第一计算精度高于第二计算精度,第二计算精度高于第三计算精度;
33、将各算子按照数据流顺序映射至已分配的计算簇上,执行卷积、矩阵乘法、注意力计算及特征融合运算,逐层输出中间推理结果。
34、在本发明的一个实施例中,动态调度还包括模态输入调度:
35、分别对摄像头图像数据和激光雷达点云数据进行模态质量评估,得到图像质量评分和点云质量评分;
36、当图像质量评分低于预设图像阈值时,提高点云特征在融合过程中的权重,并降低低质量图像区域对应词元的计算优先级;当点云质量评分低于预设点云阈值时,提高图像特征在远距离感知中的权重,并降低点云稀疏区域对应词元的计算优先级;当两者均不低于对应阈值时,按照当前车速和道路场景风险确定的感知区域优先级执行融合推理。
37、在本发明的一个实施例中,所述对中间推理结果解码或后处理,输出满足推理时延预算的无人车环境感知结果,包括:
38、将中间推理结果输入至输出头计算单元,执行目标类别解码、边界框回归、可行驶区域分割或道路结构解析,生成目标检测结果、障碍物识别结果、可行驶区域识别结果或语义分割结果中的一种或多种;
39、将结果打包为环境感知消息,并附加当前推理周期的实际耗时标识;当实际耗时不超过推理时延预算时,直接将环境感知消息发送至无人车规划模块或控制模块;当实际耗时超过推理时延预算时,在输出前对感知结果进行降采样或跳过低优先级区域的检测输出,并将超时标志一并输出以供上层模块进行容错处理。
40、在本发明的一个实施例中,fpga可重构并行计算阵列包括多个可动态配置的计算簇,每个计算簇包含乘加计算单元、地址发生器、量化计算单元及局部缓存;所述方法还包括:
41、根据调度结果中的差异化计算配置,动态配置各计算簇的量化参数、数据流路径及局部缓存分区;
42、对于高优先级区域对应的计算簇,配置为16位定点精度,使能全部乘加单元,并分配第一缓存分区大小;
43、对于中优先级区域对应的计算簇,配置为混合精度,使能部分乘加单元,并分配第二缓存分区大小,其中所述第二缓存分区大小小于所述第一缓存分区大小;
44、对于低优先级区域对应的计算簇,配置为8位定点精度,根据稀疏计算掩码关断部分乘加单元,并分配第三缓存分区大小,其中所述第三缓存分区大小小于所述第二缓存分区大小。
45、为达上述目的,本发明另一方面提出一种无人车车速自适应的fpga推理加速装置,包括:
46、输入构建模块,用于获取无人车的多源感知数据及包含当前车速的车辆状态数据,进行时间同步、空间对齐与特征编码,构建多模态感知输入;
47、策略生成模块,用于将当前车速、道路场景风险、感知任务优先级及fpga硬件状态输入车速自适应推理控制单元,生成与当前车速和道路场景风险负相关的推理时延预算及对应的自适应推理策略;
48、调度模块,用于根据所述自适应推理策略,对感知区域、模态输入、词元数量、融合精度、计算并行度及片上缓存资源进行动态调度,生成包含各区域优先级标识与差异化计算配置的调度结果;优先级标识包括高优先级区域、中优先级区域和低优先级区域;当当前车速或道路场景风险高于相应阈值时,提高前向行驶区域及障碍物相关区域的优先级至高优先级区域,并为高优先级区域、中优先级区域和低优先级区域分别配置依次递减的词元保留比例、计算精度、缓存驻留优先级,以及依次递减的计算并行度;
49、推理加速模块,用于根据调度结果中的差异化计算配置,将多模态感知输入映射至fpga可重构并行计算阵列,并对高优先级区域采用第一计算精度与第一并行度、对中优先级区域采用低于第一计算精度的第二计算精度及低于第一并行度的第二并行度、对低优先级区域采用低于第二计算精度的第三计算精度及低于第二并行度的第三并行度执行加速推理,得到中间推理结果;
50、输出模块,用于对中间推理结果解码或后处理,输出满足推理时延预算的无人车环境感知结果。
51、本发明实施例的一种无人车车速自适应的fpga推理加速方法及装置,通过获取多源感知数据及车速数据构建多模态输入;将车速、道路场景风险、任务优先级及fpga硬件状态输入自适应控制单元,生成与车速及风险负相关的推理时延预算及自适应策略;根据该策略动态调度感知区域、模态输入、词元数量、计算精度、并行度及片上缓存资源,生成含优先级标识与差异化计算配置的调度结果;将多模态输入映射至可重构并行计算阵列,对高、低优先级区域分别采用第一、第二计算精度及并行度执行加速推理;解码后输出满足时延预算的环境感知结果。本发明有效解决了现有方案因静态资源分配导致的推理延迟高、硬件利用率不足的问题,实现了车速自适应的低延迟、高效率边缘端感知推理,显著提升了无人车在复杂场景下的实时响应能力与部署适应性。
52、本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com