一种无人车VLA规划调度的FPGA加速方法及装置

本发明涉及无人车边缘智能感知与硬件加速，特别是涉及一种无人车vla规划调度的fpga加速方法、装置。

背景技术：

1、随着无人驾驶技术的发展，无人车需要在复杂道路环境中对周围目标、道路结构、可行驶区域以及动态交通参与者状态进行实时感知。现有无人车通常通过摄像头、激光雷达、毫米波雷达、定位导航设备、高精度地图以及车辆状态传感器等多源设备获取环境信息，并通过多模态融合感知方法完成环境理解。

2、近年来，多模态大模型和端到端感知模型逐渐应用于无人车感知任务。此类模型能够对视觉图像、点云、雷达、地图和车辆状态等异构信息进行统一建模，并输出目标识别、道路语义理解、空间占据预测等感知结果。然而，此类模型在推理过程中通常需要处理大量视觉词元、空间词元和状态词元，涉及跨模态特征对齐、注意力计算和多层网络映射，导致模型计算量大、存储访问频繁、推理延迟较高。将其直接部署于无人车边缘端时，容易受到车载算力、功耗、存储带宽和实时性要求的限制。

3、fpga具有可重构、低功耗、并行计算能力强和流水线处理效率高等特点，可用于无人车边缘端感知模型的推理加速。现有基于fpga的感知推理加速方案多针对固定网络结构、固定算子或单一模态模型进行加速，通常采用预设计算路径、固定计算精度和静态资源分配方式，难以适配多模态感知大模型在不同道路场景、不同传感器质量和不同硬件负载条件下的动态推理需求。当道路环境复杂度、各模态感知质量、词元重要性以及fpga片上资源状态发生变化时，现有方案难以根据当前感知任务动态调整参与推理的模态数据、词元数量、计算精度、缓存复用方式和并行执行方式，容易造成冗余计算、访存开销增加、片上资源利用率不足以及边缘端推理实时性下降。

4、因此，现有技术仍存在无人车边缘端多模态感知大模型推理延迟高、功耗较大、冗余计算多、存储访问开销大以及复杂场景下硬件资源利用效率不足的问题，亟需一种能够结合感知场景、模态词元重要性和fpga硬件状态进行自适应推理控制的fpga推理加速芯片及方法，以提高无人车边缘端多模态环境感知的实时性、能效和部署适应性。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明提出了一种无人车vla规划调度的fpga加速方法，通过获取当前规划周期的多源输入数据，包括环境感知词元和车辆状态词元；根据车速及障碍物信息计算综合风险值并确定解码时延预算，生成包含候选动作分支数量及计算资源分配比例的调度策略；依据该策略将kv缓存划分为安全、热、冷三层，将安全层和热层加载至fpga片上缓存，并根据资源分配比例配置可重构并行计算阵列，并行执行多个候选动作分支的前向解码，生成候选动作词元序列及对应的候选轨迹词元序列；将候选轨迹词元序列输入fpga硬件流水线中固化的安全约束验证逻辑进行并行硬约束验证，剔除不满足运动学连续性或碰撞安全距离的序列，对通过验证的序列进行一致性评分并选取最优结果输出，同时将命中率高的kv缓存块保留于片上以供下一周期复用。本发明通过硬件加速与动态调度策略，实现了vla规划解码的高效实时推理与安全可靠输出。

3、本发明的另一个目的在于提出一种无人车vla规划调度的fpga加速装置。

4、为达上述目的，本发明一方面提出一种无人车vla规划调度的fpga加速方法，包括：

5、获取无人车当前规划周期的多源输入数据，所述多源输入数据包括环境感知词元和车辆状态词元；根据车辆状态词元中的车速信息及环境感知词元中的障碍物信息，计算当前道路场景的综合风险值，并根据所述综合风险值确定解码时延预算；

6、根据所述综合风险值生成动作解码调度策略，动作解码调度策略包括候选动作分支数量及计算资源分配比例；根据动作解码调度策略将vla规划模型解码过程中生成的kv缓存划分为安全kv层、热kv层及冷kv层，将安全kv层和热kv层加载至fpga片上缓存，将冷kv层保留于片外存储；

7、根据计算资源分配比例配置fpga可重构并行计算阵列，在当前解码步中，基于片上缓存中的共享隐藏状态向量及安全kv层和热kv层的kv数据，在fpga可重构并行计算阵列上并行执行多个候选动作分支的前向解码计算，生成多组候选动作词元序列及分别对应的候选轨迹词元序列；

8、将所述候选轨迹词元序列输入fpga硬件流水线中固化的安全约束验证逻辑，所述安全约束验证逻辑包括车辆运动学连续性约束和碰撞安全距离约束，对所述候选轨迹词元序列进行并行硬约束验证，剔除不满足任一约束的候选轨迹词元序列，保留通过验证的候选轨迹词元序列；

9、对通过验证的候选轨迹词元序列进行一致性评分，选取最优的一组作为当前规划周期的动作规划结果并输出；同时，将当前解码步中命中率高于预设阈值的kv缓存块保留于片上缓存单元以用于下一规划周期。

10、本发明实施例的一种无人车vla规划调度的fpga加速方法还可以具有以下附加技术特征：

11、在本发明的一个实施例中，计算当前道路场景的综合风险值，包括：

12、获取车辆状态词元中的当前车速v，经输出车速风险项rv；获取环境感知词元中的前向障碍物距离d和相对接近速度δv，以前向碰撞时间作为输入，经输出前向碰撞风险项；

13、获取车道风险项、道路风险项rr，并将车速风险项rv、前向碰撞风险项、车道风险项和道路风险项rr输入加权融合逻辑，按照预设权重系数进行加权求和，输出当前道路场景的综合风险值。

14、在本发明的一个实施例中，根据所述综合风险值生成动作解码调度策略，包括：

15、将所述综合风险值r输入风险等级比较器，与预设的低风险阈值th_low和高风险阈值th_high进行比较：

16、当r≤th_low时，风险等级比较器输出低风险模式标识，低风险模式对应的动作解码调度策略包括：解码时延预算为第一时延预算t1、候选动作分支数量为第一数量n1、计算资源分配比例为第一比例p1；

17、当th_lown1；

18、当r≥th_high时，风险等级比较器输出高风险模式标识，高风险模式对应的动作解码调度策略包括：解码时延预算为第三时延预算t3、候选动作分支数量为第三数量n3、计算资源分配比例为第三比例p3；其中t3n2，且所述第三比例p3中分配给安全约束验证的计算资源占比高于第二比例p2和第一比例p1中分配给安全约束验证的计算资源占比。

19、在本发明的一个实施例中，将vla规划模型解码过程中生成的kv缓存划分为安全kv层、热kv层及冷kv层，包括：

20、获取当前解码步中各kv缓存块的语义标签，所述语义标签包括是否包含碰撞约束词元、是否包含车道边界词元、是否包含制动约束词元、是否位于车辆前向预设距离范围内、以及上一规划周期中的注意力命中次数；

21、将所述语义标签输入kv层级分类器，kv层级分类器按照预设判定规则输出各kv缓存块的层级标识；

22、当所述层级标识为安全kv层时，将对应的kv缓存块写入片上缓存单元中的安全kv锁定区，所述安全kv锁定区在当前规划周期内禁止置换；

23、当所述层级标识为热kv层时，将对应的kv缓存块写入片上缓存单元中的热kv驻留区，所述热kv驻留区内的kv缓存块在未被引用时允许按预设淘汰策略进行置换；

24、当所述层级标识为冷kv层时，将对应的kv缓存块保留于片外存储单元，当前解码步中不发起片外读取请求。

25、在本发明的一个实施例中，预设淘汰策略，包括：

26、获取热kv驻留区的当前已用容量和总容量，当已用容量达到总容量且需要写入新的热kv缓存块时，触发淘汰逻辑；

27、淘汰逻辑首先扫描热kv驻留区中各kv缓存块的引用计数器，将引用计数为零的kv缓存块标记为可淘汰候选；

28、若存在多个可淘汰候选kv缓存块，则读取各可淘汰候选kv缓存块的优先级分数q，将优先级分数q最低的kv缓存块确定为被淘汰块；其中优先级分数q根据区域相关性、安全关键性和历史注意力命中率计算得到；

29、将被淘汰块从热kv驻留区移除，释放淘汰块所占用的片上缓存空间，并将被淘汰块的元数据写回片外存储单元中的kv目录表。

30、在本发明的一个实施例中，在fpga可重构并行计算阵列上并行执行多个候选动作分支的前向解码计算，包括：

31、从片上缓存单元中读取当前解码步的共享隐藏状态向量h_t，并将共享隐藏状态向量h_t广播至fpga可重构并行计算阵列中的n个计算分区，每个计算分区对应一个候选动作分支；

32、各计算分区并行从片上缓存单元读取各自候选动作分支对应的动作词元嵌入向量和kv数据；

33、各计算分区独立执行注意力计算、前馈网络计算和输出头计算，生成对应候选动作分支的当前解码步动作词元概率分布，并基于动作词元概率分布采样得到当前解码步的动作词元；

34、将各候选动作分支在当前解码步生成的动作词元与上一解码步的轨迹状态拼接，经投射层生成对应的候选轨迹点，当生成的轨迹点数量达到预设时域长度时，停止当前候选动作分支的解码，输出完整的候选轨迹词元序列。

35、在本发明的一个实施例中，fpga硬件流水线中固化的安全约束验证逻辑包括车辆运动学连续性验证流水线和碰撞安全距离验证流水线，对候选轨迹词元序列进行并行硬约束验证，包括：

36、将候选轨迹词元序列中的各轨迹点坐标、速度、加速度和航向角数据并行输入车辆运动学连续性验证流水线；

37、车辆运动学连续性验证流水线基于离散运动学自行车模型，根据第k个轨迹点的状态量预测第k+1个轨迹点的状态量，计算预测状态量与候选轨迹词元序列中第k+1个轨迹点的实际状态量之间的偏差值，当偏差值超过预设连续性阈值时，输出候选轨迹词元序列的运动学连续性标志位为无效；

38、将候选轨迹词元序列中的各轨迹点位置输入碰撞安全距离验证流水线，碰撞安全距离验证流水线根据环境感知词元中的障碍物位置和尺寸计算各轨迹点与障碍物的最小距离，当所述最小距离小于预设安全距离阈值时，输出候选轨迹词元序列的碰撞安全标志位为无效；

39、将运动学连续性标志位和碰撞安全标志位输入逻辑与门，当任一标志位为无效时，剔除对应的候选轨迹词元序列。

40、在本发明的一个实施例中，所述对通过验证的候选轨迹词元序列进行一致性评分，包括：

41、获取通过验证的各候选轨迹词元序列，并将各候选轨迹词元序列中的轨迹点输入评分流水线；

42、评分流水线并行计算各候选轨迹词元序列的模型置信度分数、导航一致性分数、轨迹平滑性分数和安全裕度分数；

43、将所述模型置信度分数、导航一致性分数、轨迹平滑性分数和安全裕度分数输入加权求和器，按照预设的评分权重系数进行加权求和，输出各候选轨迹词元序列的综合评分s_score；

44、将各候选轨迹词元序列的综合评分s_score输入最大值选择器，最大值选择器输出综合评分s_score最高的候选轨迹词元序列作为当前规划周期的最优动作规划结果。

45、在本发明的一个实施例中，将当前解码步中命中率高于预设阈值的kv缓存块保留于片上缓存单元以用于下一规划周期，包括：

46、在当前解码步结束时，读取片上缓存单元中各kv缓存块的本次解码步被引用次数；

47、将被引用次数大于零的kv缓存块标记为已命中块，并根据已命中块在最近连续l个解码步中的总命中次数计算命中率h；其中，l为预设的统计窗口长度；

48、将命中率h输入比较器，当h≥预设命中率阈值h_th时，将对应的kv缓存块标记为保留块，维持保留块在片上缓存单元中的驻留状态；

49、当h

50、为达上述目的，本发明另一方面提出一种无人车vla规划调度的fpga加速装置，包括：

51、风险评估模块，用于获取无人车当前规划周期的多源输入数据，所述多源输入数据包括环境感知词元和车辆状态词元；根据车辆状态词元中的车速信息及环境感知词元中的障碍物信息，计算当前道路场景的综合风险值，并根据所述综合风险值确定解码时延预算；

52、调度分层模块，用于根据所述综合风险值生成动作解码调度策略，动作解码调度策略包括候选动作分支数量及计算资源分配比例；根据动作解码调度策略将vla规划模型解码过程中生成的kv缓存划分为安全kv层、热kv层及冷kv层，将安全kv层和热kv层加载至fpga片上缓存，将冷kv层保留于片外存储；

53、并行解码模块，用于根据计算资源分配比例配置fpga可重构并行计算阵列，在当前解码步中，基于片上缓存中的共享隐藏状态向量及安全kv层和热kv层的kv数据，在fpga可重构并行计算阵列上并行执行多个候选动作分支的前向解码计算，生成多组候选动作词元序列及分别对应的候选轨迹词元序列；

54、安全验证模块，用于将所述候选轨迹词元序列输入fpga硬件流水线中固化的安全约束验证逻辑，所述安全约束验证逻辑包括车辆运动学连续性约束和碰撞安全距离约束，对所述候选轨迹词元序列进行并行硬约束验证，剔除不满足任一约束的候选轨迹词元序列，保留通过验证的候选轨迹词元序列；

55、评分反馈模块，用于对通过验证的候选轨迹词元序列进行一致性评分，选取最优的一组作为当前规划周期的动作规划结果并输出；同时，将当前解码步中命中率高于预设阈值的kv缓存块保留于片上缓存单元以用于下一规划周期。

56、本发明实施例的一种无人车vla规划调度的fpga加速方法及装置，通过获取多源输入并计算综合风险值以确定解码时延预算，生成包含候选动作分支数量及资源分配比例的动态调度策略，将kv缓存划分为安全、热、冷三层并选择性加载至片上缓存，配置可重构并行计算阵列执行多分支前向解码，结合硬件固化的运动学连续性与碰撞安全距离约束流水线进行并行硬约束验证，并基于一致性评分选取最优规划结果，同时将高频命中缓存块保留以供下一周期复用。该方法有效解决了现有vla规划在车载资源受限下实时性不足与安全验证效率低的问题，实现了从风险评估、动态调度、并行解码、硬约束验证到缓存优化的全流程硬件加速一体化求解，显著提升了无人车决策规划的实时响应能力与轨迹安全性，增强了方法在复杂动态场景下的适应性与工程实用价值。

57、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。