一种面向移动雷达多模态数据的跨芯片零拷贝推理方法及系统与流程

本发明属于多模态数据缓冲、跨芯片内存映射和边缘ai零拷贝推理，具体涉及在石油领域移动雷达应急指挥车的空间、功率、散热、通信和国产化算力受限条件下，利用可执行的软件算法与车载硬件状态形成闭环控制的技术方案。

背景技术：

1、移动雷达应急指挥车需要在油田井场、罐区、长输管线和复杂野外环境中完成雷达感知、红外/可见光识别、无人机协同、风险评估、资源调度和通信保障。与固定数据中心不同，车辆内部存在舱室隔断、算力节点异构、热容量有限、ups供电受限、链路波动和机械状态变化等约束。

2、1.多模态数据从采集缓冲区到numpy、pytorch张量和加速器内存通常发生多次复制。

3、2.多路高清视频和点云并发时，复制占用cpu、内存总线和峰值内存，增加时延。

4、3.单设备零拷贝接口缺少跨进程生命周期、量化尺度、布局兼容和异常回收机制。

5、因此，现有技术的缺陷不是单纯缺少某一种算法，而是缺少把车载物理状态、国产化计算资源、ai模型执行过程和安全校验组织成可执行闭环的技术方案。

技术实现思路

1、本发明的目的在于，提供一种面向移动雷达多模态数据的跨芯片零拷贝推理方法及系统，用于解决以下具体技术问题：

2、（1）多模态数据从采集缓冲区到numpy、pytorch张量和加速器内存通常发生多次复制。

3、（2）多路高清视频和点云并发时，复制占用cpu、内存总线和峰值内存，增加时延。

4、（3）单设备零拷贝接口缺少跨进程生命周期、量化尺度、布局兼容和异常回收机制。

5、为实现上述目的，本发明提供了如下技术方案：

6、本发明提出一种面向移动雷达多模态数据的跨芯片零拷贝推理方法，该方法包括如下步骤：

7、s1：为各传感器预分配按尺寸分级的页锁定或共享缓冲池；

8、s2：采集端将传感器数据直接写入所述缓冲池中的缓冲区，并生成与该缓冲区对应的统一缓冲描述符；

9、s3：根据所述统一缓冲描述符中的stride和内存格式检查所述缓冲区的布局兼容性，在布局兼容时，通过在cpu侧创建所述缓冲区的张量视图且在加速器侧建立对所述缓冲区底层存储的共享映射；在布局不兼容时，对所述缓冲区执行一次对齐重排后再建立所述张量视图和所述底层存储共享；

10、s4：在消费者获取所述张量视图或所述底层存储时，根据消费者数量原子增加所述统一缓冲描述符的引用计数；

11、s5：在消费者释放所述张量视图或所述底层存储时扣减所述引用计数，在租约超时时依次执行异常消费者隔离、设备队列排空、设备映射撤销和引用扣减，并在总引用计数为零且设备映射已撤销后将所述缓冲区回收至所述缓冲池。

12、进一步地，本发明所述统一缓冲描述符包含物理缓冲标识、shape、stride、dtype、设备、时间戳、量化尺度、引用计数和版本号；所述量化尺度用于cpu侧与加速器侧之间数据的量化与反量化，使跨芯片共享的底层存储在不同精度计算节点间保持语义一致。

13、进一步地，本发明所述租约超时的异常消费者判定由回收管理器联合消费者进程存活标志、心跳记录和租约续期时间完成；单一信号异常仅将该消费者标记为疑似异常，不立即释放其占用的物理缓冲区。

14、进一步地，本发明对所述疑似异常消费者，回收管理器将其描述符状态置为隔离状态，停止向其派发新的缓冲描述符，并通过设备事件、dma围栏或厂商运行时接口向对应加速器队列发送停止或取消命令；回收管理器等待已提交设备任务完成并查询队列耗尽状态，若在二次超时窗口内仍未完成，则重置该消费者对应的设备上下文并隔离其设备映射。

15、进一步地，本发明所述引用扣减采用原子比较交换方式，仅扣减一次异常消费者对应的引用计数；所述设备映射撤销后，后续对该缓冲区的访问返回失效状态。

16、进一步地，本发明缓冲区回收时生成回收日志，所述回收日志至少记录描述符版本、异常消费者标识、停止命令时间、队列耗尽时间、映射撤销结果和最终回收状态。

17、进一步地，本发明当传感器状态冲突、模型输出不一致、设备温度或功率越限、通信中断、检查点损坏或关键安全类别不确定度超过阈值时，停止当前推理结果复用，执行重新采集、完整推理、备用节点接管、上一稳定版本回退或人工复核中的至少一种，并保存触发原因、输入版本和输出校验信息。

18、进一步地，本发明输入数据至少包括雷达点云缓冲、可见光/红外帧、气象数据、张量布局和量化尺度、消费者依赖关系；各输入数据采用统一时间戳或版本号关联，所有记录至少包含时间戳、来源节点、版本号、有效标志和校验字段，涉及模型输出的记录同时包含模型哈希、阈值配置和硬件执行节点。

19、基于同一发明构思，本发明提出一种用于实现上文所述方法的跨芯片零拷贝推理系统，该系统包括：分级内存池、统一缓冲描述符管理模块、布局感知重排模块、张量适配器、引用计数与租约管理模块和优雅回收管理器；

20、所述分级内存池用于为各传感器预分配按尺寸分级的页锁定或共享缓冲区，并接收所述优雅回收管理器回收的缓冲区；

21、所述统一缓冲描述符管理模块用于在采集端将传感器数据直接写入所述缓冲区后，生成与该缓冲区对应的统一缓冲描述符；

22、所述布局感知重排模块与所述统一缓冲描述符管理模块连接，用于根据所述统一缓冲描述符中的stride和内存格式检查所述缓冲区的布局兼容性，在布局兼容时向所述张量适配器输出直接映射指令，在布局不兼容时对所述缓冲区执行一次对齐重排后向所述张量适配器输出映射指令；

23、所述张量适配器与所述布局感知重排模块连接，用于根据所述直接映射指令在cpu侧通过frombuffer创建所述缓冲区的张量视图且在加速器侧通过dlpack或厂商设备映射共享所述缓冲区的底层存储，以及根据所述映射指令建立所述张量视图和所述底层存储共享；

24、所述引用计数与租约管理模块与所述张量适配器连接，用于在消费者获取所述张量视图或所述底层存储时根据消费者数量原子增加所述统一缓冲描述符的引用计数，并在消费者释放所述张量视图或所述底层存储时扣减所述引用计数；

25、所述优雅回收管理器与所述引用计数与租约管理模块、加速器设备队列及映射管理接口分别连接，用于在租约超时时依次执行异常消费者隔离、设备队列排空、设备映射撤销和引用扣减，并在总引用计数为零且设备映射已撤销后将所述缓冲区回收至所述分级内存池。

26、进一步地，本发明还提供一种计算机设备，该设备包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行上文所述的方法。

27、本发明的有益效果为：

28、1. 低内存复制开销

29、本发明将单帧多模态数据内存复制次数约束为零次或者最多一次；cpu 侧通过torch.frombuffer生成张量视图，加速器侧依靠 dlpack 或者厂商 dma 映射实现底层存储共享，仅当内存布局不兼容的情况下才执行对齐重排，避免雷达点云、可见光 / 红外图像、气象等多模态数据在采集缓冲区、numpy、pytorch 张量、国产 gpu/npu 加速器内存之间发生多次数据拷贝，减少不必要的数据搬运操作。

30、2. 降低 cpu 资源占用与内存带宽消耗

31、本发明消除大量冗余的数据复制操作，减少 cpu 拷贝运算负载，降低内存总线带宽占用；在多路高清视频、雷达点云并发输入的工况下，有效缓解 cpu 以及内存总线的运行压力，适配移动雷达应急指挥车供电、散热受限的车载硬件约束。

32、3. 缩短多模态融合推理端到端时延

33、本发明减少数据拷贝带来的时间损耗，在多传感器并发工作场景下，多模态感知融合、ai 推理识别的端到端时延得到显著优化；随着并发传感器流数增加，时延改善效果更加突出，能够更好满足油田井场、罐区、长输管线野外应急处置的实时性需求。

34、4. 降低峰值内存，减少内存碎片

35、本发明采用分级内存池结合缓冲区生命周期管理机制，避免频繁内存申请释放带来的内存碎片问题，降低系统峰值内存占用；在多路传感器高分辨率数据并发输入场景下，缓解车载边缘异构硬件的内存资源紧张问题。

36、5. 提升多路传感器并发运行稳定性

37、本发明设置统一缓冲描述符完整记录物理缓冲标识、shape、stride、dtype、设备、时间戳、量化尺度、引用计数等信息，完善跨进程的数据描述信息。解决传统单设备零拷贝接口缺少跨进程生命周期、量化尺度、布局兼容相关描述的缺陷。

38、6. 实现异常消费者缓冲区安全优雅回收，规避非法内存访问风险

39、本发明依靠原子引用计数结合租约超时机制，联合进程存活状态、心跳续期、设备事件句柄综合判定异常消费者；按照隔离新任务、停止设备队列、等待队列耗尽、撤销设备映射、原子扣减引用计数的顺序完成缓冲区回收。避免消费者进程异常崩溃情况下，加速器设备仍访问已释放缓冲区造成非法地址访问，提升跨 arm-国产 gpu/npu 异构芯片环境下推理系统的鲁棒性。

40、7. 具备故障回退与安全校验能力，保障车载应急业务可靠性

41、本发明当出现传感器状态冲突、模型输出不一致、设备温度功率越限、通信中断、安全类别置信度超限等异常工况时，可执行重新采集推理、备用节点接管、版本回退或者人工复核，留存完整审计日志，适配移动雷达应急指挥车野外复杂、高可靠性要求的作业场景。