一种端侧多模态大模型实时处理方法和系统与流程
本技术涉及人工智能,尤其涉及一种端侧多模态大模型实时处理方法和系统。
背景技术:
1、工业移动巡检设备通常通过视频和音频识别设备异响、泄漏、冒烟、火花及人员闯入等异常。现有端侧处理方案多以固定精度处理完整视频帧和音频数据,难以根据异常区域的重要程度分配算力。在端侧内存带宽、功耗和散热能力受限时,容易出现推理延迟增加、关键异常特征损失及异常位置难以映射至实际空间的问题。
技术实现思路
1、本技术提供一种端侧多模态大模型实时处理方法和系统,用以克服现有端侧巡检方案采用固定计算精度和固定算力处理多模态数据时,难以兼顾异常识别精度、空间定位精度和实时性的问题。
2、第一方面,本技术提供了一种端侧多模态大模型实时处理方法,包括:
3、获取当前巡检环境的连续视频流以及伴随音频流,并按照预设时间长度将所述连续视频流以及所述伴随音频流同步切割为多个多模态交互数据块;
4、检测所述多模态交互数据块中的声音能量突变程度和图像轮廓变化程度;
5、基于所述声音能量突变程度和所述图像轮廓变化程度确定声音与图像异常位置,并将所述多模态交互数据块划分为目标区域数据和非目标区域数据;
6、基于所述目标区域数据和所述非目标区域数据生成动态算力分配策略,并调用预置的端侧多模态大模型执行所述动态算力分配策略;
7、基于所述动态算力分配策略,调用高精度浮点计算模块对所述目标区域数据进行特征提取得到目标特征表示,并调用低精度整数计算模块对所述非目标区域数据进行特征提取得到背景特征表示;
8、将所述目标特征表示与所述背景特征表示进行上下文关联分析,并结合所述声音与图像异常位置,确定所述巡检环境中的异常事件类型以及异常事件空间坐标。
9、可选地,获取当前巡检环境的连续视频流以及伴随音频流,并按照预设时间长度将所述连续视频流以及所述伴随音频流同步切割为多个多模态交互数据块,包括:
10、通过工业移动巡检设备搭载的声学传感器阵列和视觉传感器同步采集所述当前巡检环境的所述伴随音频流和所述连续视频流;
11、在所述伴随音频流和所述连续视频流的同一时间轴上,建立具有所述预设时间长度的滑动时间窗;
12、控制所述滑动时间窗在所述同一时间轴上步进滑动;
13、通过所述滑动时间窗截取时间对齐的音频片段和视频帧序列;
14、将所述音频片段和所述视频帧序列组合构建为所述多模态交互数据块。
15、可选地,检测所述多模态交互数据块中的声音能量突变程度和图像轮廓变化程度,包括:
16、计算所述多模态交互数据块中所述音频片段的短时能量变动率和音频频谱通量;
17、将所述短时能量变动率和所述音频频谱通量的加权融合值确定为所述声音能量突变程度;
18、提取所述多模态交互数据块中所述视频帧序列的光流异常指标和边缘匹配残差;
19、将所述光流异常指标和所述边缘匹配残差的加权融合值确定为所述图像轮廓变化程度。
20、可选地,基于所述声音能量突变程度和所述图像轮廓变化程度确定声音与图像异常位置,并将所述多模态交互数据块划分为目标区域数据和非目标区域数据,包括:
21、提取所述声音能量突变程度大于声音预设阈值的音频时间戳,并通过多通道相位差算法计算对应异常声音的声源方位角;
22、提取所述图像轮廓变化程度大于图像预设阈值的视频时间戳以及对应的图像异常包围框;
23、将所述音频时间戳与所述视频时间戳进行时间对齐,并将所述声源方位角与所述图像异常包围框进行空间一致性匹配,生成所述声音与图像异常位置;
24、将位于所述图像异常包围框内的视频数据及处于所述音频时间戳对应的时间段内的音频数据合并为所述目标区域数据;
25、将所述多模态交互数据块中剥离所述目标区域数据后的剩余背景数据组合为所述非目标区域数据。
26、可选地,基于所述目标区域数据和所述非目标区域数据生成动态算力分配策略,并调用预置的端侧多模态大模型执行所述动态算力分配策略,包括:
27、获取所述工业移动巡检设备当前的端侧状态参数,所述端侧状态参数包括可用内存带宽、芯片温度和剩余电量;
28、根据所述端侧状态参数和预置的目标端到端延迟要求,计算分配至所述多模态交互数据块的当前可用算力上限;
29、优先为所述目标区域数据分配满足预设浮点精度运算要求的第一算力配额;
30、将所述当前可用算力上限中扣除所述第一算力配额后的剩余算力预算,确定为分配至所述非目标区域数据的第二算力配额;
31、将所述第一算力配额和所述第二算力配额组合生成所述动态算力分配策略。
32、可选地,基于所述动态算力分配策略,调用高精度浮点计算模块对所述目标区域数据进行特征提取得到目标特征表示,并调用低精度整数计算模块对所述非目标区域数据进行特征提取得到背景特征表示,包括:
33、根据所述动态算力分配策略中的所述第一算力配额,在所述端侧多模态大模型中激活对应线程数量的所述高精度浮点计算模块;
34、通过所述高精度浮点计算模块对所述目标区域数据进行浮点级张量运算,输出所述目标特征表示;
35、根据所述动态算力分配策略中的所述第二算力配额,在所述端侧多模态大模型中激活对应线程数量的所述低精度整数计算模块;
36、通过所述低精度整数计算模块对所述非目标区域数据进行量化级张量运算,输出所述背景特征表示。
37、可选地,将所述目标特征表示与所述背景特征表示进行上下文关联分析,并结合所述声音与图像异常位置,确定所述巡检环境中的异常事件类型以及异常事件空间坐标,包括:
38、将所述目标特征表示和所述背景特征表示进行跨模态特征拼接,生成全局场景特征;
39、计算所述全局场景特征与预置的工业异常事件知识库中各类事件参考特征的相似度得分;
40、若最高相似度得分不小于预设识别阈值,则将所述最高相似度得分对应的事件类别确定为所述异常事件类型,否则,触发未知异常预警操作;
41、获取所述工业移动巡检设备采集的相机内参矩阵、设备同步定位与建图位姿数据以及所述声音与图像异常位置对应的深度测量值;
42、基于所述相机内参矩阵、所述设备同步定位与建图位姿数据和所述深度测量值,将所述声音与图像异常位置在像素坐标系下的二维坐标投影变换至三维世界坐标系,得到所述异常事件空间坐标。
43、第二方面,本技术提供了一种端侧多模态大模型实时处理系统,包括:
44、获取模块,用于获取当前巡检环境的连续视频流以及伴随音频流,并按照预设时间长度将所述连续视频流以及所述伴随音频流同步切割为多个多模态交互数据块;
45、检测模块,用于检测所述多模态交互数据块中的声音能量突变程度和图像轮廓变化程度;
46、确定划分模块,用于基于所述声音能量突变程度和所述图像轮廓变化程度确定声音与图像异常位置,并将所述多模态交互数据块划分为目标区域数据和非目标区域数据;
47、生成执行模块,用于基于所述目标区域数据和所述非目标区域数据生成动态算力分配策略,并调用预置的端侧多模态大模型执行所述动态算力分配策略;
48、提取模块,用于基于所述动态算力分配策略,调用高精度浮点计算模块对所述目标区域数据进行特征提取得到目标特征表示,并调用低精度整数计算模块对所述非目标区域数据进行特征提取得到背景特征表示;
49、分析确定模块,用于将所述目标特征表示与所述背景特征表示进行上下文关联分析,并结合所述声音与图像异常位置,确定所述巡检环境中的异常事件类型以及异常事件空间坐标。
50、第三方面,本技术提供了一种计算设备,包括处理组件以及存储组件;所述存储组件存储一个或多个计算机指令;所述一个或多个计算机指令用以被所述处理组件调用执行,实现如上述第一方面所述的一种端侧多模态大模型实时处理方法。
51、第四方面,本技术提供了一种计算机存储介质,存储有计算机程序,所述计算机程序被计算机执行时,实现如第一方面所述的一种端侧多模态大模型实时处理方法。
52、本技术通过同一时间轴同步切割连续视频流和伴随音频流,使声音异常与图像异常能够在统一时间范围内进行关联,降低不同时间发生的声音变化和图像变化被错误匹配的可能性。
53、本技术结合声音能量突变程度、图像轮廓变化程度、声源方位角和图像异常包围框确定目标区域数据,使高精度计算资源集中于与异常事件直接相关的数据。
54、本技术根据可用内存带宽、芯片温度、剩余电量和目标端到端延迟要求动态确定算力配额,对目标区域数据采用高精度浮点计算,对非目标区域数据采用低精度整数计算,在保留异常细节的同时降低背景数据处理开销。
55、本技术通过目标特征表示与背景特征表示的上下文关联分析确定异常事件类型,能够利用巡检环境和设备运行状态辅助解释局部异常特征。
56、本技术根据相机内参矩阵、设备同步定位与建图位姿数据和深度测量值计算异常事件空间坐标,可在巡检地图中标示异常事件的实际位置,为后续复查和维护提供位置依据。
57、本技术的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com