一种基于非对称端云协同的多模态大语言模型音视频问答方法
本技术涉及人工智能与多模态数据处理,具体涉及一种基于非对称端云协同的多模态大语言模型音视频问答方法、系统、设备、介质和程序。
背景技术:
1、现有音视频问答(audio-visual question answering, avqa)正逐渐成为移动系统中的一种重要多模态推理基础任务,其应用场景包括智能家居、智能交通系统,以及车联网中的车载智能感知。在这些场景中,摄像头和麦克风共同提供互补的感知证据,用于回答与当前活动相关的问题。尽管多模态大语言模型(multimodal large language models,mllms)已经显著提升了音视频问答任务的性能,但将其直接部署在边缘设备上仍然不可行。近期研究表明,具有数十亿参数的大语言模型通常超出了边缘设备的内存预算;例如,llama-2-7b 仅存储 fp16 权重就需要超过 8gb 的空间,而大多数普通边缘平台通常只能支持8000万到30亿参数规模的模型。因此,大多数基于多模态大语言模型的音视频问答方案依赖云计算,这可能带来较长的推理延迟、较高的带宽成本以及隐私方面的担忧。为了使大语言模型能够在边缘端运行,潜在的解决方案包括采用模型剪枝、知识蒸馏和低秩分解等模型压缩技术。虽然这些方法能够有效减小模型规模,但压缩后的语言模型通常会带来性能下降。另一类研究将大语言模型划分为多个部分,并将其分配到其他设备或云服务器上进行联合推理。尽管这类方法能够保证准确率,但由于中间数据或中间结果的传输需要耗费时间,通常会带来较长的推理延迟。因此,研究者提出了一种逐渐受到关注的范式,即小模型-大模型协作。在该范式中,较小规模的大语言模型,例如通过模型压缩得到的小型模型,与常规的大规模大语言模型协同工作,从而在推理效率和准确率之间实现协同平衡。
2、在现有的小模型-大模型协作方法中,一个核心目标是通过在令牌级、查询级或时间级减少二者之间的交互数据量,从而提升小模型与大模型之间的协作效率。例如,在 hao等人和 wang 等人提出的方法中,端侧轻量级大语言模型首先生成初步令牌,然后由云端模型对其进行进一步修正和完善。disco 在小模型上动态评估令牌的重要性,并仅将关键令牌传输给大模型。hybrid-llm 和 routellm 则直接评估查询复杂度,仅将困难查询路由至大模型。lsci 综合考虑推理准确率和资源约束,在端侧和云端之间进行自适应的查询卸载决策。ding 等人采用轻量级模型在本地生成初始回答,随后从周期性更新的云端知识库中检索补充信息,以增强推理质量。但是,现有技术在面向音视频问答任务时仍存在以下缺陷和不足:
3、(1)现有小模型—大模型协作方案通常需要完整模态数据进行推理。音视频问答任务的输入包含文本、音频和视频等多种模态,完整模态数据不仅会增加端侧计算负担和端云传输负担,而且在实际应用中,当部分模态缺失或不便上传时,现有方法难以稳定处理。因此,亟需一种轻量化且能够容忍模态缺失的音视频问答处理方式。
4、(2)现有小模型—大模型协作方案通常要求两个协作方具备相同的模态处理能力。这种方式在单模态大语言模型中较为适用,但由于推理扩展性问题,很难扩展到复杂的音视频问答任务中。具体而言,在相同参数预算和相同应用任务下,多模态大语言模型相比单模态模型通常表现出较弱的模态特定表征能力。这是因为多模态大语言模型必须同时考虑多个模态的特定处理、额外的跨模态对齐以及模态融合。虽然这些组件对于完整模态理解是必要的,但它们也会消耗本可以用于增强单一模态能力的参数和计算资源,从而加重端侧模型负担并影响端侧推理效果。
5、(3)现有端云协同推理方法通常依赖置信度、熵或困惑度等单一不确定性指标进行路由决策,难以准确判断端侧答案是否可靠。在音视频问答任务中,端侧模型可能出现高置信度但答案错误的情况,也可能出现低置信度但答案正确的情况。如果路由判断不准确,可能会将端侧无法正确回答的困难样本错误保留在本地,导致整体问答准确率下降;也可能将端侧能够正确处理的简单样本转发至云端,造成不必要的云端调用、传输开销和推理延迟。
技术实现思路
1、本技术公开了一种基于非对称端云协同的多模态大语言模型音视频问答方法、系统、设备、介质和程序,旨在解决现有小模型-大模型协作方案需要完整模态数据进行推理、端侧和云侧通常要求具备相同模态处理能力、以及现有路由机制难以准确判断端侧答案可靠性的问题。
2、本技术公开了一种非对称端云协同的多模态大语言模型音视频问答方法,包括以下步骤:
3、接收音视频问答请求,所述音视频问答请求包括视频数据v、音频数据a和文本问题q;
4、根据边缘设备支持的模态类型,将所述音视频问答请求重构为单模态输入(u,q),其中单模态输入中的u包括视频数据v和音频数据a中的一种模态;
5、在边缘设备侧,调用端侧小规模单模态多模态大语言模型对所述单模态输入进行本地推理,生成端侧初始答案,并记录端侧推理过程中的中间信息;基于所述中间信息构造路由特征,并根据所述路由特征进行路由决策,得到路由标签;若所述路由标签为1,则直接返回所述端侧初始答案;若所述路由标签为0,则将所述单模态输入的特征u及所述文本问题q转发至云端;
6、在云端侧,基于所述单模态输入的特征u计算哈希键值,并根据所述哈希键值从云端记忆库中检索具有相似特征的历史样本,提取与所述单模态输入的特征u互补的另一模态特征;将所述单模态输入的特征u与提取的互补模态特征进行组合,构造增强后的全模态输入e;调用大规模全模态多模态大语言模型,基于所述增强后的全模态输入e和所述文本问题q进行联合推理,生成云端答案,并将所述云端答案返回。
7、可选地,所述基于所述中间信息构造路由特征,包括:端侧小规模多模态大语言模型推理时,对文本问题q进行过编码,获取所述文本问题q的词元隐藏状态,并对所述词元隐藏状态进行平均池化,得到问题语义特征;计算所述端侧初始答案的答案不确定性特征,所述答案不确定性特征包括答案序列置信度、答案序列困惑度、答案序列对数似然值和答案平均熵;将所述问题语义特征与所述答案不确定性特征进行拼接,得到所述路由特征。
8、可选地,所述根据所述路由特征进行路由决策,包括:计算所述端侧初始答案的平均词元置信度,并根据所述平均词元置信度是否大于预设阈值得到置信度标签;将所述路由特征输入轻量级多层感知机分类器,预测所述端侧初始答案的正确性标签;若置信度标签且正确性标签,则判定所述端侧初始答案可靠,设置所述路由标签为1;否则,设置所述路由标签为0。
9、可选地,所述从云端记忆库中检索具有相似特征的历史样本的步骤包括:若所述单模态输入的特征u为音频模态,则采用音频指纹匹配和时间偏移直方图投票方式,在音频记忆库中检索与所述单模态输入的特征u最相似的历史音频样本;若所述单模态输入的特征u为视频模态,则首先利用感知哈希特征进行粗粒度筛选,随后利用尺度不变特征变换特征进行细粒度匹配,在视频记忆库中检索与所述单模态输入的特征u最相似的历史视频样本。
10、可选地,所述利用尺度不变特征变换特征进行细粒度匹配,包括:提取所述候选历史视频样本的尺度不变特征变换局部关键点特征,采用快速近似最近邻匹配进行特征匹配,并通过最近最近邻距离比率测试进行过滤,以选择匹配得分最高的历史视频样本。
11、可选地,所述构造增强后的全模态输入e,包括:若所述单模态输入的特征u为音频模态,则从检索到的历史样本中提取其对应的视频特征,并将其与所述单模态输入的特征u进行组合;若所述单模态输入的特征u为视频模态,则从检索到的历史样本中提取其对应的音频特征,并将其与所述单模态输入的特征u进行组合。
12、本技术还提供一种非对称端云协同的多模态大语言模型音视频问答系统,包括音视频问答请求接入模块,用于接收音视频问答请求,所述音视频问答请求包括视频数据v、音频数据a和文本问题q;端侧单模态重构模块,部署在边缘设备上,用于根据边缘设备支持的模态类型,将所述音视频问答请求重构为单模态输入(u,q),其中单模态输入中的u包括视频数据v和音频数据a中的一种模态;端侧单模态推理模块,用于在边缘设备侧调用端侧小规模单模态多模态大语言模型对所述单模态输入进行本地推理,生成端侧初始答案,并记录端侧推理过程中的中间信息;基于所述中间信息构造路由特征,并根据所述路由特征进行路由决策,得到路由标签;若所述路由标签为1,则直接返回所述端侧初始答案;若所述路由标签为0,则将所述单模态输入的特征u及所述文本问题q转发至云端;云端全模态推理模块,用于在云端侧,基于所述单模态输入的特征u计算哈希键值,并根据所述哈希键值从云端记忆库中检索具有相似特征的历史样本,提取与所述单模态输入的特征u互补的另一模态特征;将所述单模态输入的特征u与提取的互补模态特征进行组合,构造增强后的全模态输入e;调用大规模全模态多模态大语言模型,基于所述增强后的全模态输入e和所述文本问题q进行联合推理,生成云端答案,并将所述云端答案返回。
13、本技术还提供一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实前面所述的非对称端云协同的多模态大语言模型音视频问答方法。
14、本技术还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现前面所述的非对称端云协同的多模态大语言模型音视频问答方法。
15、本技术还提供一种程序产品,该程序产品由计算机程序组成,该程序程序通过处理器执行时实现前面所述的非对称端云协同的多模态大语言模型音视频问答方法。
16、本技术公开了一种基于非对称端云协同的多模态大语言模型音视频问答方法、系统、设备、介质和程序,方法包括接收音视频问答请求、根据边缘设备支持的模态类型进行重构、在边缘设备侧进行单模态推理并进行路由决策、以及在云端侧进行记忆库检索、模态增强及全模态推理。通过上述技术手段,本技术实现了端侧轻量化推理、困难样本自动识别、云端记忆库模态补充和全模态增强推理的协同工作。与现有要求端侧和云侧均具备完整多模态处理能力的对称式端云协同方法相比,本技术通过端侧单模态模型和云端全模态模型形成非对称协同结构,降低了端侧计算压力。与现有仅基于置信度进行路由的方法相比,本技术融合问题语义特征和答案不确定性特征,提高了路由决策的可靠性。与直接上传完整原始音视频数据的云端推理方法相比,本技术仅在必要时上传轻量化单模态信息,并通过云端记忆库补充缺失模态信息,降低了传输开销和云端调用成本。由此,本技术能够在保证音视频问答准确率的同时,提高边缘设备自主处理能力和端云协同推理效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com