基于视觉证据抽取与可回答性判定的盲人辅助视频问答方法

本发明涉及计算机视觉、多模态大模型与信息无障碍，具体涉及一种面向盲人用户的辅助视频问答方法。该方法通过结构化提示词引导多模态大模型先输出视频中直接可见且与问题相关的视觉证据，再对视频是否具备足够证据进行可回答性判定，最终生成安全、可靠且可解释的回答或无法确认陈述及拍摄调整建议，适用于盲人辅助、无障碍交互和视觉信息获取场景。

背景技术：

1、随着多模态大模型的发展，视频问答技术在生活辅助、内容理解和智能交互等方面得到广泛应用。然而，现有的视频问答系统大多采用直接生成答案的方式，即输入视频和问题后，模型直接输出回答。这类方法在视觉信息完整、清晰的场景下能够取得较好的效果，但在实际盲人拍摄的视频中，常常面临如下问题：

2、第一，视频画面可能存在严重模糊、反光、遮挡、目标出框、距离过远或过近等现象，导致难以获取准确且完整的关键视觉信息；

3、第二，当前模型往往缺乏对“信息缺失”和“图像质量差”的区分能力，容易在证据不足时基于语言先验进行猜测性回答，从而产生幻觉，甚至输出危险的错误信息。

4、第三，现有方法通常缺少对视觉证据、可回答性与最终回答之间的显式逻辑建模，系统输出缺乏可解释性，也不利于后续训练和错误分析。

5、因此，亟需一种技术方案，使得模型在回答之前能够先识别并抽取出可用于回答问题的视觉证据，再判断这些证据是否充足，视觉证据充足时才生成最终回答，若证据不足则拒绝盲目作答，给出无法确认陈述，并进一步给出拍摄调整建议，从而提升盲人辅助视频问答系统的安全性与可靠性。

技术实现思路

1、本发明要克服现有技术中多模态大模型在盲人视频问答场景下容易因信息缺失或者图像质量差而产生幻觉，直接胡编乱造的问题，提供一种基于视觉证据抽取与可回答性判定的盲人辅助视频问答方法。

2、为实现上述目的，本发明采用如下技术方案。

3、基于视觉证据抽取与可回答性判定的盲人辅助视频问答方法

4、所述方法包括如下步骤：

5、s110，获取视频输入与用户问题，并进行预处理；接收盲人用户拍摄的第一人称视角视频及其提出的自然语言问题，对所述视频进行解码和帧采样得到帧序列，并对采样帧进行尺寸归一化；

6、s120，基于结构化提示词引导多模态大模型抽取视觉证据；将所述帧序列和用户问题输入多模态大模型，通过结构化提示词引导模型识别回答问题所需的视觉信息类型，并从视频帧中抽取出直接可见且与问题相关的视觉证据，同时生成包含帧级定位信息的视觉证据描述；所述结构化提示词至少包含如下约束：仅依据视频帧中直接可见的信息进行抽取，禁止对无法从视频中直接确认的内容生成推测性证据或常识性补全；

7、s130，基于视觉证据判定可回答性；将抽取的视觉证据与用户问题进行匹配，计算证据充分性评分，并根据该评分与预设阈值的比较结果，判定可回答性为“充足”或“不足”；同时，模型输出一个与证据充足程度正相关、与视频质量问题负相关的可回答性置信度；所述可回答性判定与视觉证据抽取相互独立，即使视觉证据不足以支撑回答，仍输出已抽取的视觉证据；

8、s140，根据可回答性生成最终回答或无法确认陈述；若可回答性判定为“充足”，则根据问题和视觉证据生成自然语言回答；若可回答性判定为“不足”，则生成无法确认当前问题答案的陈述，并生成一条用于获取更清晰视觉信息的拍摄调整建议；

9、s150，输出结构化结果；将视觉证据、可回答性判定结果、置信度以及最终回答或无法确认陈述整理为json格式或表格格式的结构化结果并输出。

10、进一步地，步骤s110所述获取视频输入与用户问题并进行预处理，具体包括：

11、s1101，接收盲人用户拍摄的第一人称视角视频及其提出的自然语言问题；所述自然语言问题通过文本输入、语音输入经语音识别转写、或视频拍摄时同步提问的方式获得；

12、s1102，对视频进行解码后按固定帧率进行帧采样，且采样帧数不超过预设帧数上限；当按所述固定帧率采样得到的帧数超过所述预设帧数上限时，对视频进行均匀抽帧，以使最终输入模型的帧数不超过所述预设帧数上限；所述固定帧率优选为0.5fps～1fps，所述预设帧数上限优选为10～20帧；

13、s1103，对采样帧进行尺寸归一化：在保持宽高比的前提下缩放采样帧，使单帧图像的像素总量处于预设像素下限与预设像素上限之间；所述预设像素下限优选为32×32像素，所述预设像素上限优选为336×336~448×448像素。

14、进一步地，步骤s120所述视觉证据抽取，具体包括：

15、s1201，构建结构化提示词，所述结构化提示词包括如下功能模块：角色设定模块、回答原则模块、视角与表达约束模块、不确定性约束模块、标注要求模块、证据要求模块、标签说明模块以及输出规则模块，各功能模块的具体内容在具体实施方式中详细说明；

16、s1202，识别问题所需的视觉信息类型，根据问题类型判断其所依赖的视觉信息类型，所述视觉信息类型包括颜色、文本、物体、图像图标、深度距离大小、人物状态、整体环境信息、位置方向以及其他信息；

17、s1203，从所述帧序列中识别出与问题直接相关的可见视觉证据，模型仅保留能够从视频中直接看见且能支持回答的视觉证据，对于无法从视频中直接确认的内容，不得生成推测性证据或常识性补全；

18、s1204，生成视觉证据描述及帧级定位信息，对每一条视觉证据给出简短的文本描述，并标注对应帧编号或帧区间，每条视觉证据至少包括帧编号或帧区间字段、证据类型字段、证据文本描述字段以及支持标记字段；所述证据类型包括物体、文本、空间位置、画面质量、人物、环境及其他；当视觉证据与问题相关但其自身不足以确立或证实答案时，所述支持标记字段置为否。

19、进一步地，步骤s130所述可回答性判定，具体包括：

20、s1301，判断步骤s120抽取的视觉证据是否充足：将每条视觉证据与用户问题及回答问题所需的视觉信息类型进行匹配，计算证据充分性评分，，其中，表示第条视觉证据，表示用户提出的问题，表示回答问题所需的视觉信息类型集合，表示第条视觉证据对回答所述问题的支持度，表示对应权重，为视觉证据的条数；当证据充分性评分大于或等于预设阈值时，可回答性判定为“充足”；当证据充分性评分小于预设阈值时，可回答性判定为“不足”；

21、s1302，在一种优选的实施方式中，所述证据充分性评分的计算与阈值比较过程由所述多模态大模型在结构化提示词引导下隐式完成：预先构建答案存在性标签空间，所述答案存在性标签空间包括答案清晰可见、运动或抖动导致的模糊、反光、部分信息缺失、距离过远、距离过近、目标被遮挡及其他；模型将可回答性判定结果映射至所述答案存在性标签空间，当映射结果为“答案清晰可见”时等效于，可回答性判定为“充足”；当映射结果为其他标签时等效于，可回答性判定为“不足”，且所映射的标签作为证据不足的具体原因输出；

22、s1303，输出可回答性置信度，模型对“当前视频能否正确回答问题”给出0至100的整数评分，表示仅依据可见证据可靠回答所述问题的把握程度；所述置信度与证据充足程度正相关，与模糊、反光、遮挡、目标出框、距离过远或过近等问题负相关。

23、进一步地，步骤s140所述生成最终回答或无法确认陈述，具体包括：

24、s1401，若步骤s130的可回答性判定为“充足”，则根据问题和视觉证据生成对盲人用户可理解、可操作的自然语言回答；所述自然语言回答以用户的第一人称视角表述、以“你”作为主语，且除非用户在问题中明确询问，否则不包含与问题无直接关系的视觉属性；

25、s1402，若步骤s130的可回答性判定为“不足”，则根据问题和缺失的视觉信息，生成无法确认当前问题答案的陈述；所述无法确认陈述描述当前视频中实际可见的内容，并基于视频实际情况说明无法确认答案的具体原因，所述具体原因包括目标被遮挡、目标出框、目标过小、画面模糊、反光或眩光、目标仅部分可见或关键细节未清晰呈现；禁止仅输出不包含具体原因的笼统无法确认表述；

26、s1403，根据所述无法确认答案的具体原因生成一条简短的拍摄调整建议，所述拍摄调整建议包括调整镜头角度、靠近目标、拉远距离、减少抖动、改善光照或避开反光，以便重新采集更完整、更清晰的视觉信息。

27、进一步地，步骤s150所述的输出结构化结果，具体包括：

28、s1501，当步骤s130的可回答性判定为“充足”时，将视觉证据、判定为“充足”的可回答性、置信度以及最终回答整理为结构化的输出结果；

29、s1502，当步骤s130的可回答性判定为“不足”时，将视觉证据、判定为“不足”的可回答性、置信度、证据不足的具体原因、无法确认陈述以及拍摄调整建议整理为结构化的输出结果；

30、s1503，结构化结果采用 json 格式或表格格式保存，至少包括视觉证据列表字段、可回答性字段、置信度字段及回答字段；其中，所述可回答性字段的取值为“sufficient”或“insufficient”，所述置信度字段的取值为0至100的整数；所述结构化结果用于后续数据分析，或在训练阶段作为结构化标注用于微调目标模型。

31、本发明的有益效果包括：

32、第一，本发明通过“先证据、再判断、后回答”的链式机制，显式约束多模态大模型必须基于可见证据生成回答，能够显著降低产生幻觉的概率，从而提升模型面对复杂盲人拍摄场景时的安全性和可靠性。

33、第二，本发明在证据不足时不强行输出错误答案，而是生成无法确认陈述与拍摄调整建议，符合盲人辅助场景中的实际需求。

34、第三，本发明输出结构化结果，便于后续开展训练、评测、错误分析和数据积累，有助于形成持续迭代的数据闭环。

35、第四，本发明具有较强的通用性，不仅适用于盲人辅助视频问答，也可推广至医疗影像问答、低质视频理解或安全敏感场景中的可信多模态交互。