图像问答方法、装置、设备、动作选择方法、装置和设备与流程

本技术涉及视觉处理，特别是涉及一种图像问答方法、装置、设备、动作选择方法、装置和设备。

背景技术：

1、视觉语言模型在执行图像问答等视觉推理任务过程中，通常需要借助额外视觉处理方式获取或生成新的视觉信息，以辅助完成推理。

2、目前常见的视觉处理路线主要包括两类。第一类是像素工具增强型视觉推理方案，即在推理过程中调用像素级工具，对图像进行处理并获得新的观察结果，再将该结果重新编码后继续推理。此类方案具备较好的局部空间定位能力，但需要反复进行图像变换和视觉编码，推理成本较高，且工具集合相对固定，难以灵活支持整体场景的重新解释和假设性推理。第二类是潜在视觉表征推理方案，即在模型内部生成连续潜在视觉向量，将其作为隐式视觉想象结果参与后续推理，而不显式生成像素级图像。此类方案推理效率较高，但对细粒度目标定位、局部文字识别或精确空间关系判断的支持能力不足，且不同推理步骤生成的潜在视觉向量容易出现同质化，导致视觉信息区分度下降。

3、传统方案通常预先固定推理所采用的视觉处理方式，无法在同一条推理链内针对不同子任务动态切换像素级工具处理与潜在视觉表征处理，即便将两类模块同时挂接到同一模型上，模型也难以在具体推理上下文中学会何种情况下调用像素工具、何种情况下生成潜在视觉表征，容易出现选择不当、效率低下或潜在表征质量不足等问题。

4、可见，如何兼顾局部细节定位精度与全局场景理解能力，提升图像问答结果的准确率，是本领域技术人员需要解决的问题。

技术实现思路

1、本技术实施例的目的是提供一种图像问答方法、装置、设备、动作选择方法、装置和设备，可以兼顾局部细节定位精度与全局场景理解能力，提升图像问答结果的准确率。

2、本技术提供了一种图像问答方法，包括：

3、根据获取的原始输入图像和问题文本，生成本轮处理对应的状态信息；

4、基于动作选择策略在设定的动作空间内选择与状态信息匹配的动作，得到动作决策结果；其中，动作空间包含像素工具动作和潜在视觉想象动作；

5、在动作决策结果包含执行像素工具动作的情况下，调用像素级工具对当前图像进行处理，生成第一视觉产物；其中，初始状态下当前图像为原始输入图像；

6、在动作决策结果包含执行潜在视觉想象动作的情况下，依据状态信息生成第二视觉产物；

7、将第一视觉产物或第二视觉产物转换为视觉特征，并依据视觉特征对状态信息进行更新；根据更新后的状态信息，输出本轮的推理结果。

8、一方面，动作空间还包括文本续写动作；基于动作选择策略在设定的动作空间内选择与状态信息匹配的动作，包括：

9、判断本轮处理是否需要视觉补充处理；

10、在本轮处理不需要视觉补充处理的情况下，选择文本续写动作，对状态信息进行文本推理输出本轮的推理结果；

11、在本轮处理需要视觉补充处理且问题文本对应的当前子任务属于局部细节视觉分析需求的情况下，选择像素工具动作；

12、在本轮处理需要视觉补充处理且问题文本对应的当前子任务属于全局场景理解需求的情况下，选择潜在视觉想象动作。

13、一方面，第一视觉产物为像素级中间视觉产物；调用像素级工具对当前图像进行处理，生成第一视觉产物，包括：

14、根据当前子任务所对应的操作类型，从像素工具集中调用对应的工具对当前图像进行处理，得到第一视觉产物；其中，像素工具集包括局部放大工具、边缘检测工具或颜色过滤工具中的至少一种。

15、一方面，第二视觉产物为潜在视觉产物；依据状态信息生成第二视觉产物，包括：

16、通过投影头将状态信息映射为一个或多个连续潜在视觉向量，将一个或多个连续潜在视觉向量作为第二视觉产物。

17、一方面，将第一视觉产物或第二视觉产物转换为视觉特征，包括：

18、对于第一视觉产物，通过视觉编码器对第一视觉产物进行编码，得到视觉特征；

19、对于第二视觉产物，以状态信息为查询条件，通过交叉注意力方式从第二视觉产物中提取出视觉特征。

20、一方面，还包括：

21、在本轮的推理结果不满足答案要求的情况下，将更新后的状态信息作为下一轮处理对应的状态信息。

22、本技术还提供了一种基于图像问答的动作选择方法，包括：

23、获取训练样本；其中，训练样本包括历史输入图像、历史问题文本以及标准动作序列标注，标准动作序列标注用于指示历史输入图像以及历史问题文本所调用的动作类型及执行顺序；

24、将训练样本中的历史输入图像、历史问题文本输入待训练模型，得到预测动作序列；

25、根据预测动作序列与标准动作序列标注之间的差异，对待训练模型的动作选择策略进行调整；

26、对调整后的动作选择策略进行强化学习，得到优化后的动作选择策略；

27、利用优化后的动作选择策略在设定的动作空间内选择与图像问答的状态信息匹配的动作，得到动作决策结果；其中，动作空间包含像素工具动作和潜在视觉想象动作。

28、一方面，对调整后的动作选择策略进行强化学习，得到优化后的动作选择策略，包括：

29、按照调整后的动作选择策略，对同一训练数据分别进行多次采样，得到多条推理链；其中，训练数据包括历史输入图像和历史问题文本；每条推理链包括所执行的历史动作以及历史动作输出结果；

30、根据设定的奖励维度对各条推理链分别进行奖励分析，得到复合奖励评估结果；其中，奖励维度包括答案正确性、动作格式合法性、模态选择合理性以及推理效率；

31、基于复合奖励评估结果，从多条推理链中确定出符合奖励要求的目标推理链；

32、依据目标推理链及其对应的动作选择结果，对初始动作选择策略进行更新。

33、一方面，还包括：

34、根据历史动作输出结果包含的历史第二视觉产物重建目标图像，得到重建误差；

35、根据重建误差调整生成历史第二视觉产物的投影头的参数。

36、本技术还提供了一种图像问答装置，包括第一生成单元、选择单元、第二生成单元、第三生成单元、转换单元、更新单元和作为单元；

37、第一生成单元，用于根据获取的原始输入图像和问题文本，生成本轮处理对应的状态信息；

38、选择单元，用于基于动作选择策略在设定的动作空间内选择与状态信息匹配的动作，得到动作决策结果；其中，动作空间包含像素工具动作和潜在视觉想象动作；

39、第二生成单元，用于在动作决策结果包含执行像素工具动作的情况下，调用像素级工具对当前图像进行处理，生成第一视觉产物；其中，初始状态下当前图像为原始输入图像；

40、第三生成单元，用于在动作决策结果包含执行潜在视觉想象动作的情况下，依据状态信息生成第二视觉产物；

41、转换单元，用于将第一视觉产物或第二视觉产物转换为视觉特征；

42、更新单元，用于依据视觉特征对状态信息进行更新；根据更新后的状态信息，输出本轮的推理结果；在本轮的推理结果不满足答案要求的情况下，将更新后的状态信息作为下一轮处理对应的状态信息，并触发选择单元执行基于动作选择策略在设定的动作空间内选择与状态信息匹配的动作，得到动作决策结果的操作步骤；

43、作为单元，用于直至最新的推理结果满足答案要求，则将最新的推理结果作为答案。

44、本技术还提供了一种基于图像问答的动作选择装置，包括获取单元、输入单元、调整单元、优化单元和得到单元；

45、获取单元，用于获取训练样本；其中，训练样本包括历史输入图像、历史问题文本以及标准动作序列标注，标准动作序列标注用于指示历史输入图像以及历史问题文本所调用的动作类型及执行顺序；

46、输入单元，用于将训练样本中的历史输入图像、历史问题文本输入待训练模型，得到预测动作序列；

47、调整单元，用于根据预测动作序列与标准动作序列标注之间的差异，对待训练模型的动作选择策略进行调整；

48、优化单元，用于对调整后的动作选择策略进行强化学习，得到优化后的动作选择策略；

49、得到单元，用于利用优化后的动作选择策略在设定的动作空间内选择与图像问答的状态信息匹配的动作，得到动作决策结果；其中，动作空间包含像素工具动作和潜在视觉想象动作。

50、本技术还提供了一种图像问答设备，包括：第一存储器，用于存储计算机程序；第一处理器，用于执行计算机程序时实现上述任一种图像问答方法的步骤。

51、本技术还提供了一种基于图像问答的动作选择设备，包括：第二存储器，用于存储计算机程序；第二处理器，用于执行计算机程序时实现上述任一种基于图像问答的动作选择方法的步骤。

52、本技术还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被处理器执行时实现上述任一种图像问答方法的步骤。

53、本技术还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一种图像问答方法的步骤。

54、由上述技术方案可以看出，根据获取的原始输入图像和问题文本，生成本轮处理对应的状态信息；在设定的动作空间中同时引入像素工具动作与潜在视觉想象动作，并通过动作选择策略在设定的动作空间内选择与状态信息匹配的动作。在动作决策结果包含执行像素工具动作的情况下，说明需要对图像进行局部精细化处理，此时可以调用像素级工具对当前图像进行处理，生成第一视觉产物；其中，初始状态下当前图像为原始输入图像。在动作决策结果包含执行潜在视觉想象动作的情况下，说明需要对图像进行全局场景理解，此时可以依据状态信息生成第二视觉产物。将第一视觉产物或第二视觉产物转换为视觉特征，并依据视觉特征对状态信息进行更新；根据更新后的状态信息，输出本轮的推理结果。在该技术方案中，能够依据实际需求交替执行像素工具动作与潜在视觉想象动作，兼顾局部细节定位精度与全局场景理解能力，避免了单一处理方式在局部精度或整体场景理解上的不足，提升了图像问答结果的准确率。