空间推理模型的强化学习方法及装置与流程

本公开涉及人工智能领域，具体涉及大模型、智能体、机器视觉、强化学习等，尤其涉及一种空间推理模型的强化学习方法、装置、电子设备、存储介质以及计算机程序产品，可应用于空间推理模型的强化学习场景下。

背景技术：

1、现有的强化学习方法，如ppo（proximal policy optimization，近端策略优化）或grpo（group relative policy optimization，组相对策略优化），通常仅采用结果奖励（outcome reward），即只验证最终答案是否正确。仅依靠结果奖励无法追溯推理逻辑的正确性，模型可能通过错误的逻辑得到正确的答案。并且，缺乏针对空间特性的监督机制，无法抑制模型在结构化输出过程中产生的坐标幻觉和实体遗漏。

技术实现思路

1、本公开提供了一种空间推理模型的强化学习方法、装置、电子设备、存储介质以及计算机程序产品。

2、根据第一方面，提供了一种空间推理模型的强化学习方法，包括：通过空间推理模型，生成针对待处理图像的空间推理请求的多个推理结果；确定多个推理结果各自的多维奖励，其中，多维奖励包括一致性奖励和视觉锚定奖励，一致性奖励用于评估推理结果对应的思维链中的引用对象与待处理图像中的识别对象的匹配度，视觉锚定奖励用于评估识别对象与待处理图像中的标注对象的位置对齐度；根据多个推理结果各自的多维奖励，确定各推理结果相对于其他推理结果的结果优势；根据结果优势更新空间推理模型的参数。

3、根据第二方面，提供了一种空间推理模型的强化学习装置，包括：结果生成单元，被配置成通过空间推理模型，生成针对待处理图像的空间推理请求的多个推理结果；奖励确定单元，被配置成确定多个推理结果各自的多维奖励，其中，多维奖励包括一致性奖励和视觉锚定奖励，一致性奖励用于评估推理结果对应的思维链中的引用对象与待处理图像中的识别对象的匹配度，视觉锚定奖励用于评估识别对象与待处理图像中的标注对象的位置对齐度；优势确定单元，被配置成根据多个推理结果各自的多维奖励，确定各推理结果相对于其他推理结果的结果优势；参数更新单元，被配置成根据结果优势更新空间推理模型的参数。

4、根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面任一实现方式描述的方法。

5、根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面任一实现方式描述的方法。

6、根据第五方面，提供了一种计算机程序产品，包括：计算机程序，计算机程序在被处理器执行时实现如第一方面任一实现方式描述的方法。

7、根据本公开的技术，提供了一种空间推理模型的强化学习方法及装置，通过空间推理模型，生成针对待处理图像的空间推理请求的多个推理结果；确定多个推理结果各自的多维奖励，多维奖励包括一致性奖励和视觉锚定奖励，一致性奖励用于评估推理结果对应的思维链中的引用对象与待处理图像中的识别对象的匹配度，视觉锚定奖励用于评估识别对象与待处理图像中的标注对象的位置对齐度；根据多个推理结果各自的多维奖励，确定各推理结果相对于其他推理结果的结果优势；根据结果优势更新空间推理模型的参数，从而基于包括一致性奖励和视觉锚定奖励的多维奖励的联合监督，强制空间推理模型在强化学习过程中产生的推理轨迹既符合语言逻辑又具备物理真实性，提高了空间推理逻辑和空间推理结果的准确度和全面性。

8、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种空间推理模型的强化学习方法，包括：

2.根据权利要求1所述的方法，其中，所述确定多个所述推理结果各自的多维奖励，包括：

3.根据权利要求2所述的方法，其中，所述多维奖励还包括准确度奖励和推理格式奖励，所述准确度奖励用于评估所述推理结果的准确度，所述推理格式奖励用于评估所述推理结果的推理格式与预设推理格式之间的一致性，以及

4.根据权利要求3所述的方法，其中，所述多维奖励还包括重复度负奖励和字符比例负奖励，所述重复度负奖励用于评估所述推理结果的推理路径中所述识别对象的位置的重复度，所述字符比例负奖励用于评估所述推理路径中数字字符与非数字字符之间的比例，以及

5.根据权利要求1-4中任一项所述的方法，其中，所述根据多个所述推理结果各自的多维奖励，确定各所述推理结果相对于其他推理结果的结果优势，包括：

6.根据权利要求1-5中任一项所述的方法，其中，所述根据所述结果优势更新所述空间推理模型的参数，包括：

7.根据权利要求6所述的方法，其中，所述对于当前训练批次内的待处理图像的推理结果，结合所述推理结果的结果优势和概率比值，确定所述推理结果的加权优势，包括：

8.根据权利要求7所述的方法，其中，所述结合所述目标结果的结果优势和概率比值，确定所述目标结果的加权优势，包括：

9.一种空间推理模型的强化学习装置，包括：

10.一种电子设备，其特征在于，包括：

11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

12.一种计算机程序产品，包括：计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。