一种基于多模态和世界模型的台球击球决策方法及装置与流程
本发明涉及人工智能及机器人决策规划,尤其涉及一种基于多模态和世界模型的台球击球决策方法及装置。
背景技术:
1、台球击球机器人的核心挑战在于如何从复杂的球场局面中智能选择最佳击球方案。传统台球决策系统面临四大核心问题:
2、(1)实时性不足。台球击球动作需要在ms级完成从视觉感知到策略生成再到动作决策的完整闭环。现有技术中,基于规则和搜索的方法往往存在显著延迟(>100ms),严重影响用户体验和机器人动作的精准性。
3、(2)物理预测能力有限。台球运动涉及复杂的非线性动力学,包括球体间的碰撞、旋转、摩擦以及球与库边的相互作用等。传统方法多采用简化的物理模型,无法准确预测母球的最终走位,尤其在存在侧旋、加塞等复杂杆法时,预测误差显著增大。
4、(3)多模态信息整合不足。台球决策需要整合多种信息源:视觉信息(球位、球体状态)、物理参数(摩擦系数、旋转状态)以及战术意图(得分、防守等)。现有系统多采用简单的拼接或并行处理方式,缺乏跨模态的深度交互和联合推理机制。
5、(4)长期策略规划缺失。台球比赛需要制定连续多杆的长期战术,如控制母球走位、构建安全屏障等。而传统方法多关注单次击球的最优选择,难以实现多球连续击打的策略连贯性。
6、以上问题在台球机器人和训练系统中尤为突出,导致现有系统在复杂局面下表现不佳,缺乏人类选手的直觉判断和策略规划能力。
技术实现思路
1、本发明提供了一种基于多模态和世界模型的台球击球决策方法及装置,用以解决现有技术中存在的实时性不足、物理预测能力有限、多模态信息整合不足和长期策略规划缺失的问题。
2、一方面,本发明提供一种基于多模态和世界模型的台球击球决策方法,包括:
3、分别对球桌图像和所有球体的二维坐标进行视觉编码、对所有球体的三维坐标及半径、所有袋口的中心坐标和所有库边的几何参数进行几何编码和对连续多帧的球体运动数据进行物理编码,得到对应的视觉特征向量、物理特征向量和几何特征向量;
4、基于交叉注意力机制对所述视觉特征向量、所述几何特征向量和所述物理特征向量进行融合,得到世界状态向量;
5、基于所述世界状态向量、当前球桌状态和特殊战术模板确定初始击球方案集及每个初始击球方案的动作评分;
6、基于所述球桌图像、场景理解提示词模板和所述初始击球方案集及每个初始击球方案的动作评分进行战术调整,得到候选击球方案集;
7、基于所述世界状态向量和当前帧的球体运动数据预测每个候选击球方案执行后所有球体的落点坐标;
8、基于所述当前帧的球体运动数据和所述每个候选击球方案执行后所有球体的落点坐标确定每个候选击球方案的成功概率;
9、基于所述球桌图像确定每个候选击球方案的战术合理性评分;
10、基于所述世界状态向量和所述每个候选击球方案执行后所有球体的落点坐标进行多次多步推演,确定每个候选击球方案的长期价值评分;
11、基于所述每个候选击球方案执行后所有球体的落点坐标确定其安全风险评分,并结合其成功概率、其战术合理性评分和其长期价值评分确定其最终评分,选择最终评分最高的候选击球方案作为最终击球方案。
12、可选的,所述分别对球桌图像和所有球体的二维坐标进行视觉编码、对所有球体的三维坐标及半径、所有袋口的中心坐标和所有库边的几何参数进行几何编码和对连续多帧的球体运动数据进行物理编码,得到对应的视觉特征向量、物理特征向量和几何特征向量包括:
13、对所述球桌图像进行图像特征提取,得到第一特征图;
14、以每个球体的二维坐标为中心生成高斯热图,叠加所有球体的高斯热图,得到位置引导图,所述位置引导图与所述第一特征图的空间尺寸相同;
15、将所述第一特征图和所述位置引导图沿通道维度拼接,得到第二特征图;
16、基于空间注意力机制对所述第二特征图进行处理,得到空间权重图;
17、将所述空间权重图与所述第一特征图进行逐元素相乘,得到加权特征图;
18、对所述加权特征图进行全局平均池化和降维,得到所述视觉特征向量;
19、基于所述所有球体的三维坐标及半径、所述所有袋口的中心坐标和所述所有库边的几何参数构建异构几何图,所述异构几何图中包括三类节点和三类边,所述三类节点为球体节点、袋口节点和库边节点,所述球体节点的初始特征包括球体的三维坐标及半径,所述袋口节点的初始特征包括袋口的中心坐标,所述库边节点的初始特征包括将所述库边按预设步长分为若干库边段后每个库边段的中点坐标及法线方向,所述三类边为球体间无向边、球体与袋口间有向边和球体与库边间无向边,所述球体间无向边在球心间距离小于两个球体半径之和的第一倍数时建立且其初始特征包括球心间距离及连线角度,所述球体与袋口间有向边的初始特征包括球心到袋口中心的距离及连线角度,所述球体与库边间无向边在球心到库边段的垂直距离小于球体半径的第二倍数时建立且其初始特征包括所述球心到库边段的垂直距离和球心在库边段法线方向上的投影坐标;
20、分别对所述三类节点的初始特征进行升维,得到其升维特征;
21、对升维后的异构几何图进行图特征提取,得到每个球体节点的第一特征向量;
22、对所有球体节点的第一特征向量进行全局平均池化,得到第二特征向量;
23、对所述第二特征向量进行特征提取和维度重建,得到所述几何特征向量;
24、对所述连续多帧的球体运动数据进行降维,得到多个时间步的运动向量;
25、为每个时间步的运动向量添加位置嵌入向量,得到连续多个时间步的运动序列;
26、对所述连续多个时间步的运动序列进行特征提取,并在特征提取过程中引入碰撞偏置,得到连续多个时间步的编码序列;
27、对最后一个时间步的编码序列进行特征提炼,得到所述物理特征向量。
28、可选的,所述基于所述世界状态向量、当前球桌状态和特殊战术模板确定初始击球方案集及每个初始击球方案的动作评分包括:
29、基于所述当前球桌状态枚举进攻方案,并补充特殊战术方案,得到初始击球方案集,所述特殊战术方案基于所述特殊战术模板生成,每个初始击球方案包括目标球编号、目标位置序列、杆法、力度百分比和战术标签五个元素且其力度百分比为空;
30、针对每个初始击球方案,将其每个元素映射为独热向量并进行拼接,将拼接结果进行升维后与所述世界状态向量进行逐元素相加,得到其第一融合向量;
31、将所有初始击球方案的第一融合向量组装为第一批量数据,将所述第一批量数据输入策略网络进行并行推理,得到每个初始击球方案的动作评分和推荐力度百分比;
32、基于每个初始击球方案的推荐力度百分比更新其力度百分比。
33、可选的,所述基于所述球桌图像、场景理解提示词模板和所述初始击球方案集及每个初始击球方案的动作评分进行战术调整,得到候选击球方案集包括:
34、s601、将所述球桌图像与所述场景理解提示词模板进行拼接,输入轻量级vla模型进行推理,得到目标战术;
35、s602、将所有初始击球方案的动作评分归一化为概率,并对所述初始击球方案集进行top-k采样,得到候选击球方案集;
36、s603、判断战术标签与所述目标战术相同的候选击球方案的数量是否低于预设阈值;若否,不对所述候选击球方案集进行调整;若是,继续判断战术标签与所述目标球战术相同的初始击球方案的数量是否低于所述预设阈值,若是,将所述战术标签与所述目标战术相同的初始击球方案并入所述候选击球方案集,若否,对所述战术标签与所述目标战术相同的初始击球方案的动作评分施加正向偏置,并基于变更后的动作评分执行s602-s603。
37、可选的,所述基于所述世界状态向量和当前帧的球体运动数据预测每个候选击球方案执行后所有球体的落点坐标包括:
38、针对所述每个候选击球方案,将其每个元素映射为独热向量并进行拼接,将拼接结果升维后与所述世界状态向量逐元素相加,得到其第二融合向量;
39、将所有候选击球方案的第二融合向量组装为第二批量数据,将所述第二批量数据输入物理参数估计网络进行并行推理,得到每个候选击球方案的环境动态参数;
40、将所述每个候选击球方案的环境动态参数和所述当前帧的球体运动数据输入终点求解器,得到所述每个候选击球方案执行后所有球体的落点坐标,所述终点求解器将每个球体的运动划分为匀减速阶段和瞬间碰撞阶段进行计算。
41、可选的,所述基于所述当前帧的球体运动数据和所述每个候选击球方案执行后所有球体的落点坐标确定每个候选击球方案的成功概率包括:
42、基于所述当前帧的球体运动数据和所述每个候选击球方案执行后所有球体的落点坐标,构建每个候选击球方案的几何特征;
43、将所有候选击球方案的几何特征组装为第三批量数据,将所述第三批量数据输入成功率预测单元进行并行推理,得到所述每个候选击球方案的成功概率。
44、可选的,所述基于所述球桌图像确定每个候选击球方案的战术合理性评分包括:
45、为每个候选击球方案构造评分提示;
46、将所述球桌图像与所有候选击球方案的评分提示进行拼接;
47、将拼接结果输入所述轻量级vla模型进行并行推理,得到所述每个候选击球方案的战术合理性评分。
48、可选的,所述基于所述世界状态向量和所述每个候选击球方案执行后所有球体的落点坐标进行多次多步推演,确定每个候选击球方案的长期价值评分包括:
49、s1001、针对每个候选击球方案,进行单次多步推演时,将其每个元素映射为独热向量并进行拼接,将拼接结果进行升维后与所述世界状态向量进行逐元素相加,得到其第三融合向量;
50、s1002、将所述第三融合向量输入世界状态转移预测器,得到下一时刻的世界状态向量,所述世界状态转移预测器由物理结果隐式编码器和状态投影器串联构成;
51、s1003、基于所述每个候选击球方案执行后所有球体的落点坐标构建下一时刻的球桌状态;
52、s1004、基于所述下一时刻的世界状态向量、所述下一时刻的球桌状态和所述特殊战术模板确定下一杆的初始击球方案集及每个初始击球方案的动作评分;
53、s1005、将下一杆的所有初始击球方案的动作评分归一化为概率,并对所述下一杆的初始击球方案集进行随机采样,得到下一杆的虚拟击球方案;
54、s1006、将所述下一杆的虚拟击球方案中每个元素映射为独热向量并进行拼接,将拼接结果进行升维后与所述下一时刻的世界状态向量进行逐元素相加,得到其第四融合向量;
55、s1007、将所述第四融合向量输入策略价值单元,得到单步长期价值估计,完成一步推演;
56、s1008、判断是否达到预设步数;若是,将所有单步长期价值估计乘以对应的折扣因子后相加,得到多步长期价值估计;若否,将所述第四融合向量输入所述世界状态转移预测器,得到再下一时刻的世界状态向量,并基于所述下一时刻的世界状态向量和所述下一时刻的球体运动数据预测所述下一杆的虚拟击球方案执行后所有球体的落点坐标,基于所述下一杆的虚拟击球方案执行后所有球体的落点坐标构建再下一时刻的球桌状态,再基于所述再下一时刻的世界状态向量和所述再下一时刻的球桌状态执行s1004-s1008;
57、s1009、基于多次多步推演分别得到的多步长期价值估计取平均值,并经线性变换映射至百分制区间,得到所述每个候选击球方案的长期价值评分。
58、可选的,所述基于所述每个候选击球方案执行后所有球体的落点坐标确定其安全风险评分,并结合其成功概率、其战术合理性评分和其长期价值评分确定其最终评分,选择最终评分最高的候选击球方案作为最终击球方案包括:
59、基于所述每个候选击球方案执行后所有球体的落点坐标遍历对手所有目标球与所有袋口的组合,并计算每组目标球和袋口的进球便利度,选择最大进球便利度作为最大进球概率,所述进球便利度为距离因子、角度因子和遮挡因子的乘积;
60、基于每个候选击球方案的最大进球概率计算其安全风险评分;
61、基于每个候选击球方案的成功概率得到其成功概率评分;
62、基于每个候选击球方案中的战术标签分别为其成功概率评分、战术合理性评分、长期价值评分和安全风险评分赋予权重后进行加权求和,得到其最终评分;
63、选择最终评分最高的候选击球方案作为所述最终击球方案。
64、另一方面,本发明提供一种基于多模态和世界模型的台球击球决策装置,包括世界模型编码模块、多模态特征融合模块、初始击球方案生成模块、目标战术调整模块、落点预测模块、成功率预测模块、战术合理性评分模块、长期价值估计模块和四源评分融合模块,其中:
65、所述世界模型编码模块包括三个独立的编码器,分别为视觉编码器、几何编码器和物理编码器,所述视觉编码器对球桌图像和所有球体的二维坐标进行视觉编码,得到视觉特征向量,所述几何编码器对所有球体的三维坐标及半径、所有袋口的中心坐标和所有库边的几何参数进行几何编码,得到几何特征向量,所述物理编码器对连续多帧的球体运动数据进行物理编码,得到物理特征向量;
66、所述多模态特征融合模块基于交叉注意力机制对所述视觉特征向量、所述几何特征向量和所述物理特征向量进行融合,得到世界状态向量;
67、所述初始击球方案生成模块基于所述世界状态向量、当前球桌状态和特殊战术模板确定初始击球方案集及每个初始击球方案的动作评分;
68、所述目标战术调整模块基于所述球桌图像、场景理解提示词模板和所述初始击球方案集及每个初始击球方案的动作评分进行战术调整,得到候选击球方案集;
69、所述落点预测模块基于所述世界状态向量和当前帧的球体运动数据预测每个候选击球方案执行后所有球体的落点坐标;
70、所述成功率预测模块基于所述当前帧的球体运动数据和所述每个候选击球方案执行后所有球体的落点坐标确定每个候选击球方案的成功概率;
71、所述战术合理性评分模块基于所述球桌图像确定每个候选击球方案的战术合理性评分;
72、所述长期价值估计模块基于所述世界状态向量和所述每个候选击球方案执行后所有球体的落点坐标进行多次多步推演,确定每个候选击球方案的长期价值评分;
73、所述四源评分融合模块基于所述每个候选击球方案执行后所有球体的落点坐标确定其安全风险评分,并结合其成功概率、其战术合理性评分和其长期价值评分确定其最终评分,选择最终评分最高的候选击球方案作为最终击球方案。
74、上述方案具备以下有益效果:
75、多模态信息充分融合:对球桌图像、球体的二维坐标、三维坐标及半径、台面几何参数、连续多帧的球体运动数据、环境动态参数和目标战术进行深度交互和联合推理,以适应动态变化的球场局面和物理环境。
76、复杂球局适应性强:针对连锁撞击(组合球)、贴库球、障碍球密集的僵局以及复杂的斯诺克安全球博弈等非标准局面,基于由世界模型编码模块、落点预测模块、成功率预测模块、世界状态转移预测器和策略价值单元形成的世界模型构建对复杂物理交互的深度理解和预测,适应从简单落袋到高难度解球的各种极端局面,具备处理未知球局结构的泛化推理能力。
77、物理一致性保证:终点求解器利用台球运动可划分为匀减速阶段和瞬时碰撞阶段的物理特性,直接以解析公式计算所有球的最终静止位置,计算过程不依赖固定时间步长的数值积分。输出落点严格满足动量守恒、能量守恒和无穿透约束,物理一致性保证为100%。
78、多维度全局决策能力:最佳击球方案的选择不局限于当前击球的进球成功率,而是通过四源评分融合架构,同步评估成功概率、安全-风险、战术合理性和长期累积收益四个维度,并根据进攻、防守、斯诺克、解球四种战术动态分配各维度的权重。在决策时能够综合权衡“这一杆能否进球”“打完是否给对手留机会”“是否符合当前战术意图”以及“长远来看是否有利于最终获胜”等多个层面,从而在直接得分、安全防守、制造斯诺克和紧急解球等不同战术场景下均能做出兼顾短期收益与长期布局的全局最优决策,决策质量和战术适应性显著优于仅以进球概率或单步得分为导向的传统方法。
79、实时性优秀:通过多模态数据融合与并行计算架构优化,在保证决策精度的前提下,将从球局感知到策略输出的全流程耗时控制在100ms以内,满足斯诺克比赛对实时辅助或实时对抗的严苛时效性要求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com