声明式多点触控手势与指针语义方法、系统、设备及介质与流程

摘要: 本发明涉及游戏引擎以及人机交互,具体地涉及一种声明式多点触控手势与指针语义方法、系统、设备及介质。背景技术:1、多点触控手势识别与精确指针语义是移动端与触屏交互...
声明式多点触控手势与指针语义方法、系统、设备及介质与流程

本发明涉及游戏引擎以及人机交互,具体地涉及一种声明式多点触控手势与指针语义方法、系统、设备及介质。

背景技术:

1、多点触控手势识别与精确指针语义是移动端与触屏交互的共同底座。在传统的游戏引擎或交互式应用中,多点触控手势识别通常被封装为输入库或输入系统,指针路由则被交付给命令式回调。这些实现方案均假设应用开发者会书写运行时代码,包括注册手势识别器、在回调函数中读取识别结果、维护去重状态、执行屏幕坐标到世界坐标的反投影运算、以及决定事件是否继续向下传递。然而,在一个运行时不执行任何新代码的声明式游戏引擎中,一切游戏行为仅以结构化配置数据表达,运行期零字符串到指令的转换且零代码生成。在此约束下,手势识别结果与指针语义如何被开发者以无代码方式消费,成为一个尚未被现有技术解决的硬约束问题。

2、现有技术中,较为接近的实现方案主要包括以下类型。unity引擎的新版输入系统以及各类手势识别插件将原始触点抽象为动作与手势事件,识别结果通过c#回调函数交付,开发者必须在回调函数中书写运行时脚本以响应手势。unreal引擎的增强输入系统将输入映射为可数据化配置的动作与修饰器,但动作最终仍绑定到蓝图或c++事件图,响应逻辑为运行时执行的字节码或代码。移动端存在的大量触屏手势中间件将连续触点识别为点击、滑动、捏合、旋转、平移等手势,但这些中间件仅交付手势发生及其参数的回调,仍需要开发者书写代码将参数映射到游戏动作与三维世界。此外,各引擎中普遍采用的手写射线投射拾取器,由开发者从相机反投影一条世界射线、遍历命中结果、按排除列表重复投射并维护去重状态,该方案完全依赖于运行时执行的新指令流。

3、上述现有技术均存在以下共同缺陷。第一,所有手势识别与指针路由的通行方案都要求开发者书写运行时回调或脚本代码,在运行期不执行新代码的声明式引擎中整体不可用。第二,同一条原始指针流常存在多个互不协调的消费者,例如二维界面控件、三维拾取手势队列以及相机轨道拖拽累加器,一次点击或拖拽会被多个消费者同时错误响应,而现有技术缺少使被作用实体以数据方式声明指针拥有权的手段,穿透错误无法被前置消除。第三,屏幕拖拽事件仅提供二维坐标,现有技术通常将其硬编码投影到水平地面平面,对于悬空内容或非俯视视角完全错误,且每个应用各自编写一套屏幕到世界的投影代码,缺少统一的声明式出口。第四,拾取一次指向常命中沿途多个表面,开发者往往需要拾取被遮挡的对象,例如穿过透明物体拾取其后的目标,现有技术需要在射线回调中手写排除列表并重复投射,缺少使实体以数据方式声明对指针拾取射线透明的手段。第五,现有技术中的所有手势绑定、指针信号字段以及输入拼写错误仅在运行时被触发路径命中时才暴露,且指针测试步进中同时给出屏幕像素坐标与拾取覆盖时,覆盖会静默取胜而屏幕像素被忽略且无任何诊断,导致测试出现假绿陷阱。

4、综上所述,在运行时不执行任何新代码的声明式引擎场景下,如何使多点触控手势的识别结果以声明式事件的形式被开发者消费、如何使指针拥有权以数据方式被实体声明并拦截、如何使屏幕拖拽统一投影到世界平面并输出完整三维命中点、如何使实体以数据方式实现对拾取射线的透明而保持物理碰撞不变、以及如何在装载期对手势事件名、字段和输入拼写进行整体校验以杜绝假绿,均为亟待解决的技术问题。

技术实现思路

1、为解决现有技术中的至少部分技术问题,本发明提供一种声明式多点触控手势与指针语义方法、系统、设备及介质。具体地,本发明包括以下内容。

2、本发明的第一方面,提供一种声明式多点触控手势与指针语义方法,具体技术方案如下,包括:

3、s1,采集原始触点的逐帧输入数据,所述逐帧输入数据至少包括每个触点的屏幕坐标;

4、s2,根据手势绑定数据以及所述屏幕坐标识别当前手势,对所述当前手势作用到的每一个实体触发一个引擎事件,所述引擎事件携带世界几何量;所述手势绑定数据来源于声明式配置数据;

5、s3,通过引擎既有的事件绑定机制,以事件绑定语法配置所述引擎事件的处理逻辑;通过引擎既有的数值引用机制,以数值引用方式读取所述世界几何量以及全局指针信号,所述全局指针信号根据所述原始触点的屏幕坐标确定;

6、s4,根据所述处理逻辑,对所述引擎事件所作用的实体执行动作。

7、本发明提供的一种声明式多点触控手势与指针语义方法的有益效果如下:

8、通过采集原始触点的逐帧输入数据并根据手势绑定数据识别当前手势、对手势作用到的每一个实体触发携带世界几何量的引擎事件,使手势识别结果被表达为每实体触发的声明式事件,开发者仅以事件绑定语法配置处理逻辑而无需书写任何输入或射线投射代码,从而在运行期不执行新代码的声明式引擎中实现触控交互;通过将引擎事件所携带的世界几何量和从屏幕坐标换算得到的全局指针信号以数值引用方式输出,使开发者能够在处理逻辑中直接读取并使用引擎算好的世界几何量与屏幕空间坐标,无需自行维护去重状态、执行屏幕到世界的反投影运算或决定事件穿透;通过引擎既有的事件绑定机制与数值引用机制输出事件和信号,使手势与指针语义被无缝并入引擎的通用数据流,开发者无需学习新的心智模型,学习成本为零;同时手势绑定数据来源于声明式配置数据,使一切手势绑定与事件处理在装载期被整体校验,错误在玩家进入游戏之前前置检出,杜绝运行时触发路径命中才暴露以及测试假绿陷阱。

9、进一步,所述引擎事件至少包括:滑动切割事件、笔刷划扫事件以及双指平移事件;

10、当所述当前手势为滑动切割时,手指滑动路径穿过的每个可切割实体各触发一次所述滑动切割事件,所述世界几何量包括根据相机基向量以及滑动方向算确定的世界切割平面法线以及刀刃穿过点;

11、当所述当前手势为笔刷划扫时,手指按压滑动时对其每帧新划过的实体触发一次所述笔刷划扫事件,所述世界几何量包括手指下的三维世界位置以及表面法线;

12、当所述当前手势为双指平移时,触发所述双指平移事件,所述世界几何量包括将双指协作手势中的双指中点平移量投影到世界平面后得到的双指中点世界位置以及双指中点世界增量。

13、进一步,还包括:对所述当前手势中已触发所述引擎事件的实体进行记录,使同一实体在一次连续手势期间仅触发一次所述引擎事件。

14、进一步,所述全局指针信号包括归一化屏幕横坐标、归一化屏幕纵坐标、每帧归一化屏幕横坐标增量、每帧归一化屏幕纵坐标增量、按下状态位、活动指针数以及按指索引形式的各指针信号。

15、进一步,所述通过引擎既有的事件绑定机制,以事件绑定语法配置所述引擎事件的处理逻辑之前,还包括:在识别到所述原始触点按下时,根据所述声明式配置数据中的指针拥有权声明数据确定被命中实体的拥有权标志,并将所述拥有权标志锁存至对应触点槽位,整条输入笔画沿用所述拥有权取值。

16、进一步,还包括:将指针在屏幕上的二维位置投影到所述声明式配置数据中的视图平面声明数据所指定的世界视图平面上,输出三维命中点;所述三维命中点包括当前帧命中点的三维坐标、起始边命中的三维坐标以及每帧增量的三维分量,且未声明所述视图平面时退化为水平地面平面。

17、进一步,所述方法应用于运行时不执行任何新代码的声明式游戏引擎中,所述声明式配置数据在装载期被校验通过。

18、本发明的第二方面,提供一种声明式多点触控手势与指针语义系统,具体技术方案如下:,包括:触点采集模块、手势识别模块、事件信号输出模块以及动作执行模块;

19、所述触点采集模块,用于采集原始触点的逐帧输入数据,所述逐帧输入数据至少包括每个触点的屏幕坐标;

20、所述手势识别模块,用于根据手势绑定数据以及所述屏幕坐标识别当前手势,对所述当前手势作用到的每一个实体触发一个引擎事件,所述引擎事件携带世界几何量;所述手势绑定数据来源于声明式配置数据;

21、所述事件信号输出模块,用于通过引擎既有的事件绑定机制,以事件绑定语法配置所述引擎事件的处理逻辑;通过引擎既有的数值引用机制,以数值引用方式读取所述世界几何量以及全局指针信号,所述全局指针信号根据所述原始触点的屏幕坐标确定;

22、所述动作执行模块,用于根据所述处理逻辑,对所述引擎事件所作用的实体执行动作。

23、进一步,所述引擎事件至少包括:滑动切割事件、笔刷划扫事件以及双指平移事件;

24、当所述当前手势为滑动切割时,手指滑动路径穿过的每个可切割实体各触发一次所述滑动切割事件,所述世界几何量包括根据相机基向量以及滑动方向算确定的世界切割平面法线以及刀刃穿过点;

25、当所述当前手势为笔刷划扫时,手指按压滑动时对其每帧新划过的实体触发一次所述笔刷划扫事件,所述世界几何量包括手指下的三维世界位置以及表面法线;

26、当所述当前手势为双指平移时,触发所述双指平移事件,所述世界几何量包括将双指协作手势中的双指中点平移量投影到世界平面后得到的双指中点世界位置以及双指中点世界增量。

27、进一步,还包括:对所述当前手势中已触发所述引擎事件的实体进行记录,使同一实体在一次连续手势期间仅触发一次所述引擎事件。

28、进一步,所述全局指针信号包括归一化屏幕横坐标、归一化屏幕纵坐标、每帧归一化屏幕横坐标增量、每帧归一化屏幕纵坐标增量、按下状态位、活动指针数以及按指索引形式的各指针信号。

29、进一步,所述通过引擎既有的事件绑定机制,以事件绑定语法配置所述引擎事件的处理逻辑之前,还包括:在识别到所述原始触点按下时,根据所述声明式配置数据中的指针拥有权声明数据确定被命中实体的拥有权标志,并将所述拥有权标志锁存至对应触点槽位,整条输入笔画沿用所述拥有权取值。

30、进一步,还包括:将指针在屏幕上的二维位置投影到所述声明式配置数据中的视图平面声明数据所指定的世界视图平面上,输出三维命中点;所述三维命中点包括当前帧命中点的三维坐标、起始边命中的三维坐标以及每帧增量的三维分量,且未声明所述视图平面时退化为水平地面平面。

31、进一步,所述方法应用于运行时不执行任何新代码的声明式游戏引擎中,所述声明式配置数据在装载期被校验通过。

32、本发明的第三方面,提供一种计算机设备,所述计算机设备包括处理器,所述处理器与存储器耦合,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以使所述计算机设备实现如上任一项方法。

33、本发明的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以使计算机实现如上任一项方法。

34、需要说明的是,本发明的第二方面至第四方面的技术方案及对应的可能的实现方式所取得的有益效果,可以参见上述对第一方面及其对应的可能的实现方式的技术效果,此处不再赘述。