基于深度学习的AI自适应多点触控轨迹校正方法及系统与流程
本发明涉及触控输入及人机交互,尤其涉及基于深度学习的ai自适应多点触控轨迹校正方法及系统。
背景技术:
1、在触控输入及人机交互技术领域内,多点触控设备通常由触控面板、触控控制器及对应处理器构成,触控控制器按照连续采样周期获得多个触点的位置坐标、采样时间和触点标识,处理器根据当前触点与历史触控轨迹之间的移动距离、移动方向或预测位置进行轨迹匹配,并采用滤波、位置预测、曲线拟合或模型推理方式对触点位置进行校正,形成连续的触控轨迹。此类处理方式在多个触点运动关系较为明确时能够完成触点跟踪和位置校正,但在多个触点相互靠近、轨迹交叉、快速移动或出现短时缺失时,同一当前触点可能同时对应多个历史触控轨迹,触点位置校正结果与触点身份关联结果之间容易出现不一致。
2、现有方案通常根据距离、运动方向、相邻位置关系或预设几何条件确定当前触点对应的历史触控轨迹,位置校正与触点身份关联往往分别进行;当轨迹发生交叉或者某一触点短时缺失后重新出现时,即使当前触点的位置坐标处于合理范围,其对应的历史触控轨迹仍可能发生身份关联冲突,单独依据校正位置或单一匹配条件难以区分位置连续但身份对应错误的轨迹状态。若前序身份关联结果继续被后续采样沿用,容易出现触点身份反复切换、轨迹中断或者不同触点占用同一历史触控轨迹的情况。
3、部分触控轨迹处理方案还会根据当前运动状态、预测误差或者运行过程中取得的触控数据调整匹配参数、滤波参数或模型参数,但经位置校正或轨迹修复后的结果并不当然具有相同的数据可信程度;若缺少对轨迹连续性、触点身份稳定性及校正一致性的区分,存在异常身份关联的轨迹可能继续参与后续参数更新,使参数变化与实际有效触控轨迹之间产生偏离,并影响后续候选身份关联关系建立和异常候选轨迹识别。因此,需要解决在多点触控轨迹交叉或短时缺失条件下,如何结合轨迹校正结果的可信状态与轨迹连续状态重新确定触点身份关联关系,并区分可参与设备自适应参数更新的校正触控轨迹的问题。
技术实现思路
1、为了解决上述技术问题,本发明提供了一种基于深度学习的ai自适应多点触控轨迹校正方法,包括:
2、s100、获取连续多点触控状态和历史触控轨迹;根据当前触点与历史触控轨迹的运动连续关系建立候选触控轨迹和候选身份关联关系,形成触点时序运动状态和多触点空间关系状态,生成候选轨迹状态集;
3、s200、将所述候选轨迹状态集输入深度学习轨迹校正模型;在各候选身份关联关系下生成校正位置、位置校正可信度和身份关联可信度,根据所述位置校正可信度和身份关联可信度生成轨迹校正可信状态,生成轨迹校正状态集;
4、s300、根据所述轨迹校正状态集生成轨迹连续状态;根据所述轨迹校正可信状态和轨迹连续状态筛选异常候选轨迹,对所述异常候选轨迹重新确定触点身份关联关系,生成重构轨迹状态;根据所述重构轨迹状态更新所述轨迹校正状态集;
5、s400、对所述轨迹校正状态集进行轨迹连续性、触点身份稳定性和校正一致性校验,生成轨迹准入状态和校正触控轨迹;根据校验结果确定自适应更新样本,更新设备自适应参数;将所述设备自适应参数用于后续候选身份关联关系建立和异常候选轨迹识别。
6、进一步地,所述连续多点触控状态包括触点位置坐标、采样时间、触控强度和触点标识;获取屏幕刷新状态、触控控制器运行状态和对应运行时间标识,将所述采样时间与所述对应运行时间标识进行匹配;将与所述采样时间匹配的屏幕刷新状态和触控控制器运行状态记录于所述候选轨迹状态集,所述深度学习轨迹校正模型根据所述屏幕刷新状态、触控控制器运行状态、触点时序运动状态和多触点空间关系状态生成所述轨迹校正状态集。
7、更进一步地,所述运动连续关系由历史触点位置、移动距离、移动方向和采样时间确定;将当前触点与多个历史触控轨迹进行匹配,根据候选关联范围参数和运动连续性约束参数筛选候选触控轨迹,并分别建立当前触点与各候选触控轨迹的候选身份关联关系。
8、更进一步地,所述触点时序运动状态包括位置变化、速度、移动方向和加速度;所述多触点空间关系状态包括触点间距离、相对位置、相对移动方向和相对顺序;按照各候选身份关联关系记录所述触点时序运动状态和多触点空间关系状态。
9、更进一步地,所述深度学习轨迹校正模型分别针对各候选身份关联关系生成一组校正位置、位置校正可信度和身份关联可信度;根据各组所述位置校正可信度和身份关联可信度生成对应轨迹校正可信状态,并将所述校正位置、候选身份关联关系和轨迹校正可信状态记录于所述轨迹校正状态集。
10、更进一步地,所述轨迹连续状态根据校正位置、历史触点位置、移动距离、移动方向和采样时间生成;所述轨迹校正可信状态与校正可信判定参数不匹配,或者所述轨迹连续状态与运动连续性约束参数不匹配时,将对应候选触控轨迹筛选为异常候选轨迹。
11、更进一步地,对所述异常候选轨迹重新确定触点身份关联关系包括:根据校正位置、历史轨迹状态和多触点空间关系状态,对多个候选触控轨迹重新匹配;筛选不存在身份关联冲突的候选触控轨迹,确定触点身份关联关系;存在短时缺失时,根据短时缺失前后的校正位置生成重构轨迹状态,并根据所述重构轨迹状态更新所述轨迹校正状态集。
12、更进一步地,所述轨迹连续性校验包括将校正位置的移动距离、移动方向和采样时间与历史轨迹状态进行匹配;所述触点身份稳定性校验包括判断连续多个采样时间对应的触点身份关联关系是否存在身份关联冲突;所述校正一致性校验包括将校正位置的移动方向与历史轨迹状态进行匹配;三项校验均通过时生成轨迹准入状态,并将对应校正触控轨迹确定为自适应更新样本。
13、更进一步地,所述设备自适应参数包括候选关联范围参数、运动连续性约束参数和校正可信判定参数;根据所述自适应更新样本更新所述设备自适应参数,所述设备自适应参数与基础轨迹校正模型参数分开记录和更新;更新后的候选关联范围参数参与后续候选身份关联关系建立,更新后的运动连续性约束参数和校正可信判定参数参与后续异常候选轨迹识别。
14、本发明还提供一种基于深度学习的ai自适应多点触控轨迹校正系统,包括:
15、候选轨迹状态构建模块,用于获取连续多点触控状态和历史触控轨迹,根据当前触点与所述历史触控轨迹的运动连续关系建立候选触控轨迹和候选身份关联关系,形成触点时序运动状态和多触点空间关系状态,生成候选轨迹状态集;
16、轨迹联合校正模块,连接所述候选轨迹状态构建模块,用于将所述候选轨迹状态集输入深度学习轨迹校正模型,在各所述候选身份关联关系下生成校正位置、位置校正可信度和身份关联可信度,根据所述位置校正可信度和身份关联可信度生成轨迹校正可信状态,生成轨迹校正状态集;
17、异常轨迹重构模块,连接所述轨迹联合校正模块,用于根据所述轨迹校正状态集生成轨迹连续状态,根据所述轨迹校正可信状态和轨迹连续状态筛选异常候选轨迹,对所述异常候选轨迹重新确定触点身份关联关系,生成重构轨迹状态,并根据所述重构轨迹状态更新所述轨迹校正状态集;
18、轨迹准入及自适应更新模块,连接所述异常轨迹重构模块,用于对更新后的所述轨迹校正状态集进行轨迹连续性、触点身份稳定性和校正一致性校验,生成轨迹准入状态和校正触控轨迹,根据校验结果确定自适应更新样本并更新设备自适应参数,将所述设备自适应参数用于后续候选身份关联关系建立和异常候选轨迹识别。
19、本发明的创新点包括:
20、(1)在当前触点与多个历史触控轨迹之间保留候选身份关联关系,将各候选身份关联关系分别与触点时序运动状态和多触点空间关系状态对应,由深度学习轨迹校正模型针对不同候选身份关联关系分别形成校正位置、位置校正可信度和身份关联可信度,并由两类可信度形成轨迹校正可信状态,使触点位置校正与历史触控轨迹身份关系在同一候选条件下联合处理。
21、(2)将轨迹校正可信状态与根据校正位置、历史触点位置、移动距离、移动方向和采样时间形成的轨迹连续状态共同作为异常候选轨迹的筛选依据;对于筛选出的异常候选轨迹,重新匹配多个候选触控轨迹并排除身份关联冲突,在存在短时缺失时结合缺失前后的校正位置形成重构轨迹状态,再利用重构轨迹状态更新轨迹校正状态集,使前一级联合校正结果直接约束后一级触点身份重新关联。
22、(3)对校正及重构后的轨迹统一进行轨迹连续性、触点身份稳定性和校正一致性校验,根据校验结果形成轨迹准入状态,并仅将通过校验的校正触控轨迹确定为自适应更新样本;设备自适应参数与基础轨迹校正模型参数分开更新,更新后的候选关联范围参数、运动连续性约束参数和校正可信判定参数分别返回后续候选身份关联关系建立和异常候选轨迹识别过程。
23、以下为其主要的有益效果:
24、(1)针对多个触点靠近或轨迹交叉时同一当前触点可能对应多个历史触控轨迹的情况,通过在各候选身份关联关系下分别评价校正位置及其位置校正可信度、身份关联可信度,使位置状态与轨迹身份状态不再由相互独立的处理过程分别确定,减少位置坐标处于合理范围但历史触控轨迹身份发生错配的情况。
25、(2)针对低可信校正结果或连续运动状态异常仍可能沿用原触点身份关联关系的问题,通过将轨迹校正可信状态与轨迹连续状态共同作为异常筛选条件,并对异常候选轨迹重新执行身份匹配和身份关联冲突排除,使轨迹交叉、短时缺失或运动关系变化后的错误身份关联能够在后续轨迹形成前被重新处理,减少触点身份反复切换、轨迹中断及同一历史触控轨迹被不同触点占用的情况。
26、(3)针对经位置校正或轨迹重构后的数据可信程度不同而可能直接参与参数调整的问题,通过对轨迹连续性、触点身份稳定性和校正一致性进行准入校验,仅利用通过校验的校正触控轨迹更新设备自适应参数,使未通过轨迹质量校验的异常结果不进入参数更新过程,并使更新后的参数继续作用于后续候选身份关联关系建立和异常候选轨迹识别。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com