基于数字孪生的LED数码相框远程虚拟操控方法及系统与流程
本技术涉及智能显示控制,尤其涉及一种基于数字孪生的led数码相框远程虚拟操控方法及系统。
背景技术:
1、随着智能家居显示终端和云端内容分发技术的发展,led数码相框已不再仅用于本地静态图片展示,而是逐步具备多页面显示、图片轮播、界面切换、横竖屏切换以及远程内容控制等功能。在实际使用场景中,led数码相框通常设置有相册展示页、功能菜单页、参数设置页或者其他交互页面,用户除了可以在设备本地进行页面切换和控件操作外,还可以通过手机、平板电脑或者其他远程终端,对led数码相框进行远程虚拟操控。为了使远程操控更直观,远程操控端往往需要依据led数码相框当前显示页面生成对应的可视化操作界面,使用户能够基于该可视化界面完成点击、切换或其他操作,并进一步向led数码相框下发控制指令。
2、但是,在led数码相框远程虚拟操控的具体应用过程中,led数码相框的实际显示页面并非始终保持不变。一方面,led数码相框在页面绘制完成后,可能继续因自动轮播、页面刷新或界面切换而改变当前显示内容;另一方面,led数码相框在设备姿态变化时还可能触发横竖屏切换,使页面布局、控件位置以及对应的响应区域发生变化。此时,远程操控端此前生成的虚拟操控界面、控件对应关系以及坐标映射关系,可能已与led数码相框当前实际显示状态不一致。若仍基于原有页面关系和映射关系生成远程控制指令,则容易出现控件识别错误、设备显示坐标定位错误以及控制对象偏移的问题。
3、尤其是在远程操控端接收到用户操作输入后,通常需要根据虚拟操控界面中的操作位置确定目标控件,并据此生成控制指令下发至led数码相框。如果远程操控端所依据的页面信息属于先前页面,而led数码相框实际已切换至新页面,或者虽然页面名称相同但控件排列顺序、响应区域坐标或页面方向已发生变化,则远程操控端所确定的目标控件和设备显示坐标可能与led数码相框当前页面中的真实控件不对应。这样会导致远程控制指令虽然能够被设备接收,但其作用对象并非用户期望操作的控件,进而造成误触发、误切换或执行结果与预期页面状态不一致的问题。
4、此外,在远程虚拟操控场景下,即使控制指令下发前所依据的页面状态是正确的,led数码相框在执行该控制指令之前,仍可能因为页面再次刷新、屏幕方向再次调整或显示内容再次变化而使页面状态发生改变。在此情况下,如果缺少对指令来源页面、当前页面状态以及执行后页面结果的对应校验机制,则远程操控端难以及时识别“当前映射关系已失配”的情况,原有映射表仍可能继续参与后续指令生成,进而使后续远程虚拟操控持续建立在失配页面关系之上,导致远程控制准确性和一致性进一步下降。
技术实现思路
1、基于此,有必要针对上述问题,提出了一种基于数字孪生的led数码相框远程虚拟操控方法及系统。
2、一种基于数字孪生的led数码相框远程虚拟操控方法,包括如下步骤:
3、led数码相框在页面绘制完成或屏幕方向切换完成后输出页面状态包;
4、孪生控制端根据所述页面状态包生成虚拟操控界面、映射表和当前页面控件指纹;
5、接收操作类型和虚拟坐标后,依据所述映射表确定目标控件标识和设备显示坐标,并依据预设控件状态迁移规则生成目标页面标识和预测目标状态指纹,形成包含来源页面标识、页面绘制完成序号、当前页面控件指纹、目标控件标识、设备显示坐标、目标页面标识和预测目标状态指纹的执行指令包发送至led数码相框;
6、led数码相框根据当前显示内容生成本地页面控件指纹,并在当前页面标识、页面绘制完成序号和本地页面控件指纹分别与所述执行指令包中的来源页面标识、页面绘制完成序号和当前页面控件指纹一致时执行所述目标控件标识对应的控件动作,并输出执行后页面标识和执行后页面控件指纹;
7、孪生控制端在执行后页面标识或执行后页面控件指纹与所述目标页面标识或所述预测目标状态指纹不一致时,重新请求页面状态包并停止使用当前映射表。
8、在本技术的至少一个实施例中,所述页面状态包包括当前页面标识、各可见控件标识、各可见控件对应的响应区域坐标、各可见控件的显示顺序、屏幕方向标识和页面绘制完成序号;
9、所述当前页面控件指纹和所述本地页面控件指纹均由当前页面标识、各可见控件标识、各响应区域坐标、各可见控件显示顺序和屏幕方向标识按照同一预设字段顺序拼接后进行哈希编码生成。
10、在本技术的至少一个实施例中,所述预设控件状态迁移规则中预存有当前页面标识、目标控件标识和操作类型的对应关系;
11、针对每一组对应关系,还预存有目标页面标识、目标页面中的可见控件集合、各目标可见控件的响应区域坐标、各目标可见控件的显示顺序以及目标屏幕方向标识;
12、所述孪生控制端依据所述预设控件状态迁移规则生成所述预测目标状态指纹时,按照与页面控件指纹相同的字段顺序和编码规则,对所述目标页面标识、所述可见控件集合、各目标可见控件的响应区域坐标、各目标可见控件的显示顺序以及所述目标屏幕方向标识进行拼接和编码。
13、在本技术的至少一个实施例中,所述孪生控制端根据所述屏幕方向标识和led数码相框的显示分辨率,对虚拟操控界面中的虚拟控件区域进行旋转变换和比例变换,并将变换后的各虚拟控件区域与页面状态包中的各响应区域坐标一一对应写入所述映射表;
14、所述目标控件标识为包含所述虚拟坐标的虚拟控件区域所对应的控件标识。
15、在本技术的至少一个实施例中,所述孪生控制端在执行后页面标识或执行后页面控件指纹与所述目标页面标识或所述预测目标状态指纹不一致时,将对应执行指令包标记为不可再次执行,并在接收到重新请求得到的页面状态包之前禁止继续使用当前映射表。
16、在本技术的至少一个实施例中,所述执行指令包还包括指令序号;
17、所述led数码相框仅在所述指令序号大于已记录的已执行最大序号时执行所述目标控件标识对应的控件动作,并在执行完成后将所述指令序号记录为新的已执行最大序号。
18、在本技术的至少一个实施例中,所述执行指令包还包括指令生成时间戳;
19、所述led数码相框根据本地触摸按下中断和本地触摸释放中断生成本地交互占用状态,并记录最新一次本地触摸按下时间;
20、所述led数码相框仅在所述本地交互占用状态为空闲且所述最新一次本地触摸按下时间早于所述指令生成时间戳时执行所述目标控件标识对应的控件动作。
21、在本技术的至少一个实施例中,所述页面状态包还包括当前状态版本号,所述执行指令包还包括目标状态版本号和指令有效时窗参数;
22、所述led数码相框仅在当前状态版本号与所述目标状态版本号一致且当前判断时刻处于所述指令有效时窗参数限定的执行时窗内时执行所述目标控件标识对应的控件动作。
23、在本技术的至少一个实施例中,所述led数码相框还在本地触摸释放且当前无待绘制页面任务时输出页面状态包;
24、所述孪生控制端在接收到该页面状态包后更新所述虚拟操控界面、当前页面控件指纹和所述映射表。
25、一种基于数字孪生的led数码相框远程虚拟操控系统,包括:
26、led数码相框、孪生控制端和远程操控端,所述led数码相框与所述孪生控制端通信连接,所述远程操控端与所述孪生控制端通信连接;
27、所述led数码相框用于在页面绘制完成或屏幕方向切换完成后输出页面状态包,并根据当前显示内容生成本地页面控件指纹,在当前页面标识、页面绘制完成序号和本地页面控件指纹分别与执行指令包中的来源页面标识、页面绘制完成序号和当前页面控件指纹一致时执行目标控件标识对应的控件动作,并输出执行后页面标识和执行后页面控件指纹;
28、所述孪生控制端用于根据所述页面状态包生成虚拟操控界面、映射表和当前页面控件指纹,在接收到操作类型和虚拟坐标后确定目标控件标识和设备显示坐标,并依据预设控件状态迁移规则生成目标页面标识和预测目标状态指纹,形成执行指令包发送至所述led数码相框;
29、所述远程操控端用于输出操作类型和虚拟坐标;
30、所述孪生控制端还用于在执行后页面标识或执行后页面控件指纹与所述目标页面标识或所述预测目标状态指纹不一致时,重新请求页面状态包并停止使用当前映射表。
31、上述提供的基于数字孪生的led数码相框远程虚拟操控方法及系统至少具备以下有益效果:
32、本技术中,led数码相框在页面绘制完成或屏幕方向切换完成后输出页面状态包,孪生控制端据此生成虚拟操控界面、映射表和当前页面控件指纹,由此使远程操控建立在当前实际页面状态基础上。孪生控制端在生成执行指令包时,将来源页面标识、页面绘制完成序号、当前页面控件指纹、目标页面标识和预测目标状态指纹一并写入,使执行指令不仅包含目标控件信息,还包含对应的页面来源和目标页面约束。led数码相框在执行控件动作前,将当前页面标识、页面绘制完成序号和本地页面控件指纹与执行指令包中的对应内容进行比对,仅在一致时执行,从而减少页面变化、控件关系变化导致的误执行。最后,孪生控制端在执行后页面标识或执行后页面控件指纹与目标页面标识或预测目标状态指纹不一致时,重新请求页面状态包并停止使用当前映射表,从而避免失配映射关系继续参与后续控制。基于上述技术手段,本技术能够提高led数码相框远程虚拟操控的准确性、一致性和可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com