双向交互方法和触控设备与流程
本技术实施例涉及传屏。更具体地讲,涉及一种双向交互方法和触控设备。
背景技术:
1、随着数字化办公和远程教育的普及,用户对跨设备协同的需求日益增长。
2、目前,触控设备采用单向投屏的方式,将其屏幕显示的内容传输至外部的显示屏进行显示,用户可以通过第三方控制软件对触控设备进行远程控制,以使得触控设备基于用户的远程操作显示新的画面,并将新的画面传输至外部显示屏进行显示。
3、然而,上述触控设备和外部显示屏之间的交互,由于视频流和控制流的传输是相互分离的,延迟较大,会存在画面卡顿、操作滞后等问题。因此,上述交互的效果较差,影响用户体验。
技术实现思路
1、本技术实施例提供一种双向交互方法和触控设备,通过同一条传输链路下的两条数据通道,分别实现触控设备的画面传输,以及外部显示屏的控制操作的传输,能够降低交互的延迟,从而提升交互效果,有效的提升用户体验。
2、第一方面,本技术提供了一种双向交互方法,应用于触控设备,所述方法包括:
3、在所述触控设备与外部显示屏基于网络设备接口ndi协议建立双向数据通道的通信连接之后,通过第一数据通道将所述触控设备当前显示的画面发送给所述显示屏,以在所述显示屏进行同步显示所述画面;
4、在所述显示屏显示画面的过程中,通过第二数据通道接收所述显示屏发送的操作事件;所述操作事件是用户针对所述显示屏进行目标操作生成的;其中,所述第一数据通道和所述第二数据通道共用同一条传输链路;
5、执行所述操作事件,生成所述操作事件对应的目标画面,并将所述目标画面发送至所述显示屏,以在所述显示屏同步显示所述目标画面。
6、在本技术中,跨设备协同场景中画面同步与操作执行相配合,显示内容与交互反馈之间具有对应关系,能够在同一通信连接下维持显示同步和交互闭环,能够适用于智慧会议、远程教学以及多屏协作场景中的书写、批注、擦除和页面控制过程。并且,第一数据通道和第二数据通道共用同一条传输链路,可以降低数据传输的延迟,可在跨设备协同过程中降低交互延迟,提升多屏操作的一致性,有效的提升用户体验。
7、本技术一些实施例中,所述通过第一数据通道将所述触控设备当前显示的画面发送给所述显示屏,包括:
8、采集所述触控设备实时显示的画面;
9、采用高压缩低延迟的编码模式,对所述画面进行编码,并将编码后的画面数据通过所述第一数据通道发送给所述显示屏。
10、在本技术中,触控设备能够将当前显示内容以压缩后的帧数据持续送入第一数据通道,使外部显示屏实现与触控设备画面的同步呈现,并在画面更新频繁的场景下维持较小的传输负载和较低的显示延迟,从而满足跨设备协同显示的实时性要求。
11、本技术一些实施例中,所述操作事件是通过将所述目标操作的信息转换为可被所述触控设备识别的标准化数据得到的。
12、在本技术中,通过对目标操作的信息进行转换,使得操作事件在不同设备之间具有一致的语义表示和解析基础,触控设备能够对其进行稳定识别并生成对应画面,保证跨设备交互的连贯性与一致性。
13、本技术一些实施例中,所述执行所述操作事件,生成所述操作事件对应的目标画面,包括:
14、对所述操作事件进行解码处理;
15、在所述操作事件是经过坐标转换处理得到的事件数据的情况下,根据对所述操作事件进行解码处理得到的目标操作对应的目标坐标以及操作类型,将所述操作事件模拟为本地触控事件,并在所述触控设备的显示屏上模拟执行所述触控事件,生成所述操作事件对应的目标画面;
16、在所述操作事件是未经过坐标转换处理的情况下,则根据预先存储的坐标转换关系,将对所述操作事件进行解码处理得到的目标操作的坐标转换为与所述触控设备的屏幕尺寸相对应的目标坐标,根据所述目标坐标和对所述操作事件进行解码处理得到的操作类型,将所述操作事件模拟为本地触控事件,并在所述触控设备的显示屏上模拟执行所述触控事件,生成所述操作事件对应的目标画面。
17、在本技术中,远端操作能够先经解码还原,再按是否完成坐标转换分别处理坐标映射,最终以本地触控方式驱动画面变化,使目标画面的生成与操作意图保持对应关系,减少坐标偏移和执行失真,并提升跨设备交互的同步性与兼容性。
18、本技术一些实施例中,所述方法还包括:
19、确定链路丢包率、双向链路传输延迟以及预先设定的标准传输延迟;
20、根据所述链路丢包率、所述双向链路传输延迟以及所述标准传输延迟,确定链路稳定性系数;
21、若所述链路稳定性系数小于预设系数,则降低数据编码的帧率,并开启指令重传策略,以使所述显示屏的操作事件被传输到所述触控设备。
22、在本技术中,链路波动时可及时通过降帧和重传对传输负载进行调整,减少操作事件回传中断的概率,使显示屏上的书写、批注或选择操作能够更稳定地作用于触控设备当前界面,并保持目标画面的连续同步。
23、本技术一些实施例中,所述方法还包括:
24、确定编码延迟、双向链路传输延迟、解码延迟和事件执行延迟;
25、计算所述编码延迟、所述双向链路传输延迟、所述解码延迟和所述事件执行延迟的加和,得到总延迟;
26、当所述总延迟大于预设延迟时,确定所述编码延迟、所述双向链路传输延迟、所述解码延迟和所述事件执行延迟中,大于其对应的延迟阈值的目标延迟;
27、执行所述目标延迟对应的延迟降低策略,以降低目标延迟,使得总延迟小于或等于所述预设延迟。
28、在本技术中,以分项采集和分项比较的方式定位总延迟超标的主要来源,再对超阈值项执行对应优化,从而使编码、传输、解码和执行各环节的耗时得到约束,并将整体总延迟控制在预设延迟范围内,使跨设备双向交互的响应更稳定。其技术效果在于能够针对瓶颈延迟进行定向调整,减少无效优化带来的资源消耗,并使画面同步与操作回传保持连续性。
29、本技术一些实施例中,触控设备与外部显示屏基于ndi协议建立双向数据通道的通信连接,包括:
30、当检测到可连接的外部显示屏时,通过ndi自动发现协议与所述显示屏进行配对;
31、配对完成后,建立ndi传输链路,激活第一数据通道和第二数据通道。
32、在本技术中,触控设备在完成自动发现与配对后即可快速进入双向交互状态,第一数据通道与第二数据通道共用同一ndi传输链路,使画面同步与操作回传在统一通信框架内完成,从而形成连续的数据闭环,并使外部显示屏侧操作能够及时作用于触控设备侧的当前界面,再将执行后的画面回送至外部显示屏。能够降低连接配置复杂度,缩短建立协同显示的准备时间,并提升双向交互过程中的同步性与传输一致性。
33、第二方面,本技术提供一种双向交互方法,应用于显示屏,所述方法包括:
34、在所述显示屏与触控设备基于网络设备接口ndi协议建立双向数据通道的通信连接之后,通过第一数据通道接收来自所述触控设备的画面,并显示所述画面;
35、在显示所述画面的过程中,接收到用户的目标操作,并基于所述目标操作,生成操作事件;
36、将所述操作事件通过第二数据通道发送给所述触控设备,以使所述触控设备执行所述操作事件,生成所述操作事件对应的目标画面;
37、通过所述第一数据通道接收来自所述触控设备的目标画面,并显示所述目标画面。
38、在本技术中,画面下行传输与操作事件上行回传均依托于同一基于ndi协议建立的通信连接完成,显示屏不单独处理应用结果,而是将用户操作转换为操作事件后交由触控设备执行,再接收触控设备生成的目标画面作为更新后的显示依据,从而使显示内容与主控端实际应用状态保持一致,并使画面同步、事件执行和结果反馈处于连续的交互闭环中。
39、本技术一些实施例中,所述基于所述目标操作,生成操作事件,包括:
40、获取所述目标操作对应的坐标以及操作类型;
41、将所述坐标和所述操作类型转换为可被所述触控设备识别的标准化数据,得到所述操作事件。
42、在本技术中,操作坐标与操作类型被统一转换为标准化数据,触控设备无需针对不同输入形式进行额外适配即可识别并执行,因而能够使显示屏侧的操作事件回传更加稳定,且便于在不同终端和不同交互软件之间保持一致的事件表达。由于坐标与类型信息在传输前已完成结构化封装,操作事件在接收端的解析效率较高,能够降低交互延迟并提升同步反馈的连续性。
43、第三方面,本技术提供一种触控设备,包括:触控显示屏、存储器和处理器;
44、所述触控显示屏,用于显示画面;
45、所述存储器存储计算机执行指令;
46、所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行如1-8任一项所述的方法。
47、第四方面,本技术提供一种显示屏,包括:存储器和处理器;
48、所述存储器存储计算机执行指令;
49、所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行实现如第一方面以及第一方面任一些实施例所述的方法,第二方面以及第二方面任一些实施例所述的方法。
50、第六方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被计算机执行时用于实现如第一方面以及第一方面任一些实施例所述的方法,第二方面以及第二方面任一些实施例所述的方法。
51、本技术实施例提供的计算机可读存储介质,可以执行上述方法实施例中的技术方案,其有益效果类似,此处不再进行赘述。
52、第七方面,本技术提供一种计算机程序产品,包括计算机程序,所述计算机程序被计算机执行时用于实现如第一方面以及第一方面任一些实施例所述的方法,第二方面以及第二方面任一些实施例所述的方法。
53、本技术实施例提供的计算机程序产品,可以执行上述方法实施例中的技术方案,其有益效果类似,此处不再进行赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com