一种数据同步方法及装置与流程

1.本技术涉及数据处理领域，尤其涉及一种数据同步方法及装置。


背景技术：

2.目前，在诸如远程专家会诊、远程专家协助等系统中，ar、vr、mr设备广泛使用。但ar、vr、mr设备只会传输操作者端当前操作的图像给远程的专家端，远程的专家端仅通过图像无法知道目前操作者在该图像上的注视点，使协同工作的效率和准确度大打折扣。


技术实现要素：

3.第一方面，本技术实施例提供了一种数据同步方法，包括：预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置，第一时刻是当前时刻之后的时刻；获得第一时刻待输出至第一显示输出区域的第一图像；将第一图像和注视位置发送给第二电子设备，以使得第二电子设备在第一时刻在其第二显示输出区域输出第二图像及与注视位置对应的提示信息；其中，第二图像包括第一图像的至少部分。
4.可选地，预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置，包括：获得当前使用者在第一时刻之前的多个相邻时刻的注视位置变化信息，至少基于注视位置变化信息预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置；或，获得当前使用者在第一时刻之前的多个相邻时刻的注视信息，基于注视信息确定匹配的预测模型，将注视信息输入至预测模型以得到当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置。
5.可选地，至少基于注视位置变化信息预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置，包括：确定当前使用者在第一时刻所处的第一时间段内的注视位置的最大变化范围，至少基于注视位置变化信息及最大变化范围预测注视位置；或，确定第一电子设备与第二电子设备之间的传输延时信息，基于传输延时信息和注视位置变化信息预测注视位置；
6.或者，基于注视信息确定匹配的预测模型，包括：获得注视信息的变化特征和第一显示输出区域的显示输出数据，基于变化特征确定匹配的预测模型，以基于注视信息和显示输出数据利用预测模型预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置。
7.可选地，获得第一时刻待输出至第一显示输出区域的第一图像，包括：将第一电子设备的第一摄像头在第一时刻采集的图像作为第一图像；或，获得第一电子设备的第二摄像头在第二时刻采集的第三图像，至少基于预测的注视位置处理第三图像，得到第一图像，其中，第二时刻早于第一时刻，第二摄像头的取景范围大于第一摄像头的取景范围；或，获得第一电子设备的第二摄像头在第二时刻采集的第三图像、以及第一摄像头在第三时刻采集的第四图像，处理第三图像和第四图像，得到第一图像，其中，第二时刻和第三时刻均早于第一时刻，第二时刻与第三时刻相同或不同，第二摄像头的取景范围大于第一摄像头的
取景范围；或，获得第一电子设备的第一摄像头在第三时刻采集的第四图像，至少基于预测的注视位置处理第四图像，得到第一图像，其中，第三时刻早于第一时刻。
8.可选地，处理第三图像和第四图像，得到第一图像，包括：获得预测的第一时刻的注视位置相对于第三时刻的注视位置的第一注视位置变化信息，参照第一注视位置变化信息利用第三图像对第四图像进行合成和/或补偿，得到第一图像；或，获得第三时刻和预测的第一时刻的注视位置与第一显示输出区域之间的对应关系，基于对应关系的变化信息利用第三图像对第四图像进行合成和/或补偿，得到第一图像；或，至少基于预测的注视位置处理第三图像，得到第一图像，包括：基于预测的注视位置裁剪第三图像，得到第一图像。
9.可选地，将第一图像和注视位置发送给第二电子设备，包括：如果第一图像相对早于第一时刻的相邻时刻的至少一帧图像的差异在第一范围，将第一图像和注视位置发送给第二电子设备；或，如果第一图像相对早于第一时刻的相邻时刻的至少一帧图像的差异在第二范围，将确定的第一图像与注视位置之间对应的内容数据和/或关系数据发送给第二电子设备。
10.可选地，将确定的第一图像与注视位置之间的内容数据和/或关系数据发送给第二电子设备，包括：确定第一图像中对应注视位置的图像内容，将图像内容发送给第二电子设备；或，基于注视位置与第一图像的关系以及第一显示输出区域与第二显示输出区域的配置关系确定注视位置与第二显示输出区域的位置关系，将位置关系发送给第二电子设备；或，确定第一图像中对应注视位置的图像内容、及图像内容与注视位置之间的相对位置关系，将图像内容和相对位置关系发送给第二电子设备。
11.可选地，在第二显示输出区域输出第二图像及与注视位置对应的提示信息，包括：获得第一显示输出区域与第二显示输出区域的配置关系，至少基于配置关系处理第一图像和注视位置，以在第二显示输出区域输出第二图像及与注视位置对应的提示信息。
12.可选地，至少基于配置关系处理第一图像和注视位置，以在第二显示输出区域输出第二图像及与注视位置对应的提示信息，包括：基于第一显示输出区域与第二显示输出区域之间的显示标识信息配置差异处理第一图像，以使得处理第一图像得到的第二图像匹配第二显示输出区域的显示标识信息；和/或，基于配置关系处理第一图像和注视位置之间的第一相对位置关系，以利用处理第一相对位置关系得到的第二相对位置关系配置在第二图像或第二显示输出区域对应输出用于突出注视位置的提示信息。
13.第二方面，本技术实施例提供了一种数据同步装置，包括：预测模块，用于预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置，第一时刻是当前时刻之后的时刻；获得模块，用于获得第一时刻待输出至第一显示输出区域的第一图像；发送模块，用于将第一图像和注视位置发送给第二电子设备，以使得第二电子设备在第一时刻在其第二显示输出区域输出第二图像及与注视位置对应的提示信息；其中，第二图像包括第一图像的至少部分。
14.第三方面，本技术实施例提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行如第一方面或第一方面任意实施方式中的数据同步方法。
15.第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质
存储有计算机指令，计算机指令用于使计算机执行如第一方面或第一方面任意实施方式中的数据同步方法。
16.本技术实施例提供的数据同步方法及装置，通过预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置，第一时刻是当前时刻之后的时刻；获得第一时刻待输出至第一显示输出区域的第一图像；将第一图像和注视位置发送给第二电子设备，以使得第二电子设备在第一时刻在其第二显示输出区域输出第二图像及与注视位置对应的提示信息；其中，第二图像包括第一图像的至少部分；从而第一时刻第一电子设备的当前使用者与第二电子设备的使用者看到的图像可以同步，且由于在当前时刻预测了第一时刻第一电子设备的当前使用者的注视位置，从而在第二电子设备上输出注视位置对应的提示信息时，预测的注视位置可以消除网络数据传输延时导致的在第二电子设备上输出注视位置的提示信息的延时，从而第一时刻第一电子设备的当前使用者实际的注视位置相当于同步给了第二电子设备的使用者，从而第二电子设备的使用者能够实时知道第一电子设备的当前使用者注视图像的位置，可以提高在诸如远程专家会诊、远程专家协助、远程教学、远程游戏、远程诊断、远程设计制造等系统中协同工作的效率和准确度。
17.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
18.图1为本技术实施例中一种基于显示界面的目录组合方法的流程示意图；
19.图2为本技术实施例中多个注视点形成的注视位置的区域的示意图；
20.图3为本技术实施例中运动曲线的示意图；
21.图4为本技术实施例中对第四图像进行平移的示意图；
22.图5为本技术实施例中一种数据同步装置的结构示意图；
23.图6为本技术实施例中一种电子设备的硬件结构示意图。
具体实施方式
24.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
25.本技术实施例提供了一种数据同步方法，可应用于ar、vr、mr设备，用于诸如远程专家会诊、远程专家协助、远程教学、远程游戏、远程诊断、远程设计制造等的协同工作中，如图1所示，数据同步方法包括：
26.s101.预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置，第一时刻是当前时刻之后的时刻。
27.在本实施例中，第一电子设备可以为ar、vr、mr设备中的任意设备。第一显示输出区域为第一电子设备自带的显示屏。第一显示输出区域用于显示图像。当在第一显示输出区域显示图像时，当前使用者眼睛查看图像时，会在第一显示输出区域产生注视位置。目前
眼球追踪技术已经可以高效而准确地提供双眼注视点坐标，因此，在本实施例中，可以采用眼球追踪技术来实时获取当前使用者在第一电子设备的第一显示输出区域的注视位置，然后基于实时获取的注视位置预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置。
28.目前，大多数眼球追踪系统使用红外光照相机来捕获眼睛图像，然后对采集到的眼睛图像进行处理，来确定瞳孔的位置，然后依靠检测到的瞳孔位置估计眼球注视的方向及位置。图像处理过程有时可以在pc、手机或其他处理器上完成。另外一个方法是瞳孔-角膜反射追踪方法。首先利用眼摄像机拍摄眼睛图像，接着通过图像处理得到瞳孔中心位置，然后把角膜反射点(黄色斑点)作为眼摄像机和眼球的相对位置的基点，根据图像处理得到的瞳孔中心即可以得到视线向量坐标，从而确定人眼注视位置。
29.s102.获得第一时刻待输出至第一显示输出区域的第一图像。
30.在本实施例中，第一电子设备上至少设置有第一摄像头，第一摄像头实时采集图像，然后第一电子设备可以对图像进行处理或不处理后，在第一显示输出区域进行显示。对于不处理的情况，例如，第一电子设备的当前使用者正在给患者会诊，则第一摄像头可以实时采集患者图像，则第一时刻第一摄像头采集的图像即为第一时刻待输出至第一显示输出区域的第一图像。对于处理的情况，可以是将第一摄像头实时采集的全局图像处理成局部图像，然后将局部图像在第一显示输出区域进行显示；可以是采用预测的注视位置对第一时刻之前采集的图像进行处理，预测第一时刻第一摄像头应该采集的图像等，然后将预测的第一时刻的图像在第一时刻在第一显示输出区域进行显示。
31.s103.将第一图像和注视位置发送给第二电子设备，以使得第二电子设备在第一时刻在其第二显示输出区域输出第二图像及与注视位置对应的提示信息；其中，第二图像包括第一图像的至少部分。
32.在本实施例中，第二电子设备设置在远端，第二显示输出区域可以为第二电子设备自带的显示屏。为了使远端的使用者，例如远端的专家也可以查看到第一电子设备的当前使用者看到的图像，且为了使远端的使用者能够知道第一电子设备的当前使用者当前正在注视第一图像的具体位置，需要将第一图像和注视位置发送给第二电子设备。第二电子设备接收到第一图像和注视位置后，可以根据第一图像形成第一图像，在第二显示输出区域输出第二图像，并至少根据注视位置与第一图像的关系形成提示信息。
33.第二图像可以为第一图像的全局图像、局部图像或全局图像与局部图像的组合等。显示提示信息的方式可以为添加虚拟标识、调显示参数(高亮或突出显示)等。例如，可以在第二图像中标识出该注视位置，从而第一电子设备当前使用者看到的图像以及在图像上形成的注视点可以实时在第二电子设备的第二显示屏上显示，从而可以使得第一电子设备和第二电子设备的使用者看到的图像以及在图像上的注视点保持同步。提示信息与第二图像的呈现方式可以为显示布局、能增强提示效果的显示方式等。
34.本技术实施例提供的数据同步方法，通过预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置，第一时刻是当前时刻之后的时刻；获得第一时刻待输出至第一显示输出区域的第一图像；将第一图像和注视位置发送给第二电子设备，以使得第二电子设备在第一时刻在其第二显示输出区域输出第二图像及与注视位置对应的提示信息；其中，第二图像包括第一图像的至少部分；从而第一时刻第一电子设备的当前使用
者与第二电子设备的使用者看到的图像可以同步，且由于在当前时刻预测了第一时刻第一电子设备的当前使用者的注视位置，从而在第二电子设备上输出注视位置对应的提示信息时，预测的注视位置可以消除网络数据传输延时导致的在第二电子设备上输出注视位置的提示信息的延时，从而第一时刻第一电子设备的当前使用者实际的注视位置相当于同步给了第二电子设备的使用者，从而第二电子设备的使用者能够实时知道第一电子设备的当前使用者注视图像的位置，可以提高在诸如远程专家会诊、远程专家协助、远程教学、远程游戏、远程诊断、远程设计制造等系统中协同工作的效率和准确度。
35.在一个可选的实施例中，步骤s101，预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置，包括：获得当前使用者在第一时刻之前的多个相邻时刻的注视位置变化信息，至少基于注视位置变化信息预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置。
36.在本实施例中，注视位置变化信息包括注视位置的移动速度、移动方向、移动轨迹等。
37.由于人眼视觉的暂停时间平均值为170ms，因此可以以170ms的时间间隔为一个时段，计算每隔170ms内注视位置的区域范围。其中，第一时刻处于第一时段内，第一时刻之前的多个相邻时刻处于第一时段之前的多个相邻第二时段内，第二时段的时长与第一时段的时长相同。由于目前眼球追踪设备可以每秒钟获取多达2000张双眼图像，在距所拍摄眼睛图像不到3毫秒内，即可计算出目前使用者正在看屏幕的坐标位置，并反馈给第一电子设备，因此每个170ms时段内，均包括多个注视点，如图2所示，多个注视点形成了注视位置的区域范围。如果当前使用者实际注视位置的区域为540、541、542、543，545，眼球的注视位置预测区域为592，就可以得到540到592的运动法向量。
38.在本实施例中，第一电子设备向第二电子设备传送图像的速率为34ms/帧，则每个170ms内，包括5帧图像，则对于每帧图像的注视位置，可以取注视该帧图像时产生的多个注视点的位置平均值，得到每帧图像的注视位置，然后将5帧图像的注视位置计算平均值，得到每个170ms形成的注视位置区域的注视位置。如图3所示，将连续m个170ms的注视位置区域的注视位置的运动法向量(包括注视位置的移动速度、移动方向、移动轨迹)连接成曲线，根据人眼运动的连贯性，该曲线拟合后得到的运动曲线，可以预测下一个170ms(例如第x个170ms)形成的注视位置区域的注视位置。则根据第一时段之前的m个第二时段的注视位置变化信息(实际注视位置区域的注视位置变化信息)，可以预测第一时段的注视位置，由于第一时刻处于第一时段内，第一时刻的注视位置即为第一时段的注视位置。
39.在本实施例中，由于人眼运动具有惯性，因此通过当前使用者在第一时刻之前的多个相邻时刻的注视位置变化信息就可以预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置，可以快速得到第一时刻当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置。
40.在一个可选的实施方式中，至少基于注视位置变化信息预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置，包括：确定当前使用者在第一时刻所处的第一时间段内的注视位置的最大变化范围，至少基于注视位置变化信息及最大变化范围预测注视位置。
41.具体地，由于第一时段内实际产生了很多的注视点位置，因此，基于实际产生的注
视点位置可以确定当前使用者在第一时刻所处的第一时段内的注视位置的最大变化范围。而基于注视位置变化信息可以预测到第一时段的注视位置，因此可以基于第一时段内的注视点位置的最大变化范围与预测到的第一时段的注视位置来确定第一时刻的注视位置。通过至少基于注视位置变化信息及最大变化范围预测注视位置，可以使得预测的第一时刻的注视位置更加准确。
42.在另一个可选的实施方式中，至少基于注视位置变化信息预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置，包括：确定第一电子设备与第二电子设备之间的传输延时信息，基于传输延时信息和注视位置变化信息预测注视位置；
43.具体地，可以考虑根据传输延时信息确定能够准确预测的最近时刻，如考虑根据传输延时信息考虑在第一时刻之前的特定时刻将预测的第一时刻的注视位置给到第二电子设备，以使得在第一时刻所述第二电子设备能够输出所述注视位置的提示信息。
44.可以通过多次测试的方式来确定第一电子设备与第二电子设备之间的传输延时信息，而基于注视位置变化信息可以预测到第一时段的注视位置，根据传输延时信息以及第一时段的注视位置可以确定第一时刻的注视位置。通过基于传输延时信息和注视位置变化信息预测注视位置，可以使得预测的第一时刻的注视位置更加准确。
45.在一个可选的实施例中，步骤s101，预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置，包括：获得当前使用者在第一时刻之前的多个相邻时刻的注视信息，基于注视信息确定匹配的预测模型，将注视信息输入至预测模型以得到当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置。
46.在本实施例中，注视信息包括注视位置、图像数据及图像中显著特征等。
47.在一个可选的实施方式中，基于注视信息确定匹配的预测模型，包括：获得注视信息的变化特征和第一显示输出区域的显示输出数据，基于变化特征确定匹配的预测模型，以基于注视信息和显示输出数据利用预测模型预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置。
48.具体地，显示输出数据包括图像数据及图像中显著特征。注视信息的变化特征可以是注视位置的变化特征。注视位置的变化特征不同，则训练的预测模型不同，因此，当变化特征发生变化的时候，需要适应性改变预测模型，因此，可以基于注视信息来获取注视信息的变化特征，然后基于变化特征确定匹配的预测模型。
49.预测模型可以通过训练一个深度学习引擎或者神经网络得到。深度学习引擎或者神经网络模型可以更好地进行注视位置预测，模型可以基于眼睛运动速度、运动方向序列，图像数据，以及图像画面内容中显著特征，来预测用户的注视点位置，该模型不仅可以估算实时的注视点位置，还可以预测一段时间后的注视点位置，同时拥有更好的算法性能。
50.在一个可选的实施例中，如果第一摄像头采集的当前帧图像实时在第一显示输出区域进行显示，则步骤s102，获得第一时刻待输出至第一显示输出区域的第一图像，包括：将第一电子设备的第一摄像头在第一时刻采集的图像作为第一图像。在本实施例中，将第一电子设备的第一摄像头在第一时刻采集的图像作为第一图像，从而无需对第一摄像头采集的图像进行处理，则第一电子设备和第二电子设备的当前使用者均可以看到第一摄像头拍摄的原始图像。
51.在一个可选的实施例中，第一电子设备还可以包括第二摄像头，其中第二摄像头
的取景范围大于所述第一摄像头的取景范围。例如第一摄像头为一颗常规的视频通话功能的摄像头，第二摄像头为一颗广角摄像头，则广角摄像头的取景范围包括常规视频通话功能摄像头的取景范围，广角摄像头采集的图像可以包含更大范围的信息。由于网络传输图像时，存在一定的延时，如果想要第一显示输出区域显示的图像与第二显示输出区域显示的图像完全同步，则可以结合预测的注视位置对第二摄像头在第二时刻采集的第三图像进行处理，预测第一时刻第一摄像头应该采集的图像，也即第一时刻第一显示输出区域待显示的第一图像。则步骤s102，获得第一时刻待输出至第一显示输出区域的第一图像，可以包括：获得第一电子设备的第二摄像头在第二时刻采集的第三图像，至少基于预测的注视位置处理第三图像，得到第一图像，其中，第二时刻早于第一时刻。
52.在一种实施方式中，至少基于预测的注视位置处理第三图像，得到第一图像，包括：基于预测的注视位置裁剪第三图像，得到第一图像。
53.具体地，由于预测的注视位置对应了第一时刻的注视图像，因此可以根据预测的注视位置对第三图像进行裁剪，将预测的注视位置处的图像进行保留，从而得到第一图像，由于注视位置是预测的，则第一图像为预测的第一时刻第一摄像头应该采集的图像。
54.在本实施例中，由于网络传输图像时，存在一定的延时，通过基于预测的注视位置对第一电子设备的第二摄像头在第二时刻采集的第三图像进行处理，得到预测的第一时刻第一摄像头应该采集的图像，从而第一电子设备将第一图像发送给第二电子设备时，第二电子设备获取到的第一图像可以抵消网络延时导致的图像画面滞后，第一时刻，第二电子设备与第一电子设备上显示的图像可以同步。
55.在一个可选的实施例中，由于网络传输图像时，存在一定的延时，如果想要第一显示输出区域显示的图像与第二显示输出区域显示的图像同步，则可以将第一摄像头在第三时刻和第二摄像头在第二时刻采集的图像进行合成，预测第一时刻第一摄像头应该采集的图像，也即第一时刻待输出至第一显示输出区域的第一图像。则步骤s102，获得第一时刻待输出至第一显示输出区域的第一图像，包括：获得第一电子设备的第二摄像头在第二时刻采集的第三图像、以及第一摄像头在第三时刻采集的第四图像，处理第三图像和第四图像，得到第一图像，其中，第二时刻和第三时刻均早于第一时刻，第二时刻与第三时刻相同或不同。
56.在一个可选的实施方式中，处理第三图像和第四图像，得到第一图像，包括：获得预测的第一时刻的注视位置相对于第三时刻的注视位置的第一注视位置变化信息，参照第一注视位置变化信息利用第三图像对第四图像进行合成和/或补偿，得到第一图像。
57.具体地，对于头戴式ar、vr、mr设备，第一摄像头和第二摄像头采集的图像随着注视位置的变化，采集的图像的取景范围也可能发生改变。因此，可以通过获得预测的第一时刻的注视位置相对于第三时刻的注视位置的第一注视位置变化信息，然后基于第一注视位置变化信息可以映射到第一摄像头在第一时刻采集的图像相对于第三时刻采集的第四图像的平移参数，即图像移动的距离和方向。如图4所示，根据平移参数对第四图像进行平移，可以得到新的图像。新的图像，具有不包括第四图像的部分，则该部分的内容可以采用第二时刻第二摄像头采集的第三图像进行补齐。可以识别该部分的位置，然后从第三图像中提取该位置的内容填充到新的图像中，形成第一图像。
58.在另一个可选的实施方式中，处理第三图像和第四图像，得到第一图像，包括：获
得第三时刻和预测的第一时刻的注视位置与第一显示输出区域之间的对应关系，基于对应关系的变化信息利用第三图像对第四图像进行合成和/或补偿，得到第一图像。
59.在本实施例中，通过基于预测的第一时刻的注视位置相对于第三时刻的注视位置的第一注视位置变化信息，或基于第三时刻和预测的第一时刻的注视位置与第一显示输出区域之间的对应关系，对第一电子设备的第二摄像头在第二时刻采集的第三图像、以及第一摄像头在第三时刻采集的第四图像进行合成和/或补偿，得到预测的第一时刻第一摄像头应该采集的图像，从而第一电子设备将第一图像发送给第二电子设备时，第二电子设备获取到的第一图像可以抵消网络延时导致的图像画面滞后，第一时刻，第二电子设备与第一电子设备上显示的图像可以同步。
60.在一个可选的实施例中，由于网络传输图像时，存在一定的延时，如果想要第一显示输出区域显示的图像与第二显示输出区域显示的图像同步，则可以结合预测的注视位置对第一摄像头在第三时刻采集的第四图像进行处理，预测第一时刻第一显示输出区域待显示的第一图像。则步骤s102，获得第一时刻待输出至第一显示输出区域的第一图像，包括：获得第一电子设备的第一摄像头在第三时刻采集的第四图像，至少基于预测的注视位置处理第四图像，得到第一图像，其中，第三时刻早于第一时刻。
61.具体地，由于预测的注视位置对应了第一时刻的注视图像，因此可以根据预测的注视位置对第一摄像头在第三时刻采集的第四图像进行裁剪，将预测的注视位置处的图像进行保留，从而得到第一图像，由于注视位置是预测的，则第一图像为预测的第一时刻第一摄像头应该采集的图像。
62.在本实施例中，由于网络传输图像时，存在一定的延时，通过基于预测的注视位置对第一电子设备的第一摄像头在第三时刻采集的第四图像进行处理，得到预测的第一时刻第一摄像头应该采集的图像，从而第一电子设备将第一图像发送给第二电子设备时，第二电子设备获取到的第一图像可以抵消网络延时导致的图像画面滞后，第一时刻，第二电子设备与第一电子设备上显示的图像可以同步。
63.在一个可选的实施例中，步骤s103，将第一图像和注视位置发送给第二电子设备，包括：如果第一图像相对早于第一时刻的相邻时刻的至少一帧图像的差异在第一范围，将第一图像和注视位置发送给第二电子设备。
64.具体地，如果第一图像相对早于第一时刻的相邻时刻的至少一帧图像的差异在第一范围，则表示第一图像相对早于第一时刻的相邻时刻的至少一帧图像的差异较大，则需要将第一图像和注视位置发送给第二电子设备，以使得第二电子设备在第一时刻可以及时显示与当前图像存在差异的图像。差异可以基于注视参数的变化确定，注视参数包括视线移动速度和移动轨迹等。
65.在一个可选的实施例中，步骤s103，将第一图像和注视位置发送给第二电子设备，包括：如果第一图像相对早于第一时刻的相邻时刻的至少一帧图像的差异在第二范围，将确定的第一图像与注视位置之间对应的内容数据和/或关系数据发送给第二电子设备。
66.具体地，如果第一图像相对早于第一时刻的相邻时刻的至少一帧图像的差异在第二范围，则表示第一图像相对早于第一时刻的相邻时刻的至少一帧图像的差异较小，此时，可以不用传输第一图像，只需要发送第一图像与注视位置之间对应的内容数据，和/或确定第一图像与注视位置之间对应的关系数据。内容数据包括注视位置对应的图像内容，图像
内容可以是注视位置对应的原比例图像，也可以是放大图像。关系数据包括图像内容与注视位置之间的相对位置关系。
67.在一个可选的实施方式中，将确定的第一图像与注视位置之间的内容数据和/或关系数据发送给第二电子设备，包括：确定第一图像中对应注视位置的图像内容，将图像内容发送给第二电子设备。
68.由于第一图像相对早于第一时刻的相邻时刻的至少一帧图像的差异较小，将第一图像中对应注视位置的图像内容发送给第二电子设备，则第二电子设备可以直接根据图像内容形成提示信息，对第二电子设备的使用者进行注视位置提示。
69.在另一个可选的实施方式中，将确定的第一图像与注视位置之间的内容数据和/或关系数据发送给第二电子设备，包括：基于注视位置与第一图像的关系以及第一显示输出区域与第二显示输出区域的配置关系确定注视位置与第二显示输出区域的位置关系，将位置关系发送给第二电子设备。
70.具体地，第一显示输出区域与第二显示输出区域的配置关系可以是比例关系或尺寸关系，也可以是显示配置参数上的差异，如分辨率、亮度、色温等。基于注视位置与第一图像的关系以及第一显示输出区域与第二显示输出区域的配置关系可以确定注视位置与第二显示输出区域的位置关系，将该位置关系发送给第二电子设备后，则第二电子设备直接可以显示该位置关系，无需对该位置关系进行处理。
71.在另一个可选的实施方式中，将确定的第一图像与注视位置之间的内容数据和/或关系数据发送给第二电子设备，包括：确定第一图像中对应注视位置的图像内容、及图像内容与注视位置之间的相对位置关系，将图像内容和相对位置关系发送给第二电子设备。
72.具体地，图像内容可以是注视位置对应的放大图像或原比例图像，图像内容与注视位置之间的相对位置关系可以基于图像内容的放大比例确定。将图像内容和相对位置关系发送给第二电子设备，则第二电子设备可以根据图像内容及该相对位置关系形成提示信息，从而对第二电子设备的使用者进行注视位置的提示。
73.在一个可选的实施例中，在第二显示输出区域输出第二图像及与注视位置对应的提示信息，包括：获得第一显示输出区域与第二显示输出区域的配置关系，至少基于配置关系处理第一图像和注视位置，以在第二显示输出区域输出第二图像及与注视位置对应的提示信息。
74.在一个可选的实施方式中，至少基于配置关系处理第一图像和注视位置，以在第二显示输出区域输出第二图像及与注视位置对应的提示信息，包括：基于第一显示输出区域与第二显示输出区域之间的显示标识信息配置差异处理第一图像，以使得处理第一图像得到的第二图像匹配第二显示输出区域的显示标识信息。
75.具体地，显示标识信息包括扩展显示标识数据(extended display identification data，edid)。由于第一显示输出区域与第二显示输出区域的显示标识信息可能存在差异，因此，需要根据该差异来处理第一图像，才能使的处理后的图像(第二图像)匹配第二显示输出区域的显示标识信息。
76.在另一个可选的实施方式中，至少基于配置关系处理第一图像和注视位置，以在第二显示输出区域输出第二图像及与注视位置对应的提示信息，包括：基于配置关系处理第一图像和注视位置之间的第一相对位置关系，以利用处理第一相对位置关系得到的第二
相对位置关系配置在第二图像或第二显示输出区域对应输出用于突出注视位置的提示信息。
77.具体地，由于第一显示输出区域与第二显示输出区域之间可能存在比例或尺寸的不对应，因此，在第二显示输出区域显示第二图像时，为了使得注视位置能够的提示信息与第二图像匹配，需要根据第一显示输出注视第一图像与注视位置之间的第一显示输出区域与第二显示输出区域的尺寸比例对第一图像和注视位置之间的第一相对位置关系进行转换，得到第二相对位置关系，从而在第二显示输出区域显示的根据第二相对位置关系配置的注视位置的提示信息与第一显示输出区域显示到的第一相对位置关系匹配。
78.本技术实施例还提供了一种数据同步装置，如图5所示，包括：
79.预测模块21，用于预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置，第一时刻是当前时刻之后的时刻；具体的实施方式详见上述方法实施例步骤s101的描述，在此不再赘述。
80.获得模块22，用于获得第一时刻待输出至第一显示输出区域的第一图像；具体的实施方式详见上述方法实施例步骤s102的描述，在此不再赘述。
81.发送模块23，用于将第一图像和注视位置发送给第二电子设备，以使得第二电子设备在第一时刻在其第二显示输出区域输出第二图像及与注视位置对应的提示信息；其中，第二图像包括第一图像的至少部分。具体的实施方式详见上述方法实施例步骤s103的描述，在此不再赘述。
82.本技术实施例提供的数据同步装置，通过预测当前使用者于第一时刻在第一电子设备的第一显示输出区域的注视位置，第一时刻是当前时刻之后的时刻；获得第一时刻待输出至第一显示输出区域的第一图像；将第一图像和注视位置发送给第二电子设备，以使得第二电子设备在第一时刻在其第二显示输出区域输出第二图像及与注视位置对应的提示信息；其中，第二图像包括第一图像的至少部分；从而第一时刻第一电子设备的当前使用者与第二电子设备的使用者看到的图像可以同步，且由于在当前时刻预测了第一时刻第一电子设备的当前使用者的注视位置，从而在第二电子设备上输出注视位置对应的提示信息时，预测的注视位置可以消除网络数据传输延时导致的在第二电子设备上输出注视位置的提示信息的延时，从而第一时刻第一电子设备的当前使用者实际的注视位置相当于同步给了第二电子设备的使用者，从而第二电子设备的使用者能够实时知道第一电子设备的当前使用者注视图像的位置，可以提高在诸如远程专家会诊、远程专家协助、远程教学、远程游戏、远程诊断、远程设计制造等系统中协同工作的效率和准确度。
83.基于与前述实施例中一种数据同步方法同样的发明构思，本技术实施例还提供一种电子设备，如图6所示，包括：处理器31和存储器32，其中处理器31和存储器32可以通过总线或者其他方式连接，图6中以通过总线连接为例进行说明。
84.处理器31可以为中央处理器(central processing unit，cpu)。处理器31还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
85.存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非
暂态计算机可执行程序以及模块，如本技术实施例中的数据同步方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的数据同步方法。
86.存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器31所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至处理器31。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
87.上述的一个或者多个模块存储在存储器32中，当被处理器31执行时，执行如图1所示实施例中的数据同步方法。
88.上述电子设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
89.本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
90.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
91.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信息处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信息处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
92.这些计算机程序指令也可存储在能引导计算机或其他可编程信息处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
93.这些计算机程序指令也可装载到计算机或其他可编程信息处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
94.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精
神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。