弱视训练方法、装置、设备及存储介质与流程

1.本技术实施例涉及图像处理技术领域，特别涉及一种弱视训练方法、装置、设备及存储介质。


背景技术：

2.弱视是指眼球无器质性病变但最佳矫正视力低于正常视力的一种眼病。通常由单眼斜视、屈光参差、高度屈光不正、视觉剥夺等原因引起，如不及时治疗可引导弱视加重，甚至失明。所以，亟需一种弱视训练方法来矫正弱视眼的视力。
3.相关技术提出了一种弱视训练仪，该弱视训练仪能够显示双眼视场内容，双眼视场内容中包含运动目标。该弱视训练仪能够跟踪用户左眼和右眼分别对运动目标的注视轨迹，并根据左眼注视轨迹和右眼注视轨迹分别与运动目标的实际运动轨迹之间的接近程度，确定主视眼和弱视眼。然后，对于弱视眼，通过多次重复显示包含运动目标的视场内容，并记录弱视眼注视运动目标的注视轨迹与运动目标的实际运动轨迹的接近程度。
4.然而，对于不同成因或者不同程度的弱视患者，按照上述的弱视训练仪进行训练之后，训练效果有的不是很理想。


技术实现要素：

5.本技术实施例提供了一种弱视训练方法、装置、设备及存储介质，可以解决相关技术中训练效果不理想的问题。技术方案如下：
6.第一方面，提供了一种弱视训练方法，应用于弱视训练设备，该方法包括：确定用户的主视眼和弱视眼，确定弱视眼的弱视类型，弱视类型包括斜视性弱视和屈光参差性弱视，当弱视眼的弱视类型被确定为斜视性弱视时，对弱视训练图像进行单应性变换处理来进行弱视训练，当弱视眼的弱视类型被确定为屈光参差性弱视时，对弱视训练图像进行图像尺寸调整处理来进行弱视训练。
7.在本技术实施例中，通过确定弱视眼的弱视类型，按照弱视眼的弱视类型，对弱视训练图像处理后来进行弱视训练。也就是说，通过区分弱视类型，从而按照不同的症状进行针对性训练，能够提高弱视训练效果。
8.其中，确定弱视眼的弱视类型的实现过程包括：在主视眼对应的显示区域中显示第一测试图像，在弱视眼对应的显示区域中显示第二测试图像，通过眼动跟踪的方式，确定主视眼在显示的第一测试图像中的凝视位置的坐标，以及弱视眼在显示的第二测试图像中的凝视位置的坐标，得到第一凝视位置坐标和第二凝视位置坐标。根据第一凝视位置坐标和第二凝视位置坐标，确定弱视眼的弱视类型。
9.作为一种示例，通过眼动跟踪的方式，确定主视眼在显示的第一测试图像中的凝视位置的坐标的实现过程为：确定位置变换矩阵，通过眼动跟踪的方式，确定主视眼的眼球位置坐标，然后将主视眼的眼球位置坐标与位置变换矩阵相乘，得到主视眼在第一测试图像中的凝视位置的坐标，也即是，第一凝视位置坐标。同理，通过眼动跟踪的方式，确定弱视
眼在显示的第二测试图像中的凝视位置的坐标的实现过程为：确定位置变换矩阵，通过眼动跟踪的方式，确定弱视眼的眼球位置坐标，然后将弱视眼的眼球位置坐标与位置变换矩阵相乘，得到弱视眼在第二测试图像中的凝视位置的坐标，也即是，第二凝视位置坐标。
10.其中，位置变换矩阵是指眼球位置与图像中的目标点的位置之间的变换矩阵。
11.作为一种示例，根据第一凝视位置坐标和第二凝视位置坐标，确定弱视眼的弱视类型的实现过程为：根据第一凝视位置坐标和第二凝视位置坐标，确定双眼偏差信息，双眼偏差信息是指弱视眼的视线方向与主视眼的视线方向之间的偏差信息。如果双眼偏差信息大于或等于第一阈值，则确定弱视眼的弱视类型为斜视性弱视。如果双眼偏差信息小于第一阈值，则确定弱视眼的弱视类型为屈光参差性弱视。
12.需要说明的是，正常情况下，双眼偏差信息应该最小接近于0。也就是说，双眼偏差信息越大，说明斜视的程度越严重，双眼偏差信息越小，说明斜视的程度越轻微。所以，在确定用户的双眼中存在弱视眼的情况下，可以确定双眼偏差信息是否大于或等于第一阈值，如果双眼偏差信息大于或等于第一阈值，表征用户的弱视眼的弱视类型为斜视性弱视。如果双眼偏差信息小于第一阈值，表征用户的弱视眼的弱视类型为屈光参差性弱视。
13.也就是说，在确定用户的双眼中存在弱视眼的情况下，通过第一阈值即可确定弱视眼的弱视类型为斜视性弱视还是屈光参差性弱视。
14.其中，第一阈值是指参考距离范围内的任一数值，该参考距离范围是指用来区分斜视性弱视和屈光参差性弱视的一个距离范围。而且，第一阈值与弱视训练设备的角分辨率相关。比如，在弱视训练设备的显示屏的平均角分辨率为20的情况下，第一阈值为100pixel(像素)。在弱视训练设备的显示屏的平均角分辨率为30的情况下，第一阈值为150pixel。
15.值得注意的是，基于上述描述，弱视通常由单眼斜视、屈光参差、高度屈光不正、视觉剥夺等原因引起，但是，对于高度屈光不正和视觉剥夺这两种类型来说，由于在生理上已经对眼睛造成了损伤，通过弱视训练已经无法矫正弱视眼的视力。所以，本技术实施例通过区分斜视性弱视和屈光参差性弱视这两种类型，来进行弱视训练，并不涉及高度屈光不正和视觉剥夺这两种弱视类型。
16.其中，确定用户的双眼中的主视眼和弱视眼的实现过程为：检测用户的双眼的屈光度，将用户的双眼中屈光度低的眼睛确定为主视眼，将用户的双眼中屈光度高的眼睛确定为弱视眼。
17.屈光度一般是指近视度数、远视度数或者散光度，通俗地讲，屈光度也称为视力。视力主要是指眼底视网膜成像的能力。作为一种示例，弱视训练设备的两个显示区域中分别显示视力表。在用户的双眼分别注视视力表的过程中，通过调整虚像距，来检测用户的双眼的屈光度。其中，视力表可以为终端设备投屏到弱视训练设备上的，当然，视力表也可以是弱视训练设备自身存储的，本技术实施例对此不做限定。
18.在一些实施例中，对弱视训练图像进行单应性变换处理的实现过程为：在主视眼对应的显示区域中显示弱视训练图像，对弱视训练图像进行单应性变换处理后显示在弱视眼对应的显示区域中，以使用户的双眼看到的图像能够合像来进行弱视训练。同理，对弱视训练图像进行图像尺寸调整来进行弱视训练的实现过程为：在主视眼对应的显示区域中显示弱视训练图像，对弱视训练图像进行图像尺寸调整后显示在弱视眼对应的显示区域中，
以使用户的双眼看到的图像能够合像来进行弱视训练。
19.在另一些实施例中，为了改善弱视眼的成像能力，还可以确定主视眼对应的图像对比度和弱视眼对应的图像对比度，以使用户的双眼感知能力相同。这样，能够按照主视眼对应的图像对比度，在主视眼对应的显示区域中显示弱视训练图像，按照弱视眼对应的图像对比度，根据弱视眼的弱视类型对弱视训练图像进行单应性变换处理后显示在弱视眼对应的显示区域中，以使用户的双眼看到的图像能够合像来进行弱视训练。或者，按照主视眼对应的图像对比度，在主视眼对应的显示区域中显示弱视训练图像，按照弱视眼对应的图像对比度，对弱视训练图像进行图像尺寸调整处理后显示在弱视眼对应的显示区域中，以使用户的双眼看到的图像能够合像来进行弱视训练。
20.对于上述两种实施例来说，根据弱视眼的弱视类型对弱视训练图像进行处理的操作，以及进行弱视训练的操作均相同，区别仅仅在于是否需要确定双眼各自对应的图像对比度，进而在弱视训练的过程按照双眼各自对应的图像对比度来显示弱视训练图像。接下来，以第二种实施例为例，对本技术实施例提供的弱视训练过程进行介绍。
21.在一些实施例中，确定主视眼对应的图像对比度和弱视眼对应的图像对比度的实现过程包括：在主视眼对应的显示区域中显示第三测试图像，在弱视眼对应的显示区域中显示第四测试图像。之后，降低显示的第三测试图像的对比度，增加显示的第四测试图像的对比度。当检测到对比度确定指令时，将降低后第三测试图像的对比度确定为主视眼对应的图像对比度，将增加后第四测试图像的对比度确定为弱视眼对应的图像对比度，该对比度确定指令是用户根据显示的第三测试图像和第四测试图像反馈自身的双眼能够感知的对比度相同时触发的。
22.也即是，通过在弱视训练设备的两个显示区域上分别显示一个测试图像，通过用户的主观反馈来调节两个测试图像的对比度，从而使用户的双眼能够感知的对比度相同。而且，在本技术实施例中，通过降低第三测试图像的对比度，以及增加第四测试图像的对比度，来保证用户的双眼能够感知的对比度相同。也就是说，通过降低主视眼的对比度，增加弱视眼的对比度，从而在后续进行弱视训练过程中，对主视眼和弱视眼分别显示不同对比度的画面，以强化弱视眼以及抑制主视眼的成像能力，达到弱视训练的目的。
23.上述实现过程是根据用户的主观反馈来确定主视眼对应的图像对比度和弱视眼对应的图像对比度，但是，用户主观反馈的对比度往往可能存在偏差。所以，在另一些实施例中，在主视眼对应的显示区域中显示多个第三测试图像，在弱视眼对应的显示区域中显示多个第四测试图像，该多个第三测试图像中包括第一运动目标，该多个第四测试图像中包括第二运动目标。这样，在将降低后第三测试图像的对比度确定为主视眼对应的图像对比度，将增加后第四测试图像的对比度确定为弱视眼对应的图像对比度之前，还包括：通过眼动跟踪的方式，确定主视眼在多个第三测试图像中对第一运动目标的注视轨迹，以及弱视眼在多个第四测试图像中对第二运动目标的注视轨迹，得到第一注视轨迹和第二注视轨迹。获取第一运动目标的实际运动轨迹和第二运动目标的实际运动轨迹，得到第一实际运动轨迹和第二实际运动轨迹。如果第一注视轨迹与第一实际运动轨迹匹配，且第二注视轨迹与第二实际运动轨迹匹配，则将降低后第三测试图像的对比度确定为主视眼对应的图像对比度，将增加后第四测试图像的对比度确定为弱视眼对应的图像对比度。
24.也即是，通过眼动跟踪的方式，能够进一步准确地确定通过用户的主观反馈确定
的双眼对应的图像对比度是否准确，从而避免主观反馈带来的误差。
25.基于上述描述，弱视类型包括斜视性弱视和屈光参差性弱视，对于不同的弱视类型，对弱视训练图像进行处理的操作不同，接下来将分别进行介绍。
26.弱视眼的弱视类型为斜视性弱视
27.在这种情况下，弱视训练图像中包括目标对象，目标对象用于进行弱视训练。此时，按照双眼偏差信息对弱视训练图像进行单应性变换。将单应性变换前的弱视训练图像作为第一训练图像，将单应性变换后的弱视训练图像作为第二训练图像，按照主视眼对应的图像对比度，在主视眼对应的显示区域中显示第一训练图像，按照弱视眼对应的图像对比度，在弱视眼对应的显示区域中显示第二训练图像。通过眼动跟踪的方式，确定主视眼在第一训练图像中的凝视位置，以及弱视眼在第二训练图像中的凝视位置，得到第一凝视位置和第二凝视位置。如果第一凝视位置与第一训练图像中目标对象的实际位置重合，且第二凝视位置与第二训练图像中目标对象的实际位置重合，则减小弱视训练图像的单应性变换量，返回将单应性变换前的弱视训练图像作为第一训练图像，将单应性变换后的弱视训练图像作为第二训练图像的步骤，直至弱视训练结束，或者弱视训练图像不进行单应性变换的情况下，第二凝视位置与第二训练图像中目标对象的实际位置重合为止。
28.单应性变换是指一张图像到另一张图像的映射关系，通常包括平移和/或旋转。由于眼睛通常对旋转不够敏感，所以，本技术实施例中，单应性变换主要是指平移。另外，基于上述双眼偏差的运算过程，双眼偏差信息可以分为水平方向上的偏差信息和垂直方向上的偏差信息，这样，按照双眼偏差信息对弱视训练图像进行单应性变换的实现过程为：将双眼偏差信息中的水平方向上的偏差信息确定为水平方向上的平移量，将双眼偏差信息中垂直方向上的偏差信息确定为垂直方向上的平移量。之后，按照水平方向的平移量和垂直方向上的平移量，对弱视训练图像进行平移，从而实现弱视训练图像的单应性变换。
29.对于斜视性弱视来说，由于弱视眼的视线方向与主视眼的视线方向之间存在偏差，所以需要对弱视训练图像进行单应性变换，以调整目标对象在弱视训练图像中的位置。然后在主视眼对应的显示区域中显示未调整的弱视训练图像，在弱视眼对应的显示区域中显示调整后的弱视训练图像，从而对弱视眼进行训练的过程中，用户的双眼看到的图像能够合像，也即是，双眼能够看到相同的画面。而且，双眼同时观看对应的显示区域中的弱视训练图像，能够保证双眼的立体视觉。
30.此外，基于上面的描述，主视眼对应的图像对比度和弱视眼对应的图像对比度可能不同，这样，按照主视眼对应的图像对比度显示第一训练图像，按照弱视眼对应的图像对比度显示第二训练图像，在改善弱视眼的成像能力的同时，还能确保用户的舒适度，使用户更容易接受训练方法及训练过程，改善训练效果，提高用户粘度。
31.弱视眼的弱视类型为屈光参差性弱视
32.在这种情况下，弱视训练图像中包括目标对象，目标对象用于进行弱视训练。此时，对弱视训练图像中目标对象的位置和/或尺寸进行多次调整，得到多个训练图像，确定弱视眼相对于主视眼的图像缩放比例，按照该图像缩放比例，对该多个训练图像的尺寸进行缩放。将缩放前的多个训练图像作为多个第三训练图像，将缩放后的多个训练图像作为多个第四训练图像，按照主视眼对应的图像对比度，在主视眼对应的显示区域中依次显示多个第三训练图像，按照弱视眼对应的图像对比度，在弱视眼对应的显示区域中依次显示
多个第四训练图像，且多个第三训练图像和多个第四训练图像的显示顺序和切换频率相同。
33.对于屈光参差性弱视来说，由于弱视眼的屈光度高于主视眼的屈光度，所以弱视眼看到的图像的尺寸与主视眼看到的图像的尺寸可能不同，因此，在对弱视训练图像中目标对象的位置和/或尺寸进行多次调整，得到多个训练图像之后，需要确定弱视眼相对于主视眼的图像缩放比例，进而按照该图像缩放比例对该多个训练图像的尺寸进行缩放，以使主视眼和弱视眼看到的图像能够合像，也即是，双眼能够看到相同的画面。
34.其中，确定弱视眼相对于主视眼的图像缩放比例的实现过程为：在主视眼对应的显示区域中显示第五测试图像，在弱视眼对应的显示区域中显示第六测试图像，第五测试图像包括第一测试目标，第六测试图像包括第二测试目标，第一测试目标和第二测试目标的比例相同。缩放第六测试图像的比例。当检测到比例确定指令时，确定第一测试目标与缩放后的第二测试目标之间的比例，得到图像缩放比例，该比例确定指令是用户反馈自身的双眼能够看到比例相同的第一测试目标和第二测试目标时触发的。
35.也即是，对于同一个眼睛来说，第五测试图像中的第一测试目标和第六测试图像中的第二测试目标最初的比例相同。然后，在主视眼注视第五测试图像，弱视眼注视第六测试图像的过程中，通过缩放第六测试图像的比例，由用户反馈自身的双眼能够看到比例相同的第一测试目标和第二测试目标时，通过第一测试目标的尺寸和缩放后的第二测试目标的尺寸，确定图像缩放比例。
36.本技术实施例按照不同的弱视类型进行弱视训练之后，还可以反馈弱视训练效果，从而便于用户针对性调整训练计划。接下来对其中的两种反馈弱视训练效果的方式进行介绍。
37.第一种方式，通过眼动跟踪的方式，确定弱视眼在弱视眼对应的显示区域显示的图像中的凝视位置，得到弱视眼凝视位置。如果弱视眼凝视位置与弱视眼对应的显示区域显示的图像中目标对象的实际位置重合，则将弱视眼对应的显示区域显示的图像中目标对象的显示方式修改为参考显示方式，以指示弱视训练效果。
38.其中，参考显示方式可以是指高亮、变色等方式，本技术实施例对此不做限定。
39.第二种方式，通过眼动跟踪的方式，确定弱视眼在弱视眼对应的显示区域显示的图像中的凝视位置，得到弱视眼凝视位置。根据弱视眼凝视位置和目标对象的实际位置，绘制弱视训练曲线，以指示弱视训练效果。
40.作为一种示例，统计本次弱视训练周期内的训练总次数，以及本次弱视训练周期内弱视眼凝视位置与目标对象的实际位置重合的次数与训练总次数的百分比。然后，结合历史的多次弱视训练周期的数据来绘制弱视训练曲线。也即是，将多个弱视训练周期作为横轴，将每个弱视训练周期内确定的百分比作为纵轴，绘制弱视训练曲线。
41.需要说明的是，上述两种方式可以单独使用，也可以结合使用，本技术实施例对此不做限定。当然，实际应用中，还可以通过其他的方式来反馈弱视训练效果。比如，在每个弱视训练周期进行弱视训练之后，可以检测弱视眼的屈光度，然后，以多个弱视训练周期作为横轴，以弱视眼的屈光度为纵轴，绘制弱视训练曲线。
42.第二方面，提供了一种弱视训练装置，弱视训练装置具有实现上述第一方面中弱视训练方法行为的功能。弱视训练装置包括至少一个模块，该至少一个模块用于实现上述
第一方面所提供的弱视训练方法。
43.第三方面，提供了一种弱视训练设备，弱视训练设备包括处理器和存储器，存储器用于存储执行上述第一方面所提供的弱视训练方法的程序，以及存储用于实现上述第一方面所提供的弱视训练方法所涉及的数据。处理器被配置为用于执行存储器中存储的程序。存储设备的操作装置还可以包括通信总线，该通信总线用于该处理器与存储器之间建立连接。
44.第四方面，提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的弱视训练方法。
45.第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面的弱视训练方法。
46.上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。
47.本技术实施例提供的技术方案至少可以带来以下有益效果：
48.在本技术实施例中，通过确定弱视眼的弱视类型，按照弱视眼的弱视类型，对弱视训练图像进行不同方式的处理后来进行弱视训练。也就是说，通过区分弱视类型，从而按照不同的症状进行针对性训练，能够提高弱视训练效果。
附图说明
49.图1是本技术实施例提供的一种弱视训练系统的架构图；
50.图2是本技术实施例提供的一种弱视训练方法的流程图；
51.图3是本技术实施例提供的一种确定出的多个双眼偏差信息的示意图；
52.图4是本技术实施例提供的一种对斜视性弱视进行训练的示意图；
53.图5是本技术实施例提供的一种斜视性弱视恢复到正视的示意图；
54.图6是本技术实施例提供的一种按照第一种方式对弱视训练图像进行调整的示意图；
55.图7是本技术实施例提供的一种按照第一种方式显示的弱视训练图像的变化示意图；
56.图8是本技术实施例提供的一种按照第二种方式对弱视训练图像进行调整的示意图；
57.图9是本技术实施例提供的一种按照第二种方式显示的弱视训练图像的变化示意图；
58.图10是本技术实施例提供的一种按照第三种方式对弱视训练图像进行调整的示意图；
59.图11是本技术实施例提供的一种按照第三种方式显示的弱视训练图像的变化示意图；
60.图12是本技术实施例提供的一种按照第四种方式对弱视训练图像进行调整的示意图；
61.图13是本技术实施例提供的一种按照第四种方式显示的弱视训练图像的变化示意图；
62.图14是本技术实施例提供的一种在双眼显示测试图像确定图像缩放比例的示意图；
63.图15是本技术实施例提供的一种双眼合像的示意图；
64.图16是本技术实施例提供的第一种指示弱视训练效果的示意图；
65.图17是本技术实施例提供的第二种指示弱视训练效果的示意图；
66.图18是本技术实施例提供的第三种指示弱视训练效果的示意图；
67.图19是本技术实施例提供的一种弱视训练装置的结构示意图；
68.图20是本技术实施例提供的一种弱视训练设备的结构示意图；
69.图21是本技术实施例提供的一种终端的结构示意图；
70.图22是本技术实施例提供的另一种终端的结构示意图。
具体实施方式
71.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
72.在对本技术实施例提供的弱视训练方法进行详细地解释说明之前，先对本技术实施例涉及的术语和实施环境进行介绍。
73.首先，对本技术实施例涉及的术语进行介绍。
74.弱视：是指眼球无器质性病变但最佳矫正视力低于正常视力的一种眼病。通常由单眼斜视、屈光参差、高度屈光不正、视觉剥夺等原因引起。
75.单眼斜视：是指中枢管制失调，眼外肌力量不平衡，双眼不能同时注视目标，视轴呈分离状态，其中一眼注视目标，另一眼偏离目标的一种现象。也可以理解为，因眼位偏斜后引起异常的双眼相互作用，斜视眼的黄斑中心窝接受的不同物象(混淆视)受到抑制，导致斜视眼的最佳矫正视力低于正常视力的一种现象。
76.屈光参差：是指双眼的屈光度存在参差。其中，屈光度较高的一个眼睛会形成弱视。通常情况下，屈光参差性弱视为单眼性弱视。
77.高度屈光不正：是指眼睛在不使用调节时，平行光线通过眼睛的屈光作用后，不能在视网膜上形成清晰的物像，而在视网膜前或后方成像。主要是指远视性屈光不正或高度散光，会因双眼的物象模糊从而引起形觉剥夺。通常情况下，高度屈光不正会造成双眼性弱视。
78.视觉剥夺：是指在不损害眼睛组织结构的情况下阻止视觉信息传人的一种现象。也可以理解为，在视觉关键期内由于屈光间质混淆(角膜白斑、白内障、玻璃体炎症或积血)，完全性上睑下垂，造成眼睛视力下降的一种现象。
79.主视眼：是指屈光度较低的眼睛，与弱视眼为相对概念。也即是，用户的双眼中，屈光度相对较低的眼睛为主视眼。
80.弱视眼：是指屈光度较高的眼睛，与主视眼为相对概念。也即是，用户的双眼中，屈光度相对较高的眼睛为弱视眼。
81.眼动跟踪：是指通过测量眼睛的凝视位置或者眼球相对头部的运动而实现对眼球运动的追踪，最常用的手段是通过视频拍摄设备来获取眼睛的位置。
82.其次，对本技术实施例涉及的实施环境进行介绍。
83.请参考图1，图1是本技术实施例提供的一种弱视训练系统的架构图。该系统包括终端设备101和弱视训练设备102，终端设备101与弱视训练设备102之间通过无线或有线的方式进行通信。
84.终端设备101用于显示弱视训练图像，并将显示的弱视训练图像投屏到弱视训练设备102上。弱视训练设备102包括两个显示区域，这两个显示区域对应于用户的双眼，分别为主视眼对应的显示区域和弱视眼对应的显示区域。弱视训练设备102的两个显示区域用于显示终端设备101投屏的弱视训练图像，弱视训练设备102还用于确定用户的弱视眼的弱视类型，按照弱视类型，对弱视训练图像进行处理，从而通过这两个显示区域上显示的弱视训练图像进行弱视训练，以矫正弱视眼的视力。
85.在一些实施例中，弱视训练设备102包括显示模组、眼动跟踪模块和图像处理模块。显示模组用于显示终端设备101投屏的弱视训练图像。眼动跟踪模块用于确定用户的弱视眼的弱视类型。图像处理模块用于按照弱视类型，对弱视训练图像进行处理。
86.可选地，眼动跟踪模块还用于确定用户的眼睛的凝视位置，从而确定弱视训练效果。
87.需要说明的是，终端设备101为任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品。例如个人计算机(personal computer，pc)、手机、智能手机、个人数字助手(personal digital assistant，pda)、可穿戴设备、掌上电脑ppc(pocket pc)、平板电脑、智能车机、智能电视、智能音箱等。弱视训练设备102为任何一种具有两个显示区域的头戴式设备。例如，虚拟现实(virtual reality，vr)眼镜、vr头盔、观影眼镜、增强现实(augmented reality，ar)眼镜、ar头盔、融合现实(mix reality，mr)眼镜、mr头盔等设备。其中，弱视训练设备102的两个显示区域为弱视训练设备102的两个显示屏幕，或者为弱视训练设备102的同一个显示屏幕中的不同显示区域。
88.值得注意的是，在上述系统架构中，终端设备101用于将弱视训练图像投屏到弱视训练设备102中，进而由弱视训练设备102对用户的弱视眼进行弱视训练。在其他一些实施例中，上述系统架构不包括终端设备101，也就是说，弱视训练设备102能够存储弱视训练图像，并在弱视训练过程中，直接显示存储的弱视训练图像。
89.接下来，对本技术实施例提供的弱视训练方法进行详细地解释说明。
90.请参考图2，图2是本技术实施例提供的一种弱视训练方法的流程图，该方法应用于弱视训练设备中，该弱视训练设备包括两个显示区域，这两个显示区域对应于用户的双眼。该方法包括如下步骤。
91.步骤201：确定用户的主视眼和弱视眼。
92.在一些实施例中，确定用户的主视眼和弱视眼的实现过程为：分别检测用户的双眼的屈光度，将用户的双眼中屈光度低的眼睛确定为主视眼，将用户的双眼中屈光度高的眼睛确定为弱视眼。
93.屈光度一般是指近视度数、远视度数或者散光度，通俗地讲，屈光度也称为视力。视力主要是指眼底视网膜成像的能力。作为一种示例，弱视训练设备的两个显示区域中分别显示视力表。在用户的双眼分别注视视力表的过程中，通过调整虚像距，来检测用户的双眼的屈光度。其中，视力表可以为终端设备投屏到弱视训练设备上的，当然，视力表也可以
是弱视训练设备自身存储的，本技术实施例对此不做限定。
94.步骤202：确定弱视眼的弱视类型，弱视类型包括斜视性弱视或屈光参差性弱视。
95.在一些实施例中，确定弱视眼的弱视类型的实现过程为：在主视眼对应的显示区域中显示第一测试图像，在弱视眼对应的显示区域中显示第二测试图像。通过眼动跟踪的方式，确定主视眼在显示的第一测试图像中的凝视位置的坐标，以及弱视眼在显示的第二测试图像中的凝视位置的坐标，得到第一凝视位置坐标和第二凝视位置坐标。根据第一凝视位置坐标和第二凝视位置坐标，确定弱视眼的弱视类型。
96.其中，第一测试图像和第二测试图像可以相同，也可以不同。第一测试图像和第二测试图像可以为终端设备投屏到弱视训练设备上的，当然，第一测试图像和第二测试图像也可以是弱视训练设备自身存储的，本技术实施例对此不做限定。
97.作为一种示例，通过眼动跟踪的方式，确定主视眼在显示的第一测试图像中的凝视位置的坐标的实现过程为：确定位置变换矩阵，通过眼动跟踪的方式，确定主视眼的眼球位置坐标，然后将主视眼的眼球位置坐标与位置变换矩阵相乘，得到主视眼在第一测试图像中的凝视位置的坐标，也即是，第一凝视位置坐标。同理，通过眼动跟踪的方式，确定弱视眼在显示的第二测试图像中的凝视位置的坐标的实现过程为：确定位置变换矩阵，通过眼动跟踪的方式，确定弱视眼的眼球位置坐标，然后将弱视眼的眼球位置坐标与位置变换矩阵相乘，得到弱视眼在第二测试图像中的凝视位置的坐标，也即是，第二凝视位置坐标。
98.其中，位置变换矩阵是指眼球位置与图像中的目标点的位置之间的变换矩阵。该位置变换矩阵的确定方式可以为：弱视训练设备依次显示多个目标点，然后在用户的眼睛注视该多个目标点时，通过眼动跟踪的方式，确定用户的眼球位置坐标，得到对应的多个眼球位置坐标。接下来，通过如下公式确定位置变换矩阵。
99.p1＝t*p2100.其中，在上述公式中，p1是指多个目标点的坐标构成的矩阵，t是指位置变换矩阵，p2是指用户的眼睛注视该多个目标点时，通过眼动跟踪的方式确定的多个眼球位置坐标。
101.作为一种示例，根据第一凝视位置坐标和第二凝视位置坐标，确定弱视眼的弱视类型的实现过程为：根据第一凝视位置坐标和第二凝视位置坐标，确定双眼偏差信息，双眼偏差信息是指弱视眼的视线方向与主视眼的视线方向之间的偏差信息。如果双眼偏差信息大于或等于第一阈值，则确定弱视眼的弱视类型为斜视性弱视。如果双眼偏差信息小于第一阈值，则确定弱视眼的弱视类型为屈光参差性弱视。
102.双眼偏差信息也称为双眼凝视位置之间的距离，所以，在一些实施例中，弱视训练设备根据第一凝视位置坐标和第二凝视位置坐标，通过如下公式确定双眼偏差信息。
[0103][0104]
其中，在上述公式中，ed为双眼偏差信息，(l
x
，ly)为第一凝视位置坐标，(r
x
，ry)为第二凝视位置坐标。
[0105]
需要说明的是，正常情况下，双眼偏差信息应该最小接近于0。也就是说，双眼偏差信息越大，说明斜视的程度越严重，双眼偏差信息越小，说明斜视的程度越轻微。所以，在确定用户的双眼中存在弱视眼的情况下，可以确定双眼偏差信息是否大于或等于第一阈值，如果双眼偏差信息大于或等于第一阈值，表征用户的弱视眼的弱视类型为斜视性弱视。如
果双眼偏差信息小于第一阈值，表征用户的弱视眼的弱视类型为屈光参差性弱视。
[0106]
也就是说，在确定用户的双眼中存在弱视眼的情况下，通过第一阈值即可确定弱视眼的弱视类型为斜视性弱视还是屈光参差性弱视。
[0107]
其中，第一阈值是指参考距离范围内的任一数值，该参考距离范围是指用来区分斜视性弱视和屈光参差性弱视的一个距离范围。而且，第一阈值与弱视训练设备的角分辨率相关。比如，在弱视训练设备的显示屏的平均角分辨率为20的情况下，第一阈值为100pixel(像素)。在弱视训练设备的显示屏的平均角分辨率为30的情况下，第一阈值为150pixel。
[0108]
值得注意的是，基于上述描述，弱视通常由单眼斜视、屈光参差、高度屈光不正、视觉剥夺等原因引起，但是，对于高度屈光不正和视觉剥夺这两种类型来说，由于在生理上已经对眼睛造成了损伤，通过弱视训练已经无法矫正弱视眼的视力。所以，本技术实施例通过区分斜视性弱视和屈光参差性弱视这两种类型，来进行弱视训练，并不涉及高度屈光不正和视觉剥夺这两种弱视类型。
[0109]
上述实现过程是通过眼动跟踪的方式，进行一次测试来确定双眼偏差信息，从而确定弱视眼的弱视类型。在另一些实施例中，能够通过眼动跟踪的方式，进行多次测试来确定双眼偏差信息，从而确定弱视眼的弱视类型。也即是，在另一些实施例中，确定弱视眼的弱视类型的实现过程为：在主视眼对应的显示区域中显示第一测试图像，在弱视眼对应的显示区域中显示第二测试图像。通过眼动跟踪的方式，确定主视眼在显示的第一测试图像中的多个凝视位置的坐标，以及弱视眼在显示的第二测试图像中的多个凝视位置的坐标，得到多个第一凝视位置坐标和多个第二凝视位置坐标。根据多个第一凝视位置坐标和多个第二凝视位置坐标，确定弱视眼的弱视类型。
[0110]
其中，根据多个第一凝视位置坐标和多个第二凝视位置坐标，确定弱视眼的弱视类型的实现过程为：根据同一时间确定的第一凝视位置坐标和第二凝视位置坐标，确定一个双眼偏差信息，从而得到多个双眼偏差信息，双眼偏差信息是指弱视眼的视线方向与主视眼的视线方向之间的偏差信息。确定该多个双眼偏差信息的统计值，如果该多个双眼偏差信息的统计值大于或等于第一阈值，则确定弱视眼的弱视类型为斜视性弱视。如果该多个双眼偏差信息的统计值小于第一阈值，则确定弱视眼的弱视类型为屈光参差性弱视。
[0111]
比如，假设弱视训练设备在主视眼对应的显示区域中显示第一测试图像，在弱视眼对应的显示区域中显示第二测试图像之后，通过眼动跟踪的方式，确定主视眼在第一测试图像中的7个凝视位置的坐标，以及弱视眼在第二测试图像中的7个凝视位置的坐标，得到7个第一凝视位置坐标和7个第二凝视位置坐标。根据7个第一凝视位置坐标和7个第二凝视位置坐标，确定的7个双眼偏差信息如图3所示。通过确定这7个双眼偏差信息的统计值，从而能够确定弱视眼的弱视类型。
[0112]
需要说明的是，该多个双眼偏差信息的统计值是指该多个双眼偏差信息的平均值、中值等等，本技术实施例对此不做限定。
[0113]
步骤203：当弱视眼的弱视类型被确定为斜视性弱视时，对弱视训练图像进行单应性变换处理来进行弱视训练，当弱视眼的弱视类型被确定为屈光参差性弱视时，对弱视训练图像进行图像尺寸调整处理来进行弱视训练。
[0114]
在一些实施例中，对弱视训练图像进行单应性变换处理的实现过程为：在主视眼
对应的显示区域中显示弱视训练图像，对弱视训练图像进行单应性变换处理后显示在弱视眼对应的显示区域中，以使用户的双眼看到的图像能够合像来进行弱视训练。同理，对弱视训练图像进行图像尺寸调整来进行弱视训练的实现过程为：在主视眼对应的显示区域中显示弱视训练图像，对弱视训练图像进行图像尺寸调整后显示在弱视眼对应的显示区域中，以使用户的双眼看到的图像能够合像来进行弱视训练。
[0115]
在另一些实施例中，为了改善弱视眼的成像能力，还可以确定主视眼对应的图像对比度和弱视眼对应的图像对比度，以使用户的双眼感知能力相同。这样，能够按照主视眼对应的图像对比度，在主视眼对应的显示区域中显示弱视训练图像，按照弱视眼对应的图像对比度，对弱视训练图像进行单应性变换处理后显示在弱视眼对应的显示区域中，以使用户的双眼看到的图像能够合像来进行弱视训练。或者，按照主视眼对应的图像对比度，在主视眼对应的显示区域中显示弱视训练图像，按照弱视眼对应的图像对比度，对弱视训练图像进行图像尺寸调整处理后显示在弱视眼对应的显示区域中，以使用户的双眼看到的图像能够合像来进行弱视训练。
[0116]
对于上述两种实施例来说，根据弱视眼的弱视类型对弱视训练图像进行处理的操作，以及进行弱视训练的操作均相同，区别仅仅在于是否需要确定双眼各自对应的图像对比度，进而在弱视训练的过程按照双眼各自对应的图像对比度来显示弱视训练图像。接下来，以第二种实施例为例，通过如下步骤(1)-(2)对本技术实施例提供的弱视训练过程进行介绍。
[0117]
(1)确定主视眼对应的图像对比度和弱视眼对应的图像对比度，以使用户的双眼感知能力相同。
[0118]
在一些实施例中，弱视训练设备在主视眼对应的显示区域中显示第三测试图像，在弱视眼对应的显示区域中显示第四测试图像。之后，降低显示的第三测试图像的对比度，增加显示的第四测试图像的对比度。当检测到对比度确定指令时，将降低后第三测试图像的对比度确定为主视眼对应的图像对比度，将增加后第四测试图像的对比度确定为弱视眼对应的图像对比度，该对比度确定指令是用户根据显示的第三测试图像和第四测试图像反馈自身的双眼能够感知的对比度相同时触发的。
[0119]
也即是，通过在弱视训练设备的两个显示区域上分别显示一个测试图像，通过用户的主观反馈来调节两个测试图像的对比度，从而使用户的双眼能够感知的对比度相同。而且，在本技术实施例中，通过降低第三测试图像的对比度，以及增加第四测试图像的对比度，来保证用户的双眼能够感知的对比度相同。也就是说，通过降低主视眼的对比度，增加弱视眼的对比度，从而在后续进行弱视训练过程中，对主视眼和弱视眼分别显示不同对比度的画面，以强化弱视眼以及抑制主视眼的成像能力，达到弱视训练的目的。
[0120]
其中，降低显示的第三测试图像的对比度，增加显示的第四测试图像的对比度的实现过程为：按照调整步长降低第三测试图像的对比度，以及按照调整步长增加第四测试图像的对比度。显示调整后的第三测试图像和第四测试图像。当检测到对比度调整指令时，继续按照调整步长降低第三测试图像的对比度，以及按照调整步长增加第四测试图像的对比度，并显示对比度调整后的第三测试图像和第四测试图像，直至检测到对比度确定指令为止。其中，对比度调整指令是用户根据显示的第三测试图像和第四测试图像反馈双眼的对比度不同时触发的。
[0121]
需要说明的是，在通过调整步长调整第三测试图像的对比度的过程中，可以对主视眼对应的显示区域进行遮挡，在调整之后再进行显示，由用户确定双眼的对比度是否相同。当然，在通过调整步长调整第三测试图像的对比度的过程中，也可以不对主视眼对应的显示区域进行遮挡。同理，在通过调整步长调整第四测试图像的对比度的过程中，可以对弱视眼对应的显示区域进行遮挡，在调整之后再进行显示，由用户确定双眼的对比度是否相同。当然，在通过调整步长调整第四测试图像的对比度的过程中，也可以不对弱视眼对应的显示区域进行遮挡，本技术实施例对此不做限定。
[0122]
此外，第三测试图像的对比度和第四测试图像的对比度可以依次进行调整，比如，先按照调整步长降低第三测试图像的对比度，然后显示调整后的第三测试图像和第四测试图像，如果用户根据显示的第三测试图像和第四测试图像反馈双眼的对比度不同，那么接下来按照调整步长增加第四测试图像的对比度，显示调整后的第三测试图像和第四测试图像，如果用户根据显示的第三测试图像和第四测试图像反馈双眼的对比度不同，那么再继续按照调整步长降低第三测试图像的对比度，直至用户根据显示的第三测试图像和第四测试图像反馈双眼的对比度相同为止。
[0123]
当然，先降低第三测试图像的对比度，后增加第四测试图像的对比度只是一种示例，当然，也可以先增加第四测试图像的对比度，然后降低第三测试图像的对比度，本技术实施例对第三测试图像和第四测试图像的调整顺序不作限定。
[0124]
其中，第三测试图像和第四测试图像可以相同，也可以不同。第三测试图像和第四测试图像可以为终端设备投屏到弱视训练设备上的，当然，第三测试图像和第四测试图像也可以是弱视训练设备自身存储的，本技术实施例对此不做限定。
[0125]
在第三测试图像和第四测试图像为弱视训练设备自身存储的情况下，可以按照调整步长手动调整弱视训练设备来调整测试图像的对比度。但是，在第三测试图像和第四测试图像为终端设备投屏到弱视训练设备上的情况下，不仅可以按照调整步长手动调整弱视训练设备来调整测试图像的对比度，而且还可以按照调整步长手动调整终端设备来调整测试图像的对比度。
[0126]
其中，每次进行对比度调整的调整步长可以相同，也可以不同。调整步长可以是事先设置的一个步长，也可以根据第三测试图像和第四测试图像的对比度来计算得到。
[0127]
作为一种示例，确定第三测试图像和第四测试图像的对比度差值，将该对比度差值除以预设次数，得到调整步长。也就是说，按照这种方式，通过对第三测试图像和第四测试图像调整预设次数后，用户的双眼看到的对比度就会相同。
[0128]
作为另一种示例，确定第三测试图像和第四测试图像的对比度差值，根据该对比度差值从存储的对比度差值与调整步长之间的对应关系中，获取对应的调整步长。其中，对比度差值与调整步长之间的对应关系可以事先按照经验确定得到。
[0129]
上述实现过程是根据用户的主观反馈来确定主视眼对应的图像对比度和弱视眼对应的图像对比度，但是，用户主观反馈的对比度往往可能存在偏差。所以，在另一些实施例中，在主视眼对应的显示区域中显示多个第三测试图像，在弱视眼对应的显示区域中显示多个第四测试图像，该多个第三测试图像中包括第一运动目标，该多个第四测试图像中包括第二运动目标。这样，在将降低后第三测试图像的对比度确定为主视眼对应的图像对比度，将增加后第四测试图像的对比度确定为弱视眼对应的图像对比度之前，还包括：通过
眼动跟踪的方式，确定主视眼在多个第三测试图像中对第一运动目标的注视轨迹，以及弱视眼在多个第四测试图像中对第二运动目标的注视轨迹，得到第一注视轨迹和第二注视轨迹。获取第一运动目标的实际运动轨迹和第二运动目标的实际运动轨迹，得到第一实际运动轨迹和第二实际运动轨迹。如果第一注视轨迹与第一实际运动轨迹匹配，且第二注视轨迹与第二实际运动轨迹匹配，则将降低后第三测试图像的对比度确定为主视眼对应的图像对比度，将增加后第四测试图像的对比度确定为弱视眼对应的图像对比度。
[0130]
也即是，通过眼动跟踪的方式，能够进一步准确地确定通过用户的主观反馈确定的双眼对应的图像对比度是否准确，从而避免主观反馈带来的误差。
[0131]
作为一种示例，第一注视轨迹与第一实际运动轨迹匹配是指第一注视轨迹与第一实际运动轨迹的重合度大于一定阈值，同理，第二注视轨迹与第二实际运动轨迹匹配是指第二注视轨迹与第二实际运动轨迹的重合度大于一定阈值。
[0132]
其中，第一运动目标和第二运动目标可以相同，也可以不同。另外，第一注视轨迹与第二注视轨迹的确定方式与上述确定双眼偏差时确定的两个凝视位置坐标的方式类似，本技术实施例对此不再赘述。
[0133]
进一步地，如果第一注视轨迹与第一实际运动轨迹不匹配，那么需要对第三测试图像的对比度重新进行调整，且在调整的过程中，通过眼动跟踪的方式，重新确定第一注视轨迹，如果重新确定的第一注视轨迹与第一实际运动轨迹不匹配，那么继续调整，直至重新确定的第一注视轨迹与第一实际运动轨迹匹配为止，得到主视眼对应的图像对比度。同理，如果第二注视轨迹与第二实际运动轨迹不匹配，那么需要对第四测试图像的对比度重新进行调整，且在调整的过程中，通过眼动跟踪的方式，重新确定第二注视轨迹，如果重新确定的第二注视轨迹与第二实际运动轨迹不匹配，那么继续调整，直至重新确定的第二注视轨迹与第二实际运动轨迹匹配为止，得到弱视眼对应的图像对比度。
[0134]
(2)按照主视眼对应的图像对比度，在主视眼对应的显示区域中显示弱视训练图像，按照弱视眼对应的图像对比度，根据弱视眼的弱视类型对弱视训练图像进行单应性变换处理或者图像大小调整处理后显示在弱视眼对应的显示区域中，以使用户的双眼看到的图像能够合像来进行弱视训练。
[0135]
基于上述描述，弱视类型包括斜视性弱视和屈光参差性弱视，对于不同的弱视类型，对弱视训练图像进行处理的操作不同，接下来将分别进行介绍。
[0136]
弱视眼的弱视类型为斜视性弱视
[0137]
在这种情况下，弱视训练图像中包括目标对象，目标对象用于进行弱视训练。此时，按照双眼偏差信息对弱视训练图像进行单应性变换。将单应性变换前的弱视训练图像作为第一训练图像，将单应性变换后的弱视训练图像作为第二训练图像，按照主视眼对应的图像对比度，在主视眼对应的显示区域中显示第一训练图像，按照弱视眼对应的图像对比度，在弱视眼对应的显示区域中显示第二训练图像。通过眼动跟踪的方式，确定主视眼在第一训练图像中的凝视位置，以及弱视眼在第二训练图像中的凝视位置，得到第一凝视位置和第二凝视位置。如果第一凝视位置与第一训练图像中目标对象的实际位置重合，且第二凝视位置与第二训练图像中目标对象的实际位置重合，则减小弱视训练图像的单应性变换量，返回将单应性变换前的弱视训练图像作为第一训练图像，将单应性变换后的弱视训练图像作为第二训练图像的步骤，直至弱视训练结束，或者弱视训练图像不进行单应性变
换的情况下，第二凝视位置与第二训练图像中目标对象的实际位置重合为止。
[0138]
单应性变换是指一张图像到另一张图像的映射关系，通常包括平移和/或旋转。由于眼睛通常对旋转不够敏感，所以，本技术实施例中，单应性变换主要是指平移。另外，基于上述双眼偏差的运算过程，双眼偏差信息可以分为水平方向上的偏差信息和垂直方向上的偏差信息，这样，按照双眼偏差信息对弱视训练图像进行单应性变换的实现过程为：将双眼偏差信息中的水平方向上的偏差信息确定为水平方向上的平移量，将双眼偏差信息中垂直方向上的偏差信息确定为垂直方向上的平移量。之后，按照水平方向的平移量和垂直方向上的平移量，对弱视训练图像进行平移，从而实现弱视训练图像的单应性变换。
[0139]
另外，后续减小弱视训练图像的单应性变换量可以是指减小弱视训练图像的水平方向上的平移量和\或垂直方向上的平移量，且水平方向和垂直方向上的减小量相同或者不同，而且这个减小量可以按照需求设置。
[0140]
比如，如图4所示，假设用户的左眼为斜视性弱视，也就是说，用户的左眼斜视，右眼正视，此时，左眼的视线方向和右眼的视线方向之间存在偏差。为了对用户的左眼进行弱视训练，需要将弱视训练图像中的目标对象的位置向左平移。之后，将平移前的弱视训练图像作为第一训练图像，将平移后的弱视训练图像作为第二训练图像，按照右眼对应的图像对比度，在右眼对应的显示区域中显示第一训练图像，按照左眼对应的图像对比度，在左眼对应的显示区域中显示第二训练图像。
[0141]
通过眼动跟踪的方式，确定右眼在第一训练图像中的凝视位置，以及左眼在第二训练图像中的凝视位置，得到第一凝视位置和第二凝视位置。如果第一凝视位置与第一训练图像中目标对象的实际位置重合，且第二凝视位置与第二训练图像中目标对象的实际位置重合，则减小弱视训练图像中目标对象向左的平移量，继续在双眼的显示区域中显示对应的弱视训练图像。如果在弱视训练图像中的目标对象不进行平移的情况下，第二凝视位置与第二训练图像中目标对象的实际位置重合，那么可以确定用户的左眼已经恢复到正视，也即是，如图5所示。
[0142]
其中，第一凝视位置与第二凝视位置的确定方式与上述确定双眼偏差时确定的两个凝视位置坐标的方式类似，本技术实施例对此不再赘述。
[0143]
对于斜视性弱视来说，由于弱视眼的视线方向与主视眼的视线方向之间存在偏差，所以需要对弱视训练图像进行单应性变换，以调整目标对象在弱视训练图像中的位置。然后在主视眼对应的显示区域中显示未调整的弱视训练图像，在弱视眼对应的显示区域中显示调整后的弱视训练图像，从而对弱视眼进行训练的过程中，用户的双眼看到的图像能够合像，也即是，双眼能够看到相同的画面。而且，双眼同时观看对应的显示区域中的弱视训练图像，能够保证双眼的立体视觉。
[0144]
此外，基于上面的描述，主视眼对应的图像对比度和弱视眼对应的图像对比度可能不同，这样，按照主视眼对应的图像对比度显示第一训练图像，按照弱视眼对应的图像对比度显示第二训练图像，在改善弱视眼的成像能力的同时，还能确保用户的舒适度，使用户更容易接受训练方法及训练过程，改善训练效果，提高用户粘度。
[0145]
需要说明的是，弱视训练的整个过程可以分多个周期进行，但是每个周期进行弱视训练之后，双眼对应的图像对比度可能会发生变化，所以，通常情况下，在每个周期进行弱视训练之前，都需要确定用户的双眼对应的图像对比度，具体实现过程参见前述描述，此
处不再赘述。
[0146]
弱视眼的弱视类型为屈光参差性弱视
[0147]
在这种情况下，弱视训练图像中包括目标对象，目标对象用于进行弱视训练。此时，对弱视训练图像中目标对象的位置和/或尺寸进行多次调整，得到多个训练图像，确定弱视眼相对于主视眼的图像缩放比例，按照该图像缩放比例，对该多个训练图像的尺寸进行缩放。将缩放前的多个训练图像作为多个第三训练图像，将缩放后的多个训练图像作为多个第四训练图像，按照主视眼对应的图像对比度，在主视眼对应的显示区域中依次显示多个第三训练图像，按照弱视眼对应的图像对比度，在弱视眼对应的显示区域中依次显示多个第四训练图像，且多个第三训练图像和多个第四训练图像的显示顺序和切换频率相同。
[0148]
对于屈光参差性弱视来说，由于弱视眼的屈光度高于主视眼的屈光度，所以弱视眼看到的图像的尺寸与主视眼看到的图像的尺寸可能不同，因此，在对弱视训练图像中目标对象的位置和/或尺寸进行多次调整，得到多个训练图像之后，需要确定弱视眼相对于主视眼的图像缩放比例，进而按照该图像缩放比例对该多个训练图像的尺寸进行缩放，以使主视眼和弱视眼看到的图像能够合像，也即是，双眼能够看到相同的画面。
[0149]
其中，对弱视训练图像中的目标对象的位置和/或尺寸进行多次调整的方式包括多种，接下来对其中的四种方式进行介绍。
[0150]
第一种方式，对弱视训练图像中的目标对象的位置，依次按照上、下、左、右的顺序进行调整，得到四个训练图像。也即是，对于四个训练图像来说，目标对象的位置依次位于图像中的上方位置、下方位置、左方方位和右方位置。
[0151]
比如，如图6所示，对弱视训练图像中的目标对象的位置，依次按照上、下、左、右的顺序进行调整，得到的四个训练图像分别为训练图像1至训练图像4。这样，在显示区域中依次显示这四个训练图像之后，对于用户来说，会看到如图7所示的图像，也即是，目标对象按照图7中1、2、3、4的位置进行变换。
[0152]
第二种方式，对弱视训练图像中的目标对象的位置，按照旋转的方式进行调整，得到多个训练图像。
[0153]
比如，如图8所示，对弱视训练图像中的目标对象的位置，按照旋转的方式进行调整之后，得到八个训练图像，分别训练图像1至训练图像8。这样，在显示区域中依次显示这八个训练图像之后，对于用户来说，会看到如图9所示的图像，也即是，目标对象按照图9中的1、2、3、4、5、6、7、8的位置进行变换。
[0154]
第三种方式，对弱视训练图像中的目标对象的位置随机进行调整，得到多个训练图像。
[0155]
比如，如图10所示，对弱视训练图像中的目标对象的位置随机调整之后，得到九个训练图像，分别为训练图像1至训练图像9。这样，在显示区域中依次显示这九个训练图像之后，对于用户来说，会看到如图11所示的图像，也即是，目标对象按照图11中的1、2、3、4、5、6、7、8、9的位置进行变换。
[0156]
第四种方式，对弱视训练图像中的目标对象的尺寸进行多次调整，得到多个训练图像。
[0157]
比如，如图12所示，对弱视训练图像中的目标对象的尺寸调整四次，得到四个训练
图像，分别为训练图像1至训练图像4。这样，在显示区域中依次显示这四个训练图像之后，对于用户来说，会看到如图13所示的图像，也即是，目标对象呈现出从远到近的形态。
[0158]
需要说明的是，前三种方式是对目标对象的位置进行调整，最后一种方式是对目标对象的尺寸进行调整。实际应用中，前三种方式在位置调整的基础上，也可以对目标对象的尺寸进行调整，也即是，位置和尺寸叠加进行调整。同理，对于最后一种方式来说，对目标对象的尺寸调整的基础上，也可以对目标对象的位置进行调整，本技术实施例对此不再赘述。
[0159]
本技术实施例通过上下、左右、旋转、随机、远近等运动方式，训练眼外肌，改善弱视眼的成像能力，从而能够达到对弱视眼进行训练的目的。
[0160]
其中，确定弱视眼相对于主视眼的图像缩放比例的实现过程为：在主视眼对应的显示区域中显示第五测试图像，在弱视眼对应的显示区域中显示第六测试图像，第五测试图像包括第一测试目标，第六测试图像包括第二测试目标，第一测试目标和第二测试目标的比例相同。缩放显示的第六测试图像的比例。当检测到比例确定指令时，确定第一测试目标与缩放后的第二测试目标之间的比例，得到图像缩放比例，该比例确定指令是用户根据显示的第五测试图像和第六测试图像反馈自身的双眼能够看到比例相同的第一测试目标和第二测试目标时触发的。
[0161]
也即是，对于同一个眼睛来说，第五测试图像中的第一测试目标和第六测试图像中的第二测试目标最初的比例相同。然后，在主视眼注视第五测试图像，弱视眼注视第六测试图像的过程中，通过第六测试图像的比例进行调整，由用户根据显示的第五测试图像和第六测试图像反馈自身的双眼能够看到比例相同的第一测试目标和第二测试目标时，通过第一测试目标的尺寸和缩放后的第二测试目标的尺寸，确定图像缩放比例。
[0162]
作为一种示例，将缩放后的第二测试目标的高度与未缩放的第一测试目标的高度之间的比值，确定为竖直方向的缩放比例，将缩放后的第二测试目标的宽度与未缩放的第一测试目标的宽度之间的比值，确定为水平方向的缩放比例。然后，将竖直方向的缩放比例和水平方向的缩放比例确定为弱视眼相对于主视眼的图像缩放比例。
[0163]
在这种示例下，按照该图像缩放比例，对该多个训练图像的尺寸进行缩放的实现过程为：将该多个训练图像的高度乘以竖直方向的缩放比例，将该多个训练图像的宽度乘以水平方向的缩放比例，从而得到缩放后的多个训练图像。
[0164]
作为另一种示例，将未缩放的第一测试目标的高度与缩放后的第二测试目标的高度之间的比值，确定为竖直方向的缩放比例，将未缩放的第一测试目标的宽度与缩放后的第二测试目标的宽度之间的比值，确定为水平方向的缩放比例。然后，将竖直方向的缩放比例和水平方向的缩放比例确定为弱视眼相对于主视眼的图像缩放比例。
[0165]
在这种示例下，按照该图像缩放比例，对该多个训练图像的尺寸进行缩放的实现过程为：将该多个训练图像的高度除以竖直方向的缩放比例，将该多个训练图像的宽度除以水平方向的缩放比例，从而得到缩放后的多个训练图像。
[0166]
需要说明的是，上述是通过缩放第六测试图像的比例来确定图像缩放比例，当然，也可以通过缩放第五测试图像的比例来确定图像缩放比例。另外，为了便于双眼合像，第五测试图像和第六测试图像的背景可以相同。
[0167]
比如，如图14所示，假设左眼为主视眼，右眼为弱视眼，左眼的显示区域中显示第
五测试图像，第五测试图像包括第一测试目标，且第一测试目标的高度和宽度均为2厘米，右眼的显示区域中显示第六测试图像，第六测试图像包括第二测试目标，且第二测试目标的高度和宽度也均为2厘米。之后，缩放第六测试图像的比例。当用户看到的图像为图15所示的图像时，也即是，第二测试目标的外轮廓内切于第一测试目标的外轮廓时，确定用户的双眼能够看到比例相同的第一测试目标和第二测试目标。此时，确定缩放后的第二测试目标的高度和宽度均为3厘米，那么，确定图像缩放比例为3:2。这样，对于弱视眼来说，后续需要将多个训练图像的尺寸分别乘以图像缩放比例后来进行弱视训练。
[0168]
需要说明的是，本技术实施例不仅可以确定弱视眼相对于主视眼的图像缩放比例，还可以确定弱视眼相对于主视眼的旋转角度。但是，由于眼睛通常对旋转不够敏感，所以本技术实施例主要是确定图像缩放比例，进而对弱视眼进行弱视训练的图像进行缩放处理。
[0169]
另外，按照不同的弱视类型进行弱视训练时，还可以对弱视眼的屈光度进行校正，然后，按照上述方式进行弱视训练。
[0170]
本技术实施例按照不同的弱视类型进行弱视训练之后，还可以反馈弱视训练效果，从而便于用户针对性调整训练计划。接下来对其中的两种反馈弱视训练效果的方式进行介绍。
[0171]
第一种方式，通过眼动跟踪的方式，确定弱视眼在弱视眼对应的显示区域显示的图像中的凝视位置，得到弱视眼凝视位置。如果弱视眼凝视位置与弱视眼对应的显示区域显示的图像中目标对象的实际位置重合，则将弱视眼对应的显示区域显示的图像中目标对象的显示方式修改为参考显示方式，以指示弱视训练效果。
[0172]
其中，参考显示方式可以是指高亮、变色等方式，本技术实施例对此不做限定。
[0173]
比如，如图16所示，如果弱视眼的凝视位置与目标对象的实际位置重合，那么对目标对象进行变色处理。这样，对于用户来说，在多次训练之后，可以获知凝视位置与实际位置重合的次数，进而确定弱视训练效果，便于随时调整训练计划。
[0174]
第二种方式，通过眼动跟踪的方式，确定弱视眼在弱视眼对应的显示区域显示的图像中的凝视位置，得到弱视眼凝视位置。根据弱视眼凝视位置和目标对象的实际位置，绘制弱视训练曲线，以指示弱视训练效果。
[0175]
作为一种示例，统计本次弱视训练周期内的训练总次数，以及本次弱视训练周期内弱视眼凝视位置与目标对象的实际位置重合的次数与训练总次数的百分比。然后，结合历史的多次弱视训练周期的数据来绘制弱视训练曲线。也即是，将多个弱视训练周期作为横轴，将每个弱视训练周期内确定的百分比作为纵轴，绘制弱视训练曲线。
[0176]
比如，如图17所示，弱视训练设备在7个弱视训练周期进行了弱视训练，这7个弱视训练周期内，弱视眼凝视位置与目标对象的实际位置重合的次数与训练总次数的百分比分别为50％、60％、70％、80％、90％、95％、100％。此时，绘制出的弱视训练曲线如图17所示。
[0177]
需要说明的是，上述两种方式可以单独使用，也可以结合使用，本技术实施例对此不做限定。当然，实际应用中，还可以通过其他的方式来反馈弱视训练效果。比如，在每个弱视训练周期进行弱视训练之后，可以检测弱视眼的屈光度，然后，以多个弱视训练周期作为横轴，以弱视眼的屈光度为纵轴，绘制弱视训练曲线。以图18所示，弱视训练设备在11个弱视训练周期进行了弱视训练，这11个弱视训练周期内，弱视眼的屈光度分别为700、650、
600、500、450、400、350、300、275、275、275。此时，绘制出的弱视训练曲线如图18所示。
[0178]
另外，本技术实施例可以通过弱视训练设备来反馈弱视训练效果，也可以通过终端设备来反馈弱视训练效果。也即是，弱视训练设备确定弱视训练效果之后，可以直接反馈给用户。当然，弱视训练设备也可以将弱视训练效果发送给终端设备，由终端设备直接反馈给用户。
[0179]
上述实现过程是用来确定弱视眼的凝视位置，从而反馈弱视训练效果。当然，在另一些实施例中，也可以确定主视眼的凝视位置，从而反馈弱视训练效果。其中，确定主视眼的凝视位置以及反馈弱视训练效果的方法与上述弱视眼的方法相同，本技术实施例对此不再赘述。
[0180]
在本技术实施例中，通过确定弱视眼的弱视类型，按照弱视眼的弱视类型，对弱视训练图像处理后进行显示，来进行弱视训练。也就是说，通过区分弱视类型，从而按照不同的症状进行针对性训练，能够提高弱视训练效果。而且，本技术实施例在弱视训练过程中，双眼对应的显示区域中均显示有弱视训练图像，这样，可以使双眼看到的图像能够合像，提高双眼的立体视觉。再者，本技术实施例在进行弱视训练之后，还能够反馈弱视训练效果，这样，便于用户能够针对性的调整弱视训练计划，提高用户粘度。最后，本技术实施例提供的弱势训练设备集弱视检测、训练、效果反馈于一体，用户能够更灵活进行针对性训练，提示训练效率和训练效果。
[0181]
图19是本技术实施例提供的一种弱视训练装置的结构示意图，该弱视训练装置可以由软件、硬件或者两者的结合实现成为弱视训练设备的部分或者全部，该弱视训练设备可以为图1所示的弱视训练设备。参见图19，该装置包括：第一确定模块1901、第二确定模块1902、第一弱视训练模块1903和第二弱视训练模块1904。
[0182]
第一确定模块1901，用于确定用户的主视眼和弱视眼；
[0183]
第二确定模块1902，用于确定弱视眼的弱视类型，弱视类型包括斜视性弱视或屈光参差性弱视；
[0184]
第一弱视训练模块1903，用于当弱视眼的弱视类型被确定为斜视性弱视时，对弱视训练图像进行单应性变换处理来进行弱视训练；
[0185]
第二弱视训练模块1904，用于当弱视眼的弱视类型被确定为屈光参差性弱视时，对弱视训练图像进行图像尺寸调整处理来进行弱视训练。
[0186]
可选地，第二确定模块1902包括：
[0187]
显示子模块，用于在主视眼对应的显示区域中显示第一测试图像，在弱视眼对应的显示区域中显示第二测试图像；
[0188]
第一确定子模块，用于通过眼动跟踪的方式，确定主视眼在显示的第一测试图像中的凝视位置的坐标，以及弱视眼在显示的第二测试图像中的凝视位置的坐标，得到第一凝视位置坐标和第二凝视位置坐标；
[0189]
第二确定子模块，用于根据第一凝视位置坐标和第二凝视位置坐标，确定弱视眼的弱视类型。
[0190]
可选地，第二确定子模块具体用于：
[0191]
根据第一凝视位置坐标和第二凝视位置坐标，确定双眼偏差信息，双眼偏差信息是指弱视眼的视线方向与主视眼的视线方向之间的偏差信息；
[0192]
如果双眼偏差信息大于或等于第一阈值，则确定弱视眼的弱视类型为斜视性弱视；
[0193]
如果双眼偏差信息小于第一阈值，则确定弱视眼的弱视类型为屈光参差性弱视。
[0194]
可选地，第一确定模块具体用于：
[0195]
检测用户的双眼的屈光度；
[0196]
将用户的双眼中屈光度低的眼睛确定为主视眼，将用户的双眼中屈光度高的眼睛确定为弱视眼。
[0197]
可选地，第一弱视训练模块1903包括：
[0198]
第一弱视训练子模块，用于在主视眼对应的显示区域中显示弱视训练图像，对弱视训练图像进行单应性变换处理后显示在弱视眼对应的显示区域中，以使用户的双眼看到的图像能够合像来进行弱视训练。
[0199]
可选地，第二弱视训练模块1904包括：
[0200]
第二弱视训练子模块，用于在主视眼对应的显示区域中显示弱视训练图像，对弱视训练图像进行图像尺寸调整处理后显示在弱视眼对应的显示区域中，以使用户的双眼看到的图像能够合像来进行弱视训练。
[0201]
可选地，该装置还包括：
[0202]
第三确定模块，用于确定主视眼对应的图像对比度和弱视眼对应的图像对比度，以使用户的双眼感知能力相同。
[0203]
可选地，第三确定模块具体用于：
[0204]
在主视眼对应的显示区域中显示第三测试图像，在弱视眼对应的显示区域中显示第四测试图像；
[0205]
降低显示的第三测试图像的对比度，增加显示的第四测试图像的对比度；
[0206]
第三确定子模块，用于当检测到对比度确定指令时，将降低后第三测试图像的对比度确定为主视眼对应的图像对比度，将增加后第四测试图像的对比度确定为弱视眼对应的图像对比度，对比度确定指令是用户根据显示的第三测试图像和第四测试图像反馈自身的双眼能够感知的对比度相同时触发的。
[0207]
可选地，弱视训练图像中包括目标对象，目标对象用于进行弱视训练；
[0208]
第一弱视训练子模块具体用于：
[0209]
按照双眼偏差信息对弱视训练图像进行单应性变换，双眼偏差信息是指弱视眼的视线方向与主视眼的视线方向之间的偏差信息；
[0210]
将单应性变换前的弱视训练图像作为第一训练图像，将单应性变换后的弱视训练图像作为第二训练图像，按照主视眼对应的图像对比度，在主视眼对应的显示区域中显示第一训练图像，按照弱视眼对应的图像对比度，在弱视眼对应的显示区域中显示第二训练图像；
[0211]
通过眼动跟踪的方式，确定主视眼在第一训练图像中的凝视位置，以及弱视眼在第二训练图像中的凝视位置，得到第一凝视位置和第二凝视位置；
[0212]
如果第一凝视位置与第一训练图像中目标对象的实际位置重合，且第二凝视位置与第二训练图像中目标对象的实际位置重合，则减小弱视训练图像的单应性变换量，返回将单应性变换前的弱视训练图像作为第一训练图像，将单应性变换后的弱视训练图像作为
第二训练图像的步骤，直至弱视训练结束，或者弱视训练图像不进行单应性变换的情况下，第二凝视位置与第二训练图像中目标对象的实际位置重合为止。
[0213]
可选地，弱视训练图像中包括目标对象，目标对象用于进行弱视训练；
[0214]
第二弱视训练子模块具体用于：
[0215]
如果弱视眼的弱视类型为屈光参差性弱视，则对弱视训练图像中目标对象的位置和/或尺寸进行多次调整，得到多个训练图像；
[0216]
确定弱视眼相对于主视眼的图像缩放比例；
[0217]
按照图像缩放比例，对多个训练图像的尺寸进行缩放；
[0218]
将缩放前的多个训练图像作为多个第三训练图像，将缩放后的多个训练图像作为多个第四训练图像，按照主视眼对应的图像对比度，在主视眼对应的显示区域中依次显示多个第三训练图像，按照弱视眼对应的图像对比度，在弱视眼对应的显示区域中依次显示多个第四训练图像，且多个第三训练图像和多个第四训练图像的显示顺序和切换频率相同。
[0219]
可选地，第二弱视训练子模块还用于：
[0220]
在主视眼对应的显示区域中显示第五测试图像，在弱视眼对应的显示区域中显示第六测试图像，第五测试图像包括第一测试目标，第六测试图像包括第二测试目标，第一测试目标和第二测试目标的比例相同；
[0221]
缩放显示的第六测试图像的比例；
[0222]
当检测到比例确定指令时，确定第一测试目标与缩放后的第二测试目标之间的比例，得到图像缩放比例，该比例确定指令是用户根据显示的第五测试图像和第六测试图像反馈自身的双眼能够看到比例相同的第一测试目标和第二测试目标时触发的。
[0223]
可选地，该装置还包括：
[0224]
第四确定模块，用于通过眼动跟踪的方式，确定弱视眼在弱视眼对应的显示区域显示的图像中的凝视位置，得到弱视眼凝视位置；
[0225]
训练效果指示模块，用于如果弱视眼凝视位置与弱视眼对应的显示区域显示的图像中目标对象的实际位置重合，则将弱视眼对应的显示区域显示的图像中目标对象的显示方式修改为参考显示方式，以指示弱视训练效果，和/或，根据弱视眼凝视位置和目标对象的实际位置，绘制弱视训练曲线，以指示弱视训练效果。
[0226]
在本技术实施例中，通过确定弱视眼的弱视类型，按照弱视眼的弱视类型，对弱视训练图像处理后进行显示，来进行弱视训练。也就是说，通过区分弱视类型，从而按照不同的症状进行针对性训练，能够提高弱视训练效果。而且，本技术实施例在弱视训练过程中，双眼对应的显示区域中均显示有弱视训练图像，这样，可以使双眼看到的图像能够合像，提高双眼的立体视觉。
[0227]
需要说明的是：上述实施例提供的弱视训练装置在进行弱视训练时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的弱视训练装置与弱视训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0228]
请参考图20，图20是根据本技术实施例示出的一种弱视训练设备的结构示意图。
该弱视训练设备包括至少一个处理器2001、通信总线2002、存储器2003以及至少一个通信接口2004。
[0229]
处理器2001可以是一个通用中央处理器(central processing unit，cpu)、网络处理器(network processor，np)、微处理器、或者可以是一个或多个用于实现本技术方案的集成电路，例如，专用集成电路(application-specific integrated circuit，asic)，可编程逻辑器件(programmable logic device，pld)或其组合。上述pld可以是复杂可编程逻辑器件(complex programmable logic device，cpld)、现场可编程逻辑门阵列(field-programmable gate array，fpga)、通用阵列逻辑(generic array logic，gal)或其任意组合。
[0230]
通信总线2002用于在上述组件之间传送信息。通信总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0231]
存储器2003可以是只读存储器(read-only memory，rom)，也可以是随机存取存储器(random access memory，ram)，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、光盘(包括只读光盘(compact disc read-only memory，cd-rom)、压缩光盘、激光盘、数字通用光盘、蓝光光盘等)、磁盘存储介质或者其它磁存储设备，或者是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储器2003可以是独立存在，并通过通信总线2002与处理器2001相连接。存储器2003也可以和处理器2001集成在一起。
[0232]
通信接口2004使用任何收发器一类的装置，用于与其它设备或通信网络通信。通信接口2004包括有线通信接口，还可以包括无线通信接口。其中，有线通信接口例如可以为以太网接口。以太网接口可以是光接口、电接口或其组合。无线通信接口可以为无线局域网(wireless local area networks，wlan)接口、蜂窝网络通信接口或其组合等。
[0233]
在具体实现中，作为一种实施例，处理器2001可以包括一个或多个cpu，如图20中所示的cpu0和cpu1。
[0234]
在具体实现中，作为一种实施例，弱视训练设备可以包括多个处理器，如图20中所示的处理器2001和处理器2005。这些处理器中的每一个可以是一个单核处理器，也可以是一个多核处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(如计算机程序指令)的处理核。
[0235]
在具体实现中，作为一种实施例，弱视训练设备还可以包括输出设备2006和输入设备2007。输出设备2006和处理器2001通信，可以以多种方式来显示信息。例如，输出设备2006可以是液晶显示器(liquid crystal display，lcd)、发光二级管(light emitting diode，led)显示设备、阴极射线管(cathode ray tube，crt)显示设备或投影仪(projector)等。输入设备2007和处理器2001通信，可以以多种方式接收用户的输入。例如，输入设备2007可以是鼠标、键盘、触摸屏设备或传感设备等。
[0236]
在一些实施例中，存储器2003用于存储执行本技术方案的程序代码2010，处理器2001可以执行存储器2003中存储的程序代码2010。该程序代码2010中可以包括一个或多个软件模块，该弱视训练设备可以通过处理器2001以及存储器2003中的程序代码2010，来实现上文实施例提供的方法。
sound，i1s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
[0249]
可以理解的是，本技术实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端设备100的结构限定。在本技术另一些实施例中，终端设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
[0250]
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。
[0251]
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。
[0252]
终端设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
[0253]
在一些可行的实施方式中，终端设备100可以使用无线通信功能和其他设备通信。例如，终端设备100可以和第二电子设备通信，终端设备100与第二电子设备建立投屏连接，终端设备100输出投屏数据至第二电子设备等。其中，终端设备100输出的投屏数据可以为音视频数据。
[0254]
天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
[0255]
移动通信模块150可以提供应用在终端设备100上的包括1g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线2转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
[0256]
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a，受话器170b等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
[0257]
无线通信模块160可以提供应用在终端设备100上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙
(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线1接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
[0258]
在一些实施例中，终端设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得终端设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multiple access，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，长期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi-zenith satellite system，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
[0259]
终端设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0260]
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，终端设备100可以包括1个或n个显示屏194，n为大于1的正整数。
[0261]
在一些可行的实施方式中，显示屏194可用于显示终端设备100的系统输出的各个界面。
[0262]
终端设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
[0263]
isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
[0264]
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp
加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，终端设备100可以包括1个或n个摄像头193，n为大于1的正整数。
[0265]
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。
[0266]
视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种视频编解码器。这样，终端设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg1，mpeg3，mpeg4等。
[0267]
npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现终端设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
[0268]
外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
[0269]
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行终端设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如本技术实施例中的室内定位方法等)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。
[0270]
终端设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。在一些可行的实施方式中，音频模块170可用于播放视频对应的声音。例如，显示屏194显示视频播放画面时，音频模块170输出视频播放的声音。
[0271]
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。
[0272]
扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。
[0273]
受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。
[0274]
麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。
[0275]
耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
[0276]
压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。陀螺仪传感器180b可以用于确定终端设备100的运动姿态。气压传感器180c用于测量气压。
[0277]
加速度传感器180e可检测终端设备100在各个方向上(包括三轴或六轴)加速度的大小。当终端设备100静止时可检测出重力的大小及方向。还可以用于识别终端设备姿态，
应用于横竖屏切换，计步器等应用。
[0278]
距离传感器180f，用于测量距离。
[0279]
环境光传感器180l用于感知环境光亮度。
[0280]
指纹传感器180h用于采集指纹。
[0281]
温度传感器180j用于检测温度。
[0282]
触摸传感器180k，也称“触控面板”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于终端设备100的表面，与显示屏194所处的位置不同。
[0283]
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备100可以接收按键输入，产生与终端设备100的用户设置以及功能控制有关的键信号输入。
[0284]
马达191可以产生振动提示。
[0285]
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
[0286]
sim卡接口195用于连接sim卡。
[0287]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(digital subscriber line，dsl))或无线(例如：红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(digital versatile disc，dvd))或半导体介质(例如：固态硬盘(solid state disk，ssd))等。值得注意的是，本技术实施例提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
[0288]
应当理解的是，本文提及的“多个”是指两个或两个以上。在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，为了便于清楚描述本技术实施例的技术方案，在本技术实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
[0289]
以上所述为本技术提供的实施例，并不用以限制本技术，凡在本技术的精神和原
则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。