瞳孔定位方法及装置与流程

1.本说明书涉及人脸检测技术领域，特别涉及瞳孔定位方法及装置。


背景技术：

2.随着互联网技术的发展，视线估计被越来越多用户所关注，视线估计技术可以分为注视点估计、注视目标估计以及三维视线估计。通过对采集到的视频或者图像中用户的视线进行估计，可以根据估计结果分析出用户的视线信息，以通过视线信息可以对用户的心里活动作出评估，实现在不同业务场景下使用。现有技术中，在对用户视线进行估计时，大多数方案都是在采集到视频或者图像时，直接以视频或者图像为基础进行人眼定位，将定位到的区域作为视线估计基础，虽然能够达到视线估计的目的，但是其精准度较低，进而会影响下游的业务处理，因此亟需一种有效的方案以解决上述问题。


技术实现要素：

3.有鉴于此，本说明书实施例提供了两种瞳孔定位方法。本说明书同时涉及两种瞳孔定位装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
4.根据本说明书实施例的第一方面，提供了一种瞳孔定位方法，包括：获取对应目标用户的人脸图像帧，并在所述人脸图像帧中识别眼部区域；对所述人脸图像帧中的所述眼部区域进行裁剪处理，获得眼部图像帧；响应于业务处理请求确定瞳孔定位策略，并按照所述瞳孔定位策略在所述眼部图像帧中定位所述目标用户的瞳孔坐标；基于所述瞳孔坐标确定所述人脸图像帧中所述目标用户的视线信息。
5.可选地，所述获取对应目标用户的人脸图像帧，并在所述人脸图像帧中识别眼部区域，包括：获取所述目标用户对应的业务训练视频，并在所述业务训练视频对应的视频帧序列中提取所述人脸图像帧；利用预设的目标检测算法对所述人脸图像帧进行处理，获得包含眼部定位框的人脸图像帧；将所述眼部定位框在所述人脸图像帧中框选的区域，作为所述眼部区域。
6.可选地，所述按照所述瞳孔定位策略在所述眼部图像帧中定位所述目标用户的瞳孔坐标，包括：在所述瞳孔定位策略为图像处理策略的情况下，按照所述图像处理策略对所述眼部图像帧进行预处理，获得初始眼部图像帧；对所述初始眼部图像帧进行二值化处理，根据二值化处理结果构建连通域；计算所述连通域的质心坐标，并根据所述质心坐标在所述眼部图像帧中定位所述目标用户的瞳孔坐标。
7.可选地，所述按照所述图像处理策略对所述眼部图像帧进行预处理，获得初始眼部图像帧，包括：按照所述图像处理策略，将所述眼部图像帧转换为眼部灰度图；对所述眼部灰度图进行双边滤波处理，获得所述初始眼部图像帧。
8.可选地，所述按照所述瞳孔定位策略在所述眼部图像帧中定位所述目标用户的瞳孔坐标，包括：在所述瞳孔定位策略为模型处理策略的情况下，根据所述模型处理策略确定关键点识别模型；将所述眼部图像帧输入至所述关键点识别模型进行处理，获得包含多个眼部关键点的眼部图像帧；根据所述多个眼部关键点，在所述眼部图像帧中定位所述目标用户的瞳孔坐标。
9.可选地，所述根据所述多个眼部关键点，在所述眼部图像帧中定位所述目标用户的瞳孔坐标，包括：基于所述多个眼部关键点，在所述眼部图像帧中绘制眼部闭合圆；计算所述眼部闭合圆的圆心坐标，并根据所述圆心坐标在所述眼部图像帧中定位所述目标用户的瞳孔坐标。
10.可选地，所述基于所述瞳孔坐标确定所述人脸图像帧中所述目标用户的视线信息，包括：根据所述瞳孔坐标，计算所述目标用户的瞳孔在所述人脸图像帧中的目标瞳孔坐标；根据所述目标瞳孔坐标，计算所述目标用户的瞳孔相对于所述目标用户的眼睛的偏离值；基于所述偏离值确定所述人脸图像帧中所述目标用户的视线信息。
11.可选地，所述基于所述瞳孔坐标确定所述人脸图像帧中所述目标用户的视线信息步骤执行之后，还包括：确定所述业务训练视频对应的特征信息；根据所述特征信息和所述视线信息对所述目标用户的业务训练行为进行打分，获得所述目标用户对应的业务训练分值；根据所述业务训练分值，向所述目标用户推荐关联所述业务训练视频的业务辅助视频。
12.可选地，所述响应于业务处理请求确定瞳孔定位策略，并按照所述瞳孔定位策略在所述眼部图像帧中定位所述目标用户的瞳孔坐标，包括：响应于所述业务处理请求确定所述瞳孔定位策略，其中，所述瞳孔定位策略包含至少两个子瞳孔定位策略；按照每个子瞳孔定位策略依次对所述眼部图像帧分别进行处理，根据处理结果定位所述目标用户的瞳孔坐标。
13.根据本说明书实施例的第二方面，提供了一种瞳孔定位装置，包括：获取模块，被配置为获取对应目标用户的人脸图像帧，并在所述人脸图像帧中识别眼部区域；
处理模块，被配置为对所述人脸图像帧中的所述眼部区域进行裁剪处理，获得眼部图像帧；定位模块，被配置为响应于业务处理请求确定瞳孔定位策略，并按照所述瞳孔定位策略在所述眼部图像帧中定位所述目标用户的瞳孔坐标；确定模块，被配置为基于所述瞳孔坐标确定所述人脸图像帧中所述目标用户的视线信息。
14.根据本说明书实施例的第三方面，提供了另一种瞳孔定位方法，包括：获取对应目标用户的人脸图像帧，并在所述人脸图像帧中识别眼部区域；对所述人脸图像帧中的所述眼部区域进行裁剪处理，获得眼部图像帧；按照预设的定位策略，在所述眼部图像帧中定位所述目标用户的瞳孔坐标；基于目标瞳孔坐标确定所述人脸图像帧中所述目标用户的视线信息。
15.根据本说明书实施例的第四方面，提供了另一种瞳孔定位装置，包括：获取图像帧模块，被配置为获取对应目标用户的人脸图像帧，并在所述人脸图像帧中识别眼部区域；裁剪处理模块，被配置为对所述人脸图像帧中的所述眼部区域进行裁剪处理，获得眼部图像帧；定位坐标模块，被配置为按照预设的定位策略，在所述眼部图像帧中定位所述目标用户的瞳孔坐标；确定信息模块，被配置为基于目标瞳孔坐标确定所述人脸图像帧中所述目标用户的视线信息。
16.根据本说明书实施例的第五方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令时实现上述瞳孔定位方法的步骤。
17.根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述瞳孔定位方法的步骤。
18.本说明书提供的瞳孔定位方法，为了能够精准定位瞳孔坐标，以此确定用户的视线信息，可以在获取到目标用户对应的人脸图像帧后，在人脸图像帧中先初步识别出眼部区域，再通过对人脸图像帧中的脸部区域进行裁剪，从而得到眼部图像帧，实现在眼部区域的图像帧中进行瞳孔定位，可以减少图像帧中冗余信息产生的影响。之后响应于业务请求确定瞳孔定位策略，按照瞳孔定位策略在眼部图像帧中定位目标用户的瞳孔坐标，实现可以根据需求选择不同的策略进行瞳孔定位，提供了更加灵活的瞳孔定位方式，最后即可基于瞳孔坐标确定人脸图像帧中目标用户的视线信息，实现了以眼部图像帧为基础进行瞳孔定位，有效的提高了定位准确度，此后再映射到人脸图像帧进行视线确定，可以准确且高效的完成视线估计，从而满足下游业务的使用，确保下游业务可以使用准确度更高的视线信息进行相应的业务处理。
附图说明
19.图1是本说明书一实施例提供的一种瞳孔定位方法的流程图；
图2是本说明书一实施例提供的一种瞳孔定位方法中人脸图像帧的示意图；图3是本说明书一实施例提供的一种瞳孔定位方法中眼部图像帧的示意图；图4是本说明书一实施例提供的另一种瞳孔定位方法中眼部图像帧的示意图；图5是本说明书一实施例提供的一种瞳孔定位方法中瞳孔定位的示意图；图6是本说明书一实施例提供的一种瞳孔定位方法的处理流程图；图7是本说明书一实施例提供的一种瞳孔定位装置的结构示意图；图8是本说明书一实施例提供的另一种瞳孔定位方法的流程图；图9是本说明书一实施例提供的另一种瞳孔定位装置的结构示意图；图10是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
20.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
21.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
22.应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
23.在本说明书中，提供了两种瞳孔定位方法，本说明书同时涉及两种瞳孔定位装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
24.图1示出了根据本说明书一实施例提供的一种瞳孔定位方法的流程图，具体包括以下步骤：步骤s102，获取对应目标用户的人脸图像帧，并在所述人脸图像帧中识别眼部区域。
25.本实施例提供的瞳孔定位方法应用于演讲学习业务领域，用于对演讲的用户进行瞳孔定位和视线估计，其中，目标用户具体是指人脸图像帧中的目标人脸对应的用户，即为演讲视频中进行演讲的用户。相应的，人脸图像帧具体是指演讲视频中某一帧包含目标用户人脸的视频帧，且人脸图像帧中的用户人脸处于睁眼状态。相应的，眼部区域具体是指人脸图像帧中对应目标用户眼部器官的区域，用于后续可以在眼部区域的基础上进行瞳孔定位处理。
26.基于此，为了能够精准定位演讲视频中目标用户的瞳孔坐标，用于对用户的视线信息进行估计，可以先获取对应目标用户的人脸图像帧，且目标用户的人脸图像在图像帧中处于睁眼状态，此后可以在人脸图像帧中识别眼部区域，用于定位目标用户的眼睛在图
像帧中的位置，方便后续以眼部区域为基础进行瞳孔定位处理操作。
27.进一步，在获取人脸图像帧，并识别眼部区域时，考虑到后续是以此为基础进行的瞳孔定位，因此只有确保眼部区域识别准确度，才能够确保瞳孔定位的准确度，因此可以采用预设算法实现，本实施例中，具体实现方式如下：获取所述目标用户对应的业务训练视频，并在所述业务训练视频对应的视频帧序列中提取所述人脸图像帧；利用预设的目标检测算法对所述人脸图像帧进行处理，获得包含眼部定位框的人脸图像帧；将所述眼部定位框在所述人脸图像帧中框选的区域，作为所述眼部区域。
28.具体的，业务训练视频具体是指目标用户练习演讲时所录制的视频，该视频可以由目标用户主动上传；相应的，视频帧序列具体是指对业务训练视频进行分帧处理后得到的视频帧组成的序列，视频帧序列中的视频帧按顺序排序。相应的，预设的目标检测算法具体是指能够在图像帧中添加眼部定位框的算法，即通过目标检测算法对图像帧进行处理，可以识别出图像帧中的眼部区域，并对眼部区域添加眼部定位框，其中，眼部定位框可以是矩形或者多边形，本实施例在此不作任何限定。需要说明的是，目标检测算法可以采用轻量级的检测算法，比如yolo系列算法，如选择yolox目标检测算法进行眼部区域的定位。
29.基于此，在获取到目标用户对应的业务训练视频后，为了能够精准定位视频中目标用户的瞳孔，从而估计视线信息，可以先对业务训练视频进行分帧处理，获得视频帧序列，之后在视频帧序列中提取人脸图像帧；此后再利用预设的目标检测算法对人脸图像帧进行处理，即可根据处理结果得到包含眼部定位框的人脸图像帧。也就是说，通过目标检测算法，将在人脸图像帧中添加眼部定位框，用于框选眼部区域。最后即可将眼部定位框在人脸图像帧中框选的区域。作为眼部区域，以用于后续使用。
30.需要说明的是，考虑到视频帧序列中包含大量的视频帧，针对每个视频帧都需要进行瞳孔定位，因此任意一个视频帧即可作为人脸图像帧进行后续的处理，本实施例为方便描述，仅以一个人脸图像帧为基础进行瞳孔定位的过程描述，其他人脸图像帧的瞳孔定位过程，相关或相似的内容均可参见本实施例描述，本实施例在此不作过多赘述。
31.举例说明，在获取到用户甲学习演讲的视频后，将对演讲视频进行分帧处理得到视频帧序列，视频帧序列中包含n个视频帧，此时选择如图2中（a）所示的视频帧作为人脸图像帧，之后利用yolox目标检测算法对人脸图像帧进行处理，获得如图2中（b）所示的，包含眼部定位框的人脸图像帧，此时即可将眼部定位框所框选的区域作为眼部区域，以用于后续进行裁剪和瞳孔定位处理。
32.综上，通过结合目标检测算法对眼部区域进行框选，可以确保在人脸图像帧中精准定位眼部位置，方便后续以此为基础进行瞳孔定位，从而可以精准的实现视线估计处理。
33.步骤s104，对所述人脸图像帧中的所述眼部区域进行裁剪处理，获得眼部图像帧。
34.具体的，在上述获取到人脸图像帧，并确定人脸图像帧中的眼部区域后，为了能够实现后续以眼部区域为基础进行瞳孔定位处理，以降低人脸图像帧中的其他内容产生的影响，此时可以对人脸图像帧中的眼部区域进行裁剪处理，以得到对应眼部区域的眼部图像帧，实现后续可以以眼部图像帧为基础进行瞳孔定位处理。
35.其中，裁剪处理具体是指按照眼部区域的尺寸在人脸图像帧中扣出眼部区域对应的图像内容，作为眼部图像帧。即眼部图像帧具体是指人脸图像帧中眼部区域对应的图像
帧。
36.实际应用中，在对人脸图像帧中的眼部区域进行裁剪处理时，可以按照眼部定位框实现，即人脸区域中包含眼部定位框，而眼部定位框用于框选眼部区域，因此可以先确定眼部定位框的长边和宽边的尺寸，之后按照长边和宽边尺寸对眼部定位框的位置进行裁剪处理，根据裁剪处理结果即可实现在人脸图像帧中扣出眼部图像帧。
37.此外，考虑到存在眼部区域定位不准确的可能，因此为了避免裁剪后的眼部图像帧不包含真实的眼部区域，可以在进行裁剪处理时，对眼部区域进行放大处理，且放大尺寸可以按照实际需求设定，在放大完成后再进行裁剪处理，从而保证得到的眼部图像帧包含整个眼部区域，方便后续进行使用。
38.步骤s106，响应于业务处理请求确定瞳孔定位策略，并按照所述瞳孔定位策略在所述眼部图像帧中定位所述目标用户的瞳孔坐标。
39.具体的，在上述得到眼部图像帧后，进一步的，即可在眼部图像帧的基础上进行瞳孔定位处理。此过程中，考虑到不同业务场景下具有不同的业务需求，比如对精准度要求较高的业务需求，或者对处理速度要求较高的业务需求，因此在进行瞳孔定位处理时，可以结合业务需求选择瞳孔定位策略，即响应于业务处理请求确定瞳孔定位策略，此后即可按照确定好的瞳孔定位策略在眼部图像帧中定位目标用户的瞳孔坐标，实现定位瞳孔坐标的处理过程可以满足业务需求，以方便下游业务使用。
40.其中，业务处理请求具体是指定位瞳孔坐标时的业务需求，包括但不限于定位准确度需求或者定位处理速度需求。其中，业务处理请求可以是执行瞳孔定位处理方案时提交的请求，也可以是预置的业务处理请求，本实施例在此不作任何限定。相应的，瞳孔定位策略具体是指根据业务处理请求选择的策略，实现在定位瞳孔坐标时使用，不同的业务处理请求对应不同的瞳孔定位策略。相应的，瞳孔坐标具体是指目标用户的瞳孔在眼部图像帧中的坐标信息，该坐标依附于眼部图像帧对应的坐标系确定。
41.进一步的，考虑到不同的业务处理请求对应不同的瞳孔定位策略，因此当业务处理请求是具有识别速度需求时，则需要采用瞳孔定位效率更快的策略实现，本实施例中，具体实现方式如下：在所述瞳孔定位策略为图像处理策略的情况下，按照所述图像处理策略对所述眼部图像帧进行预处理，获得初始眼部图像帧；对所述初始眼部图像帧进行二值化处理，根据二值化处理结果构建连通域；计算所述连通域的质心坐标，并根据所述质心坐标在所述眼部图像帧中定位所述目标用户的瞳孔坐标。
42.具体的，图像处理策略具体是指瞳孔定位处理速度更快的策略，其主要是通过对图像帧进行处理的方式实现定位处理。相应的，初始眼部图像帧具体是指对眼部图像帧进行预处理后得到的图像帧，其相比于眼部图像帧更加清晰。相应的，连通域具体是指对初始眼部图像帧进行二值化处理后构建的最大连通域，用于进行质心坐标的计算。
43.基于此，在根据业务处理请求选择图像处理策略的情况下，说明此时需要快速的完成瞳孔定位处理，因此可以按照图像处理策略先对眼部图像帧进行预处理，以得到清晰度更高的初始眼部图像帧；其次，再对眼部图像帧进行二值化处理，实现将初始眼部图像帧中非瞳孔区域变为白色，瞳孔区域变为黑色，以得到二值化后的图像帧后，可以基于二值化结果构建最大连通域，最后通过计算最大连通域的质心坐标，即可将其作为目标用户的瞳
孔坐标。
44.其中，二值化处理即为将眼部图像帧中像素点的灰度值设置为0或255，实现将整个图像帧呈现为明显的只有黑和白的视觉效果，本实施例中，眼部图像帧的二值化处理即为将非瞳孔区域的像素值设置为255，瞳孔区域的像素值设置为0，以在得到图像帧的二值化处理结果后进行最大连通域的构建，并计算质心坐标。
45.综上，通过采用构建对图像进行预处理和二值化处理的方式，实现在眼部图像帧中确定瞳孔位置，之后构建最大连通域计算质心坐标，即可实现瞳孔坐标的定位，以实现快速的完成瞳孔坐标计算，方便后续进行视线估计处理。
46.更进一步的，在对眼部图像帧进行预处理时，为了能够得到清晰度更高，方便后续进行二次处理的初始眼部图像帧，可以通过转换并滤波的方式实现，本实施例中，具体实现方式如下：按照所述图像处理策略，将所述眼部图像帧转换为眼部灰度图；对所述眼部灰度图进行双边滤波处理，获得所述初始眼部图像帧。
47.具体的，眼部灰度图具体是指将彩色的眼部图像帧转换为灰度的图像帧，相应的，双边滤波处理具体是指对灰度图进行去噪保边处理的过程，用于将眼部灰度图转换为清晰度更高的灰度图，作为初始眼部图像帧。实现降低噪音产生的影响。
48.基于此，在确定瞳孔定位策略为图像处理策略后，可以按照图像处理策略，将眼部图像帧先转换为眼部灰度图，之后对眼部灰度图进行双边滤波处理，即可实现去噪保边，实现将眼部图像帧转换为清晰度和线条更清晰的初始眼部图像帧。
49.其中，双边滤波处理具体是指考虑图像帧中像素点的空域信息和值域信息。即先根据像素值对要用来进行滤波的邻域做一个分割或分类，再给该点所属的类别相对较高的权重，然后进行邻域加权求和，得到最终结果，即为初始眼部图像帧。
50.沿用上例，在得到图2中（b）所示的人脸图像帧后，可以按照人脸图像帧中的眼部定位框进行裁剪处理，根据裁剪处理结果得到如图3中（a）所示的眼部图像帧。此后将眼部图像帧转换为眼部灰度图，之后采用双边滤波处理的方式对眼部灰度图进行处理，实现去噪保边，即可根据处理结果得到如图3中（b）所示的初始眼部图像帧。
51.进一步的，为了能够保证瞳孔定位速度和准确度，此时可以先对初始眼部图像帧进行二值化处理，根据二值化处理结果将得到如图3中（c）所示的图像帧，实现突出瞳孔像素点。之后再基于二值化处理结果构建所有连通域，构建后的连通域如图3中（d）所示，而瞳孔为二值化处理结果中的黑色区域，因此可以基于构建的连通域确定黑色区域面积最大的连通域，即为如图3中（e）所示的图像帧，最后通过计算最大连通域的质心坐标，即可确定用户甲的瞳孔坐标，瞳孔坐标的坐标点如图3中（f）所示，以方便后续以此为基础进行视线估计。
52.综上，通过将图像帧转换为灰度图再进行双边滤波处理，不仅可以保证精准识别出瞳孔区域，还能够提高瞳孔定位速度，实现在较短的时间内完成对全量视频帧的处理，从而方便下游业务使用。
53.而当业务处理请求具有识别准确度需求时，则需要采用瞳孔定位精准度更高的策略实现，本实施例中，具体实现方式如下：在所述瞳孔定位策略为模型处理策略的情况下，根据所述模型处理策略确定关键
点识别模型；将所述眼部图像帧输入至所述关键点识别模型进行处理，获得包含多个眼部关键点的眼部图像帧；根据所述多个眼部关键点，在所述眼部图像帧中定位所述目标用户的瞳孔坐标。
54.具体的，模型处理策略具体是指瞳孔定位处理准确度更高的策略，其主要是采用机器学习算法实现定位处理。相应的，关键点识别模型具体是指能够识别眼部图像帧中的瞳孔位置，并在瞳孔位置添加关键点的模型，相应的，眼部关键点即为定位瞳孔坐标的关键点。
55.需要说明的是，为确保关键点识别模型具有较高的识别精度，需要预先进行充足的训练，训练过程如下：首先获取眼部样本图像帧，以及眼部样本图像帧对应的标签，标签中记录眼部样本图像帧中关键点的位置。之后将眼部样本图像帧输入至初始关键点识别模型进行处理，根据处理结果将得到预测眼部图像帧，此后基于标签和预测眼部图像帧进行损失值计算，并根据计算结果对模型调参，直至模型满足训练停止条件的情况下，即可得到关键点识别模型。
56.此外，为了能够保证关键点识别模型对眼部图像帧中的关键点进行精准识别，可以在输入模型前，对眼部图像帧进行预处理，即对眼部图像进行尺寸变换和像素值归一化处理，以在处理完成后再输入关键点识别模型进行处理。
57.基于此，在根据业务处理请求选择模型处理策略的情况下，说明此时需要精准的完成瞳孔定位处理，因此可以按照模型处理策略确定关键点识别模型；同时对眼部图像帧进行尺寸变化和像素值归一化处理，之后将处理结果输入至关键点识别模型进行处理，以获得模型输出的包含多个眼部关键点的眼部图像帧；此后再根据每个眼部关键点计算目标用户的瞳孔坐标即可。
58.综上，通过采用关键点识别模型进行瞳孔坐标的定位处理，可以有效的提高定位精度，以此为基础能够确保估计出的视线信息更加准确，从而能够支持下游业务对目标用户的演讲行为进行准确的打分。
59.更进一步的，在基于多个眼部关键点计算瞳孔坐标时，考虑到眼部关键点存在多个，因此可以结合多个眼部关键点的坐标进行瞳孔坐标的定位，本实施例中，具体实现方式如下：基于所述多个眼部关键点，在所述眼部图像帧中绘制眼部闭合圆；计算所述眼部闭合圆的圆心坐标，并根据所述圆心坐标在所述眼部图像帧中定位所述目标用户的瞳孔坐标。
60.具体的，眼部闭合圆具体是指基于多个眼部关键点绘制的最小闭合圆，用于映射瞳孔区域；最小闭合圆能够保证映射在瞳孔区域内，以此为基础能够确保瞳孔坐标定位精度更高。相应的，圆心坐标即为眼部闭合圆的圆心对应的坐标。
61.基于此，在得到包含多个眼部关键点的眼部图像帧后，可以基于眼部图像帧中的多个眼部关键点绘制最小眼部闭合圆；之后计算眼部闭合圆的圆心坐标，实现根据圆心坐标在眼部图像帧中定位目标用户的瞳孔坐标。
62.沿用上例，在得到图2中（b）所示的人脸图像帧后，可以以整个眼部区域为基础进行裁剪处理，根据裁剪处理结果得到如图4中（a）所示的眼部图像帧。之后对眼部图像帧进行尺寸变化和像素值归一化处理，再将处理后的图像输入至关键点识别模型进行处理，根
据模型处理结果将得到包含五个关键点的眼部图像帧，识别结果如图4中（b）所示。
63.进一步的，在得到包含五个关键点的眼部图像帧后，可以基于五个关键点绘制最小闭合圆，即绘制面积最小的闭合圆，绘制结果如图4中（c）所示。此后通过计算最小闭合圆的圆心坐标，即可确定用户甲的瞳孔坐标，瞳孔坐标的坐标点如图4中（d）所示，以方便后续以此为基础进行视线估计。
64.综上，通过结合机器学习模型和最小闭合圆计算圆心坐标，从而定位到目标用户的瞳孔坐标，可以确保定位精度，以此为基础保证后续能够更加准确的估计出目标用户的视线信息。
65.此外，为了能够进一步提高瞳孔坐标的定位精度，可以结合多个策略实现定位和校准，以确保定位到的瞳孔坐标准确度更高，本实施例中，具体实现方式如下：响应于所述业务处理请求确定所述瞳孔定位策略，其中，所述瞳孔定位策略包含至少两个子瞳孔定位策略；按照每个子瞳孔定位策略依次对所述眼部图像帧分别进行处理，根据处理结果定位所述目标用户的瞳孔坐标。
66.其中，至少两个子瞳孔定位策略可以是图像处理策略和模型处理策略；在此基础上，进行瞳孔坐标定位时，可以先通过图像处理策略初步定位出初始瞳孔坐标，之后再利用模型处理策略对初始瞳孔坐标进行修正，修正结果即为目标用户的瞳孔坐标。或者，先通过模型处理策略初步定位出初始瞳孔坐标，之后再利用图像处理策略对初始瞳孔坐标进行修正，修正结果即为目标用户的瞳孔坐标。
67.具体的，图像处理策略和模型处理策略的具体实现可以参见上述实施例中相同或相应的描述内容，本实施例在此不作任何限定。
68.需要说明的是，在通过任意一个子瞳孔定位策略进行修正时，实则是再计算出一个瞳孔坐标，之后将每个子瞳孔定位策略得到的瞳孔坐标取平均值，即可得到目标用户的瞳孔坐标。或者可以采用加权平均的方式实现，需要说明的是，优先级高的子瞳孔定位策略的权重越高，反之，优先级低的子瞳孔定位策略的权重越低。
69.综上，通过结合多个子瞳孔定位策略进行瞳孔坐标的定位处理，可以进一步提高定位精度，从而实现在后续视线估计处理时使用，确保视线估计更加准确。
70.步骤s108，基于所述瞳孔坐标确定所述人脸图像帧中所述目标用户的视线信息。
71.具体的，在眼部图像帧中定位目标用户的瞳孔坐标后，考虑到视线信息是相对于人脸图像帧的，因此还需要基于瞳孔坐标映射到人脸图像帧，之后结合映射后的瞳孔坐标确定目标用户的视线信息，以确保视线信息的确定精准度。其中，视线信息具体是指目标用户的视线描述信息，用于描述目标用户学习演讲时的视线情况。
72.进一步的，在基于瞳孔坐标确定人脸图像帧中的目标用户的视线信息时，为了能够确保视线信息确定的精度，需要先进行坐标映射处理后再估计视线，本实施例中，具体实现方式如下：根据所述瞳孔坐标，计算所述目标用户的瞳孔在所述人脸图像帧中的目标瞳孔坐标；根据所述目标瞳孔坐标，计算所述目标用户的瞳孔相对于所述目标用户的眼睛的偏离值；基于所述偏离值确定所述人脸图像帧中所述目标用户的视线信息。
73.具体的，目标瞳孔坐标具体是指将眼部图像帧中的瞳孔坐标，映射到人脸图像帧后得到的瞳孔坐标，且目标瞳孔坐标是以人脸图像帧对应的坐标系为基础得到的坐标信
息。相应的，偏离值具体是指描述瞳孔相对于眼眶的偏离值，用于表征视线稳定性，和当前帧视线角度正确性。
74.基于此，在得到瞳孔在眼部图像帧中的瞳孔坐标后，可以根据眼部图像帧和人脸图像帧的尺寸比例关系，将瞳孔坐标映射到人脸图像帧，以根据映射结果得到目标瞳孔坐标，此后再根据目标瞳孔坐标，计算目标用户的瞳孔相对于目标用户的眼睛的偏离值；即可实现基于偏离值确定人脸图像帧中目标用户的视线信息，以方便下游业务使用。实际应用中，在进行视线信息估计时，实则是计算瞳孔相对于眼睛的偏差，以结合目标用户的双眼瞳孔偏差估计出视线信息。
75.沿用上例，在得到用户甲在眼部图像帧中的瞳孔坐标（x1，y1）后，可以根据瞳孔坐标（x1，y1）计算出人脸图像帧中的目标瞳孔坐标（x2，y2），人脸图像帧中的目标瞳孔坐标对应的坐标点，如图5所示。之后根据目标瞳孔坐标计算瞳孔相对于眼眶的偏差，以结合双眼的偏差估计出用户甲在当前视频帧中的视线，以此为基础直至全部视频帧都处理完成后，即可根据全部视频帧的视线信息得出用户甲进行演讲学习时的视线得分，以达到辅助用户甲进行演讲学习的目的。
76.此外，为了能够对目标用户的业务训练行为进行评估，以做到辅助其学习的目的，可以结合视线信息和特征信息进行打分，本实施例中，具体实现方式如下：确定所述业务训练视频对应的特征信息；根据所述特征信息和所述视线信息对所述目标用户的业务训练行为进行打分，获得所述目标用户对应的业务训练分值；根据所述业务训练分值，向所述目标用户推荐关联所述业务训练视频的业务辅助视频。
77.具体的，特征信息具体是指业务训练视频中目标用户的器官特征对应的描述信息，包括但不限于嘴部特征信息、手部特征信息、肢体特征信息等，用于描述目标用户的业务训练行为。业务训练分值具体是指用于表征用户的业务训练行为的分值，业务训练分值越高，说明用户的业务训练行为越好，反之，业务训练分值越低，说明用户的业务训练行为越差；相应的，业务辅助视频具体是指向用户提供的用于辅助用户进行业务行为训练的相关视频。
78.基于此，在得到视线信息后，还可以确定业务训练视频对应的特征信息；之后根据特征信息和视线信息对目标用户的业务训练行为进行打分，获得目标用户对应的业务训练分值；此后即可根据业务训练分值，向目标用户推荐关联业务训练视频的业务辅助视频，以达到辅助目标用户学习业务训练行为的目的。
79.沿用上例，根据用户甲学习演讲视频的内容确定用户甲的肢体特征信息、面部表情特征信息，此后将结合肢体特征信息、面部表情特征信息和视线信息对用户学习演讲的动作进行打分，得到用户的演讲分值为s，此后根据演讲分值s确定用户肢体动作并不标准，则可以选择辅助用户学习肢体动作的演讲视频推荐给用户甲，以达到辅助用户学习演讲是的肢体动作。
80.综上，通过推荐业务辅助视频的方式提高，辅助用户学习业务训练行为，能够更加促进用户的学习体验。
81.本说明书提供的瞳孔定位方法，为了能够精准定位瞳孔坐标，以此确定用户的视线信息，可以在获取到目标用户对应的人脸图像帧后，在人脸图像帧中先初步识别出眼部区域，再通过对人脸图像帧中的脸部区域进行裁剪，从而得到眼部图像帧，实现在眼部区域
的图像帧中进行瞳孔定位，可以减少图像帧中冗余信息产生的影响。之后响应于业务请求确定瞳孔定位策略，按照瞳孔定位策略在眼部图像帧中定位目标用户的瞳孔坐标，实现可以根据需求选择不同的策略进行瞳孔定位，提供了更加灵活的瞳孔定位方式，最后即可基于瞳孔坐标确定人脸图像帧中目标用户的视线信息，实现了以眼部图像帧为基础进行瞳孔定位，有效的提高了定位准确度，此后再映射到人脸图像帧进行视线确定，可以准确且高效的完成视线估计，从而满足下游业务的使用，确保下游业务可以使用准确度更高的视线信息进行相应的业务处理。
82.下述结合附图6，以本说明书提供的瞳孔定位方法在演讲训练场景中的应用为例，对所述瞳孔定位方法进行进一步说明。其中，图6示出了本说明书一实施例提供的一种瞳孔定位方法的处理流程图，具体包括以下步骤：步骤s602，获取目标用户对应的业务训练视频，并在业务训练视频对应的视频帧序列中提取人脸图像帧。
83.步骤s604，利用预设的目标检测算法对人脸图像帧进行处理，获得包含眼部定位框的人脸图像帧。
84.步骤s606，将眼部定位框在人脸图像帧中框选的区域，作为眼部区域。
85.步骤s608，对人脸图像帧中的眼部区域进行裁剪处理，获得眼部图像帧。
86.步骤s610，在瞳孔定位策略为图像处理策略的情况下，按照图像处理策略，将眼部图像帧转换为眼部灰度图。
87.步骤s612，对眼部灰度图进行双边滤波处理，获得初始眼部图像帧。
88.步骤s614，对初始眼部图像帧进行二值化处理，根据二值化处理结果构建连通域。
89.步骤s616，计算连通域的质心坐标，并根据质心坐标在眼部图像帧中定位目标用户的瞳孔坐标。
90.步骤s618，在瞳孔定位策略为模型处理策略的情况下，根据模型处理策略确定关键点识别模型。
91.步骤s620，将眼部图像帧输入至关键点识别模型进行处理，获得包含多个眼部关键点的眼部图像帧。
92.步骤s622，基于多个眼部关键点，在眼部图像帧中绘制眼部闭合圆。
93.步骤s624，计算眼部闭合圆的圆心坐标，并根据圆心坐标在眼部图像帧中定位目标用户的瞳孔坐标。
94.步骤s626，根据瞳孔坐标，计算目标用户的瞳孔在人脸图像帧中的目标瞳孔坐标。
95.步骤s628，根据目标瞳孔坐标，计算目标用户的瞳孔相对于目标用户的眼睛的偏离值。
96.步骤s630，基于偏离值确定人脸图像帧中目标用户的视线信息。
97.综上所述，为了能够精准定位瞳孔坐标，以此确定用户的视线信息，可以在获取到目标用户对应的人脸图像帧后，在人脸图像帧中先初步识别出眼部区域，再通过对人脸图像帧中的脸部区域进行裁剪，从而得到眼部图像帧，实现在眼部区域的图像帧中进行瞳孔定位，可以减少图像帧中冗余信息产生的影响。之后响应于业务请求确定瞳孔定位策略，按照瞳孔定位策略在眼部图像帧中定位目标用户的瞳孔坐标，实现可以根据需求选择不同的策略进行瞳孔定位，提供了更加灵活的瞳孔定位方式，最后即可基于瞳孔坐标确定人脸图
像帧中目标用户的视线信息，实现了以眼部图像帧为基础进行瞳孔定位，有效的提高了定位准确度，此后再映射到人脸图像帧进行视线确定，可以准确且高效的完成视线估计，从而满足下游业务的使用，确保下游业务可以使用准确度更高的视线信息进行相应的业务处理。
98.与上述方法实施例相对应，本说明书还提供了瞳孔定位装置实施例，图7示出了本说明书一实施例提供的一种瞳孔定位装置的结构示意图。如图7所示，该装置包括：获取模块702，被配置为获取对应目标用户的人脸图像帧，并在所述人脸图像帧中识别眼部区域；处理模块704，被配置为对所述人脸图像帧中的所述眼部区域进行裁剪处理，获得眼部图像帧；定位模块706，被配置为响应于业务处理请求确定瞳孔定位策略，并按照所述瞳孔定位策略在所述眼部图像帧中定位所述目标用户的瞳孔坐标；确定模块708，被配置为基于所述瞳孔坐标确定所述人脸图像帧中所述目标用户的视线信息。
99.一个可选的实施例中，所述获取模块702进一步被配置为：获取所述目标用户对应的业务训练视频，并在所述业务训练视频对应的视频帧序列中提取所述人脸图像帧；利用预设的目标检测算法对所述人脸图像帧进行处理，获得包含眼部定位框的人脸图像帧；将所述眼部定位框在所述人脸图像帧中框选的区域，作为所述眼部区域。
100.一个可选的实施例中，所述定位模块706进一步被配置为：在所述瞳孔定位策略为图像处理策略的情况下，按照所述图像处理策略对所述眼部图像帧进行预处理，获得初始眼部图像帧；对所述初始眼部图像帧进行二值化处理，根据二值化处理结果构建连通域；计算所述连通域的质心坐标，并根据所述质心坐标在所述眼部图像帧中定位所述目标用户的瞳孔坐标。
101.一个可选的实施例中，所述定位模块706进一步被配置为：按照所述图像处理策略，将所述眼部图像帧转换为眼部灰度图；对所述眼部灰度图进行双边滤波处理，获得所述初始眼部图像帧。
102.一个可选的实施例中，所述定位模块706进一步被配置为：在所述瞳孔定位策略为模型处理策略的情况下，根据所述模型处理策略确定关键点识别模型；将所述眼部图像帧输入至所述关键点识别模型进行处理，获得包含多个眼部关键点的眼部图像帧；根据所述多个眼部关键点，在所述眼部图像帧中定位所述目标用户的瞳孔坐标。
103.一个可选的实施例中，所述定位模块706进一步被配置为：基于所述多个眼部关键点，在所述眼部图像帧中绘制眼部闭合圆；计算所述眼部闭合圆的圆心坐标，并根据所述圆心坐标在所述眼部图像帧中定位所述目标用户的瞳孔坐标。
104.一个可选的实施例中，所述确定模块708进一步被配置为：根据所述瞳孔坐标，计算所述目标用户的瞳孔在所述人脸图像帧中的目标瞳孔坐标；根据所述目标瞳孔坐标，计算所述目标用户的瞳孔相对于所述目标用户的眼睛的偏离
值；基于所述偏离值确定所述人脸图像帧中所述目标用户的视线信息。
105.一个可选的实施例中，所述装置还包括：打分模块，被配置为确定所述业务训练视频对应的特征信息；根据所述特征信息和所述视线信息对所述目标用户的业务训练行为进行打分，获得所述目标用户对应的业务训练分值；根据所述业务训练分值，向所述目标用户推荐关联所述业务训练视频的业务辅助视频。
106.一个可选的实施例中，所述定位模块706进一步被配置为：响应于所述业务处理请求确定所述瞳孔定位策略，其中，所述瞳孔定位策略包含至少两个子瞳孔定位策略；按照每个子瞳孔定位策略依次对所述眼部图像帧分别进行处理，根据处理结果定位所述目标用户的瞳孔坐标。
107.本说明书提供的瞳孔定位装置，为了能够精准定位瞳孔坐标，以此确定用户的视线信息，可以在获取到目标用户对应的人脸图像帧后，在人脸图像帧中先初步识别出眼部区域，再通过对人脸图像帧中的脸部区域进行裁剪，从而得到眼部图像帧，实现在眼部区域的图像帧中进行瞳孔定位，可以减少图像帧中冗余信息产生的影响。之后响应于业务请求确定瞳孔定位策略，按照瞳孔定位策略在眼部图像帧中定位目标用户的瞳孔坐标，实现可以根据需求选择不同的策略进行瞳孔定位，提供了更加灵活的瞳孔定位方式，最后即可基于瞳孔坐标确定人脸图像帧中目标用户的视线信息，实现了以眼部图像帧为基础进行瞳孔定位，有效的提高了定位准确度，此后再映射到人脸图像帧进行视线确定，可以准确且高效的完成视线估计，从而满足下游业务的使用，确保下游业务可以使用准确度更高的视线信息进行相应的业务处理。
108.上述为本实施例的一种瞳孔定位装置的示意性方案。需要说明的是，该瞳孔定位装置的技术方案与上述的瞳孔定位方法的技术方案属于同一构思，瞳孔定位装置的技术方案未详细描述的细节内容，均可以参见上述瞳孔定位方法的技术方案的描述。
109.与上述方法实施例相对应，本说明书还提供了另一种瞳孔定位方法实施例，图8示出了本说明书一实施例提供的另一种瞳孔定位方法的流程图。如图8所示，该方法包括：步骤s802，获取对应目标用户的人脸图像帧，并在所述人脸图像帧中识别眼部区域；步骤s804，对所述人脸图像帧中的所述眼部区域进行裁剪处理，获得眼部图像帧；步骤s806，按照预设的定位策略，在所述眼部图像帧中定位所述目标用户的瞳孔坐标；步骤s808，基于目标瞳孔坐标确定所述人脸图像帧中所述目标用户的视线信息。
110.综上所述，为了能够精准定位瞳孔坐标，以此确定用户的视线信息，可以在获取到目标用户对应的人脸图像帧后，在人脸图像帧中先初步识别出眼部区域，再通过对人脸图像帧中的脸部区域进行裁剪，从而得到眼部图像帧，实现在眼部区域的图像帧中进行瞳孔定位，可以减少图像帧中冗余信息产生的影响。之后按照瞳孔定位策略在眼部图像帧中定位目标用户的瞳孔坐标，最后即可基于瞳孔坐标确定人脸图像帧中目标用户的视线信息，实现了以眼部图像帧为基础进行瞳孔定位，有效的提高了定位准确度，此后再映射到人脸图像帧进行视线确定，可以准确且高效的完成视线估计，从而满足下游业务的使用，确保下游业务可以使用准确度更高的视线信息进行相应的业务处理。
111.上述为本实施例的另一种瞳孔定位方法的示意性方案。需要说明的是，该另一种瞳孔定位方法的技术方案与上述的瞳孔定位方法的技术方案属于同一构思，另一种瞳孔定位方法的技术方案未详细描述的细节内容，均可以参见上述瞳孔定位方法的技术方案的描述。
112.与上述方法实施例相对应，本说明书还提供了另一种瞳孔定位装置实施例，图9示出了本说明书一实施例提供的另一种瞳孔定位装置的结构示意图。如图9所示，该装置包括：获取图像帧模块902，被配置为获取对应目标用户的人脸图像帧，并在所述人脸图像帧中识别眼部区域；裁剪处理模块904，被配置为对所述人脸图像帧中的所述眼部区域进行裁剪处理，获得眼部图像帧；定位坐标模块906，被配置为按照预设的定位策略，在所述眼部图像帧中定位所述目标用户的瞳孔坐标；确定信息模块908，被配置为基于目标瞳孔坐标确定所述人脸图像帧中所述目标用户的视线信息。
113.综上所述，为了能够精准定位瞳孔坐标，以此确定用户的视线信息，可以在获取到目标用户对应的人脸图像帧后，在人脸图像帧中先初步识别出眼部区域，再通过对人脸图像帧中的脸部区域进行裁剪，从而得到眼部图像帧，实现在眼部区域的图像帧中进行瞳孔定位，可以减少图像帧中冗余信息产生的影响。之后按照瞳孔定位策略在眼部图像帧中定位目标用户的瞳孔坐标，最后即可基于瞳孔坐标确定人脸图像帧中目标用户的视线信息，实现了以眼部图像帧为基础进行瞳孔定位，有效的提高了定位准确度，此后再映射到人脸图像帧进行视线确定，可以准确且高效的完成视线估计，从而满足下游业务的使用，确保下游业务可以使用准确度更高的视线信息进行相应的业务处理。
114.上述为本实施例的一种瞳孔定位装置的示意性方案。需要说明的是，该瞳孔定位装置的技术方案与上述的瞳孔定位方法的技术方案属于同一构思，瞳孔定位装置的技术方案未详细描述的细节内容，均可以参见上述瞳孔定位方法的技术方案的描述。
115.图10示出了根据本说明书一实施例提供的一种计算设备1000的结构框图。该计算设备1000的部件包括但不限于存储器1010和处理器1020。处理器1020与存储器1010通过总线1030相连接，数据库1050用于保存数据。
116.计算设备1000还包括接入设备1040，接入设备1040使得计算设备1000能够经由一个或多个网络1060通信。这些网络的示例包括公用交换电话网（pstn，public switched telephone network）、局域网（lan，local area network）、广域网（wan，wide area network）、个域网（pan，personal area network）或诸如因特网的通信网络的组合。接入设备1040可以包括有线或无线的任何类型的网络接口（例如，网络接口卡（nic，network interface controller））中的一个或多个，诸如ieee802.11无线局域网（wlan，wireless local area network）无线接口、全球微波互联接入（wi-max，worldwide interoperability for microwave access）接口、以太网接口、通用串行总线（usb，universal serial bus）接口、蜂窝网络接口、蓝牙接口、近场通信（nfc，near field communication）接口，等等。
117.在本技术的一个实施例中，计算设备1000的上述部件以及图10中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图10所示的计算设备结构框图仅仅是出于示例的目的，而不是对本技术范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
118.计算设备1000可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜等）或其他类型的移动设备，或者诸如台式计算机或个人计算机（pc，personal computer）的静止计算设备。计算设备1000还可以是移动式或静止式的服务器。
119.其中，处理器1020用于执行计算机可执行指令时实现上述瞳孔定位方法的步骤。
120.上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的瞳孔定位方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述瞳孔定位方法的技术方案的描述。
121.本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于上述瞳孔定位方法。
122.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的瞳孔定位方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述瞳孔定位方法的技术方案的描述。
123.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
124.所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
125.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。
126.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
127.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内
容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。