指纹认证装置、显示装置以及显示装置的认证指纹的方法与流程

指纹认证装置、显示装置以及显示装置的认证指纹的方法
1.相关申请的交叉引用
2.本技术要求于2020年9月1日在韩国知识产权局提交的第10-2020-0111331号韩国专利申请的优先权，该专利申请的公开内容通过引用整体并入本文。
技术领域
3.本公开的实施例总体上涉及指纹认证装置、包括该指纹认证装置的显示装置以及显示装置的认证指纹的方法。


背景技术：

4.随着诸如智能电话和可穿戴装置的电子装置的使用变得更普遍，被存储在这种电子装置中的信息的安全性变得更重要。响应于这种安全性需要，基于用户的生物特征信息的认证技术已经被开发。
5.基于生物特征信息的认证技术可以从用户获取诸如例如指纹、虹膜、语音、面部、血管等的生物特征信息，并且将获取的生物特征信息与先前注册的生物特征信息进行比较以认证用户。在基于生物特征信息的认证技术当中，指纹识别技术是出于诸如例如方便性、安全性和成本的各种原因的商业可用技术之一。指纹识别技术可以增强用户装置的安全性，并且为诸如例如移动支付的各种应用服务提供安全性。指纹识别技术可以被用于包括感测用户的指纹的指纹感测器的电子装置中。


技术实现要素：

6.本公开的实施例提供了用于通过提取包括指纹图像的奇异点的感兴趣区域来执行指纹认证的指纹认证装置、认证指纹的方法以及显示装置。
7.根据本公开的实施例，指纹认证装置包括：生物特征感测器，被配置为通过感测生物特征信息来生成感测信号；图像处理器，被配置为基于感测信号生成指纹图像；奇异点确定器电路，被配置为基于指纹图像或者感测信号来选择至少一个指纹片段，并且通过分析所选择的至少一个指纹片段来确定指纹图像的奇异点；和认证器电路。图像处理器被进一步配置为基于奇异点的坐标从指纹图像中提取包括奇异点的感兴趣区域，并且认证器电路被配置为通过将感兴趣区域与注册的指纹信息进行比较来执行指纹认证。
8.在实施例中，奇异点确定器电路被配置为使用由奇异点确定器电路设置的检测模型通过机器学习来确定奇异点。
9.在实施例中，奇异点确定器电路被配置为将指纹图像划分成k个(k是大于1的整数)采样区域，并且选择与k个采样区域中的每一个采样区域的任意位置相对应的指纹片段。
10.在实施例中，奇异点确定器电路被配置为通过将从指纹片段中的每一个导出的脊线和谷线应用于检测模型来获取奇异点。
11.在实施例中，奇异点确定器电路被配置为基于用于机器学习的模型指纹图像来设
置检测模型，并且模型指纹图像是从指纹认证装置的外部提供的。
12.在实施例中，奇异点确定器电路被配置为通过使用由图像处理器生成的指纹图像、指纹图像的至少一个指纹片段以及感兴趣区域的附加机器学习来更新检测模型。
13.在实施例中，图像处理器包括：第一数据处理器，被配置为将感测信号转换成与指纹图像相对应的数字形式的第一指纹图像；第二数据处理器，被配置为检测第一指纹图像中的受由外部环境引起的噪声影响的噪声区域，并且通过模糊噪声区域生成第二指纹图像；图像剪切器电路，被配置为在第二指纹图像中确定包括奇异点的具有预定大小的感兴趣区域，并且丢弃第二指纹图像的除了感兴趣区域之外的剩余部分；和储存器，被配置为存储感兴趣区域的信息。
14.在实施例中，图像剪切器电路被配置为将奇异点的坐标确定为感兴趣区域的中心坐标。
15.在实施例中，图像剪切器电路被配置为移位感兴趣区域的中心坐标，使得感兴趣区域变得更远离噪声区域。
16.在实施例中，移位后的中心坐标与奇异点的坐标相比被定位为更远离噪声区域。
17.在实施例中，第二数据处理器被配置为将噪声数字化，并且当噪声至少等于预定的阈值参考值时，生成指纹感测重试命令。
18.在实施例中，噪声区域是第一指纹图像的具有大于预定的亮度容限的亮度的一部分。
19.在实施例中，噪声区域包括除了指纹之外的褶皱在其处被表示的一部分、相对干燥的一部分以及与异物重叠的一部分中的至少一个。
20.在实施例中，生物特征感测器的感测区域的面积大于感兴趣区域的面积。
21.在实施例中，感兴趣区域的面积等于或小于感测区域的大约30％。
22.在实施例中，奇异点包括指纹的核心和三角中的至少一个。
23.根据本公开的实施例，显示装置的认证指纹的方法包括：生成通过生物特征感测器感测的指纹的指纹图像；通过从指纹图像中选择多个指纹片段，经由机器学习确定指纹图像的奇异点；从指纹图像中提取包括奇异点的感兴趣区域；并且通过将感兴趣区域与注册的指纹信息进行比较来认证指纹。
24.在实施例中，确定奇异点包括：通过对从显示装置的外部提供的用于机器学习的模型指纹图像进行机器学习，设置用于检测奇异点的初步检测模型；从用于机器学习的模型指纹图像的任意位置选择指纹片段，并且通过使用指纹片段和初步检测模型来恢复用于机器学习的模型指纹图像；通过对恢复后的用于机器学习的模型指纹图像进行机器学习，将初步检测模型更新为检测模型；并且通过使用检测模型从实时指纹图像计算奇异点。
25.在实施例中，确定奇异点进一步包括：通过对实时指纹图像和实时指纹图像的奇异点进行机器学习来更新检测模型。
26.在实施例中，生成指纹图像包括：通过分析指纹图像的数据来确定噪声区域，并且通过模糊噪声区域来生成校正后的指纹图像。提取感兴趣区域包括：在校正后的指纹图像中确定包括奇异点的感兴趣区域，并且丢弃感兴趣区域外部的剩余部分。
27.在实施例中，确定感兴趣区域包括：比较感兴趣区域的位置和噪声区域的位置；当感兴趣区域和噪声区域彼此不重叠时，将奇异点的坐标确定为感兴趣区域的中心坐标；并
且当感兴趣区域的至少一部分与噪声区域重叠时，移位感兴趣区域的中心坐标，使得感兴趣区域变得更远离噪声区域。
28.在实施例中，生成指纹图像进一步包括：比较指纹片段的位置和噪声区域的位置；并且当指纹片段中的至少一个被包括在噪声区域中时，输出用于重新选择指纹片段的命令。
29.根据本公开的实施例，显示装置包括：显示面板，包括多个像素；和指纹认证装置，被配置为感测经由显示面板输入的指纹。该指纹认证装置包括：生物特征感测器，被设置在显示面板的一个表面上并且被配置为通过感测指纹来生成感测信号；图像处理器，被配置为基于感测信号生成指纹图像；奇异点确定器电路，被配置为从指纹图像中选择多个指纹片段，并且通过分析所选择的指纹片段来确定指纹图像的奇异点；和认证器电路。图像处理器被进一步配置为基于奇异点的坐标从指纹图像中提取包括奇异点的感兴趣区域，并且认证器电路被配置为通过将感兴趣区域与注册的指纹信息进行比较来执行指纹认证。
30.在根据本公开的实施例的指纹认证装置、包括该指纹认证装置的显示装置以及该显示装置的认证指纹的方法中，包括大量细节的具有小面积的感兴趣区域可以通过使用与现有图像处理并行操作的人工智能(ai)技术被快速地提取。因此，通过大面积指纹感测区域感测的生物特征信息的认证的可靠性和认证的处理速度能够被提高。
31.在根据本公开的实施例的包括具有小面积的指纹感测区域的指纹认证装置、包括该指纹认证装置的显示装置以及该显示装置的认证指纹的方法中，对噪声区域执行诸如例如模糊的图像处理，并且基于噪声区域确定指纹是否要被重新输入。因此，由于噪声和认证错误引起的检测的指纹的失真可以被减少，并且计算处理时间和认证时间可以被减少。
附图说明
32.通过参考附图详细描述本公开的实施例，本公开的以上和其它特征将变得更明显。
33.图1是图示根据本公开的实施例的显示装置的框图。
34.图2a是图示图1中所示的显示装置的示例的截面图。
35.图2b是图示图1中所示的显示装置的示例的截面图。
36.图2c是图示图1中所示的显示装置的示例的截面图。
37.图3是图示被包括在图1中所示的显示装置中的指纹认证装置的示例的框图。
38.图4是图示被包括在图3中所示的指纹认证装置中的奇异点确定器的操作的示例的图。
39.图5是图示被包括在图3中所示的指纹认证装置中的图像处理器的操作的示例的图。
40.图6a和图6b是图示被包括在图3中所示的指纹认证装置中的图像处理器的示例的框图。
41.图7a和图7b是图示被包括在图3中所示的指纹认证装置中的图像处理器的示例的框图。
42.图8是图示被包括在图7a中所示的图像处理器中的第二数据处理器的操作的示例的图。
43.图9a和图9b是图示被包括在图7a中所示的图像处理器中的图像剪切器的操作的示例的图。
44.图10是图示被包括在图7a中所示的图像处理器中的图像剪切器的操作的示例的图。
45.图11a是图示被包括在图1中所示的显示装置中的指纹认证装置的示例的框图。
46.图11b是图示图11a中所示的指纹认证装置被应用于的指纹感测区域和指纹图像的示例的图。
47.图12是图示被包括在图1中所示的显示装置中的指纹认证装置的示例的框图。
48.图13是图示根据本公开的实施例的显示装置的认证指纹的方法的流程图。
49.图14是图示图13中所示的方法的示例的流程图。
50.图15是图示图13中所示的方法的示例的流程图。
51.图16是图示图13中所示的方法的示例的流程图。
52.图17是图示图13中所示的方法的示例的流程图。
具体实施方式
53.在下文中将参考附图更全面地描述本公开的实施例。遍及附图，相同的附图标记可以表示相同的元件。
54.术语“第一”、“第二”、“第三”等在本文中被用于区分一个元件与另一元件，并且元件不受这些术语的限制。因此，实施例中的“第一”元件可以被描述为另一实施例中的“第二”元件。
55.每个实施例中的特征或者方面的描述通常应被认为可用于其它实施例中的其它相似特征或者方面，除非上下文另外明确地指示。
56.如本文中所使用的，单数形式“一”和“该”旨在也包括复数形式，除非上下文另外明确地指示。
57.当元件被称为在另一元件“上”，“连接到”、“联接到”另一元件或与另一元件“邻近”时，它能够直接在另一元件上，直接连接到、直接联接到另一元件或与另一元件直接邻近，或者可以存在居间元件。还将理解，当元件被称为在两个元件“之间”时，它能够是两个元件之间的唯一元件，或者也可以存在一个或多个居间元件。用于描述元件之间的关系的其它词语应以相似的方式解释。
58.当两个或更多个元件或者值被描述为彼此基本上相同或大约相等时，将理解，该元件或者值彼此相同，该元件或者值在测量误差内彼此相等，或者如果可测量地不相等，则如本领域普通技术人员将理解的，该元件或者值在值上足够接近以在功能上彼此相等。例如，考虑到讨论中的测量和与特定量的测量相关联的误差(例如，测量系统的限制)，本文中所使用的术语“大约”包括陈述的值，并且指在由本领域普通技术人员确定的特定值的偏差的可接受的范围内。例如，如本领域普通技术人员所理解的，“大约”可以指在一个或多个标准偏差内。此外，将理解，虽然根据实施例，参数在本文中可以被描述为具有“大约”的特定值，但是如本领域普通技术人员将理解的，参数可以正好是该特定值或者是测量误差内的近似特定值。
59.当两个或更多个过程或者事件被描述为并行执行，或者被描述为在基本上相同的
时间执行或发生时，将理解，过程或者事件可以在正好相同的时间执行或发生，或者在大约相同的时间执行或发生，如本领域普通技术人员将理解的。例如，如本领域普通技术人员将理解的，过程或者事件可以在测量误差内在大约相同的时间执行或发生。
60.术语“大约”和“基本上”的其它使用应以相似的方式解释。
61.图1是图示根据本公开的实施例的显示装置的框图。
62.为了便于说明，尽管在图1中图示了显示面板dp和驱动器drv彼此分离的情况，但是本公开不限于此。例如，在实施例中，驱动器drv的全部或者一部分可以与显示面板dp一体地实现在显示面板dp上。
63.参考图1，显示装置dd可以包括显示面板dp和驱动器drv。驱动器drv可以包括面板驱动器drv_dp和指纹检测器drv_fp(或者指纹认证器)。
64.显示装置dd的全部或者至少一部分可以具有柔性。例如，显示装置dd的全部或者至少一部分可以是可弯曲的、可折叠的、可卷曲的等。
65.显示面板dp包括显示区域aa和非显示区域na。显示区域aa是多个像素pxl(也被称为多个子像素)在其中被提供的区域，并且也可以被称为有源区域。像素pxl中的每一个可以包括至少一个发光器件。显示装置dd基于从显示装置dd外部输入的图像数据来驱动像素pxl，从而在显示区域aa中显示图像。
66.显示区域aa可以包括感测区域(或者指纹感测区域)fsa。指纹感测区域fsa可以与被提供在显示区域aa中的像素pxl当中的至少一些像素pxl重叠。在实施例中，如图1中所示，显示区域aa的至少一部分可以被设置为指纹感测区域fsa。
67.尽管在图1中图示了仅一个指纹感测区域fsa被形成在显示区域aa中的示例，但是本公开不限于此。例如，在实施例中，规则或者不规则布置的多个指纹感测区域fsa可以被形成在显示区域aa中。
68.非显示区域na是被设置在显示区域aa的外围处的区域，并且也可以被称为非有源区域。例如，非显示区域na可以包括线区域、焊盘区域、各种虚设区域等。
69.在实施例中，显示装置dd可以进一步包括被提供在指纹感测区域fsa中的多个感测器像素spxl。
70.在实施例中，感测器像素spxl中的每一个可以被配置为用于感测光的光感测器。当从被提供在显示装置dd中的光源(或者像素pxl)发射的光被用户的手指反射时，感测器像素spxl中的每一个可以感测反射光并且输出对应的电信号(例如，电压信号)。感测器像素spxl中的每一个的电信号可以构成指纹图像中的一个点(例如，明暗点或者作为构成指纹图像的最小单元的像素)。根据反射光是由被形成在用户的手指(或手掌或皮肤)上的指纹(或手掌图案或皮肤图案)的谷线还是脊线引起的，入射到各个感测器像素spxl中的反射光可以具有不同的光学特性(例如，频率、波长、大小等)。因此，感测器像素spxl可以输出具有与反射光的光学特性相对应的不同的电特性的感测信号ss。
71.当感测器像素spxl被布置在指纹感测区域fsa中时，感测器像素spxl可以与像素pxl重叠或者被设置在像素pxl的外围处。例如，感测器像素spxl中的一些或者全部可以与像素pxl重叠或者被设置在像素pxl之间。在实施例中，感测器像素spxl和像素pxl可以具有相同的大小或者不同的大小。感测器像素spxl与像素pxl之间的相对大小和布置没有特别限制。
72.当感测器像素spxl被设置为与像素pxl邻近或者至少部分地与像素pxl重叠时，感测器像素spxl可以使用被提供在每个像素pxl中的发光器件作为光源。因此，感测器像素spxl连同被提供在像素pxl中的发光器件可以构成光敏型指纹感测器。如以上所描述的，当具有内置指纹感测器的显示装置通过使用像素pxl作为光源来配置时，无需使用任何附加的外部光源，光敏型指纹感测器和具有该光敏型指纹感测器的显示装置的厚度可以被减小，并且制造成本可以被降低。
73.在实施例中，感测器像素spxl可以构成用于感测超声波的超声感测器。感测器像素spxl可以发射超声信号，并且通过感测由用户的手指反射的超声波来输出对应的电信号(或者感测信号ss)。
74.在实施例中，感测器像素spxl可以构成电容感测器，该电容感测器的电容根据指纹的形状而改变。
75.在实施例中，感测器像素spxl可以被布置在显示面板dp的面对显示面板dp的图像被显示在其上的一表面(例如，前表面)的另一表面(例如，后表面)上。然而，本公开不限于此。例如，在实施例中，感测器像素spxl可以被设置为比像素pxl更邻近显示面板dp的前表面。
76.驱动器drv可以驱动显示面板dp。例如，驱动器drv可以将与图像数据相对应的数据信号ds输出到显示面板dp。此外，驱动器drv可以输出用于感测器像素spxl的驱动信号，并且接收从感测器像素spxl接收的电信号(例如，感测信号ss)。驱动器drv可以通过使用电信号来检测用户的指纹形状。
77.在实施例中，驱动器drv可以包括面板驱动器drv_dp和指纹检测器drv_fp。面板驱动器drv_dp和指纹检测器drv_fp中的每一个可以被实现为集成电路，并且可以被安装在柔性电路板上。面板驱动器drv_dp可以通过柔性电路板连接到显示面板dp，并且指纹检测器drv_fp可以连接到感测器像素spxl。尽管在图1中图示了面板驱动器drv_dp和指纹检测器drv_fp彼此分离的情况，但是本公开不限于此。例如，在实施例中，指纹检测器drv_fp的至少一部分可以与面板驱动器drv_dp集成在一起，或者结合面板驱动器drv_dp来操作。
78.面板驱动器drv_dp可以在依次扫描显示区域aa的像素pxl的同时将与图像数据相对应的数据信号ds供给到像素pxl。然后，显示面板dp可以显示与图像数据相对应的图像。
79.指纹检测器drv_fp可以基于从感测器像素spxl提供的感测信号ss来检测或者识别指纹。例如，指纹检测器drv_fp可以将感测信号ss转换成指纹图像(或者指纹图像数据)，并且基于指纹图像执行指纹认证。感测器像素spxl和指纹检测器drv_fp可以构成指纹认证装置fdd(或者指纹感测装置)。
80.在实施例中，指纹检测器drv_fp可以基于在指纹注册模式下感测的指纹图像来生成或者存储指纹或其模板。模板可以包括成为在指纹认证期间使用的参考图像(或者比较参考图像)的至少一个指纹图像，或者包括从至少一个指纹图像中提取的奇异点和细节的信息。
81.指纹可以包括形成手指的表面的曲线的脊线和谷线。指纹图像由这些脊线和谷线表示。脊线可以用暗线表示，并且脊线之间的谷线可以明亮地表示。图4中图示了指纹图像的示例。
82.在实施例中，指纹图像的奇异点可以包括指纹的核心和三角中的至少一个。指纹
的核心可以是包括指纹的最内脊线的部分，并且可以是脊线的倾斜变化在其处最严重的中心部分。指纹的三角可以是具有与三角形状(δ)相似的形状的点，指纹的不同图案穿过该点。
83.在奇异点的外围处可以检测相对大量的细节。指纹的细节是指纹的进行比较以执行指纹认证的一部分，并且可以包括指纹信息的特征。例如，细节可以对应于脊线的端点、脊线彼此分叉或彼此相接的交叉点、接合处等。
84.在实施例中，指纹检测器drv_fp可以通过将在指纹认证模式下获取的指纹图像(例如，通过感测器像素spxl的感测操作获取的数据)与注册的指纹信息(例如，模板)进行比较来执行指纹认证。
85.根据本公开的实施例的指纹检测器drv_fp可以根据在指纹认证中感测的指纹图像来计算奇异点的坐标，并且提取包括奇异点的感兴趣区域。对于相同的面积，包括奇异点的感兴趣区域与不包括奇异点的区域相比可以包括更多数量的细节。
86.因此，根据本公开的实施例，指纹认证时间可以被减少并且认证性能可以被增加。
87.图2a是图示图1中所示的显示装置的示例的截面图。
88.参考图1和图2a，显示装置dd可以包括显示面板dp和在指纹感测区域fsa中被设置在显示面板dp的下表面上的生物特征感测器ps(或者指纹感测器)。此外，显示面板dp可以包括基板sub以及被依次设置在基板sub的上表面上的电路元件层bpl、发光器件层ldl、第一保护层ptl1、第一粘合剂层adl1和窗口win。此外，显示面板dp可以包括在指纹感测区域fsa中被依次设置在基板sub的下表面上的第二粘合剂层adl2和第二保护层ptl2。
89.基板sub是显示面板dp的基底基板，并且可以是例如基本上透明的透射基板。基板sub可以是包括玻璃的刚性基板，或者由塑料制成的柔性基板。玻璃可以是钢化玻璃。然而，基板sub的材料不限于此，并且基板sub可以由各种材料制成。
90.电路元件层bpl可以被设置在基板sub的上表面上，并且包括至少一个导电层。例如，电路元件层bpl可以包括构成像素pxl的像素电路的多个电路元件以及用于供给用于驱动像素pxl的各种电力和信号的线。电路元件层bpl可以包括各种类型的电路元件(诸如例如至少一个晶体管和至少一个电容器)以及构成连接到电路元件的线的多个导电层。此外，电路元件层bpl可以包括被提供在多个导电层之间的至少一个绝缘层。
91.发光器件层ldl可以被设置在电路元件层bpl的上表面上。发光器件层ldl可以包括通过例如接触孔等连接到电路元件层bpl的电路元件和/或线的多个发光器件ld。
92.在实施例中，多个发光器件ld中的至少一个可以被提供在每个像素pxl中。例如，发光器件ld可以被配置为诸如微型发光二极管或量子点发光二极管的有机发光二极管或无机发光二极管。此外，发光器件ld可以是由有机材料和无机材料的组合制成的发光器件。此外，在实施例中，像素pxl中的每一个可以包括单个发光器件ld。可替代地，在实施例中，像素pxl中的每一个可以包括多个发光器件ld，并且多个发光器件ld可以彼此并联连接、彼此串联连接或者彼此串联和并联连接。
93.第一保护层ptl1可以被设置在发光器件层ldl的顶部上并且可以覆盖显示区域aa。第一保护层ptl1可以包括诸如例如薄膜封装(tfe)层或封装基板的封装构件，并且除了封装构件之外还可以附加地包括例如保护膜等。
94.第一粘合剂层adl1被设置在第一保护层ptl1与窗口win之间，并且将第一保护层
ptl1和窗口win彼此联接。第一粘合剂层adl1可以包括诸如例如光学透明粘合剂(oca)的透明粘合剂，并且可以包括除了透明粘合剂之外的各种粘合剂材料。
95.窗口win是被设置在包括显示面板dp的显示装置dd的最上部分的保护构件，并且可以是透明透射基板。窗口win可以具有包括例如玻璃基板、塑料膜和塑料基板中的至少一个的多层结构。窗口win可以包括刚性基板或者柔性基板。然而，构成窗口win的材料没有特别限制。
96.在实施例中，显示装置dd可以进一步包括偏振片、抗反射层和/或触摸感测器层(触摸电极层)。例如，显示装置dd可以进一步包括被设置在第一保护层ptl1与窗口win之间的偏振片和/或触摸感测器层。
97.第二保护层ptl2可以被设置在基板sub的下表面上。第二保护层ptl2可以通过第二粘合剂层adl2联接到基板sub。第二粘合剂层adl2可以包括诸如oca的透明粘合剂。第二粘合剂层adl2可以包括压敏粘合剂(psa)，当允许第二粘合剂层adl2粘附到粘合剂表面的压力被施加时，粘合剂材料在psa中起作用。
98.第二保护层ptl2可以防止例如氧气和湿气从显示装置dd的外部被引入到显示装置dd中，并且可以以单层或者多层的形式提供。第二保护层ptl2可以以膜的形式配置，这可以进一步确保显示面板dp的柔性。第二保护层ptl2可以通过包括诸如oca的透明粘合剂的另一粘合剂层联接到生物特征感测器ps。
99.在实施例中，当生物特征感测器ps包括光感测器时，选择性的光阻挡膜可以被进一步提供在第二保护层ptl2的底部上。选择性的光阻挡膜阻挡被引入到显示装置dd的外部光中的特定频率区域的光(例如，紫外光)，并且可以防止对应的光入射到生物特征感测器ps的感测器像素spxl中。
100.生物特征感测器ps通过例如粘合剂等附接到显示面板dp的下表面(例如，后表面)，并且与显示面板dp的至少一个区域重叠。例如，生物特征感测器ps可以在指纹感测区域fsa中与显示面板dp重叠。生物特征感测器ps可以包括以预定的分辨率和/或预定的距离散布的多个感测器像素spxl。
101.在实施例中，当生物特征感测器ps包括光感测器时，通过聚集朝向生物特征感测器ps行进的光来提供光路的光学系统可以被提供在生物特征感测器ps上。在该光学系统中，用于引导光的光传输部分的宽度可以通过考虑感测精度和光转换效率来确定。入射到生物特征感测器ps中的光的聚光率可以通过光学系统改善。在实施例中，光学系统可以由光纤、硅等形成。
102.感测器像素spxl可以具有适当的数量、适当的大小和适当的布置，使得可从由感测器像素spxl输出的电信号中识别的指纹图像能够被生成。感测器像素spxl之间的距离可以被密集地设置，使得从待观察对象(例如，指纹等)反射的反射光能够入射到至少两个邻近的感测器像素spxl中。
103.图2b是图示图1中所示的显示装置的示例的截面图。
104.参考图1至图2b，包括作为光学系统的功能的显示装置dd可以进一步包括具有针孔pih的光阻挡层phl。光阻挡层phl可以被设置在显示面板dp中或者显示面板dp与感测器像素spxl之间，并且可以阻挡入射到感测器像素spxl中的光中的一些。例如，入射到光阻挡层phl中的光中的一些可以被阻挡，并且其它光可以通过穿过针孔pih而到达光阻挡层phl
下方的感测器像素spxl。
105.针孔pih中的每一个可以指光学孔，并且是一种透光孔。例如，针孔pih可以是在显示装置dd的层彼此重叠时设置的透光孔当中的具有最小的大小(面积)的透光孔，并且可以被设置在路径上，反射光沿着该路径在倾斜方向或垂直方向上穿过显示面板dp并且然后入射到感测器像素spxl中。
106.针孔pih可以具有预定的宽度，例如在大约5μm至大约20μm的范围内的宽度。以这种方式，随着每个针孔pih变得更远离光阻挡层phl(例如，随着针孔pih在上下方向上接近)，待固定在显示装置dd的每一层中的光学开口区域的宽度可以被逐渐地增加。
107.只有穿过针孔pih的反射光可以到达感测器像素spxl。例如，在实施例中，由光阻挡层phl阻挡的光不到达感测器像素spxl，并且穿过针孔pih的光可以到达感测器像素spxl。从指纹反射的、经由具有非常窄的宽度的针孔pih的光的相位和被形成在生物特征感测器ps中的图像的相位可以具有大约180度的差。
108.感测器像素spxl可以输出感测信号ss。感测信号ss可以是与接收的反射光相对应的电压信号。
109.将理解，以上示例仅仅是说明性的，并且用于检测从指纹反射的光的光感测器的配置、布置、驱动方法等不限于图2b中所示的生物特征感测器ps。
110.图2c是图示图1中所示的显示装置的示例的截面图。
111.参考图1、图2a和图2c，生物特征感测器ps可以包括超声感测器。感测器像素spxl(见图2a)可以用压电元件pz实现。隔离压电元件pz之间的振动的填充材料pil可以被填充在压电元件pz之间。
112.压电元件pz中的每一个可以包括振动器以及被设置在振动器的顶部表面和底部表面上的电极。振动器可以包括易于振动的材料，诸如例如钛酸锆酸铅(pzt)。
113.当具有特定频率的ac电压被施加到压电元件pz的电极时，可以在振动器正在被垂直振动的同时发射具有特定频率(例如，大约12mhz)的超声波。
114.在指纹的谷线部分处，超声波中的大部分不通过窗口win，而是由于窗口win与空气之间的介质差而被反射。相反，在指纹的与窗口win接触的脊线部分处，超声波中的一些可以穿过窗口win，并且仅超声波中的另外一些可以朝向生物特征感测器ps被反射。也就是说，入射到感测器像素spxl中的每一个的超声波的强度可以根据超声波是由指纹的谷线还是脊线引起的而改变。因此，感测器像素spxl可以对应于超声波的强度而输出具有不同的电特性的感测信号ss。
115.图3是图示被包括在图1中所示的显示装置中的指纹认证装置的示例的框图。图4是图示被包括在图3中所示的指纹认证装置中的奇异点确定器的操作的示例的图。图5是图示被包括在图3中所示的指纹认证装置中的图像处理器的操作的示例的图。
116.参考图3至图5，被包括在显示装置dd中的指纹认证装置100(或fdd)可以包括生物特征感测器120、图像处理器140、奇异点确定器160(也被称为奇异点确定器电路)和认证器180(也被称为认证器电路)。
117.生物特征感测器120可以通过感测生物特征信息bi来生成感测信号ss。在实施例中，生物特征感测器120可以是参考图2a至图2c描述的光感测器或者超声感测器。然而，这仅仅是说明性的，并且生物特征感测器120不限于此。例如，生物特征感测器120可以包括根
据各种实施例的各种类型的感测器。
118.在实施例中，指纹感测区域fsa可以具有这样的形状和大小，该形状和大小被成形和定尺寸为允许用户的指纹被放置在指纹感测区域fsa内以供指纹检测。例如，在实施例中，生物特征感测器120在其中感测指纹或者生物特征信息bi的指纹感测区域fsa可以具有四边形形状并且可以具有大约11mm
×
大约11mm(宽度
×
长度)的大小。因此，被包括在指纹图像中的实际指纹部分可以具有小于指纹感测区域fsa的大小的大小。另外，在实施例中，多个指纹(手指)可以在指纹感测区域fsa中被基本上同时感测。
119.在实施例中，奇异点确定器160可以从生物特征信息bi中选择多个指纹片段fip1至fip4中的至少一个。在实施例中，奇异点确定器160可以从由图像处理器140进行图像处理后的指纹图像fi中提取(或者选择)指纹片段fip1至fip4中的至少一个。例如，在实施例中，生物特征感测器120可以通过感测生物特征信息bi来生成感测信号ss，图像处理器140可以基于感测信号ss生成指纹图像fi，并且奇异点确定器160可以从指纹图像fi中选择指纹片段fip1至fip4中的至少一个并且可以通过分析选择的至少一个指纹片段来确定指纹图像fi的奇异点sglp。图像处理器140可以进一步基于奇异点sglp的坐标从指纹图像fi中提取包括奇异点sglp的感兴趣区域iad(也被称为实际感兴趣区域)，并且认证器180可以通过将感兴趣区域iad与注册的指纹信息进行比较来执行指纹认证。下面进一步详细描述该过程。
120.指纹片段fip1至fip4中的每一个的大小和该大小的总和可以小于实际感兴趣区域iad的大小。因此，用于预测奇异点sglp的坐标的处理时间可以被缩短。
121.选择的指纹片段fip1至fip4的数据可以被存储在预定的存储器中。
122.在实施例中，奇异点确定器160可以将指纹感测区域fsa或者指纹图像fi划分成k个(k是大于1的整数，例如4)采样区域a1至a4，并且可以选择与k个采样区域a1至a4中的每一个的任意位置相对应的指纹片段fip1至fip4。也就是说，指纹片段fip1至fip4的数量可以与k个采样区域a1至a4的数量相对应。尽管已经在图4中图示了指纹图像fi被划分成四个采样区域a1至a4的情况，但是采样区域的数量和指纹片段的数量不限于此。例如，在实施例中，奇异点确定器160的性能可以通过自机器学习来提高，并且奇异点确定器160可以从一个指纹片段准确地计算奇异点sglp。
123.采样区域a1至a4以及指纹片段fip1至fip4可以随机确定。
124.奇异点确定器160可以通过分析指纹片段fip1至fip4来确定指纹图像fi的奇异点sglp。例如，奇异点sglp可以包括指纹的核心和/或三角。
125.在实施例中，奇异点确定器160可以设置用于通过机器学习确定奇异点sglp的检测模型。奇异点确定器160可以通过将从指纹片段fip1至fip4中的每一个导出的脊线和谷线应用于检测模型来搜索并且获取奇异点sglp。也就是说，在实施例中，奇异点确定器160可以基于由奇异点确定器160设置的检测模型使用机器学习来确定奇异点sglp。例如，奇异点sglp可以基于指纹片段fip1至fip4中的脊线和谷线的方向、脊线和谷线的行进趋势等来预测。
126.在实施例中，奇异点确定器160可以包括生成并且更新检测模型的人工智能(ai)程序或者ai模块。奇异点确定器160可以通过使用基于深度学习的ai技术来设置用于检测奇异点sglp的检测模型。例如，基于深度学习(或者学习算法)的ai技术可以包括深度信念
网络、自动编码器、卷积神经网络(cnn)、递归神经网络(rnn)、深度q网络等。然而，基于深度学习的ai技术仅仅是说明性的，并且不限于此。
127.在实施例中，奇异点确定器160可以设置用于通过对从显示装置dd的外部提供的用于机器学习的指纹图像进行机器学习来检测奇异点sglp的检测模型。例如，在实施例中，奇异点确定器160可以基于从显示装置dd的外部(以及指纹认证装置100的外部)提供的用于机器学习的至少一个指纹图像来设置用于检测奇异点sglp的检测模型。从显示装置dd的外部(以及指纹认证装置100的外部)提供的用于机器学习的指纹图像在本文中也可以被称为模型指纹图像。
128.例如，奇异点确定器160可以通过对用于机器学习的指纹图像进行机器学习来设置计算奇异点sglp的坐标的功能(例如，被称为初步检测模型)。此外，通过对用于机器学习的指纹图像进行机器学习，奇异点确定器160可以通过使用从用于机器学习的指纹图像中任意选择的指纹片段(例如，fip1至fip4)来设置将指纹图像恢复为与用于机器学习的指纹图像的形状最相似的形状的功能。例如，奇异点确定器160可以经由通过使用指纹片段恢复指纹图像并且将恢复后的指纹图像与用于机器学习的指纹图像重复地进行比较的机器学习来提高指纹图像恢复的准确性，该用于机器学习的指纹图像成为恢复后的指纹图像和使用用于机器学习的各种指纹图像的机器学习的参考。
129.此外，奇异点确定器160可以通过从恢复后的指纹图像计算奇异点sglp的坐标的机器学习将初步检测模型的功能更新为更精细的检测模型。
130.因此，奇异点确定器160可以通过指纹片段fip1至fip4的随机选择以及使用随机选择进行搜索来获取指纹图像fi的奇异点sglp的坐标。
131.通过对用于机器学习的指纹图像进行机器学习来设置检测模型的过程可以被称为初步机器学习。
132.在实施例中，奇异点确定器160可以通过使用经由实际指纹感测由图像处理器140生成的指纹图像fi、指纹图像fi的指纹片段fip1至fip4以及实际感兴趣区域iad的附加机器学习来更新检测模型。该机器学习过程可以以与初步机器学习的方式相似的方式执行。
133.通过用于指纹图像fi或者经由生物特征感测器120实际感测的生物特征信息bi的机器学习来更新检测模型的过程可以被称为实时机器学习。
134.被恢复以获取在实际指纹认证中选择的指纹片段fip1至fip4以及奇异点sglp的图像信息可以被存储在预定的存储器中。
135.图像处理器140可以从感测信号ss生成指纹图像fi。在实施例中，图像处理器140可以将具有模拟电压电平的感测信号ss转换成数字数据，并且通过使用转换后的数字数据来生成指纹图像fi。在实施例中，图像处理器140可以对指纹图像fi执行附加的图像处理。
136.如图5中所示，图像处理器140可以基于从奇异点确定器160供给的奇异点sglp的坐标，从指纹图像fi中提取包括奇异点sglp的感兴趣区域iad。例如，奇异点sglp可以位于或者靠近指纹图像fi的中心处。然而，奇异点sglp的位置不限于此。
137.在实施例中，感兴趣区域iad的提取可以通过使用诸如图像剪切的技术来执行，在图像剪切中，在感兴趣区域iad的外部的图像数据被切掉并且被丢弃。
138.随着指纹感测区域fsa的面积变得更大，执行指纹认证和图像处理所花费的时间增加。因此，随着用于指纹认证和分析的指纹感测区域fsa的大小并且因此数据的大小变得
更小，处理速度可以变得更快。
139.感兴趣区域iad的面积可以被确定为足够大的大小以确保指纹认证的准确性，该大小是特定级别以上。例如，感兴趣区域iad的面积可以被设置为指纹感测区域fsa的大约30％以下。
140.随着感兴趣区域iad(或者用于指纹认证的图像)的大小减小，用于执行指纹认证的处理时间减小。然而，随着感兴趣区域iad的大小减小，认证可靠性可能减小。然而，由于与手指的边缘处的细节的数量相比，在奇异点sglp的外围处存在相对较大数量的细节，因此即使在感兴趣区域iad具有小面积时，至少一个预定的参考图像的认证可靠性也可以被确保。
141.如以上所描述的，通过并行(例如，在基本上相同的时间)操作现有的图像处理过程和ai技术，根据本公开的实施例的指纹认证装置100和包括指纹认证装置100的显示装置dd可以快速地提取包括大量细节的具有小面积的感兴趣区域iad。因此，通过具有大面积的指纹感测区域fsa感测的生物特征信息bi的认证可靠性可以被确保，同时还减少了处理时间。
142.认证器180可以通过将感兴趣区域iad与注册的指纹信息rfi进行比较来执行指纹认证。认证器180可以输出指纹认证结果作为匹配信号ms。
143.在实施例中，认证器180可以计算指示感兴趣区域iad的特性信息与注册的指纹信息rfi之间的相似性的相似性得分。例如，特性信息和注册的指纹信息rfi可以包括基于频域转换技术提取的细节信息、尺度不变特征变换(sift)信息和相位信息中的至少一个。
144.当相似性得分等于预定的阈值以上时，认证器180可以批准对应的指纹(例如，认证成功)。当相似性得分小于阈值时，认证器180可以拒绝对应的指纹或者生成认证重试命令(例如，认证不成功)。
145.图6a和图6b是图示被包括在图3中所示的指纹认证装置中的图像处理器的示例的框图。
146.参考图6a和图6b，图像处理器140a和140b中的每一个可以包括数据处理器142和图像剪切器146(也被称为图像剪切器电路)。
147.数据处理器142可以生成指纹图像fi。在实施例中，数据处理器142可以包括数据转换器1421(也被称为数据转换器电路)和数据校正器1422(也被称为数据校正器电路)。
148.数据转换器1421可以将具有模拟电压电平的感测信号ss转换成数字形式的感测数据dss。数据转换器1421可以包括具有各种结构的模拟数字转换器。例如，数据转换器1421可以将被包括在感测信号ss中的、每个位置的感测区域的电压值转换成包括与该电压值相对应的灰度信息的数字值。
149.数据校正器1422可以通过使用感测数据dss生成对其执行图像处理的指纹图像fi。数据校正器1422可以对指纹图像fi的原始图像(例如，感测数据dss)执行平滑化。
150.数据校正器1422可以例如增加关于指纹图像fi的明暗差别、去除噪声等。平滑化可以通过原始图像中的像素的直方图分析来执行。例如，中值滤波器可以被用于平滑化。平滑化可以通过各种算法来执行，并且没有特别限制。
151.例如，数据校正器1422可以对原始图像执行二值化和细化。数据校正器1422可以将多个灰度级(例如，来自256个灰度级当中的至少一个灰度级)转换成与0(黑色)或1(白
色)相对应的值。然后，构成指纹的脊线和谷线可以被清楚地区分为黑色和白色。此外，数据校正器1422可以生成线图像，在线图像中，脊线的宽度是二值化图像中的一个像素。二值化和细化可以增加指纹检测的准确性，并且在实施例中可以被省略。
152.根据实施例，以上描述的图像处理操作中的至少一个可以被省略，或者更大量的图像处理操作可以被执行。
153.图像剪切器146可以在指纹图像fi中确定具有预定大小的包括奇异点sglp的感兴趣区域iad。此外，图像剪切器146可以切掉指纹图像fi的除了感兴趣区域iad之外的其它部分。因此，由认证器180执行的后续指纹认证操作中的计算载荷可以被减少，并且处理速度可以被提高。
154.在实施例中，如图5中所示，图像剪切器146可以将奇异点sglp的坐标确定为感兴趣区域iad的中心坐标。因此，以奇异点sglp为中心的感兴趣区域iad可以被提取。
155.下面将参考图9a和图9b进一步详细描述图像剪切器146的功能。
156.在实施例中，如图6a中所示，图像处理器140a可以向奇异点确定器160提供由数据校正器1422生成的指纹图像fi。奇异点确定器160可以基于已经完成图像处理的数据来计算奇异点sglp。因此，奇异点sglp的准确性可以被提高。
157.在实施例中，如图6b中所示，图像处理器140b可以向奇异点确定器160提供由数据转换器1421生成的感测数据dss。感测数据dss的校正(图像处理)和奇异点确定器160的奇异点计算可以被并行执行。因此，用于提取感兴趣区域iad的处理速度可以被提高。
158.图7a和图7b是图示被包括在图3中所示的指纹认证装置中的图像处理器的示例的框图。图8是图示被包括在图7a中所示的图像处理器中的第二数据处理器的操作的示例的图。图9a和图9b是图示被包括在图7a中所示的图像处理器中的图像剪切器的操作的示例的图。
159.参考图1、图2a、图2b、图2c、图7a、图7b、图8、图9a和图9b，图像处理器140c和140d中的每一个可以包括第一数据处理器142、第二数据处理器144、图像剪切器146(也被称为图像剪切器电路)和储存器148。
160.第一数据处理器142可以从感测信号ss生成第一指纹图像fi1。在实施例中，第一数据处理器142可以包括数据转换器1421和数据校正器1422。第一数据处理器142与参考图6a和图6b描述的数据处理器142相同或者基本上相同，并且因此，为了便于说明，先前描述的元件和方面的进一步描述可以被省略。另外，第一指纹图像fi1可以与参考图6a和图6b描述的指纹图像fi相同或者基本上相同，并且因此，为了便于说明，先前描述的元件和方面的进一步描述可以被省略。
161.第二数据处理器144可以检测第一指纹图像fi1中的受由外部环境引起的噪声影响的噪声区域noise_a。
162.例如，在实施例中，当生物特征感测器120包括光感测器时，图像损失可能发生在受不想要的外部光影响的部分中，或者该部分可能被误识别。由于由外部光引起的图像损失，指纹认证的可靠性可能降低，或者指纹认证处理时间可能增加。因此，实施例可以执行噪声区域noise_a的检测并且可以在执行指纹认证时排除噪声区域noise_a，和/或实施例可以对噪声区域noise_a执行附加的图像处理。
163.第二数据处理器144可以通过分析第一指纹图像fi1并且计算外部光的穿透方向、
外部光的强度等来检测噪声区域noise_a。例如，噪声区域noise_a的亮度可以大于第一指纹图像fi1的正常部分的亮度。在实施例中，预定的亮度容限可以被设置，并且第一指纹图像fi1的具有大于预定的亮度容限的亮度的一部分可以被确定为噪声区域noise_a。由于外部光的穿透，噪声区域noise_a的亮度可以大于亮度容限，而除了噪声区域noise_a之外的一部分的亮度可以小于亮度容限。
164.第二数据处理器144可以通过模糊噪声区域noise_a来生成第二指纹图像fi2。例如，第二数据处理器144可以通过分析第一指纹图像fi1中的每个位置的图像亮度计算每个预定的亮度范围的图像在其中被简化的掩模图像。掩模图像与第一指纹图像fi1合成，从而生成第二指纹图像fi2。在实施例中，如图8中所示，第二指纹图像fi2的噪声区域noise_a可以被模糊(或者被掩蔽)。当执行指纹认证(或者指纹匹配)时，模糊部分可以被排除。
165.另外，当感兴趣区域iad被提取时，噪声区域noise_a的一部分可能不可避免地被包括在感兴趣区域iad中。由于已经对噪声区域noise_a执行了模糊过程，因此由于在感兴趣区域iad中包含噪声区域noise_a而将在指纹认证期间发生误识别的概率可以被降低。
166.将理解，由外部环境引起的噪声不限于外部光，并且对噪声区域noise_a执行的图像处理不限于模糊。例如，在实施例中，噪声区域noise_a可以通过皮肤的状态、指纹感测区域fsa的状态、指纹感测中的压力、指纹与指纹感测区域fsa接触的位置等来确定。另外，除了光感测器之外，生物特征感测器120还可以包括各种类型的感测器，诸如例如超声感测器和电容感测器。在实施例中，从以上描述的感测器感测的感测信号可以通过数据转换以上面描述的指纹图像形式表示。
167.当第一指纹图像fi1中除了皮肤的指纹之外还包括褶皱(例如，不属于指纹的褶皱)时，第二数据处理器144可以将褶皱部分分析为噪声。例如，褶皱可以被表示为具有与指纹的方向性不同的方向性的谷线(例如，亮线)。此外，褶皱可以被表示为比指纹的谷线的形状厚的形状。
168.感测的指纹中的相对干燥的一部分可以比另一部分(例如，相对湿润的一部分)被表示得更亮。第二数据处理器144可以识别皮肤的相对干燥的一部分并且将相对湿润的一部分确定为噪声区域noise_a。
169.在指纹接触中，指纹的强压力被施加到的一部分可以被表示为相对压扁的一部分。也就是说，在强压力被施加到的一部分处的谷线和/或脊线的宽度可以被表示为比另一部分的宽度宽。第二数据处理器144可以感测此类异常部分，并且将对应的一部分确定为噪声区域noise_a。
170.当诸如例如颗粒或者湿气的异物与指纹在指纹感测区域fsa的至少一部分中被一起感测到时，第一指纹图像fi1的对应的一部分可以被表示为具有与正常谷线和/或正常脊线的宽度和亮度不同的宽度和亮度。第二数据处理器144可以感测此类异常部分，并且将该对应的一部分确定为噪声区域noise_a。
171.将理解，以上示例仅仅是说明性的，并且由外部因素引起的噪声不限于此。
172.第二数据处理器144可以将噪声数字化。当噪声和/或噪声区域noise_a至少等于预定的阈值参考值时，第二数据处理器144可以生成指纹感测重试命令rts。例如，当在第一指纹图像fi1的指纹的多个部分处检测到噪声区域noise_a时，第二数据处理器144可以生成指纹感测重试命令rts。可替代地，当噪声区域noise_a的总面积至少是阈值面积时，第二
数据处理器144可以生成指纹感测重试命令rts。
173.显示装置dd的驱动器drv可以响应于指纹感测重试命令rts来显示指纹感测失败图像或者重试图像。可替代地，指纹感测驱动可以被重置。
174.在实施例中，如图7a中所示，第一数据处理器142可以将第一指纹图像fi1提供给奇异点确定器160。奇异点确定器160可以从第一指纹图像fi1检测指纹片段，并且基于检测的指纹片段确定奇异点sglp。
175.在实施例中，如图7b中所示，第二数据处理器144可以将第二指纹图像fi2提供给奇异点确定器160。奇异点确定器160可以从第二指纹图像fi2检测指纹片段，并且基于检测的指纹片段确定奇异点sglp。
176.图像剪切器146可以在第二指纹图像fi2中确定具有预定大小的包括奇异点sglp的感兴趣区域iad。此外，图像剪切器146可以切掉第二指纹图像fi2的除了感兴趣区域iad之外的其它部分。因此，指纹认证期间的计算载荷可以被减少，并且处理速度可以被提高。
177.在实施例中，如图5中所示，图像剪切器146可以将奇异点sglp的坐标确定为感兴趣区域iad的中心坐标。因此，以奇异点sglp为中心的感兴趣区域iad可以被提取。
178.在实施例中，考虑到噪声区域noise_a，图像剪切器146可以移位感兴趣区域iad的中心坐标。
179.例如，如图9a和图9b中所示，第一感兴趣区域iad1的中心坐标ctp1与奇异点sglp的坐标相对应。然而，第一感兴趣区域iad1包括噪声区域noise_a，并且噪声区域noise_a可以作为阻碍元件。
180.图像剪切器146可以将中心坐标ctp1朝向远离噪声区域noise_a的一侧移位，这可以增加指纹认证的可靠性。例如，图像剪切器146可以移位中心坐标ctp1，使得第一感兴趣区域iad1从噪声区域noise_a移开，也就是说，第一感兴趣区域iad1变得更远离噪声区域noise_a。第二感兴趣区域iad2由于移位后的中心坐标ctp2而不包括噪声区域noise_a。然而，奇异点sglp可以不与移位后的中心坐标ctp2相对应。例如，移位后的中心坐标ctp2与奇异点sglp的坐标相比可以更远离噪声区域noise_a。
181.图像剪切器146可以关于移位后的中心坐标ctp2提取第二感兴趣区域iad2。第二感兴趣区域iad2可以包括细节，细节的数量大于被包括在受噪声区域noise_a影响的第一感兴趣区域iad1中的细节的数量。因此，由外部环境因素引起的指纹认证错误可以被减少。
182.储存器148可以存储第一感兴趣区域iad1或者第二感兴趣区域iad2的信息。此外，储存器148可以存储第二指纹图像fi2。尽管相同的第二指纹图像fi2被提供，但是被存储在储存器148中的感兴趣区域iad的位置可以根据外部环境因素而改变。
183.认证器180可以将注册的指纹信息rfi的与第二感兴趣区域iad2相对应的一部分与第二感兴趣区域iad2进行比较。
184.如以上所描述的，在实施例中，被包括在指纹认证装置100中的图像处理器140检测由环境因素和/或噪声区域noise_a引起的噪声，并且基于噪声区域noise_a调整感兴趣区域iad的位置。因此，外部环境因素可能对指纹认证产生的影响可以被降低，并且指纹认证的可靠性可以被提高。
185.图10是图示被包括在图7a中所示的图像处理器中的图像剪切器的操作的示例的图。
186.参考图1、图7a和图10，图像剪切器146可以从第二指纹图像fi2中提取包括奇异点sglp的感兴趣区域iad。
187.在具有大于典型的拇指的面积的面积的指纹感测区域fsa中，可能发生指纹与指纹感测区域fsa的边缘接触的情况。图10示出了当指纹与指纹感测区域fsa的边缘接触时生成的第二指纹图像fi2。
188.第二指纹图像fi2的奇异点sglp可以位于第二指纹图像fi2的边缘处或者靠近第二指纹图像fi2的边缘，并且第一感兴趣区域iad1的所提取的且与奇异点sglp相对应的一部分可以包括图像信息。
189.在实施例中，当这种情况发生时，例如，当奇异点sglp在第二指纹图像fi2的预定的参考范围的外部时，图像剪切器146可以将中心坐标ctp1朝向包括大量指纹信息的一侧移位，并且提取与移位后的中心坐标ctp2相对应的第二感兴趣区域iad2。
190.尽管已经在图10中图示了第二感兴趣区域iad2包括奇异点sglp的情况，但是在一些情况下(例如，在极端情况下)，第二感兴趣区域iad2可以不包括奇异点sglp。
191.根据本公开的实施例，大面积指纹感测区域fsa上的指纹认证的可靠性可以通过感兴趣区域iad的位置调整来增加。
192.图11a是图示被包括在图1中所示的显示装置中的指纹认证装置的示例的框图。图11b是图示图11a中所示的指纹认证装置被应用于的指纹感测区域和指纹图像的示例的图。
193.参考图11a和图11b，指纹认证装置100a可以包括生物特征感测器120、图像处理器140e和认证器180。
194.指纹认证装置100a可以包括生物特征感测器120，生物特征感测器120包括具有相对小的面积的指纹感测区域fsa。例如，指纹感测区域fsa可以具有大约10mm
×
大约10mm(宽度
×
长度)以下的四边形形状，或者具有大约10mm以下的直径的圆形形状。
195.由于指纹感测区域fsa具有小面积，因此用于通过使用指纹片段来检测奇异点sglp的驱动和用于通过使用奇异点sglp作为中心来提取第二指纹图像fi2的驱动可能增加计算载荷。因此，可以将从感测信号ss图像处理后的第二指纹图像fi2与注册的指纹信息rfi进行比较，从而执行指纹认证。也就是说，在指纹认证装置100a包括具有小面积的指纹感测区域fsa的实施例中，奇异点确定器和图像剪切器可以被省略。
196.图像处理器140e可以包括第一数据处理器142和第二数据处理器144。
197.第一数据处理器142可以包括参考图6a和图6b描述的数据转换器1421和数据校正器1422。第一数据处理器142可以生成预定的图像处理在其上被执行的第一指纹图像fi1。
198.第二数据处理器144可以检测第一指纹图像fi1中的受由外部环境引起的噪声影响的噪声区域noise_a。
199.在实施例中，第二数据处理器144可以检测第一指纹图像fi1中的受由外部环境引起的噪声影响的噪声区域noise_a。第二数据处理器144可以对噪声区域noise_a执行诸如模糊的附加图像处理。因此，由于噪声和指纹认证错误而导致的第二指纹图像fi2的失真可以被减少。
200.第二数据处理器144可以将噪声区域noise_a数字化。当数字化后的值等于或大于阈值参考时，第二数据处理器144可以在指纹认证之前生成指纹感测重试命令rts。例如，当数字化后的值等于或大于阈值参考时，第二数据处理器144不将第二指纹图像fi2传输到认
证器180，并且第二数据处理器144可以改为生成指纹感测重试命令rts。
201.因此，显示装置dd的驱动器drv可以响应于指纹感测重试命令rts来显示指纹感测失败图像或者重试图像。可替代地，指纹感测驱动可以被重置。在这些情况下，用户可以重新输入指纹。在实施例中，在确定是否已经执行了指纹认证之前，快速确定指纹是否已经被重新输入。因此，计算处理时间和认证时间可以被减少。
202.已经参考图3至图7b详细描述了生物特征感测器120、第一数据处理器142、第二数据处理器144和认证器180的功能和配置。因此，为了便于说明，先前描述的元件和方面的进一步描述可以被省略。
203.图12是图示被包括在图1中所示的显示装置中的指纹认证装置的示例的框图。
204.除了被供给到奇异点确定器160的信号之外，图12中所示的指纹认证装置100b与参考图3所描述的指纹认证装置100相同。因此，为了便于说明，先前描述的元件和方面的进一步描述可以被省略。
205.参考图12，指纹认证装置100b可以包括生物特征感测器120、图像处理器140、奇异点确定器160和认证器180。
206.在实施例中，生物特征感测器120可以将模拟形式的感测信号ss提供给图像处理器140和奇异点确定器160。奇异点确定器160可以直接从感测信号ss中任意地提取指纹片段的信息。此外，奇异点确定器160可以通过使用提取的指纹片段的信息和ai技术来确定输入的生物特征信息bi(例如，指纹)的奇异点sglp。
207.由于对感测信号ss的图像处理和确定生物特征信息bi的奇异点sglp的坐标的操作被并行处理，因此指纹认证的处理时间可以被减少。
208.图13是图示根据本公开的实施例的显示装置的认证指纹的方法的流程图。
209.参考图13，该方法可以包括：生成通过生物特征感测器感测的指纹的指纹图像(s100)；通过从指纹图像中选择多个指纹片段中的至少一个，经由机器学习确定指纹图像的奇异点(s200)；从指纹图像中提取包括奇异点的感兴趣区域(s300)；并且通过将感兴趣区域与注册的指纹信息进行比较来认证指纹(s400)。
210.在实施例中，生成指纹图像(s100)可以包括通过分析指纹图像的数据来确定噪声区域，并且通过模糊噪声区域来生成校正后的指纹图像。
211.在实施例中，确定指纹图像的奇异点(s200)可以通过ai技术来处理。例如，通过ai技术，奇异点可以通过使用从生物特征感测器直接供给的模拟感测值、通过转换模拟感测值而获得的数字感测数据或者指纹图像的通过对数字感测数据执行图像处理而获得的数据来确定(s200)。
212.另外，用于生成指纹图像或者校正后的指纹图像的驱动(s100)以及用于通过ai技术确定指纹图像的奇异点的驱动(s200)可以被并行处理。因此，指纹认证的处理时间可以被减少。
213.已经参考图3至图12详细描述了该方法的方面。因此，为了便于说明，先前描述的元件和方面的进一步描述可以被省略。
214.图14是图示图13中所示的方法的示例的流程图。图15是图示图13中所示的方法的示例的流程图。
215.参考图13至图15，确定奇异点(s200)可以包括：通过对可以从显示装置dd的外部
提供的用于机器学习的指纹图像进行机器学习来设置用于检测奇异点的初步检测模型(s210)；从用于机器学习的指纹图像的任意位置选择指纹片段，并且通过使用指纹片段和初步检测模型来恢复用于机器学习的指纹图像(s220)；通过对恢复后的用于机器学习的指纹图像进行机器学习，将初步检测模型更新为检测模型(s230)；并且通过使用检测模型从实时指纹图像计算奇异点(s240)。
216.过程s210至s230可以是ai技术的现有机器学习过程。奇异点可以使用现有机器学习检测模型通过ai技术从实时指纹图像计算(s240)。
217.在实施例中，如图15中所示，检测模型可以通过对实时指纹图像和实时指纹图像的奇异点附加地且实时地进行机器学习来更新(s250)。该过程可以被称为实时机器学习。
218.如以上所描述的，根据本公开的实施例，通过机器学习，由ai技术来检测指纹的奇异点的处理速度可以被增加。已经参考图3和图4详细描述了检测指纹的奇异点。因此，为了便于说明，先前描述的元件和方面的进一步描述可以被省略。
219.图16是图示图13中所示的方法的示例的流程图。
220.参考图13和图16，该方法可以包括：通过分析指纹图像的数据来确定指纹图像的噪声区域(s110)；并且通过模糊噪声区域来生成校正后的指纹图像(s120)。
221.在实施例中，在该方法中，感兴趣区域可以通过将感兴趣区域与噪声区域的位置进行比较来确定(s310)。
222.当感兴趣区域和噪声区域彼此不重叠时，奇异点的坐标可以被确定为感兴趣区域的中心坐标(s330)。
223.当感兴趣区域的至少一部分与噪声区域重叠时，感兴趣区域的中心坐标可以被移位，使得感兴趣区域变得远离噪声区域(s320)。
224.确定的感兴趣区域的外部处的其它部分可以被切掉(s340)。也就是说，除了确定的感兴趣区域之外的剩余部分可以被切掉(s340)。
225.图16中所示的方法与参考图3至图9b描述的图像处理器140、140a、140b、140c和140d的驱动相似。因此，为了便于说明，先前描述的元件和方面的进一步描述可以被省略。
226.图17是图示图13中所示的方法的示例的流程图。
227.参考图13和图17，生成指纹图像(s100)可以包括通过分析指纹图像的数据来确定噪声区域(s110)，并且将通过ai技术选择的指纹片段的位置与噪声区域的位置进行比较(s130)。
228.在实施例中，当指纹片段中的至少一个被包括在噪声区域中时，用于重新选择指纹片段的命令可以被输出到ai模块(或者图3中所示的奇异点确定器160)(s140)。该过程可以被重复，直到指纹片段不被包括在噪声区域中。
229.当指纹片段不被包括在噪声区域中时，作为后续过程，奇异点可以通过使用指纹片段来确定(s200)。
230.如以上所描述的，在根据本公开的实施例的指纹认证装置、包括该指纹认证装置的显示装置以及该显示装置的认证指纹的方法中，包括大量细节的具有小面积的感兴趣区域可以通过使用与现有图像处理并行操作的ai技术被快速地提取。因此，通过大面积指纹感测区域感测的生物特征信息的认证的可靠性和认证的处理速度可以被提高。
231.作为本公开的领域中的传统，实施例被描述并且在附图中根据功能块、单元和/或
模块被图示。本领域普通技术人员将理解，这些块、单元和/或模块通过诸如可以使用基于半导体的制造技术或者其它制造技术形成的逻辑电路、离散部件、微处理器、硬布线电路、存储器元件和布线接头等的电子(或者光学)电路被物理地实现。在块、单元和/或模块由微处理器或类似物实现的情况下，它们可以使用软件(例如，微代码)被编程以执行本文中讨论的各种功能，并且可以可选地由固件和/或软件驱动。可替代地，每个块、单元和/或模块可以由专用硬件实现，或者被实现为用于执行某些功能的专用硬件和用于执行其它功能的处理器(例如，一个或多个编程的微处理器和相关联的电路系统)的组合。
232.虽然已经参考本公开的实施例示出和描述了本公开，但是本领域普通技术人员将理解，可以在其中进行形式和细节上的各种改变而不脱离由所附权利要求限定的本公开的精神和范围。