指纹图像降噪方法及其装置与流程

1.本发明属于图像处理技术领域，涉及一种指纹图像降噪方法及其装置。


背景技术：

2.随着科学技术的发展，指纹识别技术的应用越来越广泛。但是目前市场上见到的指纹采集模组采集到的图像往往存在着条纹噪声，白噪声，高斯噪声等噪声，会对最终的指纹识别造成影响，严重时甚至会造成误识，对用户造成了不便。


技术实现要素：

3.本发明的目的在于提供一种指纹图像降噪方法及其装置，能够降低指纹图像的噪声干扰，使得指纹识别算法识别率更高，错误率更低。
4.本技术的一个实施例中公开了一种指纹图像降噪装置，包括：图像输入模块、第一至第七特征提取器、第一至第三下采样器、第一至第三上采样器、降噪模块和输出模块，其中：
5.所述图像输入模块用于提供图像数据到所述第一特征提取器；
6.所述第一特征提取器提取所述图像数据，并且输出到所述第七特征提取器和所述第一下采样器；
7.所述第二特征提取器接收并提取所述第一下采样器的输出数据，并且输出到所述第六特征提取器和所述第二下采样器；
8.所述第三特征提取器接收并提取所述第二下采样器的输出数据，并且输出到所述第五特征提取器和所述第三下采样器；
9.所述第四特征提取器接收并提取所述第三下采样器的输出数据，并且输出到所述第一上采样器；
10.所述第一上采样器接收并采样所述第四特征提取器的输出数据并输出到所述第五特征提取器；
11.所述第二上采样器接收并采样所述第五特征提取器的输出数据并输出到所述第六特征提取器；
12.所述第三上采样器接收并采样所述第六特征提取器的输出数据并输出到所述第七特征提取器；以及
13.所述降噪模块用于接收所述第七特征提取器的输出数据并进行降噪，并且通过所述输出模块输出。
14.可选的，所述第一至第四特征提取器直接对输入数据进行卷积，所述第五至第七特征提取器对输入数据进行叠加再进行卷积。
15.本技术的一个实施例中还公开了一种指纹图像降噪方法，包括：
16.输入高为h宽为w的指纹图像给第一特征提取器；
17.通过第一特征提取器从所述指纹图像提取高为h宽为w通道数为na的第一特征图，
通过第一下采样器对所述第一特征图进行采样并获得高为h/2宽为w/2通道数为na的第二特征图；
18.通过第二特征提取器从所述第二特征图提取高为h/2宽为w/2通道数为nb的第三特征图，通过第二下采样器对所述第三特征图进行采样并获得高为h/4宽为w/4通道数为nb的第四特征图；
19.通过第三特征提取器从所述第四特征图提取高为h/4宽为w/4通道数为nc的第五特征图，通过第三下采样器对所述第五特征图进行采样并获得高为h/8宽为w/8通道数为nc的第六特征图；
20.通过第四特征提取器从所述第六特征图提取高为h/8宽为w/8通道数为nd的第七特征图，通过第一上采样器对所述第七特征图进行采样并获得高为h/4宽为w/4通道数为nd的第八特征图；
21.通过第五特征提取器从所述第五特征图和所述第八特征图提取高为h/4宽为w/4通道数为nc的第九特征图，通过第二上采样器对所述第九特征图进行采样并获得高为h/2宽为w/2通道数为nc的第十特征图；
22.通过第六特征提取器从所述第三特征图和所述第十特征图提取高为h/2宽为w/2通道数为nb的第十一特征图，通过第三上采样器对所述第十一特征图进行采样并获得高为h宽为w通道数为nb的第十二特征图；
23.通过第七特征提取器从所述第一特征图和所述第十二特征图提取高为h宽为w通道数为na的第十三特征图；以及
24.对所述第十三特征进行降噪并输出。
25.可选的，所述第一至第四特征提取器分别对输入的第二、第四和第六特征图进行直接卷积，所述第五特征提取器对输入的第五和第八特征图进行叠加再进行卷积，所述第六特征提取器对输入的第三和第十特征图进行叠加再进行卷积，所述第七特征提取器对输入的第一和第十二特征图进行叠加再进行卷积。
26.可选的，所述第一至第四特征提取器分别使用p个卷积核进行卷积，在所述第一特征提取器模块中p等于na，在所述第二特征提取器模块中p等于nb，在所述第三特征提取器模块中p等于nc，在所述第四特征提取器模块中p等于nd。
27.可选的，所述叠加再卷积包括如下步骤：
28.假定输入一个高为h宽为w通道数为n1的特征图x与一个高为h宽为w通道数为n2的特征图y，对特征图x和特征图y进行串联得到高为h宽为w通道数为n1 n2的特征图z，图像叠加公式如下：
[0029][0030]
其中，z表示叠加后的特征图，i表示叠加后的特征图的第i行，j表示叠加后的特征图的第j列，k表示第k个通道；以及使用p个卷积核进行卷积得到一个高为h宽为w通道数为p的特征图，所述卷积核的大小为3x3xn，特征图卷积操作公式如下：
[0031]
[0032]
其中，gk表示第k个卷积核，h表示卷积后的特征图，i表示卷积后的特征图的第i行，j表示卷积后的特征图的第j列，k表示第k个通道，m表示卷积核第m行,n表示卷积核第n列，k1表示卷积核第k1个通道，在所述第五特征提取器模块中p等于nc，在所述第六特征提取器模块中p等于nb，在所述第七特征提取器模块中p等于na。
[0033]
可选的，所述卷积采用的卷积函数采用如下方式生成：
[0034]
采集同一人不同时间的指纹图像样本，随机选取一部分用于误差反相传播算法的训练；
[0035]
对所述第一至第七特征提取器的卷积核进行随机初始化，所述随机值的取值范围为[-1,1]；
[0036]
在随机选取的指纹图像上加上随机的条纹噪声和高斯噪声；
[0037]
采用所述指纹图像降噪方法获取降噪后的指纹图像；以及
[0038]
定义如下误差损失函数loss，其中，n为随机选取的指纹图像的数量，in为原始指纹图像，tn为降噪后的指纹图像；
[0039][0040]
将所述误差损失函数对每个卷积核函数求偏导数；以及
[0041]
采用梯度下降法对所述卷积核参数进行更新，进行迭代直至所述误差损失函数不再变化，并记录此时卷积核参数。
[0042]
可选的，在随机选取的指纹图像上加上随机的条纹噪声包括如下步骤；
[0043]
采用如下公式在所述随机选取的指纹图像的加上横条纹噪声，其中，r为随机选取的若干[1,160]的整数，o为随机选取的若干[-60,60]的整数
[0044][0045]
采用如下公式在所述随机选取的指纹图像的加上纵条纹噪声，其中，r为随机选取的若干[1,160]的整数，o为随机选取的若干[-60,60]的整数
[0046][0047]
可选的，所述迭代过程中，设置学习率ir，其中，lr＝0.01-s*0.0001，s为迭代次数。
[0048]
本技术的一个实施例中还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现前所述的方法中的步骤。
[0049]
相对于现有技术，本技术的方法具有以下有益效果：
[0050]
通过本技术的降噪方法和装置能够降低指纹图像的噪声干扰，使得指纹识别算法识别率更高，错误率更低。
附图说明
[0051]
图1是本发明一个实施例中指纹图像降噪装置的结构图。
[0052]
图2是本发明一个实施例中指纹图像降噪方法的流程图。
[0053]
图3是本发明一个实施例中指纹图像降噪前的示意图。
[0054]
图4是本发明一个实施例中指纹图像降噪后的示意图。
具体实施方式
[0055]
在以下的叙述中，为了使读者更好地理解本技术而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术各项权利要求所要求保护的技术方案。
[0056]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
[0057]
本技术的一个实施例中公开了一种指纹图像降噪装置，参考图1所示，该装置包括：图像输入模块110、第一特征提取器(a)121、第二特征提取器(b)122、第三特征提取器(c)123、第四特征提取器(d)124、第五特征提取器(c1)125、第六特征提取器(b1)126、第七特征提取器(a1)127、第一下采样器131、第二下采样器132、第三下采样器133、第一上采样器141、第一上采样器142、第三上采样器143、降噪模块150和输出模块160。所述以上模块均通过供电装置(图中未示出)供电。
[0058]
所述图像输入模块110用于提供图像数据到所述第一特征提取器121。所述第一特征提取器121提取所述图像数据，并且输出到所述第七特征提取器127和所述第一下采样器131。所述第二特征提取器122接收并提取所述第一下采样131的输出数据，并且输出到所述第六特征提取器126和所述第二下采样器132。所述第三特征提取器123接收并提取所述第二下采样器132的输出数据，并且输出到所述第五特征提取器125和所述第三下采样器133。所述第四特征提取器124接收并提取所述第三下采样器133的输出数据，并且输出到所述第一上采样器141。所述第一上采样器141接收并采样所述第四特征提取器124的输出数据并输出到所述第五特征提取器125。所述第二上采样器142接收并采样所述第五特征提取器125的输出数据并输出到所述第六特征提取器126。所述第三上采样器143接收并采样所述第六特征提取器126的输出数据并输出到所述第七特征提取器127。所述降噪模块150用于接收所述第七特征提取器127的输出数据并进行降噪，并且通过所述输出模块160输出。
[0059]
本技术中，第一特征提取器121、第二特征提取器122、第三特征提取器123、第四特征提取器124仅接收一个特征数据输入，其直接对输入数据进行卷积，第五特征提取器125、第六特征提取器126、第七特征提取器127分别接收两个特征数据输入，其分别对输入数据进行叠加再进行卷积。
[0060]
下文以一个具体实施例中对本技术的方法进行具体说明，应当理解，本技术并不以此为限。
[0061]
本发明的降噪装置通过以下步骤实现的：
[0062]
步骤一：图像输入模块将获取到的高为h宽为w的指纹图像i传输给特征提取器a；
[0063]
步骤二：特征提取器a对指纹图像i进行处理，得到特征图a(高为h，宽为w，通道数为na)，将特征图a传给特征提取器a1，同时将特征图a下采样后得到的特征图as(高为h/2，
宽为w/2，通道数为na)传输给特征提取器b；
[0064]
步骤三：特征提取器b对特征图as进行处理，得到特征图b(高为h/2，宽为w/2，通道数为nb)，将特征图b传给特征提取器b1，同时将特征图b下采样后得到的特征图bs(高为h/4，宽为w/4，通道数为nb)传输给特征提取器c；
[0065]
步骤四：特征提取器c对特征图bs进行处理，得到特征图c(高为h/4，宽为w/4，通道数为nc)，将特征图c传给特征提取器c1，同时将特征图c下采样后得到的特征图cs(高为h/8，宽为w/8，通道数为nc)传输给特征提取器d；
[0066]
步骤五：特征提取器d对特征图cs进行处理，得到特征图d(高为h/8，宽为w/8，通道数为nd)，将特征图d上采样后得到的特征图du(高为h/4，宽为w/4，通道数为nd)传输给特征提取器c1；
[0067]
步骤六：特征提取器c1对特征图c与特征图du进行处理，得到特征图c1(高为h/4，宽为w/4，通道数为nc)，将c1进行上采样得到的特征图cu(高为h/2，宽为w/2，通道数为nc)传输给特征提取器b1；
[0068]
步骤七：特征提取器b1对特征图b与特征图c1进行处理得到特征图b1(高为h/2，宽为w/2，通道数为nb)，将特征图b1进行上采样得到的特征图bu(高为h，宽为w，通道数为nb)传输给特征提取器a1；
[0069]
步骤八：特征提取器a1对特征图a与特征图bu进行处理得到特征图a1(高为h，宽为w，通道数为na)；特征提取器a1将特征图a1提供给降噪模块；降噪模块对特征图a1进行处理得到降噪后的指纹图像ic，并将指纹图像ic传输给输出模块。
[0070]
所述步骤一到步骤八中的特征提取器在工作时具有基本相同的流程与步骤，通过以下步骤实现：
[0071]
步骤(1)：对获取到的特征图或指纹图进行处理，如果只有一个输入则直接进行卷积，例如，特征提取器a、b、c、d。如果有两个输入则将两个输入进行通道叠加得到叠加后的特征图，其高为h，宽为w，通道数为n，再对特征图进行卷积，例如，特征提取器a1、b1、c1。卷积过程需要使用p个卷积核，卷积核的大小为3x3xn。p的值根据特征提取器决定，在特征提取器a与a1中p等于na，在特征提取器b与b1中p等于nb，在特征提取器c与c1中p等于nc，在特征提取器d中p等于nd。最终，得到一个高为h，宽为w，通道数为p的特征图。
[0072]
其中，通道叠加是指将特征串联起来，即一个特征图x(高为h，宽为w，通道数为n1)与一个特征图y(高为h，宽为w，通道数为n2)进行串联可得到特征图z(高为h，宽为w，通道数为n1 n2)
[0073]
图像叠加公式如下：
[0074][0075]
其中，z表示叠加后的特征图，i表示叠加后的特征图的第i行，j表示叠加后的特征图的第j列，k表示第k个通道。
[0076]
特征图卷积操作公式如下：
[0077]
[0078]
其中，gk表示第k个卷积核，h表示卷积后的特征图，i表示卷积后的特征图的第i行，j表示卷积后的特征图的第j列，k表示第k个通道，m表示卷积核第m行,n表示卷积核第n列，k1表示卷积核第k1个通道。
[0079]
步骤(2)：对将步骤(1)得到的特征图进行relu处理，其中值小于0的全部置0。
[0080]
relu函数操作公式如下
[0081][0082]
步骤(3)：对将步骤(2)得到的特征图再进行一次卷积操作，需要使用p个卷积核，卷积核的大小为3x3xp。得到一个高为h，宽为w，通道数为p的特征图。
[0083]
步骤(4)：对将步骤(3)卷积结果进行处理，其中值小于0的全部置0。则最终得到一个特征图，其高为h，宽为w，通道数为p的特征图。
[0084]
所述步骤八中的降噪模块是对获取到的特征图a与指纹图进行卷积，其高为h，宽为w，通道数为n，需要使用1个卷积核，卷积核的大小为3x3xna,卷积后得到一个与原指纹图像大小尺寸一致的图像，即为降噪后的图像。
[0085]
所述步骤一到步骤八中的特征提取器中的卷积核参数都是通过误差反向传播算法得到的。本发明的一个应用实例中获取步骤一到步骤八中的卷积核参数的方法如下：
[0086]
步骤(1)，指纹图像使用的是本专利申请人生产的的一款指纹传感器采集的图像，因为工作环境影响，指纹图像会出现一些条纹噪声与高斯噪声。采集到的指纹图像高度为160宽度为160通道数为1。
[0087]
步骤(2)，使用指纹传感器采集不同人不同时间的指纹图像，在图像中挑选出20000张噪声比较小的指纹图像用于误差反向传播算法的训练图像。
[0088]
步骤(3)，对步骤一到步骤八的特征提取中器的卷积核进行随机初始化。随机值大小为[-1,1]
[0089]
步骤(4)，随机选取200张指纹图像，指纹原图表示为i，并给其加上随机的条纹噪声与高斯噪声。将加了噪声的指纹图像inoise按照步骤一到步骤八进行处理可以得到一张当降噪后的指纹图像t。
[0090]
加横纹理条纹噪声是随机选取20行，首先随机出20个[1,160]的整数r，再随机出20个[-60,60]整数o，然后将让加inoise＝i，加噪声公式如下
[0091][0092]
同理，可以在噪声图inoise上再叠加上20条纵纹理的条纹噪声。
[0093]
然后，再在inoise叠加上高斯噪声。
[0094]
步骤(5)，定义误差损失函数loss为，i表示指纹原图，t表示降噪后的图
[0095][0096]
步骤(6)，利用高等数学知识可求得误差损失函数loss对特征提取器中每个卷积核参数的偏导数，即为每个参数的对loss的影响梯度。
[0097]
步骤(7)，设置学习率lr,使用梯度下降法对卷积核参数进行更新，lr与迭代次数s的关系如公式所示：
[0098]
lr＝0.01-s*0.0001
[0099]
步骤(8)，重复迭代步骤(4)到步骤(7)5万次，可以发现误差loss不再变化，已经收敛，则提取记录下此时每个卷积核参数，作为本发明中特征提取器最终使用的卷积核参数。使用该组卷积核参数有不错的降噪效果，可以有效的提高指纹识别率，减少误匹。
[0100]
本技术的一个实施例中还公开了一种指纹图像降噪方法，参考图2所示，该方法包括如下步骤：
[0101]
步骤201，输入高为h宽为w的指纹图像给第一特征提取器。
[0102]
步骤202，通过第一特征提取器从所述指纹图像提取高为h宽为w通道数为na的第一特征图，通过第一下采样器对所述第一特征图进行采样并获得高为h/2宽为w/2通道数为na的第二特征图。
[0103]
步骤203，通过第二特征提取器从所述第二特征图提取高为h/2宽为w/2通道数为nb的第三特征图，通过第二下采样器对所述第三特征图进行采样并获得高为h/4宽为w/4通道数为nb的第四特征图。
[0104]
步骤204，通过第三特征提取器从所述第四特征图提取高为h/4宽为w/4通道数为nc的第五特征图，通过第三下采样器对所述第五特征图进行采样并获得高为h/8宽为w/8通道数为nc的第六特征图。
[0105]
步骤205，通过第四特征提取器从所述第六特征图提取高为h/8宽为w/8通道数为nd的第七特征图，通过第一上采样器对所述第七特征图进行采样并获得高为h/4宽为w/4通道数为nd的第八特征图。
[0106]
步骤206，通过第五特征提取器从所述第五特征图和所述第八特征图提取高为h/4宽为w/4通道数为nc的第九特征图，通过第二上采样器对所述第九特征图进行采样并获得高为h/2宽为w/2通道数为nc的第十特征图。
[0107]
步骤207，通过第六特征提取器从所述第三特征图和所述第十特征图提取高为h/2宽为w/2通道数为nb的第十一特征图，通过第三上采样器对所述第十一特征图进行采样并获得高为h宽为w通道数为nb的第十二特征图。
[0108]
步骤208，通过第七特征提取器从所述第一特征图和所述第十二特征图提取高为h宽为w通道数为na的第十三特征图。
[0109]
步骤209，对所述第十三特征进行降噪并输出。
[0110]
在一个实施例中，所述第一至第四特征提取器分别对输入的第二、第四和第六特征图进行直接卷积，所述第五特征提取器对输入的第五和第八特征图进行叠加再进行卷积，所述第六特征提取器对输入的第三和第十特征图进行叠加再进行卷积，所述第七特征提取器对输入的第一和第十二特征图进行叠加再进行卷积。
[0111]
在一个实施例中，所述第一至第四特征提取器分别使用p个卷积核进行卷积，在所述第一特征提取器模块中p等于na，在所述第二特征提取器模块中p等于nb，在所述第三特征提取器模块中p等于nc，在所述第四特征提取器模块中p等于nd。
[0112]
在一个实施例中，所述叠加再卷积包括如下步骤：
[0113]
假定输入一个高为h宽为w通道数为n1的特征图x与一个高为h宽为w通道数为n2的
特征图y，对特征图x和特征图y进行串联得到高为h宽为w通道数为n1 n2的特征图z，图像叠加公式如下：
[0114][0115]
其中，z表示叠加后的特征图，i表示叠加后的特征图的第i行，j表示叠加后的特征图的第j列，k表示第k个通道；以及
[0116]
使用p个卷积核进行卷积得到一个高为h宽为w通道数为p的特征图，所述卷积核的大小为3x3xn，特征图卷积操作公式如下：
[0117][0118]
其中，gk表示第k个卷积核，h表示卷积后的特征图，i表示卷积后的特征图的第i行，j表示卷积后的特征图的第j列，k表示第k个通道，m表示卷积核第m行,n表示卷积核第n列，k1表示卷积核第k1个通道。
[0119]
在所述第五特征提取器模块中p等于nc，在所述第六特征提取器模块中p等于nb，在所述第七特征提取器模块中p等于na。
[0120]
在一个实施例中，所述卷积采用的卷积函数采用如下方式生成：
[0121]
采集同一人不同时间的指纹图像样本，随机选取一部分用于误差反相传播算法的训练；
[0122]
对所述第一至第七特征提取器的卷积核进行随机初始化，所述随机值的取值范围为[-1,1]；
[0123]
在随机选取的指纹图像上加上随机的条纹噪声和高斯噪声；
[0124]
采用所述指纹图像降噪方法获取降噪后的指纹图像；以及
[0125]
定义如下误差损失函数loss，其中，n为随机选取的指纹图像的数量，in为原始指纹图像，tn为降噪后的指纹图像；
[0126][0127]
将所述误差损失函数对每个卷积核函数求偏导数；
[0128]
以及采用梯度下降法对所述卷积核参数进行更新，进行迭代直至所述误差损失函数不再变化，并记录此时卷积核参数。
[0129]
在一个实施例中，在随机选取的指纹图像上加上随机的条纹噪声包括如下步骤；
[0130]
采用如下公式在所述随机选取的指纹图像的加上横条纹噪声，其中，r为随机选取的若干[1,160]的整数，o为随机选取的若干[-60,60]的整数
[0131][0132]
采用如下公式在所述随机选取的指纹图像的加上纵条纹噪声，其中，r为随机选取
的若干[1,160]的整数，o为随机选取的若干[-60,60]的整数
[0133][0134]
在一个实施例中，所述迭代过程中，设置学习率，其中，lr＝0.01-s*0.0001，ir为学习率，s为迭代次数。
[0135]
图3和图4示出了经过本技术一个实施例中的降噪前后的指纹图像，由此可以看出，本技术能够降低指纹图像的噪声干扰，使得指纹识别算法识别率更高，错误率更低。
[0136]
相应地，本技术的其他实施方式还可以提供一种计算机可读存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本技术的各方法实施方式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于，相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0137]
需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0138]
在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。