目标验证方法及设备与流程

1.本发明涉及目标产品验证，尤其是涉及基于目标的表面纹理实现的目标验证。


背景技术：

2.目前，图像识别技术常用于识别和验证不同的物体或目标，例如人脸的识别。由于不同人的脸存在着显著的差异，例如从平面、立体轮廓角度看等，因此可采用宏观或立体成像及分析技术来实现对人脸的识别。然而在某些应用场合，所区分的对象外观十分接近，例如同一型号的批次产品，像计算机键盘等。由于其宏观特征基本相同，因此通过采用分析其微观特征例如纹理特征来实现对每个对象的鉴别和验证。然而由于环境光的变化等因素，导致所提取的纹理特征有很大的随机性，因此为实现目标的验证带来了困扰。


技术实现要素：

3.本发明提供一种改进的目标验证技术，其通过采用具有固定的照射强度的光源作为主导光来照射目标表面从而保证环境光稳定性，同时保证照光源与图像传感器之间始终保持相对固定，从而使得获取到的图像真实地反映了目标表面纹理对光线散射特征，实现对表面纹理的特征的真实反映。由此基于纹理特征实现对目标的验证。
4.按照本发明一个方面，提供一种利用电子设备实现目标验证方法，所述电子设备包括具有相对固定位置关系的内置图像传感器及辅助光源，所述方法包括：开启所述辅助光源，同时利用所述图像传感器捕获目标的图像；提取所述图像的特征点信息；利用一经过训练的图像鉴别模型对所述图像进行处理以生成所述图像的特征矢量；存储所述特征点信息以及所述特征矢量作为用于验证所述目标的注册信息。
5.按照本发明的另一个方面，提供一种目标验证方法，所述方法包括：从一用户电子设备接收待验证目标的图像，其中所述电子设备包括具有相对固定位置关系的内置图像传感器及辅助光源，并且所述图像是在所述辅助光源开启并照射所射所述目标表面的同时利用所述图像传感器捕获的；提取所述图像上预定区域的特征点信息；利用一经过训练的图像鉴别模型对所述图像进行处理以生成所述图像的特征矢量；将所述特征点信息以及所述特征矢量与预先存储的注册信息进行匹配以验证所述目标。
6.按照本发明的另一个方面，提供一种利用用户电子设备实现目标验证方法，所述用户电子设备包括具有相对固定位置关系的内置图像传感器及辅助光源，所述方法包括：开启所述辅助光源以照射所述目标，同时利用所述图像传感器捕获所述目标的图像；提取所述图像的特征点信息；利用一经过训练的图像鉴别模型对所述图像进行处理以生成所述图像的特征矢量；将所述特征点信息与特征矢量传送给一远程服务器；从所述远程服务器接收关于所述目标是否验证通过的响应，其中所述服务器基于所接收的所述特征点信息与特征矢量与预先存储的参考身份的匹配程度来做出所述响应。
7.按照本发明的另一个方面，提供一种电子设备，其上集成有图像传感器以及用于提供摄像辅助光的辅助光源，所述电子设备还包括目标鉴别模块，用于本发明的方法。
附图说明
8.图1示意性示出了目标成像拍摄过程；
9.图2示出根据本发明一个示例的目标注册方法流程图；
10.图3示出根据本发明另一个示例的目标注册方法流程图；
11.图4示出根据本发明一个示例的目标验证方法流程图；
12.图5示出根据本发明另一个示例的目标验证方法流程图；
具体实施方式
13.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是用于说明本发明为目的，而非限制性的。
14.为了实现目标例如产品的验证，有必要提取目标特征并确定这些特征的唯一表征，从而基于这些特征来验证目标。按照本发明的实施例，综合考虑了目标表面的宏观特征属性以及微观特征属性。在本例中，宏观特征可以是目标表面的特征区域或特征点信息，例如特征点或区域可以是在所述目标图像内的位置坐标以及特征描述矢量等；而微观特征可以是表面纹理特征。
15.按照本发明，在读取目标表面的纹理特征时，利用具有恒定光强的光源照射目标表面，同时采用图像传感器进行拍摄。为了准确反映这些纹理特征并避免由于光源与图像传感器的相对变化而导致干扰，按照本发明的实施例，要求光源与图像传感器保持固定相对位置关系，例如固定在电子设备内，例如使用手机中的闪光灯及图像传感器，其中在捕获目标图像时，保持闪光灯全程开启，从而保证闪光灯发出的辅助光作为图像捕获的主导光。
16.图1示意性示出了利用位于手机内的闪光灯与图像传感器拍摄目标300表面的示意图，图中三角形符号100表示图像传感器，而圆形符号200表示闪光灯。由于固定在手机框架内部，因此闪光灯200与传感器100具有固定的位置与朝向，例如，如图1所示，闪光灯200发出的投向目标300表面的入射光线与自目标表面反射给图像传感器100的反射光线保持相对固定的角度β。但不同的电子设备例如不同的手机之间，入射光线与反射光线之间的角度β可能会有所不同，但通常不会大于5度。因此采用固定的相对位置关系的光源与图像传感器，可以避免由于图像传感器与光源之间变化的位置例如角度等差异造成的对纹理表现散射特性的影响，因此可能干扰了对纹理表面特征的准确反映。
17.按照本发明的实施例，为了实现对目标例如产品的验证，首先在验证中心例如服务器处预先注册目标的身份验证信息。图2示例性示出用于目标验证的目标注册方法的流程图，在本例中以键盘为例予以说明。
18.如图2所示，在步骤201，将键盘保持不动，开启手机闪光灯200，同时利用图像传感器100拍摄键盘的一帧图像p。
19.在步骤202，提取图像p中多个特征点或由多个特征点限定的至少一个特征区域。这里可以采用现有技术中常用的视觉特征提取算法，例如orb((oriented fast and rotated brief))算法、尺度不变特征变换(sift)算法等。例如对于sift算法，其通过侦测与描述图像中的局部特征例如角点、或暗区中的亮点等，从而确定多个特征点。作为一个示例，可以围绕键盘上例如右shift键提取m个特征点，包括特征点的位置坐标[x,y]以及描述向量dv，以下记为(l1,dv1),(l2,dv2),
……
(lm,dvm)，其中l＝[x,y]。这里的位置坐标是在整
个键盘图像区域内按照预定的坐标系建立的坐标，例如以键盘正常使用状态下左下角为坐标原点而建立的直角坐标系下的坐标。这里需要指出的是，在提取图像p中多个特征点之前，还可以进一步执行图像调整处理，例如对图像进行裁剪以消除键盘图像的环境干扰成像。
[0020]
在步骤203，利用目标鉴别模型tcm处理在步骤201获取的图像p，以产生该图像的特征矢量，该特征矢量可以是鉴别模型tcm的分类指示输出，例如该分类指示输出可以是一个置信概率，该置信概率可以定义为当前键盘的鉴别码sn即特征矢量。在本发明的一个示例中，目标鉴别模型tcm可以是一个实现二分类的神经网络模型，例如采用激活函数sigmoid或tanh函数来输出分类概率值，该概率值可以作为鉴别码sn。在本发明中，目标鉴别模型tcm既可以是利用从待鉴别目标例如键盘收集的样本进行训练得到的用于图像分类的神经网络模型，也可以是其它基于大数据处理、机器学习得到的算法实现。
[0021]
在步骤204，将步骤202确定的特征点信息(l1,dv1),(l2,dv2),
……
(lm,dvm)以及步骤203计算的身份标识sn存储在验证服务器中，作为当前键盘的注册特征点以及注册码，供以后对该键盘验证使用。
[0022]
在上述实施例的步骤203中是针对一帧图像的处理而计算该键盘的注册码sn。在本发明的另一实施例中，为了更准确地反映每个键盘的纹理表面在不同角度下的视觉差异，从而更突出每个键盘的差异性，按照本发明的另一个实施例，通过对不同拍照角度下获取到的多帧图像进行处理来计算身份标识sn。
[0023]
下面结合图3说明本发明另一实施例的目标注册方法流程，以该示例中，以鉴别键盘为例来说明本发明的方法流程。
[0024]
在步骤301，将键盘保持在操作台上不动，开启手机闪光灯，通过沿着一定的转动方向(例如顺时针方向)移动或转动手机来获取不同拍照角度下目标300的一系列图像帧p1,p
2,
p3…
pn。同时获取每帧图像的拍照角度θ1，θ2，
…
,θn。按照一个示例，n帧图像的拍照角θ1，θ2，
…
,θn可以使用手机内置的角度传感器等直接测量。例如，可以利用手机的连拍功能，在利用手机连续拍摄目标表面过程中，在图像传感器拍照获取到多帧图像的同时，读取角度传感器中三轴的角度变化信息，从而可获得多个图像帧p及每一帧下的角度θ。这里需要注意的是，可利用阈值θ
t
，过滤掉这些图像中相邻图像的角度差大于阈值θ
t
的，从而提取出符合阈值要求的n帧图像p1,p
2,
p3…
pn。阈值θ
t
通常取决于图像传感器的焦距以及图像传感器与闪光灯之间的距离，基于对市场上可得到的手机的统计，可将阈值θ
t
设置为例如5度；但本发明不限于此，可根据其它实践要求而设定阈值θ
t
。此外，这里需要指出的是，用于后续处理的n帧图像既可以是来自于同一连拍操作中，也可以是不同的连拍操作，只要保证在每个连拍操作下获取的多个图像帧满足上述阈值要求即可。
[0025]
在步骤302，选择n帧图像中任一帧图像例如p1，并与图2中步骤202一样，提取图像p1中多个特征点或由多个特征限定的至少一个特征区域。例如作为一个示例，可以围绕键盘上例如右shift键提取m个特征点，包括特征点的位置坐标[x,y]以及描述向量dv，以下记为(l1,dv1),(l2,dv2),
……
(lm,dvm)。
[0026]
在步骤303，计算n帧图像中每二幅相邻图像之间的差分角度图像dai。为此按照本发明一个示例，指定n帧图像中的任一帧图像例如p1作为参考图像，将其余的n-1帧图像从几何上配准至图像p1。为实现图像配准，首先，确定要配准的二个图像上相同的特征点。作
为一个示例，可以围绕键盘上特定键提取特征点，包括特征点的位置坐标[x,y]以及描述向量，通过匹配不同位置的特征点的描述向量来确定不同图像上相互匹配的特征点，这里描述向量的匹配可通过计算不同特征点的描述向量的相对距离来表示。假定图像p1上的特征点[x,y]与图像p2上的特征点[x
′
,y
′
]匹配，则
[0027][0028]
其中即为单应性变换矩阵。由此通过找到多对[x
′
,y
′
]与[x,y]就可以解出单应性矩阵h中的各系数h。
[0029]
基于所建立的单应性变换矩阵h，将整个p2配准至p1，从而形成第一转换图像帧p2’
。类似地，建立p1与p3之间的单应性变换矩阵并将整个p3配准至p1，从而形成第二转换图像帧p3’
。以此方式，可得到第1至第n帧图像(p1，p2，p3…
pi，
…
pn)的转换图像帧(p1’
，p2’
，p3’…
p
i’,
…
p
n’)，这里第一图像帧p1在转换前后保持不变，即p1’
＝p1。由此可按照下式计算这n个转换图像帧与第1图像帧p1之间的差分角度图像δpi＝pi’-
p1，其中1≤i≤n，由此可获得n个差分角度图像δp1～δpn，其中δp1＝0。如前所述，在图像p以强度表示的情况下，δp表示二个图像帧p
i 1
与pi之间的强度差，而在在图像p以灰度表示的情况下，δp表示二个图像帧p
i 1
与pi之间的灰度差。
[0030]
在步骤304，计算每相邻对图像帧(p
i-1
,pi)之间的拍照角度差δθi＝θ
i-θ
i-1
，由此基于拍照角度差δθi，为差分角度图像δpi分配权重γi。作为一个示例，在分配权重时同时考虑目标表面的粗糙度。例如当表面粗糙程度低时，那么相对大的角度变化才可以观察到差异，如果粗糙度高，则相对小的角度变化更能描述这种变化，因此可基于不同情况来设置各拍照角度差的权重。
[0031]
在步骤305，将多个差分角度图像δp乘以各自分配的权重来计算总差分角度图像s
dai
，即
[0032]
在步骤306，利用一经过训练的目标鉴别模型tcm来处理在步骤305得到的总差分角度图像s
dai
，以产生对该图像的分类指示输出，同时将该输出值定义为当前待鉴别键盘的特征矢量或鉴别码sn。在本发明的一个示例中，目标鉴别模型tcm可以是一个实现二分类的神经网络模型，例如采用激活函数sigmoid或tanh函数来输出分类概率值，该概率值可以作为鉴别码sn。
[0033]
目标鉴别模型tcm可采用卷积神经网络cnn、循环神经网络rnn实现，但目标鉴别模型tcm并不限于神经网络模型，还可以是以其它算法或数学表示表达的任何大数据机器学习模型，只要这种算法或数学表示能学习纹理散射特征即可。
[0034]
在步骤307，在验证服务器中存储在步骤302确定的特征点信息，作为当前键盘的注册特征点，例如包括特征点的位置坐标和描述向量，即(l1,dv1),(l2,dv2),
……
(lm,dvm)。此外，还将步骤306计算得到的验证码sn与特征点信息相关联地存储在验证服务器中，作为当前键盘的注册码。所存储的注册特征点与注册码用于对该键盘的验证。
[0035]
图4示出了按照本发明的一个示例用于对待验证目标进行验证的方法流程图。如图4所示，在步骤401，验证服务器从用户电子设备接收待验证目标例如键盘的图像p
′
，其中所述电子设备包括具有相对固定位置关系的内置图像传感器及辅助光源，并且所述图像p
′
是在所述辅助光源开启并照射所射所述目标表面的同时利用所述图像传感器捕获的。例如，这里的电子设备可以是手机或平板电脑等。
[0036]
在步骤402，验证服务器提取图像p
′
上预定区域的特征点信息。例如按照注册时的要求，可提取图像p
′
上右shift键的m个预定位置l1,l2,
……
lm的描述向量dv
′1,dv
′2,
……
dv
′m。
[0037]
在步骤403，验证服务器将所提取的描述向量dv
′1,dv
′2,
……
dv
′m与服务器中预先注册的特征点信息中的描述向量(dv1,dv2,
……
dvm)进行匹配，例如计算同一位置l的对应描述向量之间的相对距离d。如果m对描述向量中每对向量之间的相对距离(dv
′
i-dvi)均小于距离阈值d
t
，则认为图像p
′
上的特征点与注册图像p的注册特征点匹配，则进程前进至步骤404，否则返回步骤401。在另一实施例中，不必要求m对描述向量之间的相对距离(dv
′
i-dvi)全部小于距离阈值d
t
，例如只要超过80％的相对距离小于距离阈值d
t
，就可以认为图像p
′
上的特征点与注册图像p的注册特征点匹配。
[0038]
在步骤404，验证服务器利用预先存储的图像注册时使用的图像鉴别模型tcm对图像p
′
进行处理以生成图像的特征矢量，例如验证码sn
′
。随后在步骤405，验证服务器确定验证码sn
′
与注册码sn是否匹配，例如如果二者相同或者在预定的容差范围内，则对所述目标键盘验证通过；否则确认该待验证键盘非注册键盘，验证失败，并返回步骤401继续等待下一次验证。
[0039]
在该实施例中，验证服务器是从用户电子设备接收一帧图像p
′
来实现对键盘的验证。在另一实施例中所接收的还可以是一序列图像帧。由此，验证服务器可基于结合图3的步骤303-305生成一序列图像帧的总差分图像s
′
dai
,并利用针对差分角度图像训练的图像鉴别模型tcm来自处理总差分图像s
dai
以生成验证码sn
′
。
[0040]
在上面实施例中，用户电子设备将采集的图像上传到验证服务器进行后续的验证处理；而在本发明的另一实施例中，可在用户电子设备捕获到图像p
′
后，代之以上传图像p
′
，而是充分地利用目前用户电子设备自身强大的处理能力，在用户电子设备处对图像p
′
进行处理以获取特征点信息(l,dv
′
)以及生成验证码sn
′
。随后用户电子设备将信息(l,dv
′
)以及验证码sn
′
发送给验证服务器，进行验证。图5示出了根据该实施例的验证方法流程图，该方法可由用户电子设备例如手机实现，电子设备包括具有相对固定位置关系的内置图像传感器及辅助光源。此外在手机内还包括具有计算能力的处理器以及存储有指令的存储器，其中处理器执行存储器中的指令来实现下述方法步骤。这里，指令以软件模块形式作为目标验证模块存储在存储器中。
[0041]
在步骤501，开启手机内的辅助光源以照射待验证目标，同时利用电子设备内的图像传感器捕获目标的图像p
′
。在步骤502，提取图像p
′
上预定区域的特征点信息。在步骤503，利用一经过训练的图像鉴别模型tcm对图像p
′
进行处理以生成图像的特征矢量，例如验证码sn
′
。在步骤504，将特征点信息与验证码sn
′
传送给一远程服务器并等待验证服务器的处理结果，这里服务器基于所接收的特征点信息与验证码与预先存储的注册特征点与注册码的匹配程度来做出是否通过验证的响应决定。在步骤505，从远程服务器接收关于目标
是否验证通过的响应，从而实现用户可基于手机来实现对产品的验证。
[0042]
本发明的目标验证方法可以使用任何集成了光源与图像传感器的电子设备实现，除了手机外，这样的电子设备还包括平板电脑等，其中的光源可以在拍摄过程始终保护开启状态，从而为每帧图像的拍摄提供恒定的光线。按照本发明，由于在目标注册与目标验证时均采用了诸如手机这样的电子设备来采集图像，并且在采集图像时保持闪光灯全程开启以主导图像拍摄的环境光，因此可以保证无论是注册端还是用户端所采集的图像均是在相同或类似的环境条件、拍摄方式下得到的，因此可有效地避免因外在因素导致对产品的图像的干扰，从而妨碍对产品的准确验证。
[0043]
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，本领域人员在上述详细公开基础上可进行任何修改，包括特征的合并、替换、增加以及删除等。例如在图3所示的方法示例中，并不是所有步骤均是必须的，本领域人员可在此基础上进行修改。例如步骤304中基于拍照角度差δθi为图像帧之间的差分角度图像δp分配权重的步骤在另一实施例中可以省掉，因此这样方案同样视为本公开一部分。本发明保护范围由所附的权利要求来限定。