一种基于同态加密大规模人脸库隐匿查询的方法与流程

1.本发明涉及数据隐私安全计算技术领域，具体为一种基于同态加密大规模人脸库隐匿查询的方法。


背景技术：

2.随着大数据、人工智能等互联网新技术的广泛使用，个人隐私的信息安全问题日益突出。
3.由于人脸特征的易获取和便利性，人脸识别系统的被广泛使用，而基于人脸系统的使用，是需要充分考虑其安全性，为防止人脸特征的泄露的，即，人脸数据不能以明文形式存储。
4.现阶段，提出隐私计算保护人脸特征不以明文存储是解决上述问题的有效手段，其原理是，将人脸特征转换为密文，使得数据在密文状态下进行运算，并计算出正确的结果，实现人脸特征的可用不可见，有效防止特征的泄露，保护了人脸特征的安全。同时，结合人脸特征的密文存储，在人脸识别的场景中，由于是需要设备终端获取人脸特征转换为密文数据，除密文特征外不包含其他数据，起到了隐匿查询的效果。与此同时，服务器端是不知道查询方的内容。
5.现阶段将密文存储和密文查询的结合方式，是可以很好起到隐私保护效果的一种技术手段。
6.从理论上来讲当服务器端的数据体量较小时，上述方案确实能很好的做到用户体验和数据安全间的平衡。然而当服务端的数据体量一旦增大到一定规模，此时服务器端的计算耗时和网络通信开销是难以接受，尤其是在人脸密文特征比对阶段，因为只有人脸密文特征，需要和数据库中全量数据进行密文计算，而随着人脸密文在注册阶段的增加，会导致数据库中的数据增加，增大计算开销以及通信成本。


技术实现要素：

7.针对现有技术存在的不足，本发明目的是提供一种基于同态加密大规模人脸库隐匿查询的方法，通过在同态加密注册过程，增加将人脸特征进行局部敏感哈希值的存储的方式以及在人脸特征的查询阶段通过局部敏感哈希算法，在不泄漏隐私数据情况下，限定其id查询范围，达到缩短服务器进行密文计算的耗时以及减少网络传输内容的优点。以解决上述背景技术中提出的问题。
8.为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于同态加密大规模人脸库隐匿查询的方法，包括以下步骤：第一步，根据获取的人脸图片在设备端生成用于表征人脸图片的高维人脸特征；第二步，采用局部敏感哈希算法基于设备端对高维人脸特征进行哈希数据集合计算，获得更新后的高维人脸特征局部敏感哈希库，并发送至云端服务器进行存储后，返回设备端，计算得到当前高维人脸特征临近哈希值的过滤id的数据集合，以限定云端服务器的
id查询范围，缩短云端服务器进行密文计算的耗时，其中，所述哈希值为在设备端更新后的局部敏感哈希库中的高维人脸特征的低维映射内容；第三步，设备端使用同态加密的公钥对包含低维人脸特征的低维映射内容进行计算得到低维人脸特征的密文特征；第四步，云端服务器根据获取的过滤id的数据集合和低维人脸特征的密文特征逐个计算其密文，得到每个低维人脸特征密文的汉明距离后，形成密文结果返回设备端；第五步，设备端使用同态加密的私钥解密密文结果后，遍历所述密文结果，判断是否存在所述汉明距离范围内的密文结果：若存在，则基于设备端输出说明人脸比对成功，反之，失败，结束。
9.作为对本发明中所述一种基于同态加密大规模人脸库隐匿查询的方法的改进，第一步中，获取高维人脸特征的具体步骤为：s1-1，设备端搭载图像采集设备，上电后获取人脸图片；s1-2，基于神经网络算法从人脸图片中提取得到表征人脸图片的高维人脸特征，用于减小外部因素对人脸图片的影响，以促使人脸图片进行精准配准。
10.作为对本发明中所述一种基于同态加密大规模人脸库隐匿查询的方法的改进，第二步中，采用局部敏感哈希算法，实现更新后的高维人脸特征局部敏感哈希库在云端服务器存储的具体步骤为：s2-1，在云端服务器随机分配n组m个数的位置点集合p，并将点集合p的数据落盘存储；s2-2，设备端将基于第一步获取的高维人脸特征转换为密文数据后，进行特征提取，提取出长度为m一维数组f，并发送至云端服务器；s2-3，云端服务器基于接收到的高维人脸特征数据，位置点集合p与人脸特征数组f进行向量内积计算，得到n个哈希值集合h；s2-4，根据获取的n个哈希值集合h与云端服务器端历史数据集合进行数据预处理：依次判断新增的n个哈希值集合h是否分别存在：若存在，则，云端服务器进行高维人脸特征数据更新操作；反之，对高维人脸特征数据进行插入操作：云端服务器将所述密文数据插入到人脸密文特征表中，并向设备端返回人脸密文特征表的自增id数据集合；s2-5，返回设备端完成状态：s2-51，设备端更新高维人脸特征局部敏感哈希库，并同步得到高维人脸特征的低维映射内容，其中，所述低维映射内容包含{哈希值（人脸特征，自增id数据集合）}；s2-52，云端服务器接收所述低维映射内容，并将其存储为哈希数据集合{哈希值：（min，max，id集合）}，其中，min表示为哈希值集合h最小数值，max表示为哈希值集合h最大数值，id集合表示为自增id数据集合。
11.作为对本发明中所述一种基于同态加密大规模人脸库隐匿查询的方法的改进，在云端服务器完成哈希数据集合存储之后，且在得到当前高维人脸特征临近哈希值的过滤id的数据集合之前，还需要重新在设备端生成用于表征人脸图片的高维人脸特征；当设备端生成高维人脸特征后，
设备端才可以计算当前高维人脸特征临近哈希数据集合中哈希值的过滤id的数据集合，以限定云端服务器向设备端交互获取密文数据的查询范围，减少云端服务器在进行密文数据比较时的数据量，降低计算功耗以及数据传输时延。
12.作为对本发明中所述一种基于同态加密大规模人脸库隐匿查询的方法的改进，第五步中，基于设备端使用同态加密的私钥解密密文结果，判断人脸是否比对成功的方式为：s5-1，云端服务器将位置点集合p下发至设备端；s5-2，设备端基于位置点集合p生成全同态使用的公钥、私钥信息后，在设备端输入人脸图片提取其人脸特征，并使用同态加密算法加密；s5-3，设备端使用云端服务器下发的位置点集合p计算其位置敏感哈希值，并将人脸特征的密文数据和哈希值数据发送至云端服务器；s5-4，云端服务器基于接收到的哈希值数据和人脸特征的密文数据进行预处理：首先，进行哈希值数据的查找；其次，判断设备端的哈希值数据在云端服务器的数据库中是否存在：若，不存在，则输出人脸识别失败；反之，云端服务器依据查找到的哈希值数据所对应的人脸特征和设备端上报的人脸密文特征，进行明密文混合的全同态汉明计算，获取密文结果，最后，返回设备端；s5-5，设备端对返回的密文结果进行结果，遍历密文结果判断是否符合阈值要求，如不满足，输出人脸识别失败；如满足，输出人脸识别成功。
13.与现有技术相比，本发明的有益效果：1、为解决在人脸密文特征比对阶段，因只有人脸密文特征，需要和数据库中全量数据进行密文的汉明距离计算时，随人脸密文在注册阶段的增加，而导致数据库中的数据增加，密文的比对耗时增加的问题，本发明，通过在区别于现有技术中的同态加密注册过程中，将人脸特征进行局部敏感哈希值的存储，同时将高维数据映射到低维数值中，并通过低维数值的运算计算得到汉明距离的方式，使得只要比较前两个数据的相似性，就可以通过哈希值就反向计算出原始数据，充分利用局部敏感哈希的特性，达到缩短服务器进行密文计算的耗时以及减少网络传输内容的优点；2、同时，通过神经网络算法提取得到高维人脸特征的方式，减小了外部因素对人脸图片的影响，使得人脸图片更好的精准配准。
附图说明
14.参照附图来说明本发明的公开内容。应当了解，附图仅仅用于说明目的，而并非意在对本发明的保护范围构成限制，在附图中，相同的附图标记用于指代相同的部件。其中：图1为本发明一实施例中所提出的在人脸特征注册阶段中云端服务器的存储哈希数据集合时的时序步骤流程示意图；图2为本发明一实施例中所提出的在人脸特征比对阶段中限定云端服务器id查询信息后，基于云端服务器的过滤id的数据集合查询条件，获取设备端密文结果的时序步骤流程图；图3本发明一实施例中所提出的人脸特征的注册阶段中设备端与云端服务器交互流程示意图；
图4本发明一实施例中所提出的人脸密文特征比对查询阶段中设备端与云端服务器交互获取密文数据的流程示意图。
具体实施方式
15.容易理解，根据本发明的技术方案，在不变更本发明实质精神下，本领域的一般技术人员可以提出可相互替换的多种结构方式以及实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。
16.以下结合附图对本发明作近一步详细说明，但不作为对本发明的限定。
17.作为对本发明技术构思以及实现原理的理解，在使用同态加密算法对人脸密文特征比对的技术方案中，本发明技术构思是分为两阶段进行，第一阶段如图3所示，是人脸特征的注册阶段：即，人脸图像转换为密文的阶段：其转换的顺序步骤包括：首先，基于设备端，通过摄像头获取人脸图片；通过神经网络算法从人脸图片从提取人脸特征数据；使用同态加密的公钥将人脸特征转换为密文数据。其次，当上述步骤完成后，设备端需要将获取的密文数据上传至云端服务器，此时，云端服务器会在其数据库中新增刚上传的人脸密文数据（密文数据），并在云端数据库中以一条新增记录信息的形式体现。再次，云端服务器将其处理状态返回设备端。完成第一阶段中人脸图像转换为密文数据。
18.而第二阶段如图4所示，是人脸密文特征比对阶段，即，采用与上述第一阶段相同的密文数据获取方式，在获取密文数据上传至云端服务器后，云端服务器依据其现有数据库（第一阶段中新增刚上传的人脸密文数据的数据库）中已经注册的密文数据（人脸特征数据的密文）的集合逐个计算其密文，得到每个人脸特征数据密文的汉明距离（密文），形成密文结果集合后。将密文结果结合返回至设备端。再由设备端使用同态加密的私钥解密密文结果，然后遍历密文结果集（密文结果集合），再判断汉明距离范围内的密文结果是否存在（存在，说明人脸比对成功，反之，说明比对失败）。
19.基于上述技术构思，可以理解的是，在人脸密文特征比对阶段（前叙的第二阶段），中，因为只有人脸密文特征，因此，此时只需要和（云端服务器）数据库中全量数据进行密文的汉明距离计算，（当前的数据量是可控未超出一定范围的）。而，随着人脸密文在注册阶段的增加，就会导致（云端服务器）数据库中的密文数据增加，对应的密文的比对耗时也会随之增加。即，比对完成的密文结果集（密文结果集合）和数据量（在第一注册阶段，由人脸特征转换的密文数据）成正相关，人脸特征数据在密文状态下，会比明文大至少十倍以上，故而会导致整个网络的开销和耗时同步增加。
20.为此，为解决现有的技术方案只能应用在数据体量不大的场景，而当数据量超过一定范围，其计算开销和通信成本难以应用到实际的应用中的问题。
21.如图1-2，作为本发明的一实施例，提出一种基于同态加密大规模人脸库隐匿查询的方法，通过在同态加密注册过程，增加将人脸特征进行局部敏感哈希值的存储的方式以及在人脸特征的查询阶段通过局部敏感哈希算法，在不泄漏隐私数据情况下，限定其id查询范围，达到缩短云端服务器进行密文计算的耗时以及减少网络传输内容的优点。需要说明的是，其具体包括以下步骤：
（注册阶段的）第一步，根据获取的人脸图片在设备端生成用于表征人脸图片的高维人脸特征。
22.基于上述技术构思，需要说明的是，第一步中，获取高维人脸特征的具体步骤为：s1-1，设备端搭载图像采集设备，上电后获取人脸图片；由于图像采集设备误差的存在，就会导致理论误差与实际误差存在一定的差别，为此，本发明提出：s1-2，基于神经网络算法从人脸图片中提取得到表征人脸图片的高维人脸特征，用于减小外部因素对人脸图片的影响，以促使人脸图片进行精准配准。
23.在设备端获取了高维人脸特征后，需要将高维人脸特征进行局部敏感哈希值的存储，以减少下一阶段中上传至云端服务器的密文数据比较数据量，可以理解的是，本发明通过引入（位置）敏感哈希算法，（位置）敏感哈希算法运用将高维数据的近似查找特性，例如在对人脸特征比对判断相似性时，可通过特征数据的汉明距离计算其相似性。由于在同态加密的人脸密文数据比对下，在计算过程时对结果是无法解密，因此，就会对全量数据的遍历计算和遍历后密文结果的返回，导致就存在数据体量大、计算开销大的问题。为此，本发明提出：通过（位置）敏感哈希算法的相似性特性，不再全量进行数据比对，仅比对相似性数据：即提出：（注册阶段的）第二步，采用局部敏感哈希算法基于设备端对高维人脸特征进行哈希数据集合计算，获得更新后的高维人脸特征局部敏感哈希库，并发送至云端服务器进行存储后，返回设备端。
24.基于上述技术构思，可以理解的是，实现更新后的高维人脸特征局部敏感哈希库在云端服务器存储的具体步骤为：s2-1，在云端服务器随机分配n组m个数的位置点集合p，并将点集合p的数据落盘存储；s2-2，设备端将基于第一步获取的高维人脸特征转换为密文数据后，进行特征提取，提取出长度为m一维数组f，并发送至云端服务器；s2-3，云端服务器基于接收到的高维人脸特征数据，位置点集合p与人脸特征数组f进行向量内积计算，得到n个哈希值集合h；s2-4，根据获取的n个哈希值集合h与云端服务器端历史数据集合进行数据预处理：依次判断新增的n个哈希值集合h是否分别存在：若存在，则，云端服务器进行高维人脸特征数据更新操作；反之，对高维人脸特征数据进行插入操作：云端服务器将密文数据插入到人脸密文特征表中，并向设备端返回人脸密文特征表的自增id数据集合；s2-5，返回设备端完成状态：s2-51，设备端更新高维人脸特征局部敏感哈希库，并同步得到高维人脸特征的低维映射内容，其中，低维映射内容包含{哈希值（人脸特征，自增id数据集合）}；s2-52，云端服务器接收低维映射内容，并将其存储为哈希数据集合{哈希值：（min，max，id集合）}，其中，min表示为哈希值集合h最小数值，max表示为哈希值集合h最大数值，id集合表示为自增id数据集合。
25.在云端服务器完成哈希数据集合存储之后，且，在得到当前高维人脸特征临近哈希值的过滤id的数据集合之前，还需要重新在设备端生成用于表征人脸图片的高维人脸特
征；而当设备端生成高维人脸特征后，设备端才计算得到当前高维人脸特征临近哈希值的过滤id的数据集合，以限定云端服务器向设备端交互获取密文数据的查询范围，减少云端服务器在进行密文数据比较时的数据量，降低计算功耗以及数据传输时延。
26.基于上述技术构思，需要说明的是，本发明的第一步和第二步均为人脸特征同态加密注册过程（注册阶段），在这注册过程中，本发明增加的局部敏感哈希目的是将将高维数据映射到低维数值中，通过低维数值的运算计算得到汉明距离，以此来比较两个数据间相似性，再基于哈希值反向计算出原始数据。
27.可以理解的是，在上述的注册阶段中，认为设备端是可信的，而云端服务器的数据库需以密文或者非敏感数据来存储，为此，以基于局部敏感哈希的特性以及其数据结构，举例说明云端服务器的数据库存储上述非敏感数据的数据核心是用于下一查询阶段（人脸密文特征比对阶段）：首先，局部敏感哈希的特性的理解为：哈希值中的特征有一定的顺序关系，可以通过转换将敏感哈希值转换为非敏感数据，同时哈希值中的特征还具有可比较的特性。在具体实施时，对数组中的数据取头部和尾部，再加上一定范围内的随机数，模糊掉真实特征值。此时鉴定去哈希值长度为16，为2的16次方。而哈希映值总值为65536，鉴定人脸数据总量为1亿规模，平均每个哈希值映射到人脸特征数为1526。通过取最小、最大值，以及加上噪音，就可以转换为非敏感信息。转换为非敏感信息如下所示：{'1111000':[{'feature':[0.028, 0.009, 0.00, 0.028],'id':1},{'feature':[0.029, 0.089, 0.01, 0.027],'id':2},{'feature':[0.030, 0.089, 0.01, 0.027],'id':3}], '1111001':[{'feature':[0.031, 0.009, 0.00, 0.028],'id':4},{'feature':[0.032, 0.089, 0.01, 0.027],'id':5}]}，可以理解的是：'feature':[0.028, 0.009, 0.00, 0.028]表示为人脸特征。
[0028]
在基于第二步中得到当前高维人脸特征临近哈希值的过滤id的数据集合后，接下来需要通过第一阶段（包含第一步和第二步的注册阶段）计算得到的id数据集合限定在云端服务器中数据库的id查询信息，而计算得到的id数据集合是来源于在查询前获取到注册阶段的哈希数据集合。为此，本发明提出：第三步，设备端使用同态加密的公钥对包含低维人脸特征的低维映射内容进行计算得到低维人脸特征的密文特征。
[0029]
第四步，云端服务器根据获取的过滤id的数据集合和低维人脸特征的密文特征逐个计算其密文，得到每个低维人脸特征密文的汉明距离后，形成密文结果返回设备端。
[0030]
第五步，设备端使用同态加密的私钥解密密文结果后，遍历密文结果，判断是否存在汉明距离范围内的密文结果：若存在，则基于设备端输出说明人脸比对成功，反之，失败，结束。
[0031]
基于第三步至第五步的技术构思，需要说明的是，当设备端使用同态加密的私钥解密密文结果后，判断人脸是否比对成功的方式为：
s5-1，云端服务器将位置点集合p下发至设备端；s5-2，设备端基于位置点集合p生成全同态使用的公钥、私钥信息后，在设备端输入人脸图片提取其人脸特征，并使用同态加密算法加密；s5-3，设备端使用云端服务器下发的位置点集合p计算其位置敏感哈希值，并将人脸特征的密文数据和哈希值数据发送至云端服务器；s5-4，云端服务器基于接收到的哈希值数据和人脸特征的密文数据进行预处理：首先，进行哈希值数据的查找；其次，判断设备端的哈希值数据在云端服务器的数据库中是否存在：若，不存在，则输出人脸识别失败；反之，云端服务器依据查找到的哈希值数据所对应的人脸特征和设备端上报的人脸密文特征，进行明密文混合的全同态汉明计算，获取密文结果，最后，返回设备端；s5-5，设备端对返回的密文结果进行结果，遍历密文结果判断是否符合阈值要求，如不满足，输出人脸识别失败；如满足，输出人脸识别成功。
[0032]
基于上述技术构思，可以理解的是，查询阶段（包含第三步、第四步以及第五步的人脸密文特征比对阶段）获取人脸特征与注册阶段一致，但其通过设定局部敏感哈希算法，在不泄漏隐私数据情况下，限定了id查询范围，缩短了云端服务器进行密文计算的耗时，同时也减少了网络传输内容。故而，当本发明通过使用同态加密、局部敏感哈希、极少明文特征模糊化的方式时，可以有效提升人脸特征数据在密文状态下的数据规模，即，在自设定局部敏感哈希的长度为16，人脸数据库数据为1亿人脸的状态下，本发明中云端服务器的计算消耗只有现有技术方案的1/65536倍，通信传输量开销也只有1/65536倍，而，若在服务器端采用100个线程并发计算，密文下的计算耗时可以控制在1s左右，密文结果集在1m左右，其总计算耗时可以控制在2s以内，满足通过同态加密来实现密文的数据使用场景。
[0033]
本发明的技术范围不仅仅局限于上述说明中的内容，本领域技术人员可以在不脱离本发明技术思想的前提下，对上述实施例进行多种变形和修改，而这些变形和修改均应当属于本发明的保护范围内。