基于街景图像识别的商户真实性验证系统及方法与流程

1.本发明涉及计算机技术，具体地涉及一种基于街景图像识别的商户真实性验证系统及基于街景图像识别的商户真实性验证方法。


背景技术：

2.为了获取真实商户信息，目前是通过建设统一的商户信息平台，并实现接入商户的信息规整，但在具体构建过程中存在以下问题：
3.在商户进行注册的商户信息平台上存在商户信息和经营信息混用，信息上送过程中的漏报、错报等情况。而且，由于商户搬迁、倒闭等经营状况改变的情况发生，商户信息和实际可能存在差异；
4.商户入网时上传的商户门头照片可能被ps或伪造的情况；以及
5.商户上传的商户门头照与其登记的具体位置不一致，有可能根本不在同一区域。
6.因此，考虑到以上问题，迫切需要有效的商户验真手段来进行商户数据清洗。而为了验证商户的真实性，在现有技术中已有的方法是，例如由人工地推检查的验证方式、结合搜索引擎和自然语言处理技术的验证方式。
7.其中，人工地推检查的验证方式进行商户验真准确率虽然最高，但验真效率低，验证成本极高。
8.另一方面，结合搜索引擎和自然语言处理技术进行商户验真，当输入某一地址或经纬度进行商户名称搜索时，会返回该位置周边的多个商户的商户名称，这种情况下，也会存在一定的问题，例如：同一区域同名商户无法进行区分，且在商户地址填写错误的情况下，商户信息无法进行验证。


技术实现要素：

9.鉴于上述问题，本发明旨在提供一种无需人工参与并且能够提高准确率的商户真实性验证系统及基于街景图像识别的商户真实性验证方法。
10.本发明一方面的商户真实性验证方法，其特征在于，该方法基于商户信息平台提供的商户位置、商户名称以及商户门头图像与街景图像系统提供的街景图像对于商户的真实性进行验证，该方法包括以下步骤：
11.基于给定的基准图像计算平移比例尺，其中，所述平移比例尺用于平移图像采集点的坐标位置；
12.基于从商户信息平台获取的商户位置信息从街景图像系统获得对应于该商户位置信息的第一街景图像，将从商户信息平台获取的商户门头图像与所述第一街景图像进行特征点匹配并且按照所述平移比例尺将所述第一街景图像沿道路方向平移以获得图像采集点的坐标位置；
13.根据所述图像采集点的坐标位置从街景图像系统中获取对应于该图像采集点的坐标位置的第二街景图像；
14.从所述第二街景图像中截取部分图像以获得第三街景图像；
15.将从商户信息平台获得的商户门头图像与所述第三街景图像进行特征点匹配以计算商户图像相似度，判断所述商户图像相似度是否达到规定阈值，在判断商户图像相似度达到规定阈值的情况下继续下述步骤；以及
16.从所述第三街景图像中识别出商户名称并与从商户信息平台获取的商户名称进行匹配以计算商户名称相似度，判断所述商户名称相似度是否达到规定阈值，在判断商户名称相似度达到规定阈值的情况下，则商户真实性验证成功。
17.可选地，所述基于给定的基准图像计算平移比例尺包括：
18.给定两幅基准图像i1和基准图像i2，其中，基准图像i1和基准图像i2中包含校准点a；以及
19.基准图像i1的拍摄坐标位置为(x1，y1)，基准图像i2的拍摄坐标位置为(x2，y2)(x2》x1)，校准点a在所述基准图像i1和所述基准图像i2中的水平坐标分别为p1和p2(p2-p1)，则平移比例尺为
20.可选地，在基于给定的基准图像计算平移比例尺之前进一步包括：
21.根据从商户信息平台获取的商户位置信息，得到对应于该商户位置信息的图像采集点的搜索范围。
22.可选地，在将所述第一街景图像沿道路方向平移以获得图像采集点的坐标位置之前，进一步判断该图像采集点的坐标位置是否在所述图像采集点的搜索范围内，若判断为在所述图像采集点的搜索范围内则继续后续步骤，否则停止后续步骤。
23.可选地，所述得到对应于该商户位置信息的图像采集点的搜索范围包括：
24.根据从商户信息平台获取的商户位置信息从商户信息平台获取该商户位置信息对应的经纬度范围以及商户列表c{(cxi，cyi)}，
25.则所述搜索范围表示为：(min(cxi)，min(cyi))至(max(cxi)，max(cyi))之间。
26.可选地，将从商户信息平台获取的商户门头图像与所述第一街景图像进行特征点匹配并且按照所述平移比例尺将所述第一街景图像沿道路方向平移以获得图像采集点的坐标位置，包括：
27.所述第一街景图像的拍摄位置为(sx，sy)；
28.通过规定特征匹配算法获取所述商户门头图像和所述第一街景图像中的匹配特征点集合p＝{p1，p2，...，pn}，其中pi为匹配特征点的横坐标；
29.若匹配特征点集合p中特征点数n大于阈值m，则计算所述商户门头图像的中心位置f与匹配特征点集合p中各差值的均值l，若n小于阈值m，则l设置为最小移动距离l；以及
30.图像采集点的坐标位置为n，n为(sx lkcos(t)，sy klsin(t))，
31.其中，k为所述平移比例尺，t为街道方向与经度线的夹角，
32.夹角t用下式表示：
33.t＝argtan((mean(cxi)-min(cxi))/(mean(cyi)-min(cyi)))。
34.可选地，所述规定特征匹配算法包括以下的任意一种：
35.sift算法、surf算法、sift算法、orb算法、fast算法、harri算法。
36.可选地，从所述第二街景图像中截取部分图像以获得第三街景图像包括：
37.通过规定特征匹配算法获取所述商户门头图像和所述第二街景图像中的匹配特征点集合q＝{(qx1，qy1)，(qx2，qy2)，...，(qxn，qyn)}，其中(qxi，qyi)为匹配特征点的横纵坐标；以及
38.从所述第二街景图像中采用以下方式截取部分图像以获得所述第三街景图像：
39.以使得所述第三街景图像的左上和右下坐标为
40.{(min(qxi)-a,min(qyi)-a),(max(qxi) a,max(qyi) a)}，
41.其中，a为像素距离，取值范围为10～100。
42.可选地，所述规定特征匹配算法包括以下的任意一种：
43.sift算法、surf算法、sift算法、orb算法、fast算法、harri算法。
44.可选地，所述计算商户图像相似度采用以下任意一种匹配方式：
45.基于图像灰度的匹配方式、基于特征的匹配方式、基于模型的匹配方式以及基于变换域的匹配方式。
46.可选地，所述计算商户名称相似度采用以下任意一种比对方式：
47.基于字符串的文本相似度计算方式、基于语料库的文本相似度计算方式、以及基于世界知识的文本相似度计算方式。
48.本发明一方面的商户真实性验证系统，其特征在于，该系统基于商户信息平台提供的商户位置、商户名称以及商户门头图像与街景图像系统提供的街景图像对于商户的真实性进行验证，该系统包括：
49.街景漫游模块，从商户信息平台获得商户位置、商户名称以及商户门头图像，计算用于平移图像采集点的坐标位置平移比例尺以及基于所述平移比例尺计算移动街景图像而获得的图像采集点的坐标位置，与街景图像系统进行交互以根据图像采集点的坐标位置获得对应的街景图像；
50.图像比对模块，将从商户信息平台获得的商户门头图像与所述街景漫游模块获得的街景图像进行匹配以计算商户图像相似度，并判断所述商户图像相似度是否达到规定阈值；以及
51.文字识别模块，用于从所述街景漫游模块获得的街景图像中识别出商户名称；
52.文本比对模块，用于将所述文字识别模块识别出的商户名称与从商户信息平台获取的商户名称进行匹配以计算商户名称相似度，判断所述商户名称相似度是否达到规定阈值，在判断商户名称相似度达到规定阈值的情况下，则商户真实性验证成功。
53.可选地，所述街景漫游模块从商户信息平台获取商户位置、商户名称以及商户门头图像，基于给定的基准图像计算平移比例尺，基于从商户信息平台获取的商户位置信息从街景图像系统获得对应于该商户位置信息的第一街景图像，基于从商户信息平台获取的商户门头图像与所述第一街景图像的特征点匹配和所述平移比例尺，将所述第一街景图像沿道路方向平移以获得图像采集点的坐标位置，根据所述图像采集点的坐标位置从街景图像系统中获取对应于该图像采集点的坐标位置的第二街景图像，从所述第二街景图像中截取部分图像以获得第三街景图像，
54.所述图像比对模块将从商户信息平台获得的商户门头图像与所述街景漫游模块获得的第三街景图像进行匹配以计算商户图像相似度，
55.所述文字识别模块从所述第三街景图像中识别出商户名称。
56.可选地，所述基于给定的基准图像计算平移比例尺包括：
57.给定两幅基准图像i1和基准图像i2，基准图像i1和基准图像i2中包含校准点a，基准图像i1的拍摄坐标位置为(x1，y1)，基准图像i2的拍摄坐标位置为(x2，y2)(x2》x1)，校准点a在所述基准图像i1和所述基准图像i2中的水平坐标分别为p1和p2(p2-p1)，则平移比例尺为
58.可选地，所述街景漫游模块进一步根据从商户信息平台获取的商户位置信息得到对应于该商户位置信息的图像采集点的搜索范围。
59.可选地，对于将所述第一街景图像沿道路方向平移以获得图像采集点的坐标位置之前，所述街景漫游模块进一步判断该图像采集点的坐标位置是否在所述图像采集点的搜索范围内，若判断为在所述图像采集点的搜索范围内则继续后续步骤，否则停止后续步骤。
60.可选地，所述得到对应于该商户位置信息的图像采集点的搜索范围包括：
61.根据从商户信息平台获取的商户位置信息从商户信息平台获取该商户位置信息对应的经纬度范围以及商户列表c{(cxi，cyi)}，
62.则所述搜索范围表示为：(min(cxi)，min(cyi))至(max(cxi)，max(cyi))之间。
63.可选地，基于从商户信息平台获取的商户门头图像与所述第一街景图像的特征点匹配和所述平移比例尺，将所述第一街景图像沿道路方向平移以获得图像采集点的坐标位置，包括：
64.所述第一街景图像的拍摄位置为(sx，sy)；
65.通过规定特征匹配算法获取所述商户门头图像和所述第一街景图像中的匹配特征点集合p＝{p1，p2，...，pn}，其中pi为匹配特征点的横坐标；
66.若匹配特征点集合p中特征点数n大于阈值m，则计算所述商户门头图像的中心位置f与匹配特征点集合p中各差值的均值l，若n小于阈值m，则l设置为最小移动距离l；以及
67.图像采集点的坐标位置为n，n为(sx lkcos(t)，sy klsin(t))，
68.其中，k为所述平移比例尺，t为街道方向与经度线的夹角，夹角t用下式表示：
69.t＝argtan((mean(cxi)-min(cxi))/(mean(cyi)-min(cyi)))。
70.可选地，所述规定特征匹配算法包括以下的任意一种：
71.sift算法、surf算法、sift算法、orb算法、fast算法、harri算法。
72.可选地，从所述第二街景图像中截取部分图像以获得第三街景图像包括：
73.通过规定特征匹配算法获取所述商户门头图像和所述第二街景图像中的匹配特征点集合q＝{(qx1，qy1)，(qx2，qy2)，...，(qxn，qyn)}，其中(qxi，qyi)为匹配特征点的横纵坐标；以及
74.从所述第二街景图像中采用以下方式截取部分图像以获得所述第三街景图像：
75.以使得所述第三街景图像的左上和右下坐标为
76.{(min(qxi)-a,min(qyi)-a),(max(qxi) a,max(qyi) a)}，
77.其中，a为像素距离，取值范围为10～100。
78.可选地，所述规定特征匹配算法包括以下的任意一种：
79.sift算法、surf算法、sift算法、orb算法、fast算法、harri算法。
80.可选地，所述图像比对模块采用以下任意一种匹配方式：
81.基于图像灰度的匹配方式、基于特征的匹配方式、基于模型的匹配方式以及基于变换域的匹配方式。
82.可选地，所述文本比对模块采用以下任意一种比对方式：
83.基于字符串的文本相似度计算方式、基于语料库的文本相似度计算方式以及基于世界知识的文本相似度计算方式。
84.本发明一方面的计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现所述的商户真实性验证方法。
85.本发明一方面的计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的商户真实性验证方法。
86.本发明的计算机可读介质，其上存储有计算机程序，其特征在于，
87.该计算机程序被处理器执行时实现所述的商户真实性验证方法。
88.本发明的计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的商户真实性验证方法。
89.如上所述，在本发明的商户真实性验证系统及基于街景图像识别的商户真实性验证方法中，由于目前百度等公司的街景图像数据库已经相对完善，无需自建街景数据库，通过街景图像的漫游搜索、结合图像比对技术的使用使得商户验真准确率大大提高，且无需人工参与，节省人力成本。
附图说明
90.图1是表示本发明的商户真实性验证系统的结构框图。
91.图2是表示本发明的商户真实性验证方法的流程示意图。
92.图3是表示采用sift特征匹配算法的示意图
具体实施方式
93.下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
94.出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到，相同的原理可等效地应用于所有类型的商户真实性验证系统及基于街景图像识别的商户真实性验证方法并且可以在其中实施这些相同的原理，以及任何此类变化不背离本专利申请的真实精神和范围。
95.而且，在下文描述中，参考了附图，这些附图图示特定的示范实施例。在不背离本发明的精神和范围的前提下可以对这些实施例进行电、机械、逻辑和结构上的更改。此外，虽然本发明的特征是结合若干实施/实施例的仅其中之一来公开的，但是如针对任何给定或可识别的功能可能是期望和/或有利的，可以将此特征与其他实施/实施例的一个或多个其他特征进行组合。因此，下文描述不应视为在限制意义上的，并且本发明的范围由所附权利要求及其等效物来定义。
96.诸如“具备”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接
和明确表述的单元(模块)和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元(模块)和步骤的情形。
97.图1是表示本发明的商户真实性验证系统的结构框图。
98.如图1所示，本发明的商户真实性验证系统100是基于商户信息平台200提供的商户位置、商户名称以及商户门头图像和街景图像系统300提供的街景图像而对于商户的真实性进行验证。
99.本发明的商户真实性验证系统100包括：
100.街景漫游模块110，与街景图像系统300进行交互，计算道路坐标范围，计算平移比例尺，沿道路方向移动数据采集点，获取街景图像数据；
101.图像比对模块120，通过特征点进行匹配并计算图像的相似度；
102.文字识别模块130，识别街景图像中对应商户的商户名称；
103.文本比对模块140，将文字识别模块识别的商户名称与商户填写的商户名称进行匹配并计算商户名称的相似度。
104.这里，商户信息平台200能够提供商户位置、商户名称以及商户门头图像等的信息。街景图像系统300能够基于街景漫游模块110提供的坐标位置提供对应位置的街景图像，街景图像系统300可以利用现有技术实现，例如目前百度地图、高德地图等公司的街景图像数据库已经相对完善，而无需另行自建街景数据库。
105.作为一个示例，可以设置为先由图像比对模块120得到的图像的相似度达到规定阈值以上再由文本比对模块140计算商户名称的相似度，并且在文本比对模块140计算商户名称的相似度达到规定阈值的情况下判断为商户真实性验证成功。
106.图2是表示本发明的商户真实性验证方法的流程示意图。
107.如图2所示，本发明的商户真实性验证方法主要包括以下步骤：
108.步骤s1：街景漫游模块110根据从商户信息平台获取的商户位置以及商户名称并确定搜索范围，其中，商户信息平台能够提供商户上传的商户名称、商户位置、商户门头图像等信息；
109.步骤s2：街景漫游模块110基于给定的基准图像计算平移比例尺；
110.步骤s3：街景漫游模块110根据商户上传到商户信息平台的商户门头图像f和街景图像s基于所述平移比例尺采用规定的特征匹配算法获得街景漫游的数据采集点(起点)的坐标位置；
111.步骤s4：根据数据采集点(起点)的坐标位置从街景图像系统200中获取对应的街景图像s1；
112.步骤s5：根据规定的特征匹配算法获取商户门头图像f和街景图像s1中的匹配点的坐标位置，对匹配点的坐标位置进行规定计算得到计算后的坐标位置，根据计算后的坐标位置获得经过截取的街景图像s2；
113.步骤s6：图像比对模块120对于用户上传的商户门头图像f和街景图像s2进行特征点的匹配并计算商户图像相似度；
114.步骤s7：图像比对模块120判断商户图像相似度是否达到规定阈值，若达到规定阈值则继续步骤s8，否则跳至步骤s13；
115.步骤s8：文字识别模块130从街景图像s2中识别出的商户名称；
116.步骤s9：文本比对模块140将由文字识别模块130识别出的商户名称与商户上传的商户名称进行匹配并计算商户名称相似度；
117.步骤s10：文本比对模块140判断商户名称相似度是否达到规定阈值，若达到规定阈值则继续步骤s11，若未达到规定阈值则跳至步骤s13；
118.步骤s11：商户验证成功；
119.步骤s12：搜索结束，返回搜索和验证结果。
120.步骤s13：街景漫游模块110获取下一数据采集点；
121.步骤s14：街景漫游模块110判断获取的下一数据采集点是否超出所述搜索范围，若没有超出所述搜索范围则返回步骤s4，若超出所述搜索范围则跳至步骤s12。
122.以下，对于本发明的基于街景图像识别的商户真实性验证系统和商户真实性验证方法的一个具体实施方式进行说明。
123.首先，对于街景漫游模块110如何获取搜索范围进行说明。
124.街景漫游模块110从商户信息平台获取的商户位置以及商户名称，商户信息平台的商户位置以及商户名称是商户登记时商户上传的信息。街景漫游模块110根据该商户登记的位置信息，获得该位置信息对应的经纬度范围(例如，可以选择该商户临近1公里范围内)及商户列表c{(cxi，cyi)}。
125.由此，则获得搜索范围为：(min(cxi)，min(cyi))至(max(cxi)，max(cyi))之间。
126.这样，街道与纬度线的夹角t用下式表示：
127.t＝argtan((mean(cxi)-min(cxi))/(mean(cyi)-min(cyi)))。
128.接着，对于街景漫游模块110计算街景图像的平移比例尺的具体过程进行说明。
129.为了通过图像文字识别技术识别街景中商户门头文字内容，需要通过平移图像采集点的经纬度坐标来尽可能获得正面的商户门头图像。
130.在实际的街景图像中，由于街道宽度、拍摄距离的差异较大，因此针对每一条街道需要计算平移比例尺及图像中像素移动距离和实际移动距离的比例尺。
131.给定两幅基准图像i1和i2，基准图像i1和i2中包含校准点a，基准图像i1的拍摄位置为(x1，y1)，基准图像i2的拍摄位置为(x2，y2)(x2》x1)，a在两幅图像中的水平坐标分别为p1和p2(p2-p1)，则平移比例尺为
132.其中，作为上述的两幅基准图像i1和i2，采用在街景图像中随机选取的两幅包含共有区域的图像，并且两幅图像的拍摄位置的距离是已知的。
133.其次，对于街景漫游模块110如何获取下一个候选数据采集点的具体步骤进行说明。
134.街景漫游模块110通过以下步骤获取下一个候选数据采集点：
135.(1)从商户信息平台获得商户门头图像f和街景图像s，街景图像s的拍摄位置为(sx，sy)，该街景图像s的拍摄位置为(sx，sy)可以从街景图像系统300中获得；
136.(2)通过sift特征匹配算法获取商户门头图像f和街景图像s中的匹配特征点集合p＝{p1，p2，...，pn}，其中pi为匹配特征点的横坐标；
137.(3)若p中特征点数n大于阈值m，则计算f中心位置f与p中各差值的均值l，若n小于阈值m，则l设置为最小移动距离l；以及
138.(4)下一候选采集点位置为n，其位置为(sx lkcos(t)，sy klsin(t))，其中k为平移比例尺，t为街道方向与经度线的夹角。
139.图3是表示采用sift特征匹配算法的示意图。在图3中，左侧为商户门头图像f，右侧为街景图像s。
140.sift特征匹配算法是一种尺度不变特征转换，它用来检测图像的局部性特征，在空间尺度中寻找极值点，提取这点的位置、尺度、旋转不变量。这些关键点是一些十分突出，不会因光照和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等，所以与影像的大小和旋转无关，对光线、噪声、视角改变的容忍度也很高。
141.sift从理论上说是一种相似不变量，即对图像尺度变化和旋转是不变量。然而，由于构造sift特征时，在很多细节上进行了特殊处理，使得sift对图像的复杂变形和光照变化具有了较强的适应性，同时运算速度比较快，定位精度比较高。如：在多尺度空间采用dog算子检测关键点，相比传统的基于log算子的检测方法，运算速度大大加快；关键点的精确定位不仅提高了精度，而且大大提高了关键点的稳定性。
142.在本实施方式中例举了sift特征匹配算法，这仅仅是一个示例，除此以外还能够采用其他图像特征匹配算法。例如，surf(speeded up robust feature，加速稳健特征)算法、sift(尺度不变特征转换，scaleinvariant feature transform)算法、orb(oriented brief)算法、fast(加速分割测试获得特征，features from accelerated segment test)算法、harris(角点)算法等等。
143.以下描述街景漫游模块110如何对于候选采集点的图像进行裁剪。
144.街景漫游模块110通过以下步骤实现候选采集点图像的裁剪：
145.(1)给定商户上传的商户门头图像f；
146.(2)将数据采集位置平移至候选采集点位置n，重新从街景图像系统200获取街景图像s1；
147.(3)通过sift特征匹配算法获取商户门头图像f和街景图像s1中的匹配特征点集合q＝{(qx1，qy1)，(qx2，qy2)，...，(qxn，qyn)}，其中(qxi，qyi)为匹配特征点的横纵坐标；以及
148.(4)在街图像s1中截取部分图像，获得街景图像s2，其左上和右下坐标为{(min(qxi)-a,min(qyi)-a),(max(qxi) a,max(qyi) a)}，其中，a为像素距离，取值范围为10～100。另外，从街图像s1中截取街景图像s2的目的在于，滤除关键特征点以外的多余图像，防止大图和小图进行相似度匹配的情况出现，由此能够提高图像匹配的精准度。
149.图像比对模块120对于用户上传的商户门头图像f和街景图像s2进行特征点的匹配并计算商户图像相似度。这里，图像比对模块120采用的图像相似度的计算方法例如可以采用现有的计算视觉中常用的匹配方法，如基于图像灰度的匹配方法、基于特征的匹配方法、基于模型的匹配方法以及基于变换域的匹配方法。作为一个示例具体可参考：
150.https://wenku.baidu.com/view/019ec260657d27284b73f242336c1eb91a37330f？fr＝xueshu20001
151.文本比对模块140将由文字识别模块130识别出的商户名称与商户上传的商户名称进行匹配并计算商户名称相似度。这里，文本比对模块140采用的商户名称相似度的计算方法例如可以采用现有的文本相似度计算方法，如基于字符串的方法(string-based)、基
于语料库的方法(corpus-based)以及基于世界知识的方法(knowledge-based)。作为一个示例具体可参考：
152.https://blog.csdn.net/gamer_gyt/article/details/102916791
153.如上所述，在本发明的商户真实性验证系统及基于街景图像识别的商户真实性验证方法中，由于目前百度地图、高德地图等公司的街景图像数据库已经相对完善，无需自建街景数据库，通过街景图像的漫游搜索、结合图像比对技术的使用使得商户验真准确率大大提高，且无需人工参与，节省人力成本。
154.以上例子主要说明了本发明的商户真实性验证系统及基于街景图像识别的商户真实性验证方法。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。