图像识别方法及其装置与流程

1.本技术涉及终端设备领域，尤其涉及一种图像识别方法及其装置。


背景技术：

2.相关技术中，在办理碎屏险时的屏幕核验方法采用数字验证码的方案，通过在屏幕取景窗中放置数字验证码，而后使用光学字符识别(optical character recognition，ocr)技术识别拍摄到的屏幕图像中的数字验证码，但这种技术会为后序屏幕自动检测和屏幕碎屏分析造成障碍，其拍摄的图片是手机打开取景窗后并带有数字验证码的界面，画面比较复杂，不利于分析屏幕坏点或者裂纹。


技术实现要素：

3.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。
4.为此，本技术的一个目的在于提出一种图像识别方法。
5.本技术的第二个目的在于提出另一种图像识别方法。
6.本技术的第三个目的在于提出一种图像识别装置。
7.本技术的第四个目的在于提出另一种图像识别装置。
8.本技术的第五个目的在于提出一种电子设备。
9.本技术的第六个目的在于提出一种非瞬时计算机可读存储介质。
10.本技术的第七个目的在于提出一种计算机程序产品。
11.为达上述目的，本技术第一方面实施方式了一种图像识别方法，包括：获取终端设备的第一校验图像，其中，所述第一校验图像包括所述终端设备的屏幕和所述屏幕内展示的第一宫格图，其中，所述第一宫格图中的每个宫格包括一个图形；对所述第一宫格图进行关键点检测，获取每个所述图形在所述第一校验图像的中心像素坐标；获取每个所述图形在所述屏幕上的屏幕坐标；基于所述中心像素坐标和对应的所述屏幕坐标进行仿射变换，确定所述第一校验图像中的屏幕图像区域。本技术利用九宫格的位置信息，基于中心像素坐标和对应的屏幕坐标进行仿射变换，可以有效的还原出原始屏幕图像区域，方便后续碎屏的检测。
12.根据本技术的一个实施方式，所述确定所述第一校验图像中的屏幕图像区域之后，还包括：对所述屏幕图像区域进行遮挡检测，响应于所述屏幕图像区域中存在遮挡物，则向所述终端设备发送重新校验的指示信息。
13.根据本技术的一个实施方式，所述每个图形为携带颜色的图形，所述获取每个所述图形在所述第一校验图像的中心像素坐标之后，还包括：针对每个所述图形，获取包含整个所述图形的包络框；确定所述第一宫格图中的所有图形在所述第一宫格图中的位置顺序；将每个所述包络框按照所述位置顺序输入颜色分类器中，确定所述第一宫格图对应的校验颜色序列；基于所述校验颜色序列和标准颜色序列，对所述终端设备进行身份验证。
14.根据本技术的一个实施方式，所述基于所述校验颜色序列和标准颜色序列，对所
述终端设备进行身份验证，包括：获取将所述校验颜色序列编辑为所述标准颜色序列对应的编辑距离；响应于所述编辑距离小于或者等于设定距离阈值，确定所述终端设备身份验证成功；响应于所述编辑距离大于所述设定距离阈值，确定所述终端设备身份验证失败。
15.根据本技术的一个实施方式，所述获取包含整个所述图形的包络框，包括：以所述图形的中心坐标为基础点向外扩散设定距离，生成所述包络框。
16.根据本技术的一个实施方式，该图像识别方法，还包括：获取所述终端设备的第二校验图像，其中，所述第二校验图像中包括第二宫格图，所述第二宫格图中包括的任一个图形与所述第一宫格图中包括的任一个图形在位置上未重叠；从所述第一校验图像中，提取未被所述第一宫格图中任一个图形占用的第一图像区域；从所述第二校验图像中，提取未被所述第二宫格图中任一个图形占用的第二图像区域；基于所述第一图像区域和所述第二图像区域，生成空白的屏幕图像区域。
17.根据本技术的一个实施方式，所述基于所述第一图像区域和所述第二图像区域，生成空白的屏幕图像区域，包括：从所述第二图像区域中提取所述第一宫格图占用的第一局部图像区域；将所述第一局部图像区域与所述第一图像区域进行拼接，生成所述空白的屏幕图像区域；或者，从所述第一图像区域中提取所述第二宫格图占用的第二局部图像区域；将所述第二局部图像区域与所述第二图像区域进行拼接，生成所述空白的屏幕图像区域。
18.根据本技术的一个实施方式，所述获取终端设备的第一校验图像，还包括：向所述终端设备发送验证信息，其中，所述验证信息包括所述第一宫格图的生成参数。
19.为达上述目的，本技术第二方面实施方式提出了另一种图像识别方法，包括：采集终端设备的第一校验图像，其中，所述第一校验图像包括所述终端设备的屏幕和所述屏幕内展示的第一宫格图，其中，所述第一宫格图中的每个宫格包括一个图形；向服务器发送所述第一校验图像，以使所述服务器基于所述第一宫格图从所述第一校验图像中确定屏幕图像区域。本技术利用九宫格的位置信息，基于中心像素坐标和对应的屏幕坐标进行仿射变换，可以有效的还原出原始屏幕图像区域，方便后续碎屏的检测。
20.根据本技术的一个实施方式，该图像识别方法，还包括：接收所述服务器发送的重新校验的指示信息，其中，所述指示信息由所述服务器在检测出所述屏幕图像区域中存在遮挡物时发送的。
21.根据本技术的一个实施方式，该图像识别方法，还包括：向所述服务器发送第二校验图像，以使所述服务器根据所述第一校验图像和所述第二校验图像生成空白的屏幕图像区域，其中，所述第二校验图像中包括第二宫格图，所述第二宫格图中包括的任一个图形与所述第一宫格图中包括的任一个图形在位置上未重叠。
22.根据本技术的一个实施方式，所述采集终端设备的第一校验图像之前，还包括：接收所述服务器发送验证信息，其中，所述验证信息包括所述第一宫格图的生成参数；基于所述生成参数生成所述第一宫格图。
23.为达上述目的，本技术第三方面实施例提出了一种图像识别装置，包括：校验图像获取模块，用于获取终端设备的第一校验图像，其中，所述第一校验图像包括所述终端设备的屏幕和所述屏幕内展示的第一宫格图，其中，所述第一宫格图中的每个宫格包括一个图形；关键点检测模块，用于对所述第一宫格图进行关键点检测，获取每个所述图形在所述第
一校验图像的中心像素坐标；屏幕坐标获取模块，用于获取每个所述图形在所述屏幕上的屏幕坐标；图像区域获取模块，用于基于所述中心像素坐标和对应的所述屏幕坐标进行仿射变换，确定所述第一校验图像中的屏幕图像区域。
24.根据本技术的一个实施方式，所述图像区域获取模块还用于：对所述屏幕图像区域进行遮挡检测，响应于所述屏幕图像区域中存在遮挡物，则向所述终端设备发送重新校验的指示信息。
25.根据本技术的一个实施方式，所述关键点检测模块之后，还包括：包络框获取模块，用于针对每个所述图形，获取包含整个所述图形的包络框；位置顺序获取模块，用于确定所述第一宫格图中的所有图形在所述第一宫格图中的位置顺序；颜色序列获取模块，用于将每个所述包络框按照所述位置顺序输入颜色分类器中，确定所述第一宫格图对应的校验颜色序列；身份验证模块，用于基于所述校验颜色序列和标准颜色序列，对所述终端设备进行身份验证。
26.根据本技术的一个实施方式，所述身份验证模块，还用于：获取将所述校验颜色序列编辑为所述标准颜色序列对应的编辑距离；响应于所述编辑距离小于或者等于设定距离阈值，确定所述终端设备身份验证成功；响应于所述编辑距离大于所述设定距离阈值，确定所述终端设备身份验证失败。
27.根据本技术的一个实施方式，所述包络框获取模块，还用于：以所述图形的中心坐标为基础点向外扩散设定距离，生成所述包络框。
28.根据本技术的一个实施方式，该图像识别装置，还用于：获取所述终端设备的第二校验图像，其中，所述第二校验图像中包括第二宫格图，所述第二宫格图中包括的任一个图形与所述第一宫格图中包括的任一个图形在位置上未重叠；从所述第一校验图像中，提取未被所述第一宫格图中任一个图形占用的第一图像区域；从所述第二校验图像中，提取未被所述第二宫格图中任一个图形占用的第二图像区域；基于所述第一图像区域和所述第二图像区域，生成空白的屏幕图像区域。
29.根据本技术的一个实施方式，该图像识别装置，还用于：从所述第二图像区域中提取所述第一宫格图占用的第一局部图像区域；将所述第一局部图像区域与所述第一图像区域进行拼接，生成所述空白的屏幕图像区域；或者，从所述第一图像区域中提取所述第二宫格图占用的第二局部图像区域；将所述第二局部图像区域与所述第二图像区域进行拼接，生成所述空白的屏幕图像区域。
30.根据本技术的一个实施方式，所述校验图像获取模块，还用于：向所述终端设备发送验证信息，其中，所述验证信息包括所述第一宫格图的生成参数。
31.为达上述目的，本技术第四方面实施例提出了另一种图像识别装置，包括：第一校验图像获取模块，用于采集终端设备的第一校验图像，其中，所述第一校验图像包括所述终端设备的屏幕和所述屏幕内展示的第一宫格图，其中，所述第一宫格图中的每个宫格包括一个图形；屏幕图像区域确定模块，用于向服务器发送所述第一校验图像，以使所述服务器基于所述第一宫格图从所述第一校验图像中确定屏幕图像区域。
32.根据本技术的一个实施方式，所述图像识别装置，还用于：接收所述服务器发送的重新校验的指示信息，其中，所述指示信息由所述服务器在检测出所述屏幕图像区域中存在遮挡物时发送的。
33.根据本技术的一个实施方式，该图像识别装置，还用于：向所述服务器发送第二校验图像，以使所述服务器根据所述第一校验图像和所述第二校验图像生成空白的屏幕图像区域，其中，所述第二校验图像中包括第二宫格图，所述第二宫格图中包括的任一个图形与所述第一宫格图中包括的任一个图形在位置上未重叠。
34.根据本技术的一个实施方式，所述第一校验图像获取模块之前，还包括：接收所述服务器发送验证信息，其中，所述验证信息包括所述第一宫格图的生成参数；基于所述生成参数生成所述第一宫格图。
35.为达上述目的，本技术第五方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现如本技术第一方面实施例所述的图像识别方法和第二方面实施例所述的图像识别方法。
36.为达上述目的，本技术第六方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于实现如本技术第一方面实施例所述的图像识别方法和第二方面实施例所述的图像识别方法。
37.为达上述目的，本技术第七方面实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时用于实现如本技术第一方面实施例所述的图像识别方法和第二方面实施例所述的图像识别方法。
附图说明
38.图1是本技术一个实施方式的一种图像识别方法的示意图。
39.图2是本技术一个实施方式的获取手机屏幕照片的方法的示意图。
40.图3是本技术一个实施方式的第一宫格图的示意图。
41.图4是本技术一个实施方式的确定终端设备是否身份验证成功方法的示意图。
42.图5是本技术一个实施方式的屏幕图像区域生成方法的示意图。
43.图6是本技术一个实施方式的校验颜色序列输出方法的示意图。
44.图7是本技术一个实施方式的生成空白的屏幕图像区域方法的示意图。
45.图8是本技术一个实施方式的一种图像识别方法的总体示意图。
46.图9是本技术另一个实施方式的一种图像识别方法的示意图。
47.图10是本技术另一个实施方式的生成空白的屏幕图像区域方法的示意图。
48.图11是本技术另一个实施方式的一种图像识别方法的总体示意图。
49.图12是本技术一个实施方式的一种图像识别装置的示意图。
50.图13是本技术另一个实施方式的一种图像识别装置的示意图。
51.图14是本技术一个实施方式的一种电子设备的示意图。
具体实施方式
52.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
53.图1为本技术提出的一种图像识别方法的一种示例性实施方式的示意图，如图1所
示，该图像识别方法包括以下步骤：
54.s101，获取终端设备的第一校验图像，其中，第一校验图像包括终端设备的屏幕和屏幕内展示的第一宫格图，其中，第一宫格图中的每个宫格包括一个图形。
55.本技术中，可选地，终端设备可包括手机、平板、电脑等设备。以终端设备为手机为例，在办理手机屏幕相关的业务时，比如，给手机办理碎屏险时，需要确定待办理的手机屏幕的合规性，如图2所示，手机屏幕的照片的获取方式为用户用手机前置摄像头对准镜子拍摄手机，从而得到能反映手机屏幕的图像。
56.为了确认用户在办理业务时确实是拍摄的待办理业务的手机的屏幕，需在手机屏幕上配合出现一些标识信息，在一些实施中，可以采用在屏幕取景窗中放置数字验证码，而后使用ocr技术识别拍摄到的屏幕图像中的数字验证码的方法。本技术为了在手机屏幕上标识一些标识信息，可以预先在手机屏幕上展示一个第一宫格图像，将该第一宫格图作为待验证手机的标识信息，因此，手机通过前置摄像头在进行屏幕自拍时，可以拍摄到包括终端设备的屏幕和屏幕内展示的第一宫格图。
57.使用目标检测算法对用户用手机前置摄像头对准镜子拍摄手机所发送回来的第一校验图像进行目标检测，获取到第一宫格图所在的区域，将该区域作为目标区域。其中，第一校验图像包括待验证手机的屏幕和屏幕内展示的第一宫格图。可选地，目标检测算法可选择卷积神经网络(convolutional neural network,cnn)算法。其中，第一宫格图中的每个宫格包括一个图形。可选地，第一宫格图中的每个宫格包括的每个图形可设置为实心圆。
58.需要注意的是，本技术实施例中，第一宫格图的大小可由实施者根据实际情况自行确定，比如说，可以为九宫格，六宫格，四宫格等。本技术实施例以九宫格为例，第一校验图像包括终端设备的屏幕和屏幕内展示的第一宫格图，如图3所示，图3为屏幕内展示的第一宫格图为九宫格图时的示意图，将第一宫格图中包括的九个图形设置为实心圆，即第一宫格图中包括9个实心圆。
59.s102，对第一宫格图进行关键点检测，获取每个图形在第一校验图像的中心像素坐标。
60.本技术以第一宫格图为九宫格图为例，对上述获得的第一宫格图进行关键点检测，可获取每个实心圆的圆心在第一校验图像的坐标，作为中心像素坐标。可选地，对第一宫格图中的图形进行轮廓检测或者形状检测，通过轮廓或形状态检测可以提取到第一宫格图中的每个图像中的关键点，进一步地，基于每个图像的关键点可以确定出每个图像在第一校验图像中的中心像素坐标。
61.s103，获取每个图形在屏幕上的屏幕坐标。
62.为了便于运算，可以对屏幕在横纵两个方向上进行等分，以构建一个屏幕坐标系。继续以第一宫格图为九宫格图为例，可以对屏幕在横纵两个方向上进行7等分，并将横纵两个方向出现的交点分别标记为屏幕坐标。进一步地，根据九宫格图中每个实心圆所在的交点，可以获取到每个实心圆在屏幕上的屏幕坐标。
63.以上述获得的第一宫格图为九宫格图为例，图3为屏幕内展示的第一宫格图的示意图，第一宫格图中包括的九个图形设置为实心圆。如图3所示，在任意屏幕尺寸手机中，按横纵划分7等分，交点坐标以(x，y)来表示。其中，去掉手机的边框区域的交点，以横向为x，
纵向为y。如左上角第一个交点坐标为(0，0)，右下角最后一个坐标为(5,5)。图3中9个实心圆的坐标分别为(0，0)，(0，2)，(0，4)，(0，2)，(2，2)，(4，2)，(0，4)，(2，4)，(4，4)。
64.s104，基于中心像素坐标和对应的屏幕坐标进行仿射变换，确定第一校验图像中的屏幕图像区域。
65.需要说明的是，中心像素坐标为图形中心点在图像坐标系下的坐标值，而屏幕坐标为图形中心点在屏幕坐标下的坐标值。预先构建两个坐标系的坐标系转换关系，因此，在获取到中心像素坐标和屏幕坐标之后，基于坐标系之间的转换关系，对上述得到的中心像素坐标和对应的屏幕坐标，进行仿射变换，获得第一校验图像中的屏幕图像区域。其中，仿射变换，又称仿射映射，是指在几何中，对一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。
66.本技术提出了一种图像识别方法，通过获取终端设备的第一校验图像，其中，第一校验图像包括终端设备的屏幕和屏幕内展示的第一宫格图，其中，第一宫格图中的每个宫格包括一个图形；对第一宫格图进行关键点检测，获取每个图形在第一校验图像的中心像素坐标；获取每个图形在屏幕上的屏幕坐标；基于中心像素坐标和对应的屏幕坐标进行仿射变换，确定第一校验图像中的屏幕图像区域。本技术利用九宫格的位置信息，基于中心像素坐标和对应的屏幕坐标进行仿射变换，可以有效的还原出原始屏幕图像区域，方便后续碎屏的检测。
67.图4为本技术提出的一种图像识别方法的一种示例性实施方式的示意图，如图4所示，每个图形为携带颜色的图形，获取每个图形在第一校验图像的中心像素坐标之后，还包括以下步骤：
68.s401，针对每个图形，获取包含整个图形的包络框。
69.以第一宫格图中每个图形的中心坐标为基础点向外扩散设定距离，可获取包含整个图形的包络框。以上述获得的第一宫格图为九宫格图为例，以第一宫格图中9个图形的每个实心圆的中心坐标为基础点向外扩散设定距离，可获取包含整个实心圆图形的包络框。
70.其中，第一宫格图中每个实心圆都携带有颜色。可选地，实心圆的颜色可设置为蓝色(blue)，将蓝色简写为b；红色(red)，将红色简写为r；绿色(green)，将绿色简写为g。
71.s402，确定第一宫格图中的所有图形在第一宫格图中的位置顺序。
72.其中，每个图形在第一宫格图中的位置顺序可根据实际情况进行设定。可选地，本技术实施例以上述获得的第一宫格图为九宫格图为例，将9个实心圆按从左到右，从上到下的顺序排列。
73.s403，将每个包络框按照位置顺序输入颜色分类器中，确定第一宫格图对应的校验颜色序列。
74.将第一宫格图中的所有包络框作为一批，以批的形式按照位置顺序输入颜色分类器中，进而高效快速的得到第一宫格图中各个交点圆形的颜色信息，从而输出给后续的业务逻辑模块进行进一步处理。
75.以上述获得的第一宫格图为九宫格图为例，将第一宫格图中的9个包络框作为一批，以批的形式按照位置顺序输入颜色分类器中，进而高效快速的得到第一宫格图中各个实心圆的颜色信息，如图3所示，颜色分类器输出该第一宫格图的校验颜色序列为rggrbrgrb，进而可将该校验颜色序列输出给后续的业务逻辑模块进行进一步处理。
76.s404，获取将校验颜色序列编辑为标准颜色序列对应的编辑距离。
77.以上述获得的第一宫格图为例，除了终端设备的图像的校验颜色序列外，服务器端有与校验颜色序列对应的标准颜色序列。将校验颜色序列与标准颜色序列进行对比，获得将校验颜色序列编辑为标准颜色序列对应的编辑距离。
78.作为一种可实现的方式，将校验颜色序列与标准颜色序列进行对比可通过颜色相似度进行对比，将标准颜色序列作为100％正确的图像，判断整张第一宫格图的校验颜色序列与其对应的标准颜色序列的相似度，举例说明，若校验颜色序列与其对应的标准颜色序列的相似度为97％，则认为将校验颜色序列编辑为标准颜色序列对应的编辑距离为3％。
79.作为另一种可实现的方式，可通过颜色序列中图形对应的颜色的相同个数，对校验颜色序列与标准颜色序列进行对比，比如说，第一宫格图为九宫格图，校验颜色序列中的9个代表颜色的字母与标准颜色序列中对应的9个代表颜色的字母，按照顺序进行比较，有7个在其对应位置上是相同的，2个在其对应位置上是不同的，则认为需要将此2个改变颜色才能与标准颜色序列完全相同，即可认为将校验颜色序列编辑为标准颜色序列对应的编辑距离为2个。
80.s405，响应于编辑距离小于或者等于设定距离阈值，确定终端设备身份验证成功。
81.设置距离阈值，将上述获得的第一宫格图的编辑距离与距离阈值进行大小比较，若编辑距离小于或者等于设定距离阈值，则确定终端设备身份验证成功，即用户没有出现作弊行为。
82.作为一种可实现的方式，比如，若距离阈值设置为5％，而校验颜色序列与其对应的标准颜色序列的相似度为97％，即认为将校验颜色序列编辑与标准颜色序列对应的编辑距离为3％，而编辑距离3％小于距离阈值5％，则确定终端设备身份验证成功，即用户没有出现作弊行为。
83.作为另一种可实现的方式，若距离阈值设置为1个，而校验颜色序列与其对应的标准颜色序列颜色相异的个数为1个，即认为将校验颜色序列编辑与标准颜色序列对应的编辑距离为1个，而编辑距离1个等于距离阈值1个，则确定终端设备身份验证成功，即用户没有出现作弊行为。
84.s406，响应于编辑距离大于设定距离阈值，确定终端设备身份验证失败。
85.将上述获得的第一宫格图的编辑距离与距离阈值进行大小比较，若编辑距离大于设定距离阈值，确定终端设备身份验证失败，即用户可能出现待验证手机与进行拍摄的手机不一致的作弊行为。
86.作为一种可实现的方式，若距离阈值设置为5％，而校验颜色序列与其对应的标准颜色序列的相似度为92％，即认为将校验颜色序列编辑与标准颜色序列对应的编辑距离为8％，而编辑距离8％大于距离阈值5％，则确定终端设备身份验证失败，即用户可能出现待验证手机与进行拍摄的手机不一致的作弊行为。
87.作为另一种可实现的方式，若距离阈值设置为1个，而校验颜色序列与其对应的标准颜色序列颜色相异的个数为2个，即认为将校验颜色序列编辑与标准颜色序列对应的编辑距离为2个，而编辑距离2个大于距离阈值1个，则确定终端设备身份验证失败，即用户可能出现待验证手机与进行拍摄的手机不一致的作弊行为。
88.本技术实施例的实施方式中，根据第一宫格图中实心圆的颜色序列组合，可以表
明验证待验证手机的手机身份，并且利用颜色序列的编辑距离评价指标可以有效的权衡用户办理业务的通过率和对攻击的拒绝率。
89.图5为本技术提出的一种图像识别方法的一种示例性实施方式的示意图，如图5所示，该图像识别方法，还包括以下步骤：
90.s501，获取终端设备的第二校验图像，其中，第二校验图像中包括第二宫格图，第二宫格图中包括的任一个图形与第一宫格图中包括的任一个图形在位置上未重叠。
91.由于第一校验图像中的第一宫格图包含的每个图形对屏幕有遮挡，并不是空白屏幕，为了得到完整的没有宫格图的空白屏幕图像，需要用户站在镜子前拍摄两张显示有手机屏幕的图像。与获得第一宫格图的方法一致，服务器向终端设备发送验证信息，其中，验证信息可包括校验图像的生成参数，从而服务器端可获取终端设备的第二张用户站在镜子前拍摄的显示有手机屏幕的图像，作为第二校验图像，其中，第二校验图像中包括第二宫格图，第二宫格图中包括的任一个图形与第一宫格图中包括的任一个图形在位置上没有重叠部分。
92.以九宫格图为例，如图6所示，第二宫格图与第一宫格图生成的方式类似，且每个图形也都带有颜色信息。为了与第一宫格图的实心圆图形在位置上不发生重叠，可选地，其放置实心圆的坐标可为(1，1)，(1，3)，(1，5)，(1，3)，(3，3)，(5，3)，(1，5)，(3，5)，(5，5)。针对每个图形，获取包含整个图形的包络框，可选地，如图6所示，将9个实心圆按从左到右，从上到下的顺序排列，将第二宫格图中的9个包络框作为一批，以批的形式按照位置顺序输入颜色分类器中，进而高效快速的得到第二宫格图中各个实心圆的颜色信息，如图6所示，颜色分类器输出该第二宫格图的校验颜色序列为brgrbgggr。
93.s502，从第一校验图像中，提取未被第一宫格图中任一个图形占用的第一图像区域。
94.为了得到完整的没有宫格图的空白屏幕图像，从第一校验图像中，提取未被第一宫格图中任一个图形占用的区域，作为第一图像区域。
95.以上述第一校验图像得到的第一宫格图为九宫格图为例，将第一宫格图未被9个实心圆图形占用的空白区域提取出来，作为第一图像区域。
96.s503，从第二校验图像中，提取未被第二宫格图中任一个图形占用的第二图像区域。
97.同样的，为了得到完整的没有宫格图的空白屏幕图像，从第二校验图像中，提取未被第二宫格图中任一个图形占用的区域，作为第二图像区域。
98.以上述第二校验图像得到的第二宫格图为九宫格图为例，将第二宫格图未被9个实心圆图形占用的空白区域提取出来，作为第二图像区域。
99.s504，基于第一图像区域和第二图像区域，生成空白的屏幕图像区域。
100.根据上述获得的第一图像区域和第二图像区域，对其按照屏幕坐标位置进行拼接，获得完整的没有宫格图的空白的屏幕图像区域。
101.以上述第一宫格图对应的第一图像区域，第二宫格图对应的第二图像区域为例，对其按照屏幕坐标位置进行拼接，可获得完整的没有宫格图的空白的屏幕图像区域。
102.本技术实施例利用两个连续交错的宫格图，可以有效的还原出原始未带宫格图的屏幕图案，方便后续碎屏的检测。
103.图7为本技术提出的一种图像识别方法的一种示例性实施方式的示意图，如图7所示，基于上述实施例的基础上，基于第一图像区域和第二图像区域，生成空白的屏幕图像区域，包括以下步骤：
104.s701，从第一校验图像中，提取未被第一宫格图中任一个图形占用的第一图像区域。
105.关于步骤s701，上述实施例已做具体介绍，在此不再进行赘述。
106.s702，从第二校验图像中，提取未被第二宫格图中任一个图形占用的第二图像区域。
107.关于步骤s702，上述实施例已做具体介绍，在此不再进行赘述。
108.s703，从第二图像区域中提取第一宫格图占用的第一局部图像区域。
109.由于第一图像区域和第二图像区域存在相互重合的区域，不能对其直接进行拼接。作为一种可实现的方式，从第二图像区域中提取第一宫格图中每个图形占用的区域，作为第一局部图像区域。
110.s704，将第一局部图像区域与第一图像区域进行拼接，生成空白的屏幕图像区域。
111.将上述获得的从第二图像区域中提取第一宫格图中每个图形占用的区域，即第一局部图像区域，对其按照屏幕坐标位置拼接在第一宫格图中缺少此图形区域的第一图像区域上，从而生成空白的屏幕图像区域。
112.s705，从第一图像区域中提取第二宫格图占用的第二局部图像区域。
113.由于第一图像区域和第二图像区域存在相互重合的区域，不能对其直接进行拼接。作为另一种可实现的方式，从第一图像区域中提取第二宫格图中每个图形占用的区域，作为第二局部图像区域。
114.s706，将第二局部图像区域与第二图像区域进行拼接，生成空白的屏幕图像区域。
115.将上述获得的从第一图像区域中提取第二宫格图中每个图形占用的区域，即第二局部图像区域，对其按照屏幕坐标位置拼接在第二宫格图中缺少此图形区域的第二图像区域上，从而生成空白的屏幕图像区域。
116.本技术实施例利用两个连续交错的宫格图，可以有效的还原出原始未带宫格图的屏幕图案，方便后续碎屏的检测。
117.基于上述实施例的基础上，当需要获取待验证手机屏幕是否合规时，服务器向终端设备发送验证信息，其中，验证信息可包括校验图像的生成参数，可选地，校验图像可为宫格图的形式。服务器向终端设备发送验证信息后，可收到用户用手机前置摄像头对准镜子拍摄手机所发送回来的图像。
118.基于上述实施例的基础上，由于用户用手机前置摄像头对准镜子拍摄手机时，可能会出现故意遮挡碎裂区域的情况，从而在确定第一校验图像中的屏幕图像区域之后，需要对屏幕图像区域进行遮挡检测，若发现屏幕图像区域中存在遮挡物，则需要向终端设备发送重新校验的指示信息。比如说，若上述得到的空白的屏幕区域中出现不规则区域或者黑色区域，则可认为屏幕图像区域可能存在碎裂，则需要向终端设备发送重新校验的指示信息。终端设备基于该重新校验的指示信息，重新进行拍摄，并发送给服务器进行判别。
119.图8为本技术提出的一种图像识别方法的一种示例性实施方式的总流程图，如图8所示，该图像识别方法，包括以下步骤：
120.s801，向终端设备发送验证信息，其中，验证信息包括第一宫格图的生成参数。
121.s802，获取终端设备的第一校验图像，其中，第一校验图像包括终端设备的屏幕和屏幕内展示的第一宫格图，其中，第一宫格图中的每个宫格包括一个图形。
122.s803，对第一宫格图进行关键点检测，获取每个图形在第一校验图像的中心像素坐标。
123.s804，获取每个图形在屏幕上的屏幕坐标。
124.s805，基于中心像素坐标和对应的屏幕坐标进行仿射变换，确定第一校验图像中的屏幕图像区域。
125.关于步骤s802～s805，上述实施例已做具体介绍，在此不再进行赘述。
126.s806，获取终端设备的第二校验图像，其中，第二校验图像中包括第二宫格图，第二宫格图中包括的任一个图形与第一宫格图中包括的任一个图形在位置上未重叠。
127.s807，从第一校验图像中，提取未被第一宫格图中任一个图形占用的第一图像区域。
128.s808，从第二校验图像中，提取未被第二宫格图中任一个图形占用的第二图像区域。
129.s809，基于第一图像区域和第二图像区域，生成空白的屏幕图像区域。
130.关于步骤s806～s809，上述实施例已做具体介绍，在此不再进行赘述。
131.本技术提出了一种图像识别方法，通过获取终端设备的第一校验图像，其中，第一校验图像包括终端设备的屏幕和屏幕内展示的第一宫格图，第一宫格图中的每个宫格包括一个图形；对第一宫格图进行关键点检测，获取每个图形在第一校验图像的中心像素坐标；获取每个图形在屏幕上的屏幕坐标；基于中心像素坐标和对应的屏幕坐标进行仿射变换，确定第一校验图像中的屏幕图像区域。本技术利用宫格图的位置信息，基于中心像素坐标和对应的屏幕坐标进行仿射变换，利用两屏连续交错的宫格图，可以有效的还原出原始未带宫格图的屏幕图案，方便后续碎屏的检测。
132.图9为本技术提出的一种图像识别方法的一种示例性实施方式的示意图，如图9所示，该图像识别方法，包括以下步骤：
133.s901，采集终端设备的第一校验图像，其中，第一校验图像包括终端设备的屏幕和屏幕内展示的第一宫格图，第一宫格图中的每个宫格包括一个图形。
134.关于步骤s901，在步骤s101已做详细介绍，在此不再进行赘述。
135.s902，向服务器发送第一校验图像，以使服务器基于第一宫格图从第一校验图像中确定屏幕图像区域。
136.终端设备向服务器发送上述获得的第一校验图像，以使服务器基于第一宫格图从第一校验图像中确定屏幕图像区域。关于基于第一宫格图从第一校验图像中确定屏幕图像区域，具体方法上述实施例已做具体介绍，在此不再进行赘述。
137.本技术提出了一种图像识别方法，通过采集终端设备的第一校验图像，其中，第一校验图像包括终端设备的屏幕和屏幕内展示的第一宫格图，第一宫格图中的每个宫格包括一个图形；向服务器发送第一校验图像，以使服务器基于第一宫格图从第一校验图像中确定屏幕图像区域。本技术利用九宫格的位置信息，可以有效的还原出原始屏幕图像区域，方便后续碎屏的检测。
138.图10为本技术提出的一种图像识别方法的一种示例性实施方式的示意图，如图10所示，该图像识别方法，还包括以下步骤：
139.s1001，向服务器发送第二校验图像，以使服务器根据第一校验图像和第二校验图像生成空白的屏幕图像区域，其中，第二校验图像中包括第二宫格图，第二宫格图中包括的任一个图形与第一宫格图中包括的任一个图形在位置上未重叠。
140.由于第一校验图像中的第一宫格图的任一个图形对屏幕有遮挡区域，为了得到完整的没有宫格图的空白屏幕图像，需要用户站在镜子前拍摄两张显示有手机屏幕的图像。与获得第一宫格图的方法一致，服务器向终端设备发送验证信息后，终端设备向服务器发送第二校验图像，其中，验证信息可包括校验图像的生成参数，从而获取终端设备的第二张用户站在镜子前拍摄的显示有手机屏幕的图像，作为第二校验图像，其中，第二校验图像中包括第二宫格图，第二宫格图中包括的任一个图形与第一宫格图中包括的任一个图形在位置上没有重叠部分。
141.本技术实施例利用两屏连续交错的宫格图，可以有效的还原出原始未带宫格图的屏幕图案，方便后续碎屏的检测。
142.基于上述实施例的基础上，当需要获取待验证手机屏幕是否合规时，终端设备接收服务器向终端设备发送的验证信息，其中，验证信息可包括校验图像的生成参数，可选地，校验图像可为宫格图的形式。服务器向终端设备发送验证信息后，可收到用户用手机前置摄像头对准镜子拍摄手机所发送回来的图像。
143.基于上述实施例的基础上，若服务器在检测出屏幕图像区域中存在遮挡物时，终端设备接收服务器向终端设备发送的重新校验的指示信息，对待验证终端设备进行重新校验。比如说，若上述得到的空白的屏幕区域中出现不规则区域或者黑色区域，则可认为屏幕图像区域可能存在碎裂，则需要向终端设备发送重新校验的指示信息。终端设备基于该重新校验的指示信息，重新进行拍摄，并发送给服务器进行判别。
144.图11为本技术提出的一种图像识别方法的一种示例性实施方式的总流程图，如图11所示，该图像识别方法，包括以下步骤：
145.s1101，接收服务器发送验证信息，其中，验证信息包括第一宫格图的生成参数。
146.s1102，基于生成参数生成第一宫格图。
147.s1103，采集终端设备的第一校验图像，其中，第一校验图像包括终端设备的屏幕和屏幕内展示的第一宫格图，第一宫格图中的每个宫格包括一个图形。
148.s1104，向服务器发送第一校验图像，以使服务器基于第一宫格图从第一校验图像中确定屏幕图像区域。
149.关于步骤s1103～s1104，上述实施例已做具体介绍，在此不再进行赘述。
150.s1105，向服务器发送第二校验图像，以使服务器根据第一校验图像和第二校验图像生成空白的屏幕图像区域，其中，第二校验图像中包括第二宫格图，第二宫格图中包括的任一个图形与第一宫格图中包括的任一个图形在位置上未重叠。
151.本技术提出了一种图像识别方法，通过采集终端设备的第一校验图像，其中，第一校验图像包括终端设备的屏幕和屏幕内展示的第一宫格图，第一宫格图中的每个宫格包括一个图形；向服务器发送第一校验图像，以使服务器基于第一宫格图从第一校验图像中确定屏幕图像区域。本技术利用宫格图的位置信息，可以有效的还原出原始屏幕图像区域，方
便后续碎屏的检测。
152.图12为本技术提出的一种图像识别装置的示意图，如图12所示，该图像识别装置1200，包括校验图像获取模块1201、关键点检测模块1202、屏幕坐标获取模块1203和图像区域获取模块1204，其中：
153.校验图像获取模块1201，用于获取终端设备的第一校验图像，其中，第一校验图像包括终端设备的屏幕和屏幕内展示的第一宫格图，其中，第一宫格图中的每个宫格包括一个图形；
154.关键点检测模块1202，用于对第一宫格图进行关键点检测，获取每个图形在第一校验图像的中心像素坐标；
155.屏幕坐标获取模块1203，用于获取每个图形在屏幕上的屏幕坐标；
156.图像区域获取模块1204，用于基于中心像素坐标和对应的屏幕坐标进行仿射变换，确定第一校验图像中的屏幕图像区域。
157.进一步地，图像区域获取模块1204，还用于：对屏幕图像区域进行遮挡检测，响应于屏幕图像区域中存在遮挡物，则向终端设备发送重新校验的指示信息。
158.进一步地，关键点检测模块1202，还包括：包络框获取模块1205，用于针对每个图形，获取包含整个图形的包络框；位置顺序获取模块1206，用于确定第一宫格图中的所有图形在第一宫格图中的位置顺序；颜色序列获取模块1207，用于将每个包络框按照位置顺序输入颜色分类器中，确定第一宫格图对应的校验颜色序列；身份验证模块1208，用于基于校验颜色序列和标准颜色序列，对终端设备进行身份验证。
159.进一步地，身份验证模块1208，还用于：获取将校验颜色序列编辑为标准颜色序列对应的编辑距离；响应于编辑距离小于或者等于设定距离阈值，确定终端设备身份验证成功；响应于编辑距离大于设定距离阈值，确定终端设备身份验证失败。
160.进一步地，包络框获取模块1205，还用于：以图形的中心坐标为基础点向外扩散设定距离，生成包络框。
161.进一步地，该图像识别装置1200，还用于：获取终端设备的第二校验图像，其中，第二校验图像中包括第二宫格图，第二宫格图中包括的任一个图形与第一宫格图中包括的任一个图形在位置上未重叠；从第一校验图像中，提取未被第一宫格图中任一个图形占用的第一图像区域；从第二校验图像中，提取未被第二宫格图中任一个图形占用的第二图像区域；基于第一图像区域和第二图像区域，生成空白的屏幕图像区域。
162.进一步地，该图像识别装置1200，还用于：从第二图像区域中提取第一宫格图占用的第一局部图像区域；将第一局部图像区域与第一图像区域进行拼接，生成空白的屏幕图像区域；或者，从第一图像区域中提取第二宫格图占用的第二局部图像区域；将第二局部图像区域与第二图像区域进行拼接，生成空白的屏幕图像区域。
163.进一步地，校验图像获取模块1201，还用于：向终端设备发送验证信息，其中，验证信息包括第一宫格图的生成参数。
164.图13为本技术提出的另一种图像识别装置的示意图，如图13所示，该图像识别装置1300，包括第一校验图像获取模块1301与屏幕图像区域确定模块1302，其中：
165.第一校验图像获取模块1301，用于采集终端设备的第一校验图像，其中，第一校验图像包括终端设备的屏幕和屏幕内展示的第一宫格图，其中，第一宫格图中的每个宫格包
括一个图形；
166.屏幕图像区域确定模块1302，用于向服务器发送第一校验图像，以使服务器基于第一宫格图从第一校验图像中确定屏幕图像区域。
167.进一步地，该图像识别装置1300，还用于：接收服务器发送的重新校验的指示信息，其中，指示信息由服务器在检测出屏幕图像区域中存在遮挡物时发送的。
168.进一步地，该图像识别装置1300，还用于：向服务器发送第二校验图像，以使服务器根据第一校验图像和第二校验图像生成空白的屏幕图像区域，其中，第二校验图像中包括第二宫格图，第二宫格图中包括的任一个图形与第一宫格图中包括的任一个图形在位置上未重叠。
169.进一步地，第一校验图像获取模块1301之前，还包括：接收服务器发送验证信息，其中，验证信息包括第一宫格图的生成参数；基于生成参数生成第一宫格图。
170.为了实现上述实施例，本技术实施例还提出一种电子设备1400，如图14所示，该电子设备1400包括：处理器1401和处理器通信连接的存储器1402，存储器1402存储有可被至少一个处理器执行的指令，指令被至少一个处理器1401执行，以实现如本技术第一方面实施例的图像识别方法和第二方面实施例的图像识别方法。
171.为了实现上述实施例，本技术实施例还提出一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机实现如本技术第一方面实施例的图像识别方法和第二方面实施例的图像识别方法。
172.为了实现上述实施例，本技术实施例还提出一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本技术第一方面实施例的图像识别方法和第二方面实施例的图像识别方法。
173.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
174.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
175.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
176.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述
实施例进行变化、修改、替换和变型。