图像识别方法及其装置与流程

技术特征：
1.一种图像识别方法，其特征在于，包括：获取终端设备的第一校验图像，其中，所述第一校验图像包括所述终端设备的屏幕和所述屏幕内展示的第一宫格图，其中，所述第一宫格图中的每个宫格包括一个图形；对所述第一宫格图进行关键点检测，获取每个所述图形在所述第一校验图像的中心像素坐标；获取每个所述图形在所述屏幕上的屏幕坐标；基于所述中心像素坐标和对应的所述屏幕坐标进行仿射变换，确定所述第一校验图像中的屏幕图像区域。2.根据权利要求1所述的方法，其特征在于，所述确定所述第一校验图像中的屏幕图像区域之后，还包括：对所述屏幕图像区域进行遮挡检测，响应于所述屏幕图像区域中存在遮挡物，则向所述终端设备发送重新校验的指示信息。3.根据权利要求1所述的方法，其特征在于，所述每个图形为携带颜色的图形，所述获取每个所述图形在所述第一校验图像的中心像素坐标之后，还包括：针对每个所述图形，获取包含整个所述图形的包络框；确定所述第一宫格图中的所有图形在所述第一宫格图中的位置顺序；将每个所述包络框按照所述位置顺序输入颜色分类器中，确定所述第一宫格图对应的校验颜色序列；基于所述校验颜色序列和标准颜色序列，对所述终端设备进行身份验证。4.根据权利要求3所述的方法，其特征在于，所述基于所述校验颜色序列和标准颜色序列，对所述终端设备进行身份验证，包括：获取将所述校验颜色序列编辑为所述标准颜色序列对应的编辑距离；响应于所述编辑距离小于或者等于设定距离阈值，确定所述终端设备身份验证成功；响应于所述编辑距离大于所述设定距离阈值，确定所述终端设备身份验证失败。5.根据权利要求3所述的方法，其特征在于，所述获取包含整个所述图形的包络框，包括：以所述图形的中心坐标为基础点向外扩散设定距离，生成所述包络框。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，还包括：获取所述终端设备的第二校验图像，其中，所述第二校验图像中包括第二宫格图，所述第二宫格图中包括的任一个图形与所述第一宫格图中包括的任一个图形在位置上未重叠；从所述第一校验图像中，提取未被所述第一宫格图中任一个图形占用的第一图像区域；从所述第二校验图像中，提取未被所述第二宫格图中任一个图形占用的第二图像区域；基于所述第一图像区域和所述第二图像区域，生成空白的屏幕图像区域。7.根据权利要求6所述的方法，其特征在于，所述基于所述第一图像区域和所述第二图像区域，生成空白的屏幕图像区域，包括：从所述第二图像区域中提取所述第一宫格图占用的第一局部图像区域；将所述第一局部图像区域与所述第一图像区域进行拼接，生成所述空白的屏幕图像区
域；或者，从所述第一图像区域中提取所述第二宫格图占用的第二局部图像区域；将所述第二局部图像区域与所述第二图像区域进行拼接，生成所述空白的屏幕图像区域。8.根据权利要求1所述的方法，其特征在于，所述获取终端设备的第一校验图像，还包括：向所述终端设备发送验证信息，其中，所述验证信息包括所述第一宫格图的生成参数。9.一种图像识别方法，其特征在于，包括：采集终端设备的第一校验图像，其中，所述第一校验图像包括所述终端设备的屏幕和所述屏幕内展示的第一宫格图，其中，所述第一宫格图中的每个宫格包括一个图形；向服务器发送所述第一校验图像，以使所述服务器基于所述第一宫格图从所述第一校验图像中确定屏幕图像区域。10.根据权利要求9所述的方法，其特征在于，还包括：接收所述服务器发送的重新校验的指示信息，其中，所述指示信息由所述服务器在检测出所述屏幕图像区域中存在遮挡物时发送的。11.根据权利要求9所述的方法，其特征在于，还包括：向所述服务器发送第二校验图像，以使所述服务器根据所述第一校验图像和所述第二校验图像生成空白的屏幕图像区域，其中，所述第二校验图像中包括第二宫格图，所述第二宫格图中包括的任一个图形与所述第一宫格图中包括的任一个图形在位置上未重叠。12.根据权利要求9
‑
11任一项所述的方法，其特征在于，所述采集终端设备的第一校验图像之前，还包括：接收所述服务器发送验证信息，其中，所述验证信息包括所述第一宫格图的生成参数；基于所述生成参数生成所述第一宫格图。13.一种图像识别装置，其特征在于，包括：校验图像获取模块，用于获取终端设备的第一校验图像，其中，所述第一校验图像包括所述终端设备的屏幕和所述屏幕内展示的第一宫格图，其中，所述第一宫格图中的每个宫格包括一个图形；关键点检测模块，用于对所述第一宫格图进行关键点检测，获取每个所述图形在所述第一校验图像的中心像素坐标；屏幕坐标获取模块，用于获取每个所述图形在所述屏幕上的屏幕坐标；图像区域获取模块，用于基于所述中心像素坐标和对应的所述屏幕坐标进行仿射变换，确定所述第一校验图像中的屏幕图像区域。14.根据权利要求13所述的装置，其特征在于，所述图像区域获取模块，还用于：对所述屏幕图像区域进行遮挡检测，响应于所述屏幕图像区域中存在遮挡物，则向所述终端设备发送重新校验的指示信息。15.根据权利要求13所述的装置，其特征在于，所述关键点检测模块，还包括：包络框获取模块，用于针对每个所述图形，获取包含整个所述图形的包络框；位置顺序获取模块，用于确定所述第一宫格图中的所有图形在所述第一宫格图中的位置顺序；
颜色序列获取模块，用于将每个所述包络框按照所述位置顺序输入颜色分类器中，确定所述第一宫格图对应的校验颜色序列；身份验证模块，用于基于所述校验颜色序列和标准颜色序列，对所述终端设备进行身份验证。16.根据权利要求15所述的装置，其特征在于，所述身份验证模块，还用于：获取将所述校验颜色序列编辑为所述标准颜色序列对应的编辑距离；响应于所述编辑距离小于或者等于设定距离阈值，确定所述终端设备身份验证成功；响应于所述编辑距离大于所述设定距离阈值，确定所述终端设备身份验证失败。17.根据权利要求15所述的装置，其特征在于，所述包络框获取模块，还用于：以所述图形的中心坐标为基础点向外扩散设定距离，生成所述包络框。18.根据权利要求13
‑
17任一项所述的装置，其特征在于，还用于：获取所述终端设备的第二校验图像，其中，所述第二校验图像中包括第二宫格图，所述第二宫格图中包括的任一个图形与所述第一宫格图中包括的任一个图形在位置上未重叠；从所述第一校验图像中，提取未被所述第一宫格图中任一个图形占用的第一图像区域；从所述第二校验图像中，提取未被所述第二宫格图中任一个图形占用的第二图像区域；基于所述第一图像区域和所述第二图像区域，生成空白的屏幕图像区域。19.根据权利要求18所述的装置，其特征在于，还用于：从所述第二图像区域中提取所述第一宫格图占用的第一局部图像区域；将所述第一局部图像区域与所述第一图像区域进行拼接，生成所述空白的屏幕图像区域；或者，从所述第一图像区域中提取所述第二宫格图占用的第二局部图像区域；将所述第二局部图像区域与所述第二图像区域进行拼接，生成所述空白的屏幕图像区域。20.根据权利要求13所述的装置，其特征在于，所述校验图像获取模块，还用于：向所述终端设备发送验证信息，其中，所述验证信息包括所述第一宫格图的生成参数。21.一种图像识别装置，其特征在于，包括：第一校验图像获取模块，用于采集终端设备的第一校验图像，其中，所述第一校验图像包括所述终端设备的屏幕和所述屏幕内展示的第一宫格图，其中，所述第一宫格图中的每个宫格包括一个图形；屏幕图像区域确定模块，用于向服务器发送所述第一校验图像，以使所述服务器基于所述第一宫格图从所述第一校验图像中确定屏幕图像区域。22.根据权利要求21所述的装置，其特征在于，还用于：接收所述服务器发送的重新校验的指示信息，其中，所述指示信息由所述服务器在检测出所述屏幕图像区域中存在遮挡物时发送的。23.根据权利要求21所述的装置，其特征在于，还用于：向所述服务器发送第二校验图像，以使所述服务器根据所述第一校验图像和所述第二校验图像生成空白的屏幕图像区域，其中，所述第二校验图像中包括第二宫格图，所述第二
宫格图中包括的任一个图形与所述第一宫格图中包括的任一个图形在位置上未重叠。24.根据权利要求21
‑
23任一项所述的装置，其特征在于，所述第一校验图像获取模块，还用于：接收所述服务器发送验证信息，其中，所述验证信息包括所述第一宫格图的生成参数；基于所述生成参数生成所述第一宫格图。25.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1
‑
8中任一项所述的方法或者权利要求9
‑
12中任一项所述的方法。26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1
‑
8中任一项所述的方法或者权利要求9
‑
12中任一项所述的方法。27.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1
‑
8中任一项所述的方法或者权利要求9
‑
12中任一项所述的方法。

技术总结
本公开提出了一种图像识别方法及其装置，涉及终端设备领域，通过获取终端设备的第一校验图像，其中，第一校验图像包括终端设备的屏幕和屏幕内展示的第一宫格图，第一宫格图中的每个宫格包括一个图形；对第一宫格图进行关键点检测，获取每个图形在第一校验图像的中心像素坐标；获取每个图形在屏幕上的屏幕坐标；基于中心像素坐标和对应的屏幕坐标进行仿射变换，确定第一校验图像中的屏幕图像区域。本申请利用宫格图的位置信息，基于中心像素坐标和对应的屏幕坐标进行仿射变换，可以有效的还原出原始屏幕图像区域，进而判断屏幕的边界和完整性，另外通过交错的两个宫格图可以获取纯白的屏幕背景，方便后续碎屏的检测。方便后续碎屏的检测。方便后续碎屏的检测。


技术研发人员：吴大江 裴积全 孔爱祥 曹俊豪 曲笑宇 张凡
受保护的技术使用者：京东数科海益信息科技有限公司
技术研发日：2021.07.27
技术公布日：2021/10/23