一种卡片式文件图像识别方法和装置与流程

技术特征：
1.一种卡片式文件图像识别方法，其中包括：对目标卡片式文件图像进行文字识别，以得到文件字符集合，其中，所述字符包括文字、数字、标点符号和特殊符号中的一种或多种；对目标卡片式文件图像进行图像处理，至少得到每个字符的图像特征；对所述文件字符集合中的字符按语义进行抽取，至少根据语义特征和字符的图像特征对文件字符集合中的字符进行合并和/或拆分以得到多个类别的字段内容；以及生成包括所述多个类别字段内容的文件识别文本。2.根据权利要求1所述的卡片式文件图像识别方法，其中当所述目标卡片式文件为名片时，对所述目标卡片式文件图像进行图像处理时进一步包括：识别第一字符前的图像区域；响应于在第一字符前识别到标志图像，建立所述第一字符与所述标志图像的对应关系；提取所述标志图像的图像特征以确定与其对应的类别；以及在根据语义特征和字符的图像特征对文件字符集合中的字符进行合并和/或拆分时，根据第一字符所在字符集的语义特征和对应的标志图像确定所述第一字符所在字符集的类别。3.根据权利要求1所述的卡片式文件图像识别方法，其中当所述目标卡片式文件为名片或具有标准参数项的证件时，在对所述文件字符集合中的字符按语义进行抽取时进一步包括：对所述文件字符集合中的字符按语义进行预分割以得到多个分词集合；根据语义特征和字符的图像特征识别所述多个分词集合中的标志字符，其中所述标志字符至少包括代表类别的文字；以及响应于识别到标志字符，在根据语义特征和字符的图像特征对文件字符集合中的字符进行合并和/或拆分时，将标志字符后与其语义相符的字符集确定为所述标志字符代表的类别。4.根据权利要求1所述的卡片式文件图像识别方法，其中还进一步包括：将待识别的卡片式文件图像矫正为正向的目标卡片式文件图像。5.根据权利要求4所述的卡片式文件图像识别方法，其中进一步包括：从原始待识别的卡片式文件图像中获取有效图像区域；识别所述有效图像区域的至少四个顶点；将所述至少四个顶点映射到一个正向卡片式文件的四个顶点，从而得到映射矩阵，其中，所述正向卡片式文件与所述原始待识别的卡片式文件为同一规格文件；以及根据所述映射矩阵对所述待识别的卡片式文件图像的有效图像区域进行图像透视变换，以得到正向目标卡片式文件图像。6.根据权利要求4所述的卡片式文件图像识别方法，其中进一步包括：从原始待识别的卡片式文件图像中获取有效图像区域；在所述有效图像区域中预测出预置位置的关键点；获取与原始待识别的卡片式文件类型相同的标准正向图像中的对应标准关键点；根据标准关键点及预测的关键点构造变换矩阵；以及
根据所述第一变换矩阵对所述原始待识别的卡片式文件的有效图像区域进行透视变换以获得正向目标卡片式文件图像。7.根据权利要求6所述的卡片式文件图像识别方法，其中所述预置位置的关键点为：包括有效图像区域的顶点、四个边的中点、两个对角线的交点和对角线交点与四个顶点之间的中点中的任意四个以上的第一关键点；和/或任意四个以上的对应标准参数项位置的第二关键点；和/或任意四个以上人物头像所在矩形框上的第三关键点；对应地，所述变换矩阵为根据第一关键点、第二关键点和第三关键点中的任意一种或多种组合及其对应的标准关键点得到的变换矩阵。8.根据权利要求6所述的卡片式文件图像识别方法，其中通过cpn模型预测所述关键点。9.根据权利要求5或6所述的卡片式文件图像识别方法，其中通过采用yolo模型从原始待识别的卡片式文件图像中检测出有效图像区域。10.根据权利要求1所述的卡片式文件图像识别方法，其中还进一步包括：按照预置格式对所述多个类别字段内容进行排版以生成所述文件识别文本。11.一种卡片式文件图像识别装置，其中包括：字符识别模块，经配置以对目标卡片式文件图像进行文字识别，以得到文件字符集合；图像特征提取模块，经配置以对目标卡片式文件图像进行图像处理，至少得到每个字符的图像特征；语义抽取模块，其与所述字符识别模块和所述图像特征提取模块相连接，经配置以对所述文件字符集合中的字符进行语义抽取时，至少根据语义特征和字符的图像特征对字符集合中的字符进行合并和/或拆分以得到多个类别的字段内容；以及版式模块，其与所述语义抽取模块相连接，经配置以按照预置格式对多个类别字段内容进行排版以生成包括所述多个类别字段内容的文件识别文本。12.根据权利要求11所述的卡片式文件图像识别装置，其中所述图像特征提取模块包括：图像提取单元，经配置以从目标卡片式文件图像中提取出字符图像区域和字符前的标志图像区域；字符图像特征提取单元，其与所述图像提取单元相连接，经配置从所述字符图像区域中提取出每个字符的图像特征；标志图像特征提取单元，其与所述图像提取单元相连接，经配置以提取标志图像区域的图像特征；以及标志图像类别确定单元，其与所述标志图像特征提取单元相连接，经配置以在识别到标志图像时确定与其对应的类别。13.根据权利要求12所述的卡片式文件图像识别装置，其中所述语义抽取模块包括：语义预分割单元，经配置以对所述文件字符集合中的字符按语义特征进行预分割以得到多个分词集合；以及分类单元，其与所述语义分割单元、字符图像特征提取单元和标志图像类别确定单元相连接，经配置以按照预置类别，根据分词集合中字符的语义特征和字符图像特征对所述多个分词集合进行合并和/或拆分以得到对应类别字段内容；或者根据分词集合中字符的
语义特征、字符图像特征和标志图像对所述多个分词集合进行合并和/或拆分以得到对应类别字段内容。14.根据权利要求13所述的卡片式文件图像识别装置，其中所述语义抽取模块还包括：标志字符识别单元，其与所述语义分割单元相连接，经配置以识别所述多个分词集合中是否包含标志字符；对应地，所述分类单元与所述标志字符识别单元相连接，根据分词集合中字符的语义特征、字符图像特征和对应标志字符对所述多个分词集合进行合并和/或拆分以得到对应类别字段内容。15.根据权利要求11所述的卡片式文件图像识别装置，其中还包括图像矫正模块，经配置以将原始待识别的卡片式文件图像矫正为正向的目标卡片式文件图像。16.根据权利要求15所述的卡片式文件图像识别装置，其中所述图像矫正模块包括：图像预处理模块，经配置以从原始待识别的卡片式文件图像中获取有效图像区域；关键点预测模块，其与所述图像预处理模块相连接，经配置在所述有效图像区域中预测出预置位置的关键点；矩阵计算模块，其与所述关键点预测模块相连接，经配置以根据预测出的关键点和标准图片中的对应标准关键点进行映射计算以构造变换矩阵；以及变换模块，其分别与所述图像预处理模块和矩阵计算模块相连接，经配置以根据所述变换矩阵对所述原始待识别的卡片式文件的有效图像区域进行透视变换以获得正向的目标卡片式文件图像。17.根据权利要求16所述的卡片式文件图像识别装置，其中所述关键点预测模块包括多个分别预测以下关键点的cpn模型：包括有效图像区域的顶点、四个边的中点、两个对角线的交点和对角线交点与四个顶点之间的中点中的任意四个以上的第一关键点；和/或任意四个以上的对应标准参数项位置的第二关键点；和/或任意四个以上人物头像所在矩形框上的第三关键点；对应地，所述变换模块根据第一关键点、第二关键点和第三关键点中的任意一种或多种组合及其对应的标准关键点得到的变换矩阵。

技术总结
本发明涉及一种卡片式文件图像识别方法和装置，所述方法包括：对目标卡片式文件图像进行文字识别，以得到文件字符集合，其中，所述字符包括文字、数字和符号中的一种或多种；对目标卡片式文件图像进行图像处理，至少得到每个字符的图像特征；对所述文件字符集合中的字符按语义进行抽取，至少根据语义特征和字符的图像特征对文件字符集合中的字符进行合并和/或拆分以得到多个类别的字段内容；以及生成包括所述多个类别的字段内容的文件识别文本。本发明采用多种辅助方式能够更加准确地识别出卡片式文件图像中的文字、数字、字符，并且能够从识别出的文本中抽取出类别，使得本发明的应用范围更加广泛。用范围更加广泛。用范围更加广泛。


技术研发人员：吴静垠 俞希林
受保护的技术使用者：前锦网络信息技术（上海）有限公司
技术研发日：2021.10.20
技术公布日：2022/1/4