基于人工智能的表格图片内容提取方法、装置及设备与流程

技术特征：
1.一种基于人工智能的表格图片内容提取方法，其特征在于，包括：响应于表格解析指令，获取与所述表格解析指令相应的待识别表格图片；通过光学字符识别模型获取所述待识别表格图片的初始边框集合；获取预先训练的边框内容类型分类模型，将所述初始边框集合中各边框输入至所述边框内容类型分类模型进行运算，得到各边框相应的边框分类标签；获取预先训练的边框行列关系识别模型，将所述初始边框集合中各边框均输入至所述边框行列关系识别模型进行运算，得到所述初始边框集合相应的边框行列关系输出矩阵；以及由各边框的属性数据、边框分类标签及与所述边框行列关系输出矩阵相应的边框行列关系组成所述初始边框集合中各边框的边框信息结构体。2.根据权利要求1所述的基于人工智能的表格图片内容提取方法，其特征在于，所述获取与所述表格解析指令相应的待识别表格图片，包括：获取所述待识别表格图片的旋转角度，根据所述旋转角度将所述待识别表格图片调整为水平向的待识别表格图片以更新所述待识别表格图片。3.根据权利要求1所述的基于人工智能的表格图片内容提取方法，其特征在于，所述边框内容类型分类模型为xgboost模型；所述获取预先训练的边框内容类型分类模型，将所述初始边框集合中各边框输入至所述边框内容类型分类模型进行运算，得到各边框相应的边框分类标签，包括：获取边框的属性数据，将由边框的属性数据中获取的识别文本、边框竖边长、边框横边长、相邻边框总个数；将所述边框的识别文本、边框竖边长、边框横边长、相邻边框总个数输入至所述xgboost模型进行分类决策，得到所述边框相应的边框分类标签。4.根据权利要求1所述的基于人工智能的表格图片内容提取方法，其特征在于，所述边框内容类型分类模型为深度学习模型；所述获取预先训练的边框内容类型分类模型，将所述初始边框集合中各边框输入至所述边框内容类型分类模型进行运算，得到各边框相应的边框分类标签，包括：获取所述边框的属性数据中的边框顶点坐标集合，通过所述边框顶点坐标集合获取所述边框的左上角顶点坐标和边框中心点坐标；将所述左上角顶点坐标和所述边框中心点坐标进行归一化处理，得到归一化左上角顶点坐标和归一化边框中心点坐标，由归一化左上角顶点坐标和归一化边框中心点坐标组成所述边框的位置嵌入向量；获取所述边框的属性数据中的识别文本，通过将所述识别文本进行词向量转换，得到文本嵌入向量；将所述文本嵌入向量和所述位置嵌入向量组合并输入至预先训练的深度学习模型，得到边框分类标签。5.根据权利要求1所述的基于人工智能的表格图片内容提取方法，其特征在于，所述将所述初始边框集合中各边框均输入至所述边框行列关系识别模型进行运算，得到所述初始边框集合相应的边框行列关系输出矩阵，包括：将所述初始边框集合中各边框的属性向量输入至所述边框行列关系识别模型中的
layoutlm模型进行运算，得到各边框的预测向量，按列向量模式组成预测向量组合向量；将所述预测向量组合向量左乘所述边框行列关系识别模型中的第一预设矩阵，得到第一输出矩阵；其中，所述第一预设矩阵为维矩阵，在维矩阵中每一行有两个元素为1且其余元素为0；所述第一输出矩阵为两个元素为1且其余元素为0；所述第一输出矩阵为维矩阵，len(b)表示所述初始边框集合中边框的预测向量的维度，n的取值为所述初始边框集合中边框的总个数；将所述第一输出矩阵输入至所述边框行列关系识别模型中的全连接层进行运算，得到边框行列关系识别向量并转换等价矩阵得到边框行列关系输出矩阵。6.根据权利要求1所述的基于人工智能的表格图片内容提取方法，其特征在于，所述由各边框的属性数据、边框分类标签及与所述边框行列关系输出矩阵相应的边框行列关系组成所述初始边框集合中各边框的边框信息结构体，包括：解析所述初始边框集合中各边框的属性数据得到各边框的边框顶点坐标集合和识别文本，解析所述边框行列关系输出矩阵得到各边框的同行边框索引列表及边框的同列边框索引列表；由各边框相应的边框顶点坐标集合、识别文本、边框分类标签、边框的同行边框索引列表及边框的同列边框索引列表组成所述初始边框集合中各边框的边框信息结构体。7.根据权利要求1所述的基于人工智能的表格图片内容提取方法，其特征在于，所述由各边框的属性数据、边框分类标签及与所述边框行列关系输出矩阵相应的边框行列关系组成所述初始边框集合中各边框的边框信息结构体之后，还包括：将各边框的边框信息结构体进行组合得到综合结构体，将所述综合结构体进行存储。8.一种基于人工智能的表格图片内容提取装置，其特征在于，包括：待识别表格图片获取单元，用于响应于表格解析指令，获取与所述表格解析指令相应的待识别表格图片；初始边框集合获取单元，用于通过光学字符识别模型获取所述待识别表格图片的初始边框集合；边框分类获取单元，用于获取预先训练的边框内容类型分类模型，将所述初始边框集合中各边框输入至所述边框内容类型分类模型进行运算，得到各边框相应的边框分类标签；行列关系获取单元，用于获取预先训练的边框行列关系识别模型，将所述初始边框集合中各边框均输入至所述边框行列关系识别模型进行运算，得到所述初始边框集合相应的边框行列关系输出矩阵；以及结构体信息存储单元，用于由各边框的属性数据、边框分类标签及与所述边框行列关系输出矩阵相应的边框行列关系组成所述初始边框集合中各边框的边框信息结构体。9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于人工智能的表格图片内容提取方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于人工智能的表格图片内容提取方法。

技术总结
本发明涉及人工智能，提供了基于人工智能的表格图片内容提取方法、装置、设备及介质，先基于边框内容类型分类模型获取边框分类标签，且基于边框行列关系识别模型获取边框行列关系输出矩阵，解析初始边框集合中各边框的属性数据、各边框相应的边框分类标签及所述边框行列关系输出矩阵，得到各边框的边框顶点坐标集合、识别文本、边框分类标签、边框的同行边框索引列表及边框的同列边框索引列表，组成各边框的边框信息结构体并存储。实现了智能结构化表格图片信息，且实现了全文档信息结构化，识别数据更多维度且更加高效。数据更多维度且更加高效。数据更多维度且更加高效。


技术研发人员：刘东煜 曾增烽
受保护的技术使用者：中国平安人寿保险股份有限公司
技术研发日：2021.09.30
技术公布日：2022/1/3