基于TaPas模型的数据处理方法、系统和存储介质与流程

技术特征：
1.一种基于tapas模型的数据处理方法，其特征在于，包括：获取预设的表格描述和表格数据中的每一行数据对应的n-gram覆盖率；根据所述n-gram覆盖率对所述表格数据进行筛选处理，确定所述表格数据中的若干行数据为关联行数据，其中，所述关联行数据表征与所述表格描述关联的行数据；将所述关联行数据与所述表格描述输入到预设的tapas模型中进行数据匹配处理，得到输出数据，其中，所述输出数据表征所述表格描述和所述关联行数据之间的关联数据。2.根据权利要求1所述的基于tapas模型的数据处理方法，其特征在于，所述tapas模型包括编码层，所述将所述关联行数据与所述表格描述输入到预设的tapas模型中进行数据匹配处理，包括：将所述关联行数据与所述表格描述输入到预设的tapas模型中，并通过所述tapas模型对所述关联行数据与所述表格描述进行拼接处理，得到拼接数据；将所述拼接数据输入到所述tapas模型中的所述编码层；通过所述编码层对所述拼接数据进行编码处理，得到编码数据，其中，所述编码数据包括词编码数据、位置编码数据、片段编码数据、行编码数据、列编码数据和序列编码数据中的至少一种。3.根据权利要求2所述的基于tapas模型的数据处理方法，其特征在于，所述tapas模型还包括自注意力层，在所述通过所述编码层对所述拼接数据进行编码处理，得到编码数据之后，所述方法还包括：将所述编码数据输入到所述tapas模型中的所述自注意力层；通过所述自注意力层对所述编码数据进行训练，得到所述表格描述和每一关联单元格数据对应的索引数据，其中，所述关联单元格数据表征与所述表格描述关联的单元格数据。4.根据权利要求3所述的基于tapas模型的数据处理方法，其特征在于，所述索引数据包括行索引和列索引，在所述通过所述自注意力层对所述编码数据进行训练，得到所述表格描述和每一关联单元格数据对应的索引数据之后，所述方法还包括：根据预设规则对所述表格描述进行提取处理，得到第一候选单元格，其中，所述预设规则包括如下之一：从所述表格描述中提取表格列标题和所述行索引，将具有相同的所述行索引和所述列索引对应的关联单元格数据确定为所述第一候选单元格；从所述表格描述中提取表格列标题，将所述表格列标题对应的关联单元格数据中的列单元格确定为所述第一候选单元格；从所述表格描述中提取所述行索引，将具有相同的所述行索引对应的关联单元格数据中的行单元格确定为所述第一候选单元格。5.根据权利要求4所述的基于tapas模型的数据处理方法，其特征在于，所述tapas模型还包括至少两个依次连接的线性分类层，在所述根据预设规则对所述表格描述进行提取处理，得到第一候选单元格之后，所述方法还包括：获取所述第一候选单元格中每一列单元格对应的第一平均向量值；将所述第一候选单元格和所述第一平均向量值输入到所述tapas模型中的所述线性分类层，得到第二候选单元格、所述第二候选单元格对应的单元格概率、所述第二候选单元格对应的聚合操作符和所述聚合操作符对应的操作符概率。
6.根据权利要求5所述的基于tapas模型的数据处理方法，其特征在于，所述第二候选单元格由以下步骤得到：通过所述线性分类层对所述第一平均向量值进行线性处理，得到所述列单元格对应的第一对数几率值；根据所述第一对数几率值，从所述列单元格中筛选得到候选列单元格，其中，所述候选列单元格对应的所述第一对数几率值大于第一预设阈值；通过所述线性分类层对所述候选列单元格中的每个字数据进行线性处理，得到所述候选列单元格中的所述每个字数据对应的第二对数几率值；根据所述候选列单元格中的所述每个字数据对应的所述第二对数几率值，计算得到所述候选列单元格对应的第二平均向量值；将所述第二平均向量值更新为所述候选列单元格对应的所述第一对数几率值；根据更新后的所述第一对数几率值，从所述候选列单元格中筛选得到所述第二候选单元格，其中，所述第二候选单元格对应的更新后的所述第一对数几率值大于第二预设阈值。7.根据权利要求5或6所述的基于tapas模型的数据处理方法，其特征在于，所述得到输出数据，包括：根据所述第二候选单元格对应的聚合操作符，对所述第二候选单元格对应的数值、所述第二候选单元格对应的单元格概率和所述聚合操作符对应的操作符概率进行融合计算，得到融合计算数据；确定所述融合计算数据对应的所述输出数据。8.一种基于tapas模型的数据处理系统，其特征在于，包括：获取模块，用于获取预设的表格描述和表格数据中的每一行数据对应的n-gram覆盖率；筛选模块，用于根据所述n-gram覆盖率对所述表格数据进行筛选处理，确定所述表格数据中的若干行数据为关联行数据，其中，所述关联行数据表征与所述表格描述关联的行数据；输出模块，用于将所述关联行数据与所述表格描述输入到预设的tapas模型中进行数据匹配处理，得到输出数据，其中，所述输出数据表征所述表格描述和所述关联行数据之间的关联数据。9.一种基于tapas模型的数据处理系统，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于tapas模型的数据处理方法。10.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至7中任意一项所述的基于tapas模型的数据处理方法。

技术总结
本发明公开了一种基于TaPas模型的数据处理方法、系统和存储介质，可广泛应用于人工智能技术领域；本发明的基于TaPas模型的数据处理方法包括：获取预设的表格描述和表格数据中的每一行数据对应的n-gram覆盖率；根据所述n-gram覆盖率对所述表格数据进行筛选处理，确定所述表格数据中的若干行数据为关联行数据，其中，所述关联行数据表征与所述表格描述关联的行数据；将所述关联行数据与所述表格描述输入到预设的TaPas模型中进行数据匹配处理，得到输出数据，其中，所述输出数据表征所述表格描述和所述关联行数据之间的关联数据，本发明能够有效避免表格数据中重要信息的丢失，提高输出结果的准确率。出结果的准确率。出结果的准确率。


技术研发人员：金美芝
受保护的技术使用者：中国平安人寿保险股份有限公司
技术研发日：2021.12.15
技术公布日：2022/3/21