键值匹配方法、装置、可读介质及电子设备与流程

技术特征：
1.一种键值匹配方法，其特征在于，所述方法包括：获取待检测图像，所述待检测图像包括至少一个属性数据和至少一个属性值数据；将所述待检测图像输入预设键值匹配模型，以使所述预设键值匹配模型输出所述属性数据与所述属性值数据的匹配关系；其中，所述预设键值匹配模型包括语义分割子模型，以及与所述语义分割子模型耦合的图匹配子模型；所述语义分割子模型，用于获取所述待检测图像中的文本覆盖区域，文本中心区域，属性数据区域，以及属性值数据区域，根据所述文本覆盖区域，所述文本中心区域，以及所述属性数据区域确定目标属性数据区域，并根据所述文本覆盖区域，所述文本中心区域，以及所述属性值数据区域确定目标属性值数据区域；所述图匹配子模型，用于根据所述目标属性数据区域和所述目标属性值数据区域确定所述待检测图像中所述属性数据与所述属性值数据的匹配关系。2.根据权利要求1所述的方法，其特征在于，所述语义分割子模型，用于：按照预设倍数对所述文本中心区域进行等比扩大，以得到扩大后的目标文本中心区域，获取所述目标文本中心区域与所述文本覆盖区域的第一交集区域，并获取所述第一交集区域与所述属性数据区域的第二交集区域，将所述第二交集区域作为所述目标属性数据区域，并获取所述第一交集区域与所述属性值数据区域的第三交集区域，将所述第三交集区域作为所述目标属性值数据区域。3.根据权利要求1所述的方法，其特征在于，所述图匹配子模型，用于：根据所述目标属性数据区域建立第一关系图，并根据所述目标属性值数据区域建立第二关系图，根据所述第一关系图和所述第二关系图确定所述待检测图像中所述属性数据与所述属性值数据的匹配关系；其中，所述第一关系图包括每个目标属性数据区域对应的属性节点和不同的所述属性节点之间的第一连线，所述第二关系图包括每个目标属性值数据区域对应的属性值节点，以及不同的所述属性值节点之间的第二连线。4.根据权利要求3所述的方法，其特征在于，所述预设键值匹配模型还包括特征提取子模型，所述特征提取子模型分别与所述语义分割子模型和所述图匹配子模型耦合；所述特征提取子模型，用于通过降采样的方式获取所述待检测图像对应的第一特征图，并将所述第一特征图输入所述语义分割子模型，以使所述语义分割子模型根据所述第一特征图确定所述待检测图像中的所述文本覆盖区域，所述文本中心区域，所述属性数据区域，以及所述属性值数据区域；所述特征提取子模型，还用于获取所述待检测图像对应的第二特征图和第三特征图，并将所述第二特征图和所述第三特征图输入所述图匹配子模型，使所述图匹配子模型根据所述第二特征图，所述第三特征图，所述第一关系图和所述第二关系图确定所述待检测图像中所述属性数据与所述属性值数据的匹配关系，其中，所述第二特征图对应的网络深度浅于所述第三特征图对应的网络深度。5.根据权利要求4所述的方法，其特征在于，所述图匹配子模型用于：从所述第二特征图中提取所述第一关系图中每个所述属性节点对应的第一特征，并从所述第三特征图中提取每条所述第一连线对应的第二特征，从所述第二特征图中提取所述
第二关系图中每个所述属性值节点对应的第三特征，并从所述第三特征图中提取每条所述第二连线对应的第四特征，根据每个所述属性节点对应的第一特征和每条所述第一连线对应的第二特征，以及每个所述属性值节点对应的第三特征和每条所述第二连接对应的第四特征确定所述属性数据与所述属性值数据的匹配关系。6.根据权利要求1-5任一项所述的方法，其特征在于，所述预设键值匹配模型通过以下方式训练得到：获取多个目标图像样本，所述目标图像样本包括文本覆盖区域的标注数据，文本中心区域的标注数据，属性数据区域的标注数据，属性值数据区域的标注数据，以及属性数据与属性值数据匹配关系的标注数据；将每个目标图像样本输入预设初始网络模型，所述预设初始网络包括第一初始子网络和第二初始子网络；通过所述第一初始子网络获取所述目标图像样本中的文本覆盖区域样本，文本中心区域样本，属性数据区域样本，以及属性值数据区域样本，根据所述文本覆盖区域样本，所述文本中心区域样本，所述属性数据区域样本确定目标属性数据区域样本，并根据所述文本覆盖区域样本，所述文本中心区域样本，所述属性值数据区域样本确定目标属性值数据区域样本，并将所述目标属性数据区域样本和所述目标属性值数据区域样本输入所述第二初始子网络；所述第二初始子网络根据所述目标属性数据区域样本建立所述目标图像样本对应的第一关系图样本，并根据所述目标属性值数据区域样本建立所述目标图像样本对应的第二关系图样本，其中，所述第一关系图样本包括每个目标属性数据区域样本对应的属性节点样本和不同的所述属性节点样本之间的第一连线样本，所述第二关系图样本包括每个目标属性值数据区域样本对应的属性值节点样本，以及不同的所述属性值节点样本之间的第二连线样本；获取所述属性节点样本对应的第一样本特征，所述第一连线样本对应的第二样本特征，所述属性值节点样本对应的第三样本特征，和所述第二连线样本对应的第四样本特征；根据所述第一样本特征，所述第二样本特征，所述第三样本特征和所述第四样本特征，以及所述目标图像样本中的标注数据，通过预设损失函数计算每个属性节点样本与待匹配的属性值节点样本的距离向量对应的损失值，根据所述损失值对所述预设初始网络模型进行迭代训练，以得到所述预设图匹配模型。7.根据权利要求6所述的方法，其特征在于，所述预设初始网络还包括第三初始子网络，所述第三初始子网络与所述第一初始子网络和所述第二初始子网络耦合；所述第三初始子网络，用于获取所述目标图像样本对应的第一样本特征图，第二样本特征图，以及第三样本特征图，所述第二样本特征图对应的网络深度浅于所述第三样本特征图对应的网络深度，并将所述第一样本特征图输入所述第一初始子网络，并将所述第二样本特征图与所述第三样本特征图输入所述第二初始子网络；相应地，所述获取所述属性节点样本对应的第一样本特征，所述第一连线样本对应的第二样本特征，所述属性值节点样本对应的第三样本特征，和所述第二连线样本对应的第四样本特征，包括：所述第二初始子网络从所述目标图像样本对应的第二样本特征图中提取所述第一关
系图样本中每个所述属性节点样本对应的所述第一样本特征，和所述第二关系图样本中每个所述属性值节点样本对应的第三样本特征；并从所述目标图像样本对应的所述第三样本特征图中提取所述第一连线样本对应的第二样本特征，和所述第二连线样本对应的第四样本特征。8.一种键值匹配装置，其特征在于，所述装置包括：获取模块，被配置为获取待检测图像，所述待检测图像包括至少一个属性数据和至少一个属性值数据；确定模块，被配置为将所述待检测图像输入预设键值匹配模型，以使所述预设键值匹配模型输出所述属性数据与所述属性值数据的匹配关系；其中，所述预设键值匹配模型包括语义分割子模型，以及与所述语义分割子模型耦合的图匹配子模型；所述语义分割子模型，用于获取所述待检测图像中的文本覆盖区域，文本中心区域，属性数据区域，以及属性值数据区域，根据所述文本覆盖区域，所述文本中心区域，以及所述属性数据区域确定目标属性数据区域，并根据所述文本覆盖区域，所述文本中心区域，以及所述属性值数据区域确定目标属性值数据区域；所述图匹配子模型，用于根据所述目标属性数据区域和所述目标属性值数据区域确定所述待检测图像中所述属性数据与所述属性值数据的匹配关系。9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-7中任一项所述方法的步骤。10.一种电子设备，其特征在于，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。

技术总结
本公开涉及一种键值匹配方法、装置、可读介质及电子设备，该方法通过将待检测图像输入预设键值匹配模型，以使预设键值匹配模型输出属性数据与属性值数据的匹配关系，这样，不仅能够为键值匹配提供一个端到端的网络模型，有效提升键值匹配效率，还能够通过该预设键值匹配模型中的语义分割子模型获取到准确性更高的目标属性值数据区域和目标属性数据区域，然后通过该图匹配子模型根据所述目标属性数据区域和所述目标属性值数据区域确定所述待检测图像中所述属性数据与所述属性值数据的匹配关系，从而达到有效提升键值匹配结果准确性的效果。的效果。的效果。


技术研发人员：赵田雨 陈露露 黄灿
受保护的技术使用者：北京有竹居网络技术有限公司
技术研发日：2021.12.08
技术公布日：2022/3/8