基于智能工作流与多模态数据融合的无纸化办公方法及系统与流程
本发明涉及无纸化办公,具体涉及一种基于智能工作流与多模态数据融合的无纸化办公方法及系统。
背景技术:
1、大型集团及其下属分子公司在推行无纸化办公过程中,员工日常提交的报销单、合同审批、用印申请等流程涉及多语种发票、扫描合同、电子表单及移动端拍摄的票据图片等多种形式的单据。各分子公司在本地办公节点部署工作流引擎,对单据执行ocr识别、字段抽取与审批路由处理。
2、现有技术通常采用单模态ocr方案对办公单据进行字段抽取,并基于本地历史样本训练审批路由模型。然而,上述方案存在以下问题:其一,多语种、多版式单据中币种符号、金额、税费、签章等字段的位置在不同版式下随机分布,单模态ocr难以稳健抽取,易产生字段识别错配与抽取偏差;其二,单一子公司的无纸化办公样本稀疏,审批路由模型在冷启动期内路由能力不足;其三,各分子公司的办公数据因数据合规与隐私要求无法跨组织集中汇总,导致无法在满足数据隔离要求的前提下捕获跨子公司共性的工作流规律,进一步加剧了冷启动期过长的问题。
技术实现思路
1、本发明提供基于智能工作流与多模态数据融合的无纸化办公方法及系统,解决相关技术中多模态单据图像难以准确提取结构化实体、跨节点工作流决策无法在保护数据隐私前提下协同训练、审批路由推荐精度不足的技术问题。
2、本发明公开了一种基于智能工作流与多模态数据融合的无纸化办公方法,包括:对多模态单据图像执行倾斜矫正与版面分块,标注各文本块的语种标签,生成带语种标签的文本块坐标序列;
3、将所述文本块坐标序列输入多语种多模态预训练模型,输出各文本块带语义类型标签的嵌入向量;
4、基于所述嵌入向量的空间邻接关系生成版面语义图谱,执行语义绑定与币种归一化,输出归一化结构化实体;
5、以所述结构化实体与历史审批结果训练增量决策树模型,获取本地工作流子决策树并提取可共享元数据;
6、协调节点对各本地节点的可共享元数据执行加权直方图聚合,生成全局骨架工作流决策树;
7、各本地节点将所述全局骨架工作流决策树与本地工作流子决策树执行节点级融合,生成智能工作流路由决策树;
8、将待处理申请的结构化实体输入所述智能工作流路由决策树,输出推荐审批链与置信度。
9、进一步的,所述版面语义图谱为有向图结构,其中节点为带语义类型标签的文本块嵌入向量,边为文本块之间的语义绑定关系;
10、所述生成版面语义图谱包括:基于各文本块的矩形边界坐标计算相邻文本块之间的空间邻接距离,当两个文本块的矩形边界之间的最短距离小于邻接阈值时,在两个节点之间添加邻接边;
11、遍历具有邻接边的节点对,当一个节点的语义类型标签为币种符号且其邻接节点的语义类型标签为金额数值时,在两者之间添加币种金额绑定边;
12、当一个节点的语义类型标签为签章且其邻接节点的语义类型标签为条款文本时,在两者之间添加签章条款绑定边;
13、其中,所述邻接阈值的取值范围为单据图像短边长度的百分之二至百分之八。
14、进一步的,所述币种归一化包括:对所述版面语义图谱中具有币种金额绑定边的金额节点,获取该金额节点关联的币种符号,查询历史汇率数据,将金额数值折算为基准币种下的数值;
15、所述归一化结构化实体中每个实体包含字段名称、字段取值与字段间的绑定关系。
16、进一步的,所述加权直方图聚合包括:协调节点接收各本地节点上传的可共享元数据,按照分裂节点的特征索引对齐各本地节点的样本分布直方图;
17、对同一特征索引下的各本地直方图,按照各本地节点的样本总量计算权重值:,其中为第个本地节点的训练样本总量,为所有本地节点的训练样本总量之和,为本地节点的总数,;将各本地直方图中同一区间的样本计数乘以对应权重值后累加,获取全局加权直方图;遍历全局加权直方图中各候选分裂点,选取信息增益最大的候选分裂点作为全局分裂候选;
18、以全局分裂候选自顶向下逐层生成所述全局骨架工作流决策树,其中各节点仅包含特征索引与分裂阈值。
19、进一步的,所述节点级融合包括:自顶向下遍历所述全局骨架工作流决策树的各层节点,对于每个骨架节点,在所述本地工作流子决策树中查找具有相同特征索引的对应节点;
20、当骨架节点与对应节点的分裂阈值不一致时,以骨架节点的分裂阈值替换对应节点的分裂阈值,保留对应节点的子树结构;
21、当本地工作流子决策树中不存在与骨架节点对应的节点时,将骨架节点及其子树直接插入本地工作流子决策树的对应层级;
22、对融合后的各叶节点,使用本地训练样本重新计算审批路由标签与置信度。
23、进一步的,所述多语种多模态预训练模型为transformer架构模型,其输入为三元组序列,每个三元组包括文本块的图像区域裁剪、语种标签的独热编码、归一化后的矩形边界坐标四维向量;
24、其中,所述矩形边界坐标在输入前采用基于极差的均值归一化处理,将坐标值缩放至统一数值范围;
25、所述多语种多模态预训练模型以推理模式运行,不执行参数更新。
26、进一步的,所述可共享元数据包括各分裂节点的特征索引、分裂阈值与样本分布直方图,不包含原始单据图像、字段明细或员工信息;
27、其中,所述样本分布直方图是指在各分裂节点处,将到达该节点的训练样本按照候选特征取值划分为若干区间,统计各区间内不同审批结果类别的样本数量形成的二维直方图。
28、进一步的,所述倾斜矫正包括:通过霍夫变换检测图像中的直线边缘,计算主方向偏转角度,对图像执行仿射变换使文本行水平对齐;
29、对于移动端拍摄的票据图片,在仿射变换前还执行透视校正以消除拍摄角度带来的梯形畸变。
30、进一步的,还包括:审批流程结束后,各本地节点获取实际审批结果,将所述实际审批结果与推荐审批链进行比对,生成反馈差分记录;所述反馈差分记录包含特征向量、推荐审批链与实际审批结果,不包含原始单据图像或字段明细;
31、各本地节点按照预设的更新周期将反馈差分记录上传至协调节点,协调节点基于累积的反馈差分记录重新执行所述加权直方图聚合,更新全局骨架工作流决策树并下发至各本地节点触发重新融合。
32、本发明提供一种基于智能工作流与多模态数据融合的无纸化办公系统包括:单据预处理模块,用于对多模态单据图像执行倾斜矫正与版面分块,标注各文本块的语种标签,生成带语种标签的文本块坐标序列;
33、语义嵌入模块,用于将所述文本块坐标序列输入多语种多模态预训练模型,输出各文本块带语义类型标签的嵌入向量;
34、图谱生成与实体抽取模块,用于基于所述嵌入向量的空间邻接关系生成版面语义图谱,执行语义绑定与币种归一化,输出归一化结构化实体;
35、本地决策树训练模块,用于以所述结构化实体与历史审批结果训练增量决策树模型,获取本地工作流子决策树并提取可共享元数据;
36、全局聚合模块,用于对各本地节点的可共享元数据执行加权直方图聚合,生成全局骨架工作流决策树;
37、决策树融合模块,用于将所述全局骨架工作流决策树与本地工作流子决策树执行节点级融合,生成智能工作流路由决策树;
38、路由输出模块,用于将待处理申请的结构化实体输入所述智能工作流路由决策树,输出推荐审批链与置信度。
39、本发明通过版面语义图谱将多模态、多语种异构办公单据转化为归一化办公单据结构化实体,利用币种金额绑定边和签章条款绑定边将不同版式下位置随机的字段映射为固定的节点关系,使字段抽取结果不依赖于字段的绝对位置,从而减少了多版式单据中字段抽取错配的情况。
40、本发明通过加权直方图聚合算法在协调节点处聚合各本地节点的样本分布直方图,仅传输特征索引、分裂阈值与样本计数,不传输原始单据图像与明细字段,满足了各分子公司之间的数据隔离要求。
41、本发明通过将全局骨架工作流决策树与本地工作流子决策树执行节点级融合,全局骨架工作流决策树为本地节点在样本稀疏的特征维度上提供了跨子公司共性的分裂结构,同时保留本地叶节点的审批路由标签,使各本地节点无需等待本地样本充分积累即可获得有效的工作流路由能力,从而缩短了审批路由的冷启动期。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com