一种基于多模态大模型的银行电子回单自动识别与RPA接口适配方法及装置与流程

摘要: 本发明涉及rpa与人工智能交叉领域,特别涉及一种基于多模态大模型的银行电子回单自动识别与rpa接口适配方法及装置。背景技术:1、在房地产、金融等行业的企业日常经...
一种基于多模态大模型的银行电子回单自动识别与RPA接口适配方法及装置与流程

本发明涉及rpa与人工智能交叉领域,特别涉及一种基于多模态大模型的银行电子回单自动识别与rpa接口适配方法及装置。

背景技术:

1、在房地产、金融等行业的企业日常经营中,银行电子回单是确认资金到账、完成业务闭环的关键凭证。企业通常需要在系统中将银行回单与业务订单进行匹配,以实现收款确认、财务对账、资金监管等自动化流程。rpa(机器人流程自动化)技术被广泛应用于此类重复性高、规则明确的业务场景。

2、目前,主流的银行回单自动处理方案主要采用以下技术路线:

3、(1)基于ocr+模板规则的方案:通过ocr(光学字符识别)技术提取回单上的文字信息,再针对每种银行预设固定的坐标模板或正则规则来定位和提取关键字段(如交易流水号、金额、日期等)。例如,建设银行取右上角"流水号:"后前19位,中国银行取右下角"交易流水号:"后9位,农业银行取左上角"回单编号:"第4到13位,北京银行取右下角流水号右边框内第二行字段等。

4、(2)基于人工配置的半自动化方案:由业务人员针对新增银行手动编写提取规则,开发人员编码实现后部署到rpa流程中。

5、然而,上述现有技术存在以下显著缺陷:

6、第一,银行适配成本极高。不同银行甚至同一银行不同分行的回单格式各不相同,流水号/交易号的字段名称、位置、格式规则差异巨大。目前已知需要适配的银行包括建设银行、中国银行、北京银行、农业银行、招商银行、大连银行、乌鲁木齐银行等数十家,且每家银行的回单布局、字段命名、流水号截取规则均不相同。每新增一家银行,就需要人工分析其回单格式、编写提取规则、开发适配代码,周期长、维护成本高。

7、第二,pdf多回单拼接处理困难。银行通常将多个回单以固定排版方式拼接在同一个pdf文件中,一个pdf可能包含100+个回单。传统的pdf切割方案依赖固定的页面坐标或像素位置进行硬编码切割,一旦回单排版发生变化(如银行升级回单模板),切割逻辑即失效,需要重新开发。

8、第三,流水号提取规则脆弱且不一致。各银行对流水号的命名不统一("流水号"、"交易流水号"、"回单编号"等),位置不固定(右上角、右下角、左上角等),格式差异大(有的包含"-""_"等分隔符,有的需要截取固定位数,有的需要取分隔符前的部分)。基于正则或坐标的提取规则在面对格式微调时极易失效,导致rpa流程中断。

9、第四,缺乏通用性和可扩展性。现有方案本质上是"一银行一适配"的定制化开发模式,无法泛化到未见过的新银行回单格式。当企业新增银行账户或合作银行升级回单系统时,需要重新进行完整的分析和开发工作,严重制约了rpa流程的敏捷性和可扩展性。

10、因此,如何设计一种通用的、可自适应不同银行回单格式的自动识别与数据提取方法,使其能够通过统一接口适配rpa流程,是当前亟需解决的技术问题。

技术实现思路

1、针对现有技术的以上缺陷,本公开提供了一种基于多模态大模型的银行电子回单自动识别与rpa接口适配方法及装置,其核心改进点在于:利用多模态大模型的视觉理解能力替代传统ocr+模板规则的方案,通过让大模型直接"看懂"银行回单的版面布局和内容结构,实现回单的自动切割定位、流水号智能提取和银行类型识别,从而以统一的处理流程适配所有银行的回单格式,无需针对每家银行单独编写提取规则。

2、本公开提供的基于多模态大模型的银行电子回单自动识别与rpa接口适配方法,主要步骤包括:

3、s1,获取银行电子回单pdf文件,其中包含多个回单、按固定排版方式拼接,将pdf文件的首页渲染为高分辨率图像;

4、s2,利用多模态大模型对步骤s1得到的首页图像进行分析,获取其中每个回单的边界坐标数据;

5、s3,基于获取的首页回单边界坐标,对pdf的每一页进行图像切割,将每个回单从原始页面中分离出来,生成独立的回单图像文件;

6、s4,基于多模态大模型对每个回单图像进行交易信息提取,以交易标识号对回单图像文件重命名;

7、s5,将命名完成的所有回单文件进行归档组织,形成有序的文件归档结构,便于后续rpa流程的批量调用。

8、进一步的,所述步骤s2具体包括:

9、将步骤s1得到的首页图像输入多模态大模型,通过提示词引导模型完成以下任务:

10、识别当前pdf所属的银行类型;

11、分析回单在页面中的排列方式,确定每个回单的边界区域;

12、将识别出的边界信息以结构化json格式返回,输出每个回单的裁剪坐标列表crops = {(x1,y1,w1,h1), (x2,y2,w2,h2), ...}。

13、进一步的,所述步骤s2中所述的多模态大模型分析,其提示词设计包含以下要素:

14、任务描述:明确要求模型识别银行类型和回单边界;

15、输出格式约束:要求模型以json格式返回银行类型和裁剪坐标列表;

16、上下文示例:提供若干已知银行回单的分析示例作为few-shot参考。

17、进一步的,所述步骤s3具体包括:

18、根据步骤s2通过首页分析获取的裁剪坐标列表,将坐标应用到pdf的每一页,进行图像切割,将每个回单从原始页面中分离出来,生成独立的回单图像文件;

19、对于n页pdf,若每页包含m个回单,则最终生成 n × m 个独立的回单图像文件。

20、进一步的,所述步骤s4具体包括:

21、对步骤s3生成的每个回单图像,再次调用多模态大模型进行关键信息提取,识别该回单中的交易标识号;

22、按照预设的规范化规则对提取的交易标识号进行清洗;

23、将清洗后的交易标识号作为文件名,对回单图像文件重命名。

24、进一步的,所述步骤s4中,对提取的交易标识号进行清洗的规范化规则具体包括:

25、若交易标识号包含分隔符"-"或"_",则仅取分隔符之前的部分作为有效标识;

26、若交易标识号同时包含多种分隔符,以首次出现分隔符的位置进行截取;

27、截取后的标识号去除前后空白字符;

28、确保提取结果为有效的唯一标识字符串。

29、进一步的,所述步骤s5具体包括:

30、以原始pdf文件名为名称创建文件夹,将步骤s4命名完成的所有回单文件统一存放在该文件夹中,形成有序的文件归档结构,便于后续rpa流程的批量调用。

31、进一步的,所述方法还包括以下步骤:

32、根据步骤s4中多模态大模型提取的交易标识号,结合步骤s2识别的银行类型信息,组装标准化的结构化数据,通过统一的restful api接口发起请求,将回单数据推送到业务系统完成自动匹配;

33、所述api接口的请求参数包括:交易标识号、银行类型、回单图像文件路径。

34、一种应用上述方法的基于多模态大模型的银行电子回单自动识别与rpa接口适配装置,主要包括:

35、文件获取及预处理模块,用于读取银行电子回单pdf文件,将pdf文件的首页渲染为高分辨率图像;

36、首页分析模块,用于对pdf文件首页图像进行分析,获取首页中每个回单的边界坐标数据;

37、pdf页面裁剪模块,用于根据首页获取的回单边界坐标,对pdf的所有页进行图像切割,将每个回单从原始页面中分离出来,生成独立的回单图像文件;

38、交易信息提取模块,用于对每个回单图像进行交易信息提取,以交易标识号对回单图像文件重命名;

39、归档组织模块,用于将命名完成的所有回单文件组织为有序的文件归档结构,便于后续rpa流程的批量调用。

40、一种介质,其中存储有计算机程序,用于执行上述方法。

41、与现有技术相比,本公开的有益效果是:①通用性强:通过多模态大模型的视觉理解能力替代传统ocr+模板规则方案,无需为每家银行单独编写提取规则,一套流程可适配所有银行的回单格式;②自适应能力:当银行升级回单模板或新增银行时,多模态大模型能够自动适应新的版面布局,无需人工重新分析和开发;③处理效率高:仅需分析pdf首页即可推导出全部页面的切割规则,避免了逐页分析的开销;④流水号提取准确:多模态大模型能够根据语义理解自动定位和提取交易标识号,不受字段位置变化的影响;⑤维护成本低:新增银行适配仅需少量few-shot示例或无需额外配置,大幅降低了开发和维护成本。