一种基于多模态融合与模糊指纹的收据真伪及唯一性验证系统与方法与流程

摘要: 本发明涉及信息安全及金融科技,具体为一种基于多模态融合与模糊指纹的收据真伪及唯一性验证系统与方法。背景技术:1、收据、发票等凭证在现金返还、保险理赔、政府补贴、...
一种基于多模态融合与模糊指纹的收据真伪及唯一性验证系统与方法与流程

本发明涉及信息安全及金融科技,具体为一种基于多模态融合与模糊指纹的收据真伪及唯一性验证系统与方法。

背景技术:

1、收据、发票等凭证在现金返还、保险理赔、政府补贴、企业报销和税务申报中大量使用,目前各机构大多自行核验票据,常见做法是人工查看图像,或者对商户名称、金额等文本字段做简单匹配,人工核验速度较慢,文本匹配又难以发现经过图像编辑的票据。同一张收据在不同平台或不同部门分别提交时,彼此之间缺少核验信息共享,重复领取、重复报销的情况容易出现。

2、部分现金返还业务依赖支付机构提供的接口获取交易数据,支付机构接口一旦调整或停止合作,相关核验功能会受到影响,业务连续性难以保证,保险公司、税务机关、银行、连锁品牌等往往各自建设核验系统,数据不互通,重复投入较高。

3、票据伪造手段也在变化,图像编辑软件和生成工具使伪造票据成本降低,传统规则难以识别像素级修改痕迹。

4、因此,需要一种基于多模态融合与模糊指纹的收据真伪及唯一性验证系统与方法,用以解决上述提出的问题。

技术实现思路

1、本发明的目的在于提供一种基于多模态融合与模糊指纹的收据真伪及唯一性验证系统与方法,以解决上述背景技术中提出的问题。

2、一种基于多模态融合与模糊指纹的收据真伪及唯一性验证系统,包括接收多种格式的收据图像并识别对应收据类型的输入分类模块、基于深度学习模型对收据图像进行伪造痕迹检测,输出伪造概率的图像真伪检测模块、据收据类型调整提取区域,提取收据中的结构化业务字段的字符提取模块、融合结构化业务字段与图像像素特征,生成具备容错能力的唯一数字指纹的模糊指纹生成模块、将生成的数字指纹与数据库存量指纹进行相似度比对,输出唯一性判定结果的全局指纹比对模块、将验证结果以标准化格式对外输出的接口输出模块及存储验证通过的收据指纹及关联元数据的全局收据指纹数据库;

3、系统全程不依赖第三方支付机构数据接口,仅凭上传的收据图像完成全部验证流程。

4、进一步地,所述输入分类模块通过深度学习多标签分类器将收据识别为 24 种预设类型,涵盖外卖、超市、便利店、加油站、药店、酒店、交通票务、医疗票据、电商订单、生活缴费、零售消费及办公服务类别;

5、所述字符提取模块根据不同收据类型动态调整感兴趣提取区域,提取的结构化业务字段包含商户名称、支付金额、支付时间及收据唯一编号,其中商户名称字段经过归一化处理,统一同主体的不同表述形式;

6、所述字符提取模块可对收据图像中的条形码与二维码自动解码,将解码得到的编号信息与 ocr 识别的同名字段进行交叉校验,二者不一致时标记为疑似变造,当单字段识别置信度低于设定阈值时,启动双识别引擎并行处理,对两组结果进行投票融合后输出最终字段内容。

7、进一步地,所述图像真伪检测模块对收据图像进行像素级伪造痕迹检测,检测的伪造痕迹包含文字边缘像素突变、阴影方向不一致、背景纹理重复异常、复制粘贴区域边界不连续;

8、图像真伪检测模块增设局部篡改检测分支,针对金额、时间、收据编号区域,校验文字的字体字号、字间距与像素噪声分布和周边文本的一致性,识别局部涂改拼接的变造收据;所采用的深度学习模型可选用生成对抗网络、vision transformer、扩散模型或多模态大语言模型中的一种或多种组合;

9、模型支持增量学习更新,运行中检测分数处于模糊区间的图像自动归入待审核样本,经标注后通过参数高效微调方式完成模型迭代,全局收据指纹数据库积累的样本数据可同步用于模型训练优化,迭代过程保留原有检测能力,所述全局收据指纹数据库不仅为验证提供依据,其积累的海量真实与伪造样本将反馈至图像真伪检测模块,形成数据飞轮(data flywheel)效应,新模型可通过灰度发布方式逐步切换上线。

10、进一步地,所述模糊指纹生成模块在特征提取前对收据图像执行透视几何校正与光照归一化,通过角点检测识别收据边框并经单应性变换校正为正视图,采用伽马校正与限制对比度自适应直方图均衡化削弱光照干扰;

11、模糊指纹生成模块采用局部敏感哈希、simhash、minhash、faiss 或 hnsw 向量检索引擎中的至少一种算法生成数字指纹,生成过程对结构化业务字段特征与图像像素特征进行加权融合,融合方式满足:

12、;

13、其中为最终输出的数字指纹向量,为结构化字段映射得到的特征向量,为图像像素哈希映射得到的特征向量,、为对应模态的权重系数,为特征拼接运算;权重系数根据收据类型与图像质量动态调整,字段识别置信度高的票据提升结构化字段特征权重,图像缺损的样本提升像素特征权重;指纹生成过程容忍字符识别误差与图像质量差异,语义一致的收据对应生成的指纹具备相近的特征距离,全局收据指纹数据库采用复合分区存储策略,主分区按支付时间进行月度范围分区,子分区按指纹哈希前缀进行哈希分区,数据均匀分散至多个物理存储单元;数据库采用冷热数据分层存储,近 90 天的热数据存储于高性能索引库与缓存中,超期冷数据压缩归档至低成本存储介质,全局指纹比对模块维护多组独立索引结构,查询时先通过索引获取候选指纹集,再通过汉明距离计算待验证指纹与候选指纹的相似度,相似度计算满足:

14、;

15、其中为两条指纹的相似度,为两条指纹向量的汉明距离,为指纹向量总长度;相似度比对设置高低两级阈值,高于高置信阈值直接判定为重复,处于两级阈值之间时启动核心字段逐字段校验的二次精细比对;仅对候选集内记录执行精确相似度计算,提升大规模数据下的检索效率与召回率。

16、进一步地,系统还包含策略过滤模块,策略过滤模块设置于模糊指纹生成模块的上游,在指纹生成流程启动前依据预设规则对收据进行快速校验;

17、预设规则包含类型排除、时效排除与资质排除三类,其中类型排除覆盖外卖订单、团购订单、公共事业缴费及对公交易场景,时效排除覆盖超出预设有效期限的历史收据,资质排除覆盖异常用户与失效商户的提交内容;

18、命中过滤规则的收据直接返回对应状态,不进入后续指纹计算环节;策略过滤规则、伪造检测阈值与相似度判定阈值均支持按租户独立配置,适配不同行业调用方的风控等级需求。

19、进一步地,系统采用微服务架构拆分部署各功能模块,各模块支持独立扩缩容;系统配置消息队列对深度学习推理类耗时操作进行异步处理,接收请求后先返回处理中状态,计算完成后通过回调或轮询方式推送结果;

20、系统配置多级缓存机制,规则类数据与近期验证结果缓存于内存数据库,命中时直接返回结果;系统配置异地灾备机制,主备数据库部署于不同地域可用区,数据实时同步,主库故障时可自动完成故障切换,保障服务连续运行。

21、进一步地,系统在数据接入层设置像素级脱敏单元,通过目标检测识别收据图像中的身份证号、银行卡号、手机号敏感信息区域,对对应像素执行掩码遮挡,脱敏操作在数据进入核心计算模块前完成;

22、系统还包含区块链存证模块,验证通过的收据指纹哈希值可写入区块链网络完成不可篡改存证,存证过程支持异步执行,网络异常时后台自动重试;

23、接口输出模块配置限流与加密机制,对单 ip、单用户的访问频率进行限制,请求与响应数据全程采用加密传输,核心字段附加二次加密校验;系统支持多租户数据隔离,不同调用方的数据独立管理,可按调用量统计核算费用;核心程序代码经过混淆加固处理,模型权重文件可存储于硬件加密模块中,防范未授权导出与解析。

24、一种收据信任api(receipt trust api),用于向外部系统提供收据验证服务,包括:调用上述的基于多模态融合与模糊指纹的收据真伪及唯一性验证系统执行收据真实性及唯一性验证

25、一种基于多模态融合与模糊指纹的收据真伪及唯一性验证方法,应用于上述基于多模态融合与模糊指纹的收据真伪及唯一性验证系统中,包括如下步骤:

26、接收上传的多格式收据图像,识别得到对应收据类型;

27、对收据图像进行伪造痕迹检测,计算得到伪造概率,若伪造概率高于预设阈值则直接返回伪造判定结果;

28、根据识别得到的收据类型调整字符提取区域,提取收据中的结构化业务字段;

29、将结构化业务字段与收据图像的像素特征进行融合,生成具备容错能力的唯一数字指纹;

30、将生成的数字指纹与全局数据库中的存量指纹进行相似度比对,若相似度超过设定阈值则返回重复判定结果,若未超过则返回有效判定结果并将该指纹存入全局数据库;

31、将最终验证结果以标准化格式返回至请求方;

32、验证全程不依赖第三方支付机构的数据接口,仅凭上传的收据图像完成全部流程。

33、进一步地,接收收据图像后先执行图像质量检测,通过计算图像拉普拉斯变换的方差值判断模糊程度,计算方式满足:

34、;

35、其中为图像经拉普拉斯算子卷积后的结果矩阵,、为图像的高度与宽度,为矩阵的像素均值,为清晰度评价方差值;方差值低于预设阈值时判定为图像模糊,返回图像质量不合格提示,拒绝进入后续验证流程,验证流程包含透视校正与光照归一化的图像预处理步骤,识别过程中检测收据图像的遮挡区域,若遮挡覆盖支付金额、商户名称或二维码、条形码关键区域,直接返回关键信息缺失的判定结果;伪造检测包含全局伪造识别与局部变造校验,相似度比对采用两级阈值判定机制;验证的全部计算、存储与比对环节均部署于本地算力与本地数据库,无需调用外部支付机构接口,不受外部接口故障影响。

36、一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如上述的基于多模态融合与模糊指纹的收据真伪及唯一性验证方法。

37、通过采用上述技术方案,不需要依赖任何支付机构的数据接口,仅凭用户上传的收据图像即可完成核验,外部接口变动不会影响系统运行,对保险公司、银行、税务部门、政府补贴发放单位和企业财务系统来说,可以直接调用统一的收据信任接口,不必各自建设一套核验平台,重复投入明显减少。

38、与现有技术相比,本发明的有益效果是:该基于多模态融合与模糊指纹的收据真伪及唯一性验证系统与方法,

39、同一张收据在任意平台首次验证通过后,系统生成对应的数字指纹并保存,之后无论该收据在哪个行业、哪个平台再次提交,指纹比对都能发现重复,直接返回重复申报的提示,跨保险公司理赔、跨部门补贴申领、同一票据在不同企业重复报销等情况都能被拦截,减少资金被重复领取的可能。

40、图像伪造检测模块对文字边缘、阴影、纹理和复制粘贴痕迹进行分析,输出伪造概率,能够识别常见的修图痕迹和部分生成图像,配合模糊指纹匹配,轻微字符识别误差或图像质量波动不会导致同一张收据被误判为不同票据,但内容不一致的伪造件难以通过。

41、系统按收据类型调整识别区域,提取商户名、金额、时间、编号等字段,并对条码、二维码进行解码校验,策略过滤规则可在指纹计算前排除外卖、团购、公共事业缴费等不符合条件的票据,降低无效计算量,验证结果通过标准接口返回,便于现有业务系统快速接入。

42、系统采用微服务部署,图像检测等耗时任务可异步处理,缓存机制和分区存储使查询响应保持较低延迟。主备数据库分置在不同区域,故障时可切换,保障服务持续可用,随着使用量增加,积累的票据指纹和样本数据还能用于模型更新,提升后续识别和防伪造能力,形成正向循环。