基于大模型的审计数据安全管理系统及方法

本发明涉及审计数据安全管理，具体是基于大模型的审计数据安全管理系统及方法。

背景技术：

1、随着电子支付的广泛普及，各类移动支付平台生成的交易详情截图，例如微信、支付宝等，逐渐成为审计工作中重要的支付凭证；在审计数据安全管理过程中，现有技术通常采用人工审核或光学字符识别的方式从交易详情图片中提取金额、交易双方、交易时间等关键信息；然而，这种截图作为静态图像文件，容易通过图像编辑软件或者修图工具等对关键信息进行篡改，上述通过人工审核或者光学字符识别的方式缺乏对篡改信息的识别能力，进而导致审计数据被伪造。

技术实现思路

1、本发明的目的在于提供基于大模型的审计数据安全管理系统及方法，以解决现有技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：基于大模型的审计数据安全管理方法，该管理方法包括：

3、获取待检测交易凭证图像，同时采集若干标准交易凭证图像和若干异常交易凭证图像；其中，标准交易凭证图像是指由正规支付平台生成、未经任何图像编辑操作、文本信息与真实交易一致的原始凭证图像，异常交易凭证图像是指通过图像编辑工具对金额、对象、时间、账号等关键信息进行篡改、替换或伪造后的交易凭证图像；分别对所述标准交易凭证图像和异常交易凭证图像进行区域特征识别，生成各类图像中文字区域对应的分割框；

4、通过所述分割框对所述标准交易凭证图像和异常交易凭证图像进行分区截取，得到第一特征图像集和第二特征图像集；

5、分别对所述第一特征图像集和第二特征图像集中，若干张特征图像的像素进行遍历；分析获取第一特征图像集对应的第一像素特征和第二特征图像集对应的第二像素特征；将所述第一像素特征与所述第二像素特征进行对比分析，得到异常像素特征；

6、提取所述待检测交易凭证图像的目标像素特征，将所述目标像素特征与异常像素特征进行比对，判断所述待检测交易凭证图像是否为异常图像；

7、根据判断结果对所述待检测交易图像实施相应处理。

8、进一步的，分别对所述标准交易凭证图像和异常交易凭证图像进行区域特征识别，生成各类图像中文字区域对应的分割框包括：

9、分别将所述标准交易凭证图像和异常交易凭证图像转化为二值图像；在所述二值图像中，将灰度值高于所述二值图像整体平均灰度值的像素打上第一标签，其中，第一标签表示非文字像素，将灰度值低于所述平均灰度值的像素打上第二标签，其中，第二标签表示文字像素；

10、对所述二值图像中的文字像素进行逐行逐列遍历，将位置相邻且均打上第二标签的像素进行连接，形成若干相互独立的特征块，其中，一个特征块表示一个独立的文字；提取每个所述特征块边界上最左侧像素、最右侧像素、最上侧像素和最下侧像素；根据最左侧像素和最右侧像素构建纵向直线，分别作为左边界和右边界；根据最上侧像素和最下侧像素构建横向直线，分别作为上边界和下边界；由所述左边界、有边界、上边界和下边界围合形成完全包围特征块的矩形框；

11、将处于同一行的各特征块之间，相邻两个特征块的矩形框的上边界和下边界分别进行连接，形成分割框；所述分割框围成的区域为特征区域，其中，一个特征区域对应一条财务所需提取的条目数据。

12、进一步的，通过所述分割框对所述标准交易凭证图像和异常交易凭证图像进行分区截取，得到第一特征图像集和第二特征图像集包括：

13、按照所述分割框所围成的特征区域边界，对所述标准交易特征图像中同一交易条目对应的特征区域进行统一截取，得到若干幅特征区域图像，将所有标准交易凭证图像中同一交易条目对应的特征区域图像归为一个特征子集；

14、上述步骤中将同一交易条目对应的特征区域进行统一截取并归为一个特征子集，例如，微信交易截图中的交易金额条目，对于该条目的文字尺寸是相同的，将其归为一个子集可以集中分析这一条目对应的统一特征；

15、将所述标准交易凭证图像中不同交易条目对应的若干特征子集进行组合，形成第一特征图像集；

16、按照所述分割框所围成的特征区域边界，对所述异常交易特征图像中同一交易条目对应的特征区域进行统一截取，得到若干幅特征区域图像，将所有异常交易凭证图像中同一交易条目对应的特征区域图像归为一个特征子集；

17、将所述异常交易凭证图像中不同交易条目对应的若干特征子集进行组合，形成第二特征图像集。

18、进一步的，分析获取第一特征图像集对应的第一像素特征和第二特征图像集对应的第二像素特征包括：

19、分别对第一特征图像集与第二特征图像集中同一特征子集内的每幅特征区域图像进行逐行逐列像素遍历，识别每幅图特征区域图像内所有特征块的顶部边界、底部边界、左侧边界、右侧边界；

20、对每幅特征区域图像内各特征块的顶部边界与底部边界间的纵向像素行数进行统计，将同一特征区域图像内所有特征块的纵向像素行数求和后取均值，得到所述特征区域图像对应的特征块平均高度；

21、对每幅特征区域图像内各特征块的左侧边界与右侧边界间的横向像素列数进行统计，将同一特征区域图像内所有特征块的横向像素列数求和后取均值，得到所述特征区域图像对应的特征块平均宽度；

22、将同一特征子集内所有特征区域图像的特征块平均高度进行汇总，得到所述特征子集对应的高度集合，将高度集合中的数值按照从小到大顺序排列，提取排列中处于中间位置的高度值作为所述特征子集的高度特征；

23、将同一特征子集内所有特征区域图像的特征块平均宽度进行汇总，得到所述特征子集对应的宽度集合，将宽度集合中的数值按照从小到大顺序排列，提取排列中处于中间位置的宽度值作为所述特征子集的宽度特征；

24、将所述第一特征图像集中各特征子集对应的高度特征与宽度特征进行组合，形成各特征子集对应的特征对；将各特征子集对应的特征对进行组合，得到所述第一特征图像集对应的第一像素特征；

25、将所述第二特征图像集中各特征子集对应的高度特征与宽度特征进行组合，形成各所述特征子集对应的特征对，将各所述特征子集对应的特征对进行组合，得到所述第二特征图像集对应的第二像素特征。

26、进一步的，将所述第一像素特征与所述第二像素特征进行对比分析，得到异常像素特征包括：

27、以特征子集的高度特征为纵轴、宽度特征为横轴，建立特征坐标系；

28、将第一像素特征中各特征子集对应的特征对，并在所述特征坐标系中进行标注，形成第一特征点集，将第一特征点集中的各特征点依次连接，围合形成第一特征包围区域；

29、将第二像素特征中各特征子集对应的特征对，并在所述特征坐标系中进行标注，形成第二特征点集，将所述第二特征点集中的各特征点依次进行连接，围合形成第二特征包围区域；

30、将所述第二特征包围区域与所述第一特征包围区域中重合区域进行剔除，保留所述第二特征包围区域与所述第一特征包围区域不重叠区域，所述不重叠区域即为异常像素特征。

31、进一步的，判断所述待检测交易凭证图像是否为异常图像包括：

32、提取所述待检测图像目标像素特征中各特征子集对应的特征对，并在特征坐标系中进行标注，形成目标点集，将所述目标点集中的各目标点依次连接，围合形成目标包围区域，所述目标包围区域即为所述待检测交易凭证图像的待检测像素特征；

33、判断所述待检测像素特征与所述异常像素特征是否存在重叠区域，若所述待检测像素特征与所述异常像素特征存在重叠区域，则所述待检测交易凭证图像为异常图像；若所述待检测像素特征与所述异常像素特征不存在重叠区域，则所述待检测交易凭证图像正常。

34、进一步的，根据判断结果对所述待检测交易图像实施相应处理包括：

35、若所述待检测交易凭证图像为异常图像，则提取所述待检测交易凭证图像中与异常像素特征重叠区域包括的特征对所对应的特征条目，并将所述特征条目对应的信息作为预警信息进行输出；

36、若所述待检测交易凭证图像为正常图像，则对所述待检测交易凭证图像中各目标特征图像中的文字进行提取，得到各目标特征图像相对应的一组文字内容；对各组文字内容按解析目标依次进行的内容提取，得到所述解析目标的解析内容；其中，所述解析目标包括交易对象、交易地址、交易类目、交易日期和交易金额；将解析目标和相对应的解析内容依次进行成对输出，得到所述待检测交易凭证图像的分析结果。

37、进一步的，为了更好地实现上述方法还提供了基于大模型的审计数据安全管理系统，该管理系统包括：图像获取模块、区域特征识别模块、分区截取模块、像素特征分析模块、对比分析模块、异常判断模块、处理模块；

38、图像获取模块，用于获取待检测交易凭证图像，同时采集若干标准交易凭证图像和若干异常交易凭证图像；

39、区域特征识别模块，用于分别对所述标准交易凭证图像和异常交易凭证图像进行区域特征识别，生成各类图像中文字区域对应的分割框；

40、分区截取模块，用于通过所述分割框对所述标准交易凭证图像和异常交易凭证图像进行分区截取，得到第一特征图像集和第二特征图像集；

41、像素特征分析模块，用于分别对所述第一特征图像集和第二特征图像集中若干张特征图像的像素进行遍历，分析获取第一特征图像集对应的第一像素特征和第二特征图像集对应的第二像素特征；

42、对比分析模块，用于将所述第一像素特征与所述第二像素特征进行对比分析，得到异常像素特征；

43、异常判断模块，用于提取所述待检测交易凭证图像的目标像素特征，将所述目标像素特征与异常像素特征进行比对，判断所述待检测交易凭证图像是否为异常图像；

44、处理模块，用于根据判断结果对所述待检测交易图像实施相应处理。

45、与现有技术相比，本发明的有益效果是：

46、1、本发明通过对标准交易凭证图像和异常交易凭证图像进行区域特征识别和像素遍历，提取高度特征与宽度特征组合成的特征对，并建立特征坐标系对比得到异常像素特征，从而能够精准识别出经过图像编辑软件篡改的交易凭证图像，解决了现有技术缺乏篡改信息识别能力的问题。

47、2、本发明将待检测交易凭证图像的目标像素特征与异常像素特征进行重叠区域判断，若存在重叠则判定为异常图像并输出预警信息，若正常则自动提取文字内容并按交易对象、地址、类目、日期、金额等解析目标输出分析结果，实现了审计数据安全管理的自动化与智能化。

48、3、本发明通过分割框对同一交易条目对应的特征区域进行统一截取并归为特征子集，再以特征子集为单位构建像素特征，能够消除不同图像间因布局差异带来的干扰，提高了特征对比的鲁棒性和异常检测的准确率。