一种基于多维特征指纹提取与图模型风险群组聚合的串标自动检测方法及系统与流程

本发明涉及电子招投标安全与文档大数据分析，更具体的说是涉及一种基于多维特征指纹提取与图模型风险群组聚合的串标自动检测方法及系统。

背景技术：

1、在招投标领域，投标文件是企业参与市场竞争的核心载体，而串通投标（串标）现象的频发严重破坏了公平竞争的市场环境，损害了招标人和其他合法投标人的利益。随着招投标业务的全面电子化，投标文件的数量和体量呈指数级增长，传统的串标检测方法已无法满足监管需求，主要存在以下不足：

2、1.检测维度单一：现有系统大多依赖简单的文本相似度对比，难以应对通过微调文本、更换图片顺序或仅在商务部分共用信息的隐蔽串标手段；

3、2.证据孤立化：目前的自动化检测多基于点对点的两两比对（pairwisecomparison），无法将碎片化的证据（如a和b共享手机号，b和c共享错别字，a和c共享元数据）关联成一个完整的风险网络，难以揭示复杂的围标群组；

4、3.隐蔽特征识别能力弱：对于电子印章的交叉混用、pdf文档底层元数据的微小关联，以及由于共用底稿导致的相同冷门错别字等隐蔽线索缺乏有效的提取手段；

5、4.人工审查压力大：随着标书电子化，文档体量剧增，人工对比不仅效率极低，且极易因人为疏忽漏掉关键线索，无法满足招投标监管的时效性和准确性要求。

6、因此，如何提供一种基于多维特征指纹提取与图模型风险群组聚合的串标自动检测方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于多维特征指纹提取与图模型风险群组聚合的串标自动检测方法及系统，从海量、异构的投标电子文档中自动提取多维度的隐蔽串标特征，并将跨文档的碎片化证据聚合为具有法律说服力和全局视野的风险群组，实现对复杂串标网络的精准、高效识别。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种基于多维特征指纹提取与图模型风险群组聚合的串标自动检测方法，包括以下步骤：

4、s1、获取多个投标文件的pdf源文件，并行调用多类检测算子从多维异构维度提取异构特征指纹；

5、s2、将异构特征指纹转化为全局统一的内容特征键，内容特征键采用[类型：特征hash]格式，确保相同特征在不同文档间具有唯一标识；

6、s3、基于当前项目的内容特征键构建证据关联图，基于所有历史项目内容特征键构建全局证据图；

7、s4、通过bron-kerbosch算法在证据关联图中筛选风险群组，通过louvain算法在全局证据图中发现跨项目的风险群组；

8、s5、建立风险群组间的层级包含关系，执行证据向下聚合机制，将父群组的证据指纹同步至其包含的所有子群组；

9、s6、通过贝叶斯因果网络构建证据间的因果关联，过滤巧合性证据，根据证据的稀缺性和排他性进行加权评分，划分风险等级。

10、可选的，s1中文本特征指纹提取采用基于滚动哈希优化的最长公共子串算法，调用c语言编写的动态链接库进行计算加速，提取文档间的重复文本块。

11、可选的，s1中图像特征指纹提取采用感知哈希与特征点匹配技术，对原创图表进行指纹化比对；针对印章，利用透明掩码提取技术分离电子印章，并基于颜色过滤和hamming距离计算相似度。

12、可选的，s1中实体特征指纹提取采用大语言模型驱动的命名实体识别技术，提取手机号、邮箱、人名及关联企业名称，并过滤无关实体。

13、可选的，s1中元数据特征指纹提取直接解析pdf二进制流，提取作者、创建工具、修改时间戳。

14、可选的，s3具体为：

15、遍历当前项目全部投标文件的pdf源文件所提取并转化得到的内容特征键，以投标人为顶点，如果两个投标人共享一个内容特征键，则建立一条边，构建证据关联图，边的权重基于内容特征键的特征类型和项目内稀缺性计算；提取全局数据库中所有历史投标人的内容特征键和风险记录，将当前项目的投标人与历史投标人进行比对，如果存在至少一个项目，当前投标人与历史投标人共享一个内容特征键，则建立一条边，如果当前投标人与历史投标人在多个项目中共享多个不同的内容特征键，将所有的边合并为一条边，并累加所有关联信息，边的权重在内容特征键的基础上增加时间衰减系数和跨项目次数系数。

16、可选的，s4中通过bron-kerbosch算法在证据关联图中筛选风险群组具体为：

17、遍历证据关联图中所有的边，剔除权重小于预设阈值的边，得到精选证据关联图，设定3个集合：当前极大团中已经加入的节点集合r、候选节点集合p以及排除节点集合x，初始化集合r、x为空集，当候选节点集合p和排除节点集合x均为空时，集合r中的节点无法再扩展，当前集合r即为一个最大团。

18、可选的，s4中通过louvain算法在全局证据图中发现跨项目的风险群组具体为：

19、遍历全局证据图中所有的边，剔除权重小于预设阈值的边，得到精选全局证据图，执行第一阶段的局部优化：将精选全局证据图中的每个节点作为独立社区，对于每个节点i，依次尝试将节点i移动到邻居节点j所在的社区，计算移动后整个精选全局证据图的模块度变化量δq，将节点i移动到δq最大且δq大于0的社区，如果所有移动均不能使δq增加，则节点保持原社区归属，重复尝试移动每个节点直到所有节点的社区归属不再发生变化，进入第二阶段的社区聚合：将每个社区作为新的超级节点，两个超级节点之间的边权重为连接两个社区的节点间的边权重之和，对新生成的超级节点图，重新执行第一阶段的局部优化；重复第一阶段和第二阶段直到全局模块度q的提升小于阈值。

20、可选的，s6中通过贝叶斯因果网络构建证据间的因果关联，过滤巧合性证据具体为：

21、构建以串标行为为隐节点、以不同类型的共享证据指纹为观测节点的贝叶斯因果网络；利用已标注的历史串标与正常样本学习条件概率表；对于任一风险群组，收集关联的全部证据特征指纹，计算串标后验概率；如果后验概率低于预设阈值，则将对应的风险群组过滤。

22、一种基于多维特征指纹提取与图模型风险群组聚合的串标自动检测系统，应用上述的一种基于多维特征指纹提取与图模型风险群组聚合的串标自动检测方法，包括：

23、特征指纹提取模块，用于从多维异构维度提取异构特征指纹；

24、特征指纹转化模块，与特征指纹提取模块连接，用于将异构特征指纹转化为全局统一的内容特征键；

25、证据图构建模块，与特征指纹转化模块连接，用于构建证据关联图和全局证据图；

26、风险群组筛选模块，与证据图构建模块连接，用于在证据关联图中筛选风险群组以及在全局证据图中发现跨项目的风险群组；

27、证据聚合模块，与风险群组筛选模块连接，用于将父群组的证据指纹同步至其包含的所有子群组；

28、风险等级划分模块，与证据聚合模块连接，用于划分风险等级。

29、经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于多维特征指纹提取与图模型风险群组聚合的串标自动检测方法及系统，具有以下有益效果：本发明通过多维度特征指纹提取，能够有效识别隐蔽性极强的串标行为，大幅提升检测准确率；将传统的点对点两两比对升级为基于图模型的风险群组聚合，能够自动发现隐藏在多份标书背后的围标团伙，将碎片化证据整合为完整的证据链；采用c加速的lcs算法及并发处理机制，支持在分钟级完成对百份以上大体积pdf文档的深度比对；每个风险群组均关联具体的内容特征键和原始文档页码、位置，为招投标监管提供了科学、高效的数字化手段。