基于多模态大模型的投标文件中的图像相似度检测方法与流程

本发明涉及图像处理，特别涉及基于多模态大模型的投标文件中的图像相似度检测方法。

背景技术：

1、随着国内电力行业招投标监管体系日趋完善、规范化程度持续提升，招投标市场的合规性、公平性、透明性已成为行业高质量发展的核心基石。但伴随招投标参与主体持续增加、市场竞争愈发激烈，部分投标供应商为规避监管、提升中标概率，不断迭代违规投标手段，摒弃传统明目张胆的串标、围标操作，转而采用隐蔽化、轻量化、修饰化的文件篡改复制方式开展违规投标，其中投标文件图片素材的复用、微调篡改是当前最为普遍的违规形式。

2、具体而言，电力项目投标文件的技术方案、实施案例、施工部署、硬件架构等核心模块中，包含大量项目示意图、场景实拍图、设备结构图、流程拓扑图等图像素材。部分供应商通过直接复用同类投标图片、对原有图片进行裁剪缩放、色彩微调、添加遮挡水印、局部像素修改等轻微篡改方式，制作同质化投标文件，以此拼凑投标方案、变相串通投标。该类违规操作隐蔽性极强，无明显篡改痕迹，成为当前电力招投标领域围标、串标风险滋生的主要诱因，不仅严重扰乱电力采购市场公平竞争秩序，还易导致中标项目质量不达标、采购合规性失效等问题，给国网等电力采购单位带来极大的运营风险与合规隐患。

3、目前，电力行业招投标评标工作中，针对投标文件图文相似性的核查工作仍完全依赖评标专家人工完成，尚未形成智能化、标准化的图像相似度检测体系。在常规电力招标项目中，多家投标单位提交的投标文件往往包含数百张各类图像素材，评标专家需在有限的评审周期内，完成全部投标图片的交叉比对、同质化判别与违规筛查，存在核查工作量大、评审时间紧张、人工辨识局限性强的行业痛点。

4、人工评审模式存在诸多固有缺陷：其一，人眼识别能力有限，对于经过裁剪、调色、加水印、局部修改的差异化相似图片，难以精准识别细微差异，极易出现漏判、误判问题；其二，评审结果受专家主观经验、专注力、工作状态影响较大，不同专家的判别标准不统一，导致图像相似性认定缺乏标准化、规范化依据，评审结果主观性强、一致性差；其三，人工逐项比对效率极低，无法实现大批量投标图像的全覆盖、精细化核查，难以适配当前高频次、大规模的电力招投标评审需求。

5、综上，传统人工核查模式存在准确率低、效率差、标准不统一、全覆盖难度大等诸多短板，无法有效识别隐蔽化的图片篡改、素材复用等投标违规行为，难以满足当前电力行业招投标风险防控、合规监管的严苛要求。针对现有技术的缺陷，亟需提出一种高效、精准、标准化的投标文件图像相似度智能检测方案，依托智能化技术替代人工评审，实现投标图像违规风险的事前预警、事中精准筛查，保障电力招投标市场的公平合规运行。

技术实现思路

1、本发明提供一种基于多模态大模型的投标文件中的图像相似度检测方法，有效识别现有评标系统极易漏判的隐蔽串标图像复用行为。

2、根据本公开的一方面，提供了一种基于多模态大模型的投标文件中的图像相似度检测方法，包括以下步骤：

3、s1、构建投标文件专用图像数据集：

4、s2、多维度融合图像特征提取：对输入待检测投标图像进行归一化处理，并行提取三类基础特征；

5、s3、多模态特征对齐与相似度度量计算；

6、s4、证件篡改痕迹辅助判别；

7、s5、多模态大模型可解释性分析报告生成；

8、s6、批量图像检测输出：

9、基于近似最近邻乘积量化算法搭建特征向量检索库，存储所有投标文件融合特征向量；批量导入多份投标人标书图像，检索库快速匹配相似图像对，输出图像相似度、证件篡改、文本雷同三类风险结果，形成可视化风险复核清单。

10、在一种可能的实现方式中，s2包括：

11、2.1 局部手工特征：采用sift/orb算法检测图像关键点，提取局部描述子向量，通过比值检测、ransac算法剔除误匹配特征对；

12、2.2 全局哈希特征：采用感知哈希phash生成图像固定长度二进制哈希码，用于海量图像快速粗筛；

13、2.3 深度语义特征：采用轻量化cnn网络提取图像深层全局语义特征；

14、设计嵌入se注意力模块的特征融合网络，将局部手工特征、全局哈希特征、cnn深度语义特征对齐拼接，分配差异化特征权重，生成统一多维融合特征向量；引入对抗性训练，对训练图像随机施加仿射变换、色彩偏移、噪声干扰，优化融合特征对图像扰动的鲁棒性；利用triplet loss度量学习优化特征空间，使相似图像特征向量空间距离更近。

15、在一种可能的实现方式中，s3包括：

16、3.1 模态特征提取：通过ocr识别投标图像内文本，采用sentence-bert提取文本语义向量；通过layoutlm提取文档版式、表格、印章区域布局特征；

17、3.2 跨模态统一表征：搭建跨模态注意力网络，将s2输出的图像融合特征、文本语义向量、版式布局特征映射至同一高维语义空间，完成图文跨模态语义对齐；

18、3.3 自适应权重融合：通过轻量级神经网络动态学习图像、文本、版式三类模态特征的相似度判定权重，生成投标文件联合特征表征向量；

19、3.4 相似度量化计算：基于孪生网络架构，采用余弦相似度计算两份投标文件联合特征表征向量的相似度分值；构建融合对比损失、分类损失的多任务损失函数训练度量模型，输出0~1区间连续相似度评分；将相似度分值与电力招投标违规知识库匹配，生成高、中、低三级风险标签。

20、在一种可能的实现方式中，s4包括：

21、针对专利证书、安全生产许可证、高新技术企业证书三类资质证件图像，基于多模态视觉大模型识别图像噪声分布、边缘伪影、jpeg压缩块效应、色彩断层篡改特征，生成篡改注意力热力图标注ps可疑区域，输出证件伪造判定结果。

22、在一种可能的实现方式中，s5包括：

23、以电力行业多模态大模型为基座，构建包含“图像对、相似度分值、篡改热力图、风险标签”的指令微调数据集完成领域微调；设计思维链提示词模板，引导模型按照“图像整体相似描述-局部相似证据罗列-证件篡改疑点说明-围串标综合风险评估”逻辑推理；将图像特征、相似度量化结果、篡改检测结果输入微调后的多模态大模型，自动生成结构化自然语言风险分析报告，同步输出疑似串通投标线索清单，用于评标专家复核。

24、在一种可能的实现方式中，微调过程包括：

25、以脱敏真实投标图像、对应ocr文本描述、证件类型标签作为输入条件，设置多类可控修改指令，所述修改指令包括替换企业名称、修改资质有效期、调整业绩项目金额、裁剪局部图片、叠加水印、调整画面亮度对比度；通过扩散模型生成具备可控篡改类型的仿真标书图像，扩充小样本投标违规图像样本。

26、在一种可能的实现方式中，步骤s2中所述多维融合特征向量检索流程为：

27、将全部投标图像融合特征向量经乘积量化压缩后存入向量检索库；对待检测图像提取融合特征向量，通过聚类中心粗匹配缩小检索范围，计算压缩向量汉明距离/欧式距离，快速返回top-k高度相似图像对，实现标书图像毫秒级批量初筛。

28、在一种可能的实现方式中，步骤s3中所述跨模态注意力网络，能够自动聚焦标书内印章、业绩附图、资质证书、施工案例图关键区域，提升图片复用、资质套用类违规行为识别权重。

29、在一种可能的实现方式中，步骤s4中证件篡改痕迹判别逻辑包括：

30、对比证件图像全局光照一致性、文字边缘梯度、印章像素纹理连续性，若存在局部像素分布异常、边缘模糊断层、色彩梯度突变，则判定为ps篡改，并在热力图中标注篡改像素区域坐标。

31、在一种可能的实现方式中，步骤s5中所述可解释性分析报告告包含：图像相似度数值、相似部位截图、证件篡改可疑区域、对应投标人信息、违规类型判定、复核优先级建议、同类历史串标案例参考信息；

32、所述方法还包括模型迭代优化步骤：

33、收集评标专家复核后的标注反馈数据，持续扩充投标图像数据集，定期对特征提取网络、多模态度量模型、多模态分析大模型进行增量微调，持续降低图像相似度检测误检率、漏检率，将图像相似度检测准确率稳定提升至90%以上。

34、与现有技术相比，本发明的有益效果是：

35、一、图像相似度检测性能

36、1.高抗干扰识别能力，大幅降低漏检率

37、本发明融合局部手工特征、感知哈希全局特征、cnn深度语义特征，并引入对抗性训练优化特征鲁棒性，针对投标文件常见图像扰动（裁剪、缩放、旋转、调色、添加水印、局部擦除、轻微压缩失真）具备稳定识别能力，可精准捕捉经细微修改后的复用业绩图、资质附图、案例示意图；相较于传统单一phash、sift像素匹配方案，对篡改修饰图像的识别召回率提升12%以上，可有效识别现有评标系统极易漏判的隐蔽串标图像复用行为。

38、2.检测准确率达标，满足电力招投标高风控要求

39、依托扩散模型扩充领域专属标注数据集、多模态跨语义联合度量学习优化，图像+文本联合相似度检测整体准确率稳定达到90%以上；区别于仅依靠图像像素比对的传统方案，本发明同步联动ocr文本语义、文档版式布局信息完成交叉校验，可区分“行业标准模板正常相似”与“供应商恶意复制套用图像”，有效降低误判率，人工复核工作量减少50%以上。

40、3. 批量高速检测，适配大规模招标评审场景

41、底层搭载乘积量化近似向量检索算法，完成图像特征向量化压缩入库后，单张投标图像特征提取速度≥15张/秒，批量多投标人标书并行检索可毫秒级输出top-k相似图像对；单次招标数百份投标文件、上千张附图的全量初筛可3小时内完成，解决传统人工逐张比对耗时久、评审周期紧张的业务痛点。

42、二、资质证件伪造检测

43、针对专利证书、安全生产许可证、高新技术企业证书三类电力投标高频资质证件，构建专用图像篡改判别模型，通过像素纹理、光照分布、压缩块效应、边缘梯度多维度异常识别，证件ps篡改痕迹检测准确率达到80%以上；输出可视化篡改热力图标注可疑像素区域，实现证件造假行为自动预警，弥补现有评标工具仅能比对图片相似、无法鉴别证件真伪的技术空白，从源头阻断虚假资质投标风险。

44、三、多模态融合跨模态校验

45、1.实现图文语义联合验证，破解单一模态检测短板

46、传统方案仅独立做文本查重或图片比对，无法识别“图片复用但文字描述刻意修改”的隐蔽串标手段；本发明通过跨模态注意力网络将图像视觉特征、文本语义向量、表格印章布局特征映射至统一语义空间，同步完成图文一致性校验，可精准定位“同一张业绩图搭配不同项目文字”的违规情形，完善围标串标全维度识别能力。

47、2.自适应模态权重分配，贴合电力评标业务逻辑

48、模型通过自学习动态调整图像、文本、版式特征在相似度判定中的权重，自动提升印章、业绩附图、资质证书等高风险区域特征权重，弱化通用模板、标准流程图等无风险通用内容权重，识别逻辑贴合电力采购评审规则，检测结果与专家人工判定标准高度统一。