基于多模态特征融合的投标文件中的文本相似度检测方法与流程
本发明涉及文件检测,特别涉及基于多模态特征融合的投标文件中的文本相似度检测方法。
背景技术:
1、近年来,随着国家监管政策的持续收紧与管理体系的不断完善,电力行业招投标活动逐步迈入规范化、标准化的发展轨道。然而,在投标参与主体增多、竞争日趋激烈的背景下,部分供应商为提升中标几率,采取了一系列更加隐蔽和复杂的违规手段,例如文本层面的抄袭改写、图片材料的重复使用或微小修改等,给招投标公正性带来严峻挑战。在当前主流的评标流程中,投标文件相似性核查仍高度依赖评标专家的手工操作。具体而言,每家供应商提交的技术方案中通常包含大量建设内容,如数十个功能点描述和上百张项目示意图、实施案例图片等。以一次典型有五家供应商参与的招标项目为例,专家需对累计超过200个功能点进行交叉比对,同时还要审查数百张图片是否存在重复或高度相似的情况。这一过程不仅工作量极大,还要求评审人员具备极强的专注力和细节辨识能力。在实际操作中,由于评审时间紧张、材料数量庞大,人工方式难以系统、全面地进行逐项匹配。细微的文字调整、图片的裁剪、色彩调整或水印添加等处理,极易被人眼忽略。此外,不同专家间主观判断的差异也可能导致认定标准不一。这些因素共同造成违规行为未能被及时发现,使得部分供应商得以通过拼凑、复制甚至串通投标等方式逃避监管,形成潜在的围标、串标风险,严重破坏市场公平竞争秩序,也给招标人带来质量和合规上的双重隐患。
2、随着人工智能的飞速发展,深度学习技术在众多领域已经有了广泛
3、的应用。其中基于深度学习的文本相似度计算作为人工智能领域内一项
4、重要的技术手段,也逐渐成为各个行业实现智能化、自动化的重要利器。
5、文本相似度计算作为自然语言处理(nlp)中一个重要的分支,在文本
6、相似度比较、智能问答系统和文本分类等文本智能化场景发挥着重要作
7、用,为文本数据的分析与处理提供了强有力的技术支持。
8、本文将基于深度学习的文本相似度计算应用到招投标领域,利用智能化技术实现投标文件的相似度比对,并构建出投标文件相似度比对系统。通过该系统,可以有效检测投标文件的抄袭行为,确保投标文件的原创性和真实性,有利于企业合法参与竞标活动,并维护了公平竞争的市场秩序。综上所述,本文基于深度学习的投标文件智能比对算法研究与应用课题有重要意义,不仅节省了人力成本,同时也为人工智能在招投标领域的应用提供了参考。
技术实现思路
1、本发明提供基于多模态特征融合的投标文件中的文本相似度检测方法,对局部语义信息进行采集,依赖文本的整体向量和局部向量进行文本相似度的计算。
2、根据本公开的一方面,提供了基于多模态特征融合的投标文件中的文本相似度检测方法,所述方法包括:
3、s1,获取待检测的原投标文件;
4、s2,根据所述投标文件生成文本摘要;
5、s3,将文本摘要和原投标文件进行预处理去除停用词和文本噪声;
6、s4,使用预训练语言模型将s3中原投标文件预处理后的文本转化为可供模型进行运算的向量编码,通过层级编码和层级注意力机制生成文本的整体特征向量;
7、s5,使用预训练语言模型将s3中文本摘要预处理后的文本转化为可供模型进行运算的向量编码,通过层级编码和层级注意力机制生成文本的局部特征向量;
8、s6,将所述整体特征向量与局部特征向量进行特征融合;
9、s7,将不同的投标文件的得到的特征融合的结果进行相似度计算。
10、在一种可能的实现方式中,根据所述投标文件生成文本摘要,包括:
11、对文本进行预处理:文本分词,去除停用词,词性标注,去除非名词;
12、计算文本中所有词语的词频tf值;
13、根据公式计算文本中所有词语的逆文档频率idf特征值;
14、计算文本中每一个词的tf-idf值,tf-idf值越高的词语,代表其在文本中的重要程度越大,计算每个句子的权重,在得到句子中每个词语的tf-idf值;
15、通过计算每个句子中所有词语的tf-idf值之和,得到句子的权重;
16、语句排序:根据文本中每个句子的权重对语句进行排序筛选,生成含有关键信息的初步文本摘要;
17、初步文本摘要二次预处理:生成的初步文本摘要进行分词操作,然后根据停用词表去除文本中的停用词词汇,构造词典、并编码形成序列;
18、编码器编码;
19、解码器解码;
20、摘要优化,得到最终的文本摘要。
21、在一种可能的实现方式中,使用预训练语言模型进行编码操作时,每一个词语均会被映射成为一个低维的密集向量,密集向量涵盖了词语自身所具备的语义信息,还融合了上下文中存在的语义关系。
22、在一种可能的实现方式中,使用预训练语言模型将s3中原投标文件预处理后的文本转化为可供模型进行运算的向量编码,或者,使用预训练语言模型将s3中文本摘要预处理后的文本转化为可供模型进行运算的向量编码,包括:
23、将输入的文本分词转换为预训练语言模型所需的格式;
24、利用预训练的语言模型对每个字词进行编码,生成对应的字词特征向量编码;
25、将词嵌入向量作为输入传递给后续的神经网络层。
26、在一种可能的实现方式中,所述层级编码的步骤如下:
27、通过预训练语言模型得到字词特征向量编码后,利用注意力机制得到每个句子的特征向量编码,再利用注意力机制得到每个段落的特征向量编码,最后将段落编码利用注意力机制和cnn神经网络进行特征提取,得到最终的文章特征编码。
28、在一种可能的实现方式中,将不同的投标文件的得到的特征融合的结果进行相似度计算,包括:将文本整体特征和局部特征通过加权进行相加,然后根据余弦相似度计算文本间的相似度,文本相似度计算过程如下式所示:
29、,
30、在上式中,fglobal表示文本的整体特征向量,ffocal表示含有文本局部信息的局部特征向量,α表示文本整体特征向量的权重值,β表示局部信息特征的权重值,且α+β=1,fglobal+ffocal表示进行特征加权求和之后的文本向量,combined1和combined2分别表示两个需要进行相似度计算的文本,该公式中,分子表示两个文本最终加权融合特征向量的点积,分母表示两个文本最终加权融合特征向量的模的乘积。
31、与现有技术相比,本发明的有益效果是:
32、提出了融合文本摘要的文本相似度计算模型。该模型采用经典的深度语义匹配模型(dssm)作为整体模型框架,在嵌入层使用预训练语言模型bert模型对文本进行编码,同时在生成文本整体特征向量的过程中提出了从字词到句子到段落再到文本整体的层级编码方式,引入注意力机制优化模型效果。在文本相似度计算中融入文本段落摘要信息,将文本摘要信息作为文本局部信息特征和文本整体信息特征相结合,得到更为详细的文本特征,并提出了拼接特征融合的相似度计算方法和加权相加特征融合的相似度计算方法。
33、通过bert进行编码,获得了具有上下文信息的特征向量,同时引入文本段落摘要信息,获得了文本局部特征向量,增强了模型对文本细节信息的捕捉能力,因此在长文本相似度计算上有更大的优势。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com