一种面向数字城管领域的语义相似度计算方法与流程

本发明涉及数字城管领域，尤其涉及一种面向数字城管领域的语义相似度计算方法。

背景技术：

1、在数字城管业务中，案件派发的一个关键环节在于：将新上报的问题描述与历史已处置问题的描述进行相似度匹配，从而依据历史经验确定对应的处置部门。然而，城管领域的问题描述文本具有鲜明的特点：一方面，文本形式多为短文本，语言口语化严重，同一语义概念常存在多种表述（如“路灯不亮”“照明设施故障”均指向同一问题）；另一方面，虽然表达方式多样，但文本的核心要素结构相对固定，通常包含设施、问题、位置、动作等关键信息。

2、现有技术中，文本相似度计算方法主要分为两类：

3、第一类为基于传统集合论的方法，如jaccard系数。该类方法通过计算两个文本集合的交并比来衡量相似度，简单高效，但存在明显缺陷：其一，对词语的重要性一视同仁，无法突出城管业务中的核心要素（如设施类型和位置往往比动作描述更为关键）；其二，依赖精确字符匹配，无法处理同义词、近义词带来的语义鸿沟问题。

4、第二类为基于深度学习的语义向量方法，如sentence-bert（bidirectionalencoder representations from transformers，句子嵌入）模型。该类方法通过神经网络将文本映射为稠密向量，能够较好地捕捉上下文语义信息。然而，纯数据驱动的方法在城管领域存在两方面局限：一是缺乏领域知识的引导，对“井盖”与“雨水箅子”等专业术语的区分能力不足；二是黑盒特性较强，难以给出可解释的匹配证据，不符合政务业务对透明化的要求。

5、因此，就需要一种能够面向数字城管领域、结合领域知识规则与预训练模型优势的语义相似度计算方法。

技术实现思路

1、本发明为了解决现有技术中相似度匹配精度不足、缺乏领域知识引导和可解释性差的问题，提供了一种既能够利用领域知识库处理同义表述、突出核心要素的权重，又能借助预训练模型捕捉通用语义信息，还可通过自适应权重动态平衡两种方法的贡献，满足数字城管业务对相似度匹配准确性和可解释性需求的面向数字城管领域的语义相似度计算方法。

2、本发明所述的一种面向数字城管领域的语义相似度计算方法，包括：

3、s1、构建领域知识库；

4、预先构建城管领域词典；所述领域词典包括设施词典、问题词典、位置词典、动作词典和领域同义词表，所述领域同义词表中记录同一语义概念的不同表述形式及其映射关系；

5、s2、领域增强预处理与四元组抽取；

6、利用ltp对输入的和两个语句进行分词、词性标注与依存句法分析，结合领域词典统一到原名后提取四类信息，形成四元组，表示为q(f，p，l，a)，一号词句对应一号四元组，二号词句对应二号四元组；

7、s3、改进的jaccard相似度计算；

8、根据一号四元组和二号四元组，计算改进的jaccard相似度；

9、(2)；

10、其中，是特征类型的权重系数，满足；

11、s4、余弦相似度计算；

12、将和输入预训练的sentence-bert模型，分别映射为句向量和，计算余弦相似度：

13、(5)；

14、s5、自适应加权融合；

15、根据四元组抽取的置信度和句法置信度，动态计算融合权重λ，然后对jaccard相似度和余弦相似度进行加权融合，得到最终的语义相似度s：

16、(6)。

17、进一步地：对于输入的两条城管领域文本、分别执行以下子步骤：

18、s21、利用ltp工具对文本进行分词、词性标注与依存句法分析，基于所述城管领域词典，对文本进行领域词匹配，识别出设施f、问题p、动作a的候选词；根据句法弧确定各要素之间的修饰关系，并根据地址模式识别位置要素l；

19、s22、根据以下规则确定文本中每个词w的要素类型type(w)：

20、若w∈，则type(w)=f；

21、若w∈，则type(w)=p；

22、若w符合地址模式，则type(w)=l；

23、若w∈，则type(w)=a；

24、将文本t表示为四元组q(t)=(f，p，l，a)，其中每个要素均以集合形式表示，若某类要素缺失则对应集合为空。

25、进一步地：所述sentence-bert模型预先在城管领域语料上采用对比学习损失函数进行调整，从而实现拉近相似文本对的距离，推远不相似文本对的距离；采用城管领域标注的相似文本对作为训练数据，正例为相同案件类型的描述对，负例为不同案件类型的描述对。

26、进一步地：在s5中，，和的计算如公式(7)所示，以计算为例：

27、(7)；

28、为对句法置信度的信任度，值越高表示越信任句法置信度，表示对文本t1进行四元组抽取时的置信度得分，由ltp进行依存句法分析后，与领域词集合进行匹配而得到的匹配度，用于衡量文本t1中领域术语的覆盖完整度，如公式(8)所示：

29、(8)；

30、式中，是ltp识别出的所有候选要素词的总数，是这些候选词中，能成功匹配到城管领域词典的词汇数量，该值越高，表明文本t1的表述越规范，四元组抽取越可靠；为利用ltp工具进行依存句法分析后，基于分析结果计算出的句法置信度，计算方法如公式(9)所示。

31、(9)；

32、其中，是我们定义的关键依存关系集合，在城市管理领域，依赖关系包括sbv、vob、att、deps(t1)是文本t1的所有依存弧集合，是ltp对依存弧的预测概率，max操作主要是选取每种关键关系中最可靠的弧；

33、当置信度高时，λ趋近于1，语义相似度依赖于规则驱动的改进jaccard相似度；当置信度低时，λ趋近于0，语义相似度依赖于模型驱动的余弦相似度。

34、进一步地：在s3中，在所述改进的jaccard相似度计算中，权重系数根据两个句子的置信度进行调整。

35、进一步地：所述领域同义词表通过人工标注与自动扩展相结合的方式构建，自动扩展采用词向量模型在城管语料上训练后，通过向量相似度发现潜在同义词。

36、本发明的有益效果是：

37、本发明提出一种数字城管语义相似度计算方法，采用融合领域知识增强与多粒度语义匹配的算法citysentencesimilar，通过领域词典与句法分析相结合的方式抽取文本的结构化要素，再分别从要素层面和语义层面进行相似度计算，并通过自适应加权融合实现优势互补，从而在保证精度的同时兼顾可解释性。本发明通过预先构建城管领域知识库，提取文本核心四元组要素并对不同要素设置差异化权重，能够突出城管业务的核心信息，提升匹配的准确性；通过融合领域同义词表，能够有效处理同一语义的不同表述，解决语义鸿沟问题；利用领域适配后的sentence-bert模型计算语义向量，弥补了传统方法无法捕捉隐式语义的不足；通过四元组抽取置信度动态调整融合权重，在抽取准确时依赖可解释的规则匹配，抽取不准确时借助预训练模型的语义能力，兼顾了结果的准确性与可解释性，适配数字城管业务的实际需求。

38、本发明具有以下有益效果：

39、1、精度提升：通过融合领域知识增强的结构化要素匹配与深度学习的语义向量匹配，兼顾了城管领域专业术语的精确匹配和上下文语义的灵活理解，显著提高了相似度计算的准确性。

40、2、可解释性强：通过四元组抽取与匹配证据输出，为决策者提供了清晰的可视化匹配依据，满足政务业务的透明化要求。

41、3、自适应能力强：根据文本结构化信息的完整度动态调整融合权重，在不同质量的数据上均能保持良好性能。

42、4、计算效率高：相比依赖大语言模型的方法，本发明在保证精度的前提下具有更低的计算成本，适合实际城管系统的实时处理需求。