基于多维语义集成的异构商品目录映射方法及系统与流程

摘要: 本发明涉及计算机数据处理、自然语言处理以及异构数据结构匹配,具体涉及基于多维语义集成的异构商品目录映射方法及系统。背景技术:1、在跨平台商品数据迁移或多平台运营...
基于多维语义集成的异构商品目录映射方法及系统与流程

本发明涉及计算机数据处理、自然语言处理以及异构数据结构匹配,具体涉及基于多维语义集成的异构商品目录映射方法及系统。

背景技术:

1、在跨平台商品数据迁移或多平台运营场景中,不同平台通常采用不同的商品类目体系。一个平台可能以多级嵌套树结构存储类目,另一个平台则可能以扁平节点列表结合parentid等父类标识进行存储。即使两个平台均表达相近的商品领域,其路径深度、层级拆分方式、类目命名粒度以及父子关系也可能存在显著差异,因此不能仅依赖节点标识或同层级名称直接建立映射。

2、现有的目录映射方式中,一类方案仅比较叶子节点名称的字符串相似度或编辑距离。该类方式对拼写差异具有一定容忍度,但当相同或高度相似的词在不同商品领域具有不同含义时,容易产生高分误匹配。例如,不同父链下的相同叶子词可能对应完全不同的商品领域,仅依据叶子字符串无法区分其语义上下文。

3、另一类方案使用tf-idf、词向量或语义嵌入对完整路径进行相似度计算。完整路径虽然能够引入上下文,但是不同平台的层级深度和路径拆分方式并不一致,若对各层级等权处理,根节点或上层通用词会稀释靠近叶子节点的细粒度信息;若仅提高叶子名称权重,又可能忽略能够区分多义词的父链语义。

4、在同时采用多个相似度特征时,常见做法是将各特征线性加权求和。线性求和属于可补偿式评分:某一维度出现明确冲突时,仍可能被其他维度的高相似度补偿。例如,叶子名称完全相同但人群属性相反,或者叶子名称完全相同但直接父类属于不同商品领域时,单纯的加权和仍可能得到较高总分。

5、为降低误匹配,有些实现对所有候选统一施加经验性降权,或者使用固定阈值决定是否进入人工复核或复杂模型判断。统一降权会同时降低无冲突正确匹配的置信度,导致高质量样本与冲突样本难以拉开;固定阈值又难以适应不同批次、不同平台以及不同类目密度下的置信度分布变化。

6、大语言模型具有较强的上下文语义理解能力,可以对复杂目录路径进行语义判断,但如果对全部候选匹配对逐一调用大语言模型,将产生较大的推理算力消耗、网络交互开销和处理时延,而且大语言模型输出的数值置信度可能与其推理文本中表达的“不完全匹配”“仅为粗略匹配”或“领域不同”等语义不完全一致。

7、因此,需要一种计算机实现的映射方案,能够适应异构目录在层级结构上的差异,抑制多义词、属性冲突等导致的高分误匹配,避免同类商品的不同命名变体被误判,并控制大语言模型的调用量。

技术实现思路

1、本发明的目的在于提供基于多维语义集成的异构商品目录映射方法及系统,以至少解决异构目录路径表达不一致、单一相似度对多义词和属性冲突识别不足、线性评分对硬冲突具有可补偿性、固定回退阈值适应性不足以及对大语言模型全量调用造成计算资源浪费的问题。

2、为实现上述目的,本发明首先分别获取源平台和目标平台的叶子节点完整层级路径。对于树状结构,可通过递归遍历由根节点向下获得路径;对于扁平节点及父类标识引用结构,可从叶子节点开始反向追溯父类标识直至根节点,并将追溯结果反向排列得到由根至叶子的完整路径。

3、设任一叶子节点的完整层级路径为:

4、(1)

5、其中,d为路径深度,表示路径中第层的类目名称,依次取0至d-1。为使越接近叶子节点的类目词在粗排阶段获得更高的词频贡献,按照层级位置对类目名称实施递增重复,形成加权路径文本:

6、(2)

7、其中,表示将第层类目名称重复次并以分隔符连接,concat表示按由浅至深的层级顺序拼接。由此,根节点仅出现一次,靠近叶子节点的层级具有更高重复次数。该处理在不改变目录层级关系的情况下,通过文本词频改变向量表示中各层级的相对贡献,可降低上层通用类目词对细粒度叶子语义的稀释。

8、对源平台和目标平台的加权路径文本进行字符级n-gram的tf-idf向量化,并计算源、目标向量之间的余弦相似度。对于每个源平台叶子节点,仅保留余弦相似度排名靠前的top-k个目标叶子节点作为候选目标节点,从而将后续高复杂度语义计算限制在稀疏候选集合内。

9、(3)

10、式(3)中,x和y分别表示一个源平台叶子节点和一个目标平台叶子节点对应的加权路径文本,和分别表示x和y经字符级n-gram tf-idf向量化得到的向量,“·”表示向量点积,表示向量的欧氏范数,表示两向量的余弦相似度。字符级n-gram中的n表示连续字符片段包含的字符数;top-k中的k表示针对每个源平台叶子节点保留的候选目标节点数量,n和k分别根据验证数据、目录规模及候选召回要求确定。

11、针对每一候选匹配对,计算多个分别表征语义、词法、人群属性、叶子节点名称和路径结构的相似度得分。优选地,所述多个相似度得分包括词向量语义相似度、token排序模糊匹配相似度、字符级tf-idf余弦相似度、基于性别与年龄关键词的人群属性匹配度、基于路径深度差异与公共前缀比例的路径结构相似度,以及基于词集合重叠与长度感知子串奖励的叶子节点名称匹配度。

12、设六个维度的相似度得分依次为至,其中、、、、和分别表示词向量语义相似度、token排序模糊匹配相似度、字符级tf-idf余弦相似度、人群属性匹配度、路径结构相似度和叶子节点名称匹配度;相应权重依次为至。式中j为维度索引,取1至6,表示第j维相似度的权重,表示第j维相似度得分,s表示六维加权得到的集成得分,则s满足:

13、(4)

14、与仅采用加权求和的方案不同,本发明在集成得分之后进一步设置针对不同语义冲突的门控式乘性惩罚。每一惩罚因子在未检测到对应冲突时保持为1,不对无冲突候选整体降权;仅在检测到对应冲突时取小于1的值,并与集成得分逐项连乘。该非补偿式结构使得明确的领域冲突、人群冲突或多义词冲突不会被其他维度的高相似度完全抵消。

15、优选地,乘性惩罚因子包括父链语义惩罚因子、叶子歧义惩罚因子、直接父类领域失配惩罚因子、人群属性冲突惩罚因子以及叶子多义词消歧惩罚因子,局部置信度满足:

16、(5)

17、在计算叶子歧义惩罚因子之前,本发明设置共享词安全阀。将待比对的两个叶子节点名称去除停用词和行尾标点后分别形成内容词集合a和b,当二者交集的元素数量不小于安全阀阈值时,优先判定两个叶子名称可能属于同类商品的不同命名变体,并跳过后续叶子歧义检测。优选条件为:

18、;

19、式中,n(x)表示集合x所包含的元素数量,a和b分别表示两个叶子节点名称经停用词及行尾标点清理后得到的内容词集合,表示共享词安全阀阈值,优选取3,表示叶子歧义惩罚因子;当共享内容词数量达到该阈值时,将置为1。该安全阀仅取消叶子歧义维度的惩罚,不会取消人群属性冲突、父链冲突或其他独立冲突因子,因此能够在抑制误惩罚的同时保留其他冲突约束。

20、进一步地,本发明根据全部候选匹配对的局部置信度构建数值分布。由于门控式乘性惩罚对无冲突候选保持不降权,而对触发冲突的候选进行逐项连乘降权,局部置信度能够在实际批次中形成相对分离的高置信度区域和低置信度区域。采用核密度估计或直方图统计定位两个波峰之间的密度谷点,并将该谷点对应的局部置信度自适应确定为回退阈值。

21、(6)

22、(7)

23、式(6)中,表示在局部置信度取值c处的核密度估计值,c为0至1区间内的置信度自变量,m表示当前批次参与分布统计的候选匹配对数量,为候选匹配对索引,表示第个候选匹配对的局部置信度,h表示核带宽,表示核函数。式(7)中,和分别表示低置信度峰和高置信度峰的位置,arg min表示在区间内取使达到最小值的c,该c对应的局部置信度即为回退阈值。采用直方图时,可在平滑后的频数曲线上以相同方式寻找两峰之间的最低频数区间。回退阈值由当前批次的实际分布确定,可随目录规模、平台差异和类目分布的变化而调整。

24、仅对低于的候选匹配对调用大语言模型进行语义判断。大语言模型输出原始置信度和推理文本;随后复用在前述多维语义阶段已经计算得到的直接父类领域失配惩罚因子和父链语义惩罚因子,并根据推理文本计算推理校准惩罚因子,对原始置信度实施乘性校准。

25、(8)

26、对于未触发大语言模型回退的候选匹配对,直接采用局部置信度作为最终匹配置信度:

27、

28、对于触发回退的候选匹配对,通过式(8)得到最终匹配置信度,从而避免大语言模型的高原始置信度覆盖已经被确定的父链领域冲突或直接父类失配信息。

29、进一步地,可将候选匹配对的各维度得分、各乘性惩罚因子、最终匹配置信度以及人工复核结果形成回流数据,对各维度权重、各乘性惩罚因子的取值以及推理文本弱匹配模式对应的惩罚因子进行迭代更新,使系统能够随商品目录演化持续校准。

30、与现有技术相比,本发明的有益效果是:

31、1.本发明提供了基于多维语义集成的异构商品目录映射方法及系统,按层级位置对类目名称递增重复后再进行字符级tf-idf向量化,提高了靠近叶子节点的类目词在路径向量中的权重,减轻了层级拆分方式差异对候选粗排的干扰。

32、2.本发明提供了基于多维语义集成的异构商品目录映射方法及系统,六个相似度维度分别刻画语义近义、词法变体、人群属性、路径结构和叶子名称,集成得分不再依赖单一的字符串相似度。

33、3.本发明提供了基于多维语义集成的异构商品目录映射方法及系统,门控式乘性惩罚只在检测到对应冲突时降权,领域、人群属性或多义词冲突不会被其他维度的高相似度抵消,无冲突候选的得分不受影响;共享词安全阀避免同类商品的命名变体被叶子歧义规则误降权。

34、4.本发明提供了基于多维语义集成的异构商品目录映射方法及系统,回退阈值取自当前批次局部置信度分布的密度谷点,只有低置信候选调用大语言模型,调用次数、推理算力和网络交互开销随之减少;大语言模型的原始置信度经复用的父类、父链惩罚因子和推理校准惩罚因子校准,已识别的结构冲突不会被较高的原始置信度覆盖。