一种跨境电商英文场景语义精准识别适配系统

摘要: 本发明涉及语义识别,尤其涉及一种跨境电商英文场景语义精准识别适配系统。背景技术:1、目前,随着跨境电商业务的快速发展,英语作为跨境交易中最广泛使用的通用语言,其...
一种跨境电商英文场景语义精准识别适配系统

本发明涉及语义识别,尤其涉及一种跨境电商英文场景语义精准识别适配系统。

背景技术:

1、目前,随着跨境电商业务的快速发展,英语作为跨境交易中最广泛使用的通用语言,其平台中每日产生海量的英文商品文本数据与用户查询数据。如何从上述英文文本数据中精准识别出商品的核心属性信息并将其有效适配至下游业务系统,已成为制约跨境电商平台数据处理效率与用户体验的关键技术挑战。然而,由于跨境电商英文文本数据具有显著的结构多样性、领域专属性及地域文化差异性特征,现有通用语义识别方法在面对上述数据时,难以实现高准确率、高一致性的语义识别,亦难以将识别结果高效衔接至下游业务环节,由此导致商品搜索准确率偏低、商品信息入库效率不足等问题。

2、针对上述技术挑战,现有技术已经提出了一些语义识别方案。例如,部分现有方案直接采用通用领域的自然语言处理模型对电商英文文本进行语义编码与分类处理,然而,该类通用模型的训练语料多来源于新闻、百科等通用领域文本,其语义表征侧重于句子整体情感或主题分类,缺乏对跨境电商垂直领域中“商品品类-商品属性-属性值”三级强关联结构的知识沉淀与专项建模,导致模型在处理商品标题和详情描述时,倾向于将“容量”“尺寸”“颜色”等核心规格参数视为普通修饰词,难以将其精准识别为带有明确层级归属关系的业务实体,从而造成属性识别准确率显著偏低。又如,部分现有方案采用基于普通同义词词典的规则匹配方法对英文文本中的商品属性词进行提取,然而,该类方案仅依赖通用词典中的同义词映射关系,未能针对跨境电商场景中由于英语地域文化差异导致的同词异义现象建立专门的语义歧义判别与消解机制,当同一英文文本数据中的不同关键词分别指向不同商品品类的叶子概念且不存在共同的直接父级品类时,现有方案无法主动回溯该英文文本的上下文信息以判别上述关键词在当前文本中的实际语义指向,从而极易产生错误的语义匹配结果,严重影响搜索排序与商品推荐的准确性。再如,现有方案在完成语义识别后,其输出结果多为纯文本标签或非结构化的向量表征形式,并未根据下游业务系统的具体数据格式要求建立从识别结果到结构化业务字段的映射关系与适配封装机制,导致识别结果与商品信息管理、搜索排序等下游业务系统之间存在显著的数据格式鸿沟,往往需要人工二次编辑与格式转换方可投入使用,整体处理效率低下,难以满足跨境电商业务对数据实时性与自动化程度的需求。

技术实现思路

1、为实现上述目的,本发明提供的一种跨境电商英文场景语义精准识别适配系统,其特征在于,所述系统包括语义树构建模块、场景匹配模块、冲突消歧模块、结构化生成模块及适配封装模块,其中:

2、语义树构建模块,用于根据跨境电商中领域原始语料的领域实体词、属性词,和实体上下位关系设置根节点与中间节点,依据属性词和实体从属关系设置叶子节点,并为各叶子节点配置同义、近义表达集合,以构建跨境电商英文场景语义树;

3、场景匹配模块,用于将跨境电商英文文本数据以结构化文本数据输入场景语义树,按照文本类型标签对应的匹配策略,将关键词与叶子节点、同义、近义表达集合匹配,得到初始语义节点匹配结果;

4、冲突消歧模块,用于当两组关键词命中的叶子节点不存在共同直接父节点时,判定出现跨节点语义冲突,提取对应上下文的辅助限定词,利用辅助限定词修正叶子节点语义指向,得到消歧后的目标语义节点匹配结果;

5、结构化生成模块,用于根据文本类型标签调用结构化输出模板,将目标语义节点匹配结果中命中叶子节点对应的商品属性关键词、属性值填充至模板字段,生成结构化语义识别结果;

6、适配封装模块,用于将结构化语义识别结果按照下游业务的适配接口格式进行封装处理,生成适配输出数据。

7、与现有技术相比,本发明具有以下有益效果:

8、1.本发明提供的跨境电商英文场景语义精准识别适配方法,通过构建专门面向跨境电商英文场景的场景语义树,并以此作为语义识别的结构化知识基础,从根源上克服了通用语义模型因训练语料领域偏差而无法精准识别商品核心属性的技术缺陷。该场景语义树以“商品品类-商品属性-属性值”为固定层级结构,将领域实体词之间的上下位关系与属性词和实体之间的从属关系显式编码为树的拓扑结构,使得每一叶子节点所表征的属性值均具有明确的品类归属路径。当结构化文本数据中的关键词输入所述场景语义树进行匹配时,匹配结果天然携带该关键词在跨境电商领域中的完整语义层级信息,而非仅输出孤立的概念标签。基于此层级信息,后续的跨节点语义冲突判定能够精确识别出不同关键词命中节点之间的品类归属是否存在逻辑矛盾,并通过提取上下文辅助限定词将冲突节点的实际语义指向修正至同一品类分支下的正确叶子节点,从而在语义消歧的全过程中充分利用了树结构提供的品类约束信息与上下文提供的局部语境信息,显著提升了语义识别结果在跨境电商场景下的准确性和一致性。

9、2.本发明进一步通过文本类型标签驱动的结构化输出模板调用机制与下游业务适配接口封装机制,在语义识别结果生成阶段即根据数据来源类型确定对应的商品属性字段组合与数据组织结构,使得识别结果中的每一商品属性关键词及属性值均以结构化的字段形式输出,而非以无结构的纯文本标签形式输出。在此基础上,按照下游业务系统规定的适配接口格式对结构化语义识别结果进行字段名称映射与数据重组封装,消除了识别结果与下游商品信息管理系统、搜索排序系统之间的数据格式鸿沟,使得识别结果能够被下游系统直接自动化调用和处理,避免了人工二次编辑与格式转换环节的介入,从而在提升语义识别精度的同时显著缩短了从英文文本数据获取到业务系统数据入库或搜索排序应用之间的端到端处理时延,全面改善了跨境电商场景下英文语义识别任务的处理效率与业务自动化水平。

1.一种跨境电商英文场景语义精准识别适配系统,其特征在于,所述系统包括语义树构建模块、场景匹配模块、冲突消歧模块、结构化生成模块及适配封装模块,其中:

2.如权利要求1所述的一种跨境电商英文场景语义精准识别适配系统,其特征在于,所述语义树构建模块,在执行根据跨境电商中领域原始语料的领域实体词、属性词,和实体上下位关系设置根节点与中间节点,依据属性词和实体从属关系设置叶子节点的过程中,包括:

3.如权利要求2所述的一种跨境电商英文场景语义精准识别适配系统,其特征在于,所述构建跨境电商英文场景语义树,包括:

4.如权利要求1所述的一种跨境电商英文场景语义精准识别适配系统,其特征在于,所述为每个叶子节点配置对应的同义表达集合和近义表达集合,包括:

5.如权利要求4所述的一种跨境电商英文场景语义精准识别适配系统,其特征在于,所述场景匹配模块在执行将跨境电商英文文本数据以结构化文本数据输入场景语义树,按照文本类型标签对应的匹配策略,将关键词与叶子节点、同义、近义表达集合匹配,得到初始语义节点匹配结果,具体用于:

6.如权利要求5所述的一种跨境电商英文场景语义精准识别适配系统,其特征在于,所述根据数据来源类型为跨境电商英文文本数据赋予对应的文本类型标签,以筛选多个匹配策略中与文本类型标签对应的目标匹配策略,包括:

7.如权利要求1所述的一种跨境电商英文场景语义精准识别适配系统,其特征在于,所述冲突消歧模块在执行当两组关键词命中的叶子节点不存在共同直接父节点时,判定出现跨节点语义冲突,具体用于:

8.如权利要求7所述的一种跨境电商英文场景语义精准识别适配系统,其特征在于,所述冲突消歧模块在执行提取对应上下文的辅助限定词,利用辅助限定词修正叶子节点语义指向,得到消歧后的目标语义节点匹配结果时,具体用于:

9.如权利要求1所述的一种跨境电商英文场景语义精准识别适配系统,其特征在于,所述结构化生成模块在执行根据文本类型标签调用结构化输出模板,将目标语义节点匹配结果中命中叶子节点对应的商品属性关键词、属性值填充至模板字段,生成结构化语义识别结果,具体用于:

10.如权利要求1所述的一种跨境电商英文场景语义精准识别适配系统,其特征在于,所述适配封装模块在执行将结构化语义识别结果按照下游业务的适配接口格式进行封装处理,生成适配输出数据时,具体用于: