一种基于LLM的产品服务需求意图理解与向量化表征方法

本发明属于人工智能与数据表征，具体涉及一种基于llm的产品服务需求意图理解与向量化表征方法。

背景技术：

1、在人工智能驱动的产品智能化进程中，准确理解用户功能性需求是实现个性化服务的关键，但传统基于自然语言文本的单视角表征方法存在明显不足：用户表达常具有模糊性和主观偏差，产品功能间存在复杂的结构依赖，而用户历史行为中蕴含的隐性需求也往往被忽略。因此，仅依赖文本语义难以全面、鲁棒地捕捉用户真实意图，尤其在复杂产品场景中更为突出。尽管已有研究尝试通过图神经网络或行为序列模型分别处理部分信息，但这些方法相互割裂，缺乏协同。

2、例如，rasa 3.0的knowledge base actions机制通过sentence-bert将用户自然语言查询与扁平化的产品功能知识库进行向量检索匹配，阿里巴巴提出的sar-net系统则利用图注意力网络（gat）将用户问题与商品知识图谱中的属性节点联合编码以增强语义理解

3、综上所述，尽管图神经网络和行为序列模型分别尝试融合文本与静态结构信息，但均存在三方面共性缺陷：

4、其一，结构表示静态且浅层。例如rasa使用无关联的json条目，sar-net虽引入图谱但聚焦商品属性而非产品功能间的动态依赖拓扑，均未构建可支持gnn深度编码的功能依赖图；

5、其二，完全缺失用户行为视角。二者均未接入用户历史操作日志（如点击、导出、错误反馈等时序行为），无法捕获语言表达之外的隐性需求证据；

6、其三，缺乏统一融合机制。仅进行双通道匹配或拼接，未将语义、结构、行为三类异构信息在统一向量空间中对齐并自适应融合为单一、稠密、可计算的需求表征向量。

7、为此，亟需一种能够融合用户语言表达、产品结构拓扑和用户行为序列三类异构证据的新型需求表征范式，实现统一语义空间中的联合建模与自适应融合，从而生成高保真、可解释的统一语义向量，为下一代智能产品交互系统提供支撑。

技术实现思路

1、为解决现有用户需求表征方法因依赖单一文本视角而导致的语义片面、意图漂移与鲁棒性不足等缺陷，提供一种能够全面、精准、自适应地理解用户对产品或服务真实意图的向量化表征方法，本发明提出了一种基于llm的产品服务需求意图理解与向量化表征方法。

2、具体技术方案如下：

3、s1，采集多个用户的需求描述和多个产品服务，分别组成用户集合以及服务集合，并获取每个用户的历史服务调用记录，按调用时序整理为历史服务调用序列；

4、s2，构建包含语义视角编码器、结构视角编码器、行为视角编码器和自适应门控融合模块的表征模型；语义视角编码器为llm，将用户的需求描述编码为第一向量表征；结构视角编码器根据服务集合得到第二向量表征；行为视角编码器根据历史服务调用序列得到第三向量表征；自适应门控融合模块融合所有编码器输出的向量表征，得到需求表征向量；

5、s3，根据表征模型输出结果，计算跨视角对比对齐损失、下游任务监督损失和编码器重构辅助损失，加权求和得到总损失函数并训练表征模型，得到训练完成的表征模型；

6、s4，获取待表征用户的需求描述和历史服务调用序列，与服务集合共同输入训练完成的表征模型，得到待表征用户的需求表征向量；

7、s5，计算需求表征向量与服务集合中每个产品服务的相似度得分，将相似度得分位于前k个的产品服务作为待表征用户的推荐产品服务。

8、进一步地，s2中，所述语义视角编码器为预训练后的llm，预训练过程具体为：

9、将用户集合中用户的非结构化需求描述，输入语义视角编码器，得到结构化需求文本，与真实结构化需求描述计算得到第一交叉熵损失；

10、将用户集合中用户的结构化需求描述和服务集合中服务的功能描述输入语义视角编码器，得到匹配结果；

11、根据结构化需求文本和匹配结果，结合对应的真实值统一计算得到交叉熵损失，并更新语义视角编码器参数，得到预训练的语义视角编码器。

12、进一步地，s2中，所述结构视角编码器为预训练后的图注意力网络；结构视角编码器的预训练过程，具体为：

13、将服务集合中所有产品服务作为节点，产品服务之间的依赖关系作为边，并根据产品服务的功能描述提取得到对应节点的特征向量，从而构建依赖图；

14、对依赖图采用不同的图增强策略分别得到第一增强视图和第二增强视图；

15、将第一增强视图和第二增强视图分别输入结构视角编码器，得到每个节点的输出表示；

16、结合第一增强视图和第二增强视图中每个节点的输出表示，采用infonce计算得到图自动编码器损失，并更新结构视角编码器参数，得到预训练后的结构视角编码器。

17、进一步地，所述第一增强视图采用边随机丢弃图增强策略生成；所述边随机丢弃图增强策略为随机删除依赖图中的边；

18、所述第二增强视图采用特征随机掩码图增强策略生成；所述特征随机掩码图增强策略为随机选取依赖图中的节点并将其特征向量置零。

19、进一步地，所述图自动编码器损失的计算公式，具体为：

20、；

21、其中，是第一增强视图中第k个节点，经过结构视角编码器得到的输出表示；是第二增强视图中第k个节点，经过结构视角编码器得到的输出表示；是第二增强视图中第p个节点，经过结构视角编码器得到的输出表示；是余弦相似度计算函数，是对比学习温度系数，是图自动编码器损失，是依赖图的节点集合，是期望。

22、进一步地，s2中，所述行为视角编码器为预训练后的transformer编码器，行为视角编码器的预训练过程具体为：

23、从历史服务调用序列提取每次调用行为对应的行为事件，并进行结构化处理，得到结构化行为事件序列；

24、随机选择结构化行为事件序列中的行为事件进行掩码，得到掩码后的结构化行为事件序列；所述掩码处理包括将行为事件替换为空白行为事件、其他行为事件或不作处理；

25、将掩码后的结构化行为事件序列转换为融合嵌入向量并输入行为视角编码器中，结合输出结果和结构化行为事件序列计算得到行为序列损失，并更新行为视角编码器参数，得到预训练后的行为视角编码器。

26、进一步地，所述行为序列损失的计算公式具体为：

27、；

28、其中，是结构化行为事件序列中被掩码的行为事件集合，是掩码位置索引，是服务词汇表的总词条数量，是标签平滑系数，是掩码位置对应的原始真实行为事件，是服务词汇表中第个行为事件词条，是根据行为视角编码器在掩码位置的输出结果，计算得到的该位置被预测为行为事件词条的概率；是行为序列损失。

29、进一步地，所述s2中，自适应门控融合模块输出需求表征向量的计算公式为：

30、；

31、；

32、其中，是将第一向量表征、第二向量表征、第三向量表征三个向量表征的拼接操作，、均是权重矩阵，、均是偏置向量，是中间参数，和均是激活函数；是需求表征向量。

33、进一步地，所述s3中，跨视角对比对齐损失、下游任务监督损失和编码器重构辅助损失的计算公式，具体为：

34、跨视角对比对齐损失计算公式为：

35、；

36、其中，，分别对应语义视角编码器对应的语义视角、结构视角编码器对应的结构视角、行为视角编码器对应的行为视角，是第个视角对应编码器输出的向量表征；是同一用户其余两个视角对应编码器输出的向量表征，作为正样本；是不同用户的语义视角、结构视角和行为视角对应编码器输出的向量表征，作为负样本；n是负样本总数量；sim(·,·)是特征相似度，采用余弦相似度计算；τ′是温度超参数；

37、下游任务监督损失计算公式为：

38、；

39、其中，是多层感知机根据输入的第i个产品服务预测得到的产品服务属性，m是产品服务总数，是第i个产品服务的真实属性；

40、编码器重构辅助损失计算公式为：

41、；

42、其中，是重构后的交叉熵损失；是重构后的图自动编码器损失；是重构后的行为序列损失。

43、进一步地，所述s3中，表征模型采用渐进式解冻策略进行训练，所述渐进式解冻策略具体为：

44、指定总训练轮次为n，将前a-1个训练轮次作为第一阶段，此时仅更新自适应门控融合模块的参数；

45、第a个训练轮次到第b个训练轮次作为第二阶段，此时更新自适应门控融合模块所有参数和语义视角编码器、结构视角编码器、行为视角编码器的最后两层参数；

46、第b+1个训练轮次到第n个训练轮次作为第三阶段，此时更新自适应门控融合模块、语义视角编码器、结构视角编码器和行为视角编码器的所有参数；

47、当完成n个训练轮次后，认为表征模型训练完成，此时得到训练完成的表征模型。

48、本发明具有的有益效果是：

49、（1）本发明创新性地将用户行为序列作为第三关键视角，与基于产品功能依赖图的动态结构建模和领域适配的语义编码协同融合，从而不仅克服了现有方案因依赖扁平化知识库或静态属性图而导致的上下文缺失问题。

50、（2）本发明通过自适应门控融合模块中的自适应门控机制，将三种视角的向量表征融合，从而实现了对新老用户的鲁棒个性化表征--在用户表述模糊时，系统可借助行为证据与功能拓扑进行交叉校验，在无行为日志时又能退化为语义-结构双视角保障基础可用性，从根本上解决了单视角或双视角方法在真实产品场景中语义片面、意图漂移与个性化不足的缺陷。