行为预测方法、装置、设备、介质及程序产品与流程
本技术涉及人工智能,尤其涉及一种行为预测方法、装置、设备、介质及程序产品。
背景技术:
1、随着产业数字化的不断推进,用户交互数据的体量在不断的增大,挖掘海量用户数据中蕴含的潜在营销机会,是当前企业提升核心市场竞争力的核心发展方向。
2、在相关技术中,主要通过文本语义分析的方式来对用户数据进行系统化的分析。具体地,可以采用基于 transformer 的双向编码器表征(bidirectional encoderrepresentations from transformers,bert)的预训练语言模型对客服交互文本数据进行情感分析、主题识别,挖掘文本承载的用户语义信息,以此识别用户潜在消费意图。
3、然而,上述采用bert等预训练语言模型表征维度有限、语义表达空间狭窄,难以挖掘文本深层网络信息,使文本特征提取仅停留在浅层,信息量获取不足,进而导致此类模型文本识别精度较低,无法对用户行为进行精准预测。
技术实现思路
1、本技术提供一种行为预测方法、装置、设备、介质及程序产品,用于用户的业务行为预测场景中。
2、第一方面,本技术实施例提供了一种行为预测方法,该方法包括:获取目标用户的用户画像特征信息和交互信息文本;基于目标大语言模型和上述交互信息文本,得到目标文本语义特征信息,该目标文本语义特征信息包含与目标业务行为适配的业务意图特征信息;将上述用户画像特征信息和上述目标文本语义特征信息融合,得到融合特征信息;基于该融合特征信息,通过梯度提升树分类模型预测上述目标用户在预定时间段内发生目标业务行为的概率。
3、本技术提供的技术方案至少带来以下有益效果:本技术基于目标大语言模型对交互信息文本进行文本语义提取,从而提取包含与目标业务行为适配的业务意图特征信息的文本语义特征信息,然后,将该文本语义特征信息与用户画像特征向量进行拼接融合,便可得到包含用户画像特征以及富含用户业务意图的文本语义特征的融合特征向量,进而基于该融合特征向量通过梯度提升树分类模型便可精准的预测出用户未来的目标业务行为发生概率,提升了用户行为预测的准确度。
4、一种可能的实现方式,上述将上述交互信息文本输入至目标大语言模型,输出目标文本语义特征信息,包括:将上述交互信息文本输入至上述目标大语言模型,该目标大语言模型包括词嵌入层、n层解码层以及归一化层,n为大于1的整数;通过上述词嵌入层,将上述交互信息文本中的每个词元映射为初始特征向量,得到第一初始特征向量序列;按照上述n层解码层的层级顺序,通过上述n层解码层逐步捕捉上述第一初始特征向量序列中词元之间的上下文依赖关系,以获取上述n层解码层中的最后m层解码层输出的m个包含与上述目标业务行为适配的用户业务意图的第一文本语义特征信息,并输出该第一文本语义特征信息,m为小于n的正整数;通过上述池化层对上述m个第一文本语义特征信息进行加权融合,得到上述目标文本语义特征信息。
5、另一种可能的实现方式,上述池化层为加权平均池化层;上述通过上述池化层对上述m个第一文本语义特征信息进行加权融合,得到上述目标文本语义特征信息,包括:通过上述加权平均池化层对上述m个第一文本语义特征信息进行加权平均融合,得到上述目标文本语义特征信息。
6、又一种可能的实现方式,上述获取目标用户的用户画像特征信息,包括:从目标用户的结构化画像数据中,提取目标用户的多个用户画像字段;该用户画像字段包括用户属性字段和用户行为字段;将上述目标用户的多个用户画像字段进行特征编码操作,得到每个用户画像字段对应的标签特征;将上述每个用户画像字段对应的特征向量拼接,得到上述用户画像特征信息。
7、又一种可能的实现方式,上述行为预测方法还包括:获取训练样本,该训练样本中包含交互信息文本样本和上述交互信息文本样本对应的二分类标签,该分类标签用于指示用户预定时间段内是否发生上述目标业务行为;将上述训练样本的交互信息文本输入大语言模型,该大语言模型包括词嵌入层、n层解码层、池化层以及线性分类层,n为大于1的整数;通过上述词嵌入层,将上述交互信息文本样本中的每个词元映射为初始特征向量,得到第二初始特征向量序列;按照上述n层解码层的层级顺序,通过该n层解码层逐步捕捉上述第二初始特征向量序列中词元之间的上下文依赖关系,以获取该n层解码层中最后一层解码层输出的隐藏状态向量;通过上述归一化层,对上述隐藏状态向量进行归一化处理,得到归一化隐藏状态向量;通过上述线性分类层,对上述归一化隐藏状态向量进行从语义特征到业务标签的特征映射,得到预测分类标签;基于上述二分类标签和上述预测分类标签,计算交叉熵损失;基于上述交叉熵损失,更新上述大语言模型的模型参数;该大语言模型的模型参数更新完成后,移除上述线性分类层,得到目标大语言模型;该目标大语言模型包括上述词嵌入层、上述n层解码层以及上述归一化层;该目标大语言模型用于:将交互信息文本输入该目标大语言模型后,通过上述词嵌入层、上述n层解码层以及上述归一化层进行处理,并拦截上述n层解码层中的最后m层解码层输出的m个文本语义特征信息。
8、第二方面,本技术实施例提供了本技术提供一种行为预测装置,包括:获取模块,用于获取目标用户的用户画像特征信息和交互信息文本;处理模块,用于基于目标大语言模型和获取模块获取的上述交互信息文本,得到目标文本语义特征信息,上述目标文本语义特征信息包含与目标业务行为适配的业务意图特征信息;上述处理模块,还用于将上述获取模块获取的上述用户画像特征信息和上述目标文本语义特征信息融合,得到融合特征信息;预测模块,用于基于上述处理模块得到的上述融合特征信息,通过梯度提升树分类模型预测上述目标用户在预定时间段内发生目标业务行为的概率。
9、一种可能的实现方式,上述处理模块,具体用于:将上述交互信息文本输入至目标大语言模型,该目标大语言模型包括词嵌入层、n层解码层、归一化层,n为大于1的整数;通过上述词嵌入层,将上述交互信息文本中的每个词元映射为初始特征向量,得到第一初始特征向量序列;按照上述n层解码层的层级顺序,通过上述n层解码层逐步捕捉上述第一初始特征向量序列中词元之间的上下文依赖关系,以获取n层解码层中的最后m层解码层输出的m个包含与上述目标业务行为适配的用户业务意图的第一文本语义特征信息,并输出上述第一文本语义特征信息,m为小于n的正整数;通过池化层对上述m个第一文本语义特征信息进行加权融合,得到目标文本语义特征信息。
10、另一种可能的实现方式,上述池化层为加权平均池化层;上述处理模块,具体用于:上述处理模块,还用于:通过该加权平均池化层对上述m个第一文本语义特征信息进行加权平均融合,得到目标文本语义特征信息。
11、又一种可能的实现方式,上述获取模块,具体用于:从目标用户的结构化画像数据中,提取该目标用户的多个用户画像字段;该用户画像字段包括用户属性字段和用户行为字段;将上述目标用户的多个用户画像字段进行特征编码操作,得到每个用户画像字段对应的特征向量;将上述每个用户画像字段对应的特征向量拼接,得到上述用户画像特征信息。
12、又一种可能的实现方式,上述行为预测装置还包括:训练模块,上述获取模块,还用于获取训练样本,上述训练样本中包含交互信息文本样本和上述交互信息文本样本对应的二分类标签,该分类标签用于指示用户预定时间段内是否发生目标业务行为;上述处理模块,还用于将上述获取模块获取的上述训练样本的交互信息文本输入大语言模型,上述大语言模型包括词嵌入层、n层解码层、归一化层以及线性分类层,n为大于1的整数;上述处理模块,还用于通过上述词嵌入层,将上述交互信息文本样本中的每个词元映射为初始特征向量,得到第二初始特征向量序列;上述处理模块,还用于按照上述n层解码层的层级顺序,通过上述n层解码层逐步捕捉上述第二初始特征向量序列中词元之间的上下文依赖关系,以获取上述n层解码层中最后一层解码层输出的隐藏状态向量;上述处理模块,还用于通过上述归一化层,对上述隐藏状态向量进行归一化处理,得到归一化隐藏状态向量;上述处理模块,还用于通过上述线性分类层,对上述归一化隐藏状态向量进行从语义特征到业务标签的特征映射,得到预测分类标签;上述训练模块,用于基于上述二分类标签和上述预测分类标签,计算交叉熵损失;上述训练模块,还用于基于上述交叉熵损失,更新上述大语言模型的模型参数;上述训练模块,还用于在上述大语言模型的模型参数更新完成后,移除上述线性分类层,得到目标大语言模型;该目标大语言模型包括上述词嵌入层、上述n层解码层以及上述归一化层;该目标大语言模型用于:将交互信息文本输入该目标大语言模型后,通过上述词嵌入层、上述n层解码层以及上述归一化层进行处理,并拦截上述n层解码层中的最后m层解码层输出的m个文本语义特征信息。
13、第三方面,本技术提供一种电子设备,该电子设备包括:处理器和存储器;该存储器存储可在处理器上运行的程序或指令,上述程序或指令被该处理器执行时实现上述第一方面的方法。
14、第四方面,本技术提供一种可读存储介质,该可读存储介质上存储程序或指令,上述程序或指令被计算机执行时实现上述第一方面的方法。
15、第五方面,本技术提供一种计算机程序产品,该计算机程序产品被存储在存储介质中,当该计算机程序产品被计算机执行时以实现上述第一方面的方法。
16、第六方面,本技术实施例提供了一种芯片,该芯片包括处理器和通信接口,上述通信接口和上述处理器耦合,上述处理器用于运行程序或指令,实现如上述第一方面的方法。
17、上述第二方面至第六方面的有益效果参考第一方面的对应描述,不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com