用户输入的交互方法、装置、电子设备及程序产品与流程

本技术涉及人工智能领域，具体而言，涉及一种用户输入的交互方法、装置、电子设备及程序产品。

背景技术：

1、在金融智能化服务快速发展的背景下，混合专家模型因其稀疏激活、高效扩展的特性，已成为构建金融专业大模型的重要架构。现有技术中，主流混合专家模型系统普遍采用单一门控网络对输入金融文本进行专家选择，该门控网络仅依据输入特征的语义表示，通过软注意力机制计算各专家的激活概率，实现语义匹配即激活的决策逻辑。但是在高并发金融场景下，如多用户同时咨询宏观经济趋势、信贷风险评估或投资组合优化等复杂问题时，部分专业性强、匹配度高的专家因语义匹配度高而被频繁激活，导致其计算资源迅速饱和；与此同时，其他专家因当前输入语义中关键词较少而长期闲置，资源利用率低下。这种负载分配的失衡不仅造成计算资源浪费，更引发响应延迟加剧、服务队列堆积等连锁问题。

2、针对相关技术中混合专家模型依赖单一的门控网络进行专家选择，容易造成部分专家模型过载而部分专家模型闲置，导致高并发金融场景下响应速度较低的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术的主要目的在于提供一种用户输入的交互方法、装置、电子设备及程序产品，以解决相关技术中混合专家模型依赖单一的门控网络进行专家选择，容易造成部分专家模型过载而部分专家模型闲置，导致高并发金融场景下响应速度较低的问题。

2、为了实现上述目的，根据本技术的一个方面，提供了一种用户输入的交互方法，该方法包括：获取用户输入的金融领域文本，通过预训练的语义编码器将金融领域文本编码转换为语义特征向量；将语义特征向量输入混合专家模型中，得到混合专家模型输出的第一专家模型的目标匹配概率，其中，混合专家模型至少包括：第一子模型、第二子模型、第三子模型，其中，第一子模型用于识别金融领域文本的用户意图，第二子模型用于基于用户意图从多个专家模型中确定第一专家模型，第三子模型用于基于第一专家模型的负载信息确定第一专家模型的目标匹配概率；基于第一专家模型的目标匹配概率对第一专家模型和语义特征向量进行处理，得到金融领域文本对应的目标回复内容。

3、进一步地，在将语义特征向量输入混合专家模型中之前，上述的方法还包括：从历史用户输入文本中提取历史语义特征向量，对历史语义特征向量进行归一化处理与线性投影处理，得到处理后的历史向量；将处理后的历史向量输入第一预训练模型中，得到第一预训练模型输出的历史意图和置信度；将专家模型矩阵、处理后的历史向量、历史意图和置信度输入第二预训练模型中，得到第二预训练模型输出的第二专家模型的历史初始匹配概率，其中，专家模型矩阵是依据多个专家模型的业务关键词构建的向量矩阵；将语义特征向量、专家模型矩阵、多个专家模型的负载信息和第二专家模型的历史初始匹配概率输入第三预训练模型中，得到第三预训练模型输出的每个第二专家模型的历史目标匹配概率；依据与历史用户输入文本匹配的真实专家模型和每个第二专家模型的历史目标匹配概率对专家模型矩阵、第一预训练模型、第二预训练模型和第三预训练模型进行迭代优化，依据优化后的模型确定混合专家模型。

4、进一步地，在将处理后的历史向量输入第一预训练模型中，上述的方法还包括：将已知的金融领域知识对应的特征向量输入预设分类模型中，通过预设分类模型中的前馈神经网络输出分类后的文本意图，通过预设分类模型中的激活函数输出文本意图置信度；基于二元交叉熵损失函数依据文本意图、文本意图置信度和金融领域知识的真实标签确定第一损失函数值；依据第一损失函数值对预设分类模型进行迭代训练，直到模型收敛，得到第一预训练模型。

5、进一步地，在将专家模型矩阵、处理后的历史向量、历史意图和置信度输入第二预训练模型中之前，上述的方法还包括：按照业务领域将多个专家模型划分为n组专家模型，依据n组专家模型中每个专家模型的业务关键词确定每组专家模型的组嵌入向量，依据每组专家模型的组嵌入向量构建专家模型矩阵，其中，n是正整数；将金融领域知识对应的特征向量作为查询，将专家模型矩阵作为键，通过包含注意力机制的第一神经网络计算每组专家模型的第一注意力得分，并通过金融领域知识对应的文本意图置信度对每组专家模型的第一注意力得分进行加权计算，得到每组专家模型的第一匹配概率；依据每组专家模型的第一匹配概率在n组专家模型中确定第二专家模型；依据与金融领域知识匹配的真实专家模型和第二专家模型的第一匹配概率确定第二损失函数值；依据第二损失函数值对第一神经网络进行迭代训练，直到模型收敛，得到第二预训练模型。

6、进一步地，在将语义特征向量、专家模型矩阵、多个专家模型的负载信息和第二专家模型的历史初始匹配概率输入第三预训练模型中之前，上述的方法还包括：依据预设时间段内第二专家模型的使用次数和多个专家模型的平均使用次数确定第二专家模型的负载信息；将金融领域知识对应的特征向量作为查询，将专家模型矩阵作为键，通过包含注意力机制的第二神经网络计算第二专家模型的第二注意力得分；依据第二专家模型的第一匹配概率对第二专家模型的第二注意力得分进行加权计算，得到第二专家模型的第三注意力得分；依据第二专家模型的负载信息对第二专家模型的第三注意力得分进行加权计算，得到第二专家模型的第二匹配概率；依据与金融领域知识匹配的真实专家模型和第二专家模型的第二匹配概率确定第三损失函数值；依据第三损失函数值对第二神经网络进行迭代训练，直到模型收敛，得到第三预训练模型。

7、进一步地，基于第一专家模型的目标匹配概率对第一专家模型和语义特征向量进行处理，得到金融领域文本对应的目标回复内容，包括：基于第一专家模型的目标匹配概率筛选目标匹配概率大于预设匹配概率的k个目标专家模型，其中，k是正整数；将语义特征向量分别输入k个目标专家模型中的每个目标专家模型中，得到每个目标专家模型的输出结果；依据k个目标专家模型的目标匹配概率对每个目标专家模型的输出结果进行加权融合，得到加权融合向量；将加权融合向量输入至输出融合模型，生成针对金融领域文本的目标回复内容，其中，输出融合模型至少包括以下结构：全连接层、聚合网络。

8、进一步地，通过预训练的语义编码器将金融领域文本编码转换为语义特征向量，包括：对金融领域文本进行数据预处理，得到处理后的文本；将处理后的文本输入预训练语义处理模型中，通过预训练语义处理模型的词嵌入机制和转换器机制将处理后的文本中的每个词转换为包含上下文语义的高维向量表示；依据高维向量表示生成语义特征向量。

9、为了实现上述目的，根据本技术的另一方面，提供了一种用户输入的交互装置，该装置包括：转换单元，用于获取用户输入的金融领域文本，通过预训练的语义编码器将金融领域文本编码转换为语义特征向量；第一匹配单元，用于将语义特征向量输入混合专家模型中，得到混合专家模型输出的第一专家模型的目标匹配概率，其中，混合专家模型至少包括：第一子模型、第二子模型、第三子模型，其中，第一子模型用于识别金融领域文本的用户意图，第二子模型用于基于用户意图从多个专家模型中确定第一专家模型，第三子模型用于基于第一专家模型的负载信息确定第一专家模型的目标匹配概率；第一处理单元，用于基于第一专家模型的目标匹配概率对第一专家模型和语义特征向量进行处理，得到金融领域文本对应的目标回复内容。

10、进一步地，上述的装置还包括：第二处理单元，用于在将语义特征向量输入混合专家模型中之前，从历史用户输入文本中提取历史语义特征向量，对历史语义特征向量进行归一化处理与线性投影处理，得到处理后的历史向量；第三处理单元，用于将处理后的历史向量输入第一预训练模型中，得到第一预训练模型输出的历史意图和置信度；第二匹配单元，用于将专家模型矩阵、处理后的历史向量、历史意图和置信度输入第二预训练模型中，得到第二预训练模型输出的第二专家模型的历史初始匹配概率，其中，专家模型矩阵是依据多个专家模型的业务关键词构建的向量矩阵；第三匹配单元，用于将语义特征向量、专家模型矩阵、多个专家模型的负载信息和第二专家模型的历史初始匹配概率输入第三预训练模型中，得到第三预训练模型输出的每个第二专家模型的历史目标匹配概率；优化单元，用于依据与历史用户输入文本匹配的真实专家模型和每个第二专家模型的历史目标匹配概率对专家模型矩阵、第一预训练模型、第二预训练模型和第三预训练模型进行迭代优化，依据优化后的模型确定混合专家模型。

11、进一步地，上述的装置还包括：分类单元，用于在将处理后的历史向量输入第一预训练模型中，将已知的金融领域知识对应的特征向量输入预设分类模型中，通过预设分类模型中的前馈神经网络输出分类后的文本意图，通过预设分类模型中的激活函数输出文本意图置信度；第一确定单元，用于基于二元交叉熵损失函数依据文本意图、文本意图置信度和金融领域知识的真实标签确定第一损失函数值；第一训练单元，用于依据第一损失函数值对预设分类模型进行迭代训练，直到模型收敛，得到第一预训练模型。

12、进一步地，上述的装置还包括：第二确定单元，用于在将专家模型矩阵、处理后的历史向量、历史意图和置信度输入第二预训练模型中之前，按照业务领域将多个专家模型划分为n组专家模型，依据n组专家模型中每个专家模型的业务关键词确定每组专家模型的组嵌入向量，依据每组专家模型的组嵌入向量构建专家模型矩阵，其中，n是正整数；第三确定单元，用于将金融领域知识对应的特征向量作为查询，将专家模型矩阵作为键，通过包含注意力机制的第一神经网络计算每组专家模型的第一注意力得分，并通过金融领域知识对应的文本意图置信度对每组专家模型的第一注意力得分进行加权计算，得到每组专家模型的第一匹配概率；第四确定单元，用于依据每组专家模型的第一匹配概率在n组专家模型中确定第二专家模型；第五确定单元，用于依据与金融领域知识匹配的真实专家模型和第二专家模型的第一匹配概率确定第二损失函数值；第二训练单元，用于依据第二损失函数值对第一神经网络进行迭代训练，直到模型收敛，得到第二预训练模型。

13、进一步地，上述的装置还包括：第六确定单元，用于在将语义特征向量、专家模型矩阵、多个专家模型的负载信息和第二专家模型的历史初始匹配概率输入第三预训练模型中之前，依据预设时间段内第二专家模型的使用次数和多个专家模型的平均使用次数确定第二专家模型的负载信息；第七确定单元，用于将金融领域知识对应的特征向量作为查询，将专家模型矩阵作为键，通过包含注意力机制的第二神经网络计算第二专家模型的第二注意力得分；第八确定单元，用于依据第二专家模型的第一匹配概率对第二专家模型的第二注意力得分进行加权计算，得到第二专家模型的第三注意力得分；第九确定单元，用于依据第二专家模型的负载信息对第二专家模型的第三注意力得分进行加权计算，得到第二专家模型的第二匹配概率；第十确定单元，用于依据与金融领域知识匹配的真实专家模型和第二专家模型的第二匹配概率确定第三损失函数值；第三训练单元，用于依据第三损失函数值对第二神经网络进行迭代训练，直到模型收敛，得到第三预训练模型。

14、进一步地，第一处理单元包括：筛选子单元，用于基于第一专家模型的目标匹配概率筛选目标匹配概率大于预设匹配概率的k个目标专家模型，其中，k是正整数；确定子单元，用于将语义特征向量分别输入k个目标专家模型中的每个目标专家模型中，得到每个目标专家模型的输出结果；融合子单元，用于依据k个目标专家模型的目标匹配概率对每个目标专家模型的输出结果进行加权融合，得到加权融合向量；第一生成子单元，用于将加权融合向量输入至输出融合模型，生成针对金融领域文本的目标回复内容，其中，输出融合模型至少包括以下结构：全连接层、聚合网络。

15、进一步地，转换单元包括：处理子单元，用于对金融领域文本进行数据预处理，得到处理后的文本；转换子单元，用于将处理后的文本输入预训练语义处理模型中，通过预训练语义处理模型的词嵌入机制和转换器机制将处理后的文本中的每个词转换为包含上下文语义的高维向量表示；第二生成子单元，用于依据高维向量表示生成语义特征向量。

16、为了实现上述目的，根据本技术的一个方面，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任意一项用户输入的交互方法，计算机程序被处理器执行时实现本技术各个实施例中用户输入的交互方法的步骤。

17、为了实现上述目的，根据本技术的一个方面，提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机指令，其中，在计算机指令被处理器执行时实现上述任意一项用户输入的交互方法。

18、为了实现上述目的，根据本技术的一个方面，提供了一种电子设备，包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述任意一项用户输入的交互方法。

19、在本技术实施例中，通过获取用户输入的金融领域文本，通过预训练的语义编码器将金融领域文本编码转换为语义特征向量；将语义特征向量输入混合专家模型中，得到混合专家模型输出的第一专家模型的目标匹配概率，其中，混合专家模型至少包括：第一子模型、第二子模型、第三子模型，其中，第一子模型用于识别金融领域文本的用户意图，第二子模型用于基于用户意图从多个专家模型中确定第一专家模型，第三子模型用于基于第一专家模型的负载信息确定第一专家模型的目标匹配概率；基于第一专家模型的目标匹配概率对第一专家模型和语义特征向量进行处理，得到金融领域文本对应的目标回复内容，进而解决了混合专家模型依赖单一的门控网络进行专家选择，容易造成部分专家模型过载而部分专家模型闲置，导致高并发金融场景下响应速度较低的技术问题。

20、通过第一子模型识别用户意图，由第二子模型粗粒度筛选专家模型组，再由第三子模型结合专家模型的实时负载信息预测专家模型组的目标匹配概率，从而实现三级递进式专家选择机制，即使用户输入文本涉及多领域交叉的复杂需求，也能避免因单一门控网络决策偏差导致的专家选择不稳定问题，避免了部分专家模型因持续高激活而过载、其他专家模型长期闲置的资源分配不均现象，达到了专家模型精准匹配与专家模型负载均衡的技术效果，因此，可以解决相关技术中混合专家模型依赖单一的门控网络进行专家选择，容易造成部分专家模型过载而部分专家模型闲置，导致高并发金融场景下响应速度较低的技术问题，达到了提升混合专家模型在金融高并发场景下的响应速度、稳定性和资源利用率的技术效果。