面向角色的交互策略优化方法、装置、介质及产品与流程

摘要: 本发明涉及智能人机交互,尤其涉及一种面向角色的交互策略优化方法、装置、介质及产品。背景技术:1、随着动漫角色、游戏角色、虚拟偶像等各类角色的广泛流行,由此产生了...
面向角色的交互策略优化方法、装置、介质及产品与流程

本发明涉及智能人机交互,尤其涉及一种面向角色的交互策略优化方法、装置、介质及产品。

背景技术:

1、随着动漫角色、游戏角色、虚拟偶像等各类角色的广泛流行,由此产生了用户与角色进行互动的情感需求。为满足这一需求,出现了一类智能装置,该类智能装置可用于模拟用户与角色之间的互动。然而,该类智能装置在交互效果方面仍存在不足,如何改善智能装置的交互效果,已成为当前亟待解决的问题。

技术实现思路

1、本技术实施例提供一种面向角色的交互策略优化方法、装置、介质及产品,用以解决如何改善智能装置的交互效果的技术问题。

2、第一方面,本技术实施例提供一种面向角色的交互策略优化方法,包括:

3、获取智能装置在历史场景节点的交互决策记录;其中,智能装置被配置为可容纳或关联角色实体;交互决策记录包括历史场景节点的结构化场景元素集合、交互价值评分、角色关注评分、风险约束评分、决策结果以及基于决策结果的交互执行信息;交互价值评分用于表征历史场景节点所具备的交互价值;角色关注评分用于表征角色实体对历史场景节点的关注程度;风险约束评分用于表征在历史场景节点触发主动交互动作的风险约束程度;决策结果用于指示智能装置触发或者不触发针对用户的主动交互动作;

4、获取与交互决策记录对应的监督信息;其中,监督信息用于表征交互决策记录的质量;

5、根据监督信息对交互决策记录进行质量评价,得到质量评价结果;

6、根据质量评价结果,对智能装置的目标策略进行更新;其中,目标策略包括用于确定交互决策记录的策略和/或根据交互决策记录执行的策略。

7、结合第一方面,在某些可能的实现方式中,获取与交互决策记录对应的监督信息,包括:

8、获取与交互决策记录对应的专家标注信息;其中,专家标注信息包括期望交互价值信息、期望角色关注信息、期望风险约束信息和期望决策信息;

9、获取与交互决策记录对应的用户反馈信息;其中,用户反馈信息包括用户对历史交互内容的保存操作信息、删除操作信息、分享操作信息、回复操作信息和收藏操作信息中的至少一项;

10、根据专家标注信息和用户反馈信息,确定与交互决策记录对应的监督信息。

11、结合第一方面和上述实现方式,在某些可能的实现方式中,获取与交互决策记录对应的专家标注信息,包括:

12、获取多位专家分别针对交互决策记录的独立标注信息;

13、根据多位专家的独立标注信息,确定与交互决策记录对应的专家标注信息。

14、结合第一方面和上述实现方式,在某些可能的实现方式中,根据监督信息对交互决策记录进行质量评价,得到质量评价结果,包括:

15、根据监督信息中的专家标注信息,对交互决策记录中的交互价值评分进行评价,得到交互价值评价结果;

16、根据监督信息中的专家标注信息,对交互决策记录中的角色关注评分进行评价,得到角色关注评价结果;

17、根据监督信息中的专家标注信息,对交互决策记录中的风险约束评分进行评价,得到风险约束评价结果;

18、根据监督信息中的专家标注信息,对交互决策记录中的决策结果进行评价,得到决策评价结果;

19、根据监督信息中的用户反馈信息,对交互决策记录中的交互执行信息进行评价,得到执行评价结果;

20、根据交互价值评价结果、角色关注评价结果、风险约束评价结果、决策评价结果和执行评价结果,确定质量评价结果。

21、结合第一方面和上述实现方式,在某些可能的实现方式中,根据质量评价结果,对智能装置的目标策略进行更新,包括:

22、根据质量评价结果,确定智能装置的交互价值评分策略、角色关注评分策略、风险约束评分策略、决策结果确定策略、内容生成策略和触发时序策略各自对应的评价信号;其中,交互价值评分策略用于确定交互价值评分,角色关注评分策略用于确定角色关注评分,风险约束评分策略用于确定风险约束评分,决策结果确定策略用于确定决策结果,内容生成策略用于确定交互执行信息中的交互内容信息,触发时序策略用于确定交互执行信息中的触发时序信息;交互价值评分策略、角色关注评分策略、风险约束评分策略和决策结果确定策略属于用于确定交互决策记录的策略;内容生成策略和触发时序策略属于根据交互决策记录执行的策略;

23、在交互价值评分策略、角色关注评分策略、风险约束评分策略、决策结果确定策略、内容生成策略和触发时序策略中,确定评价信号为负向评价信号的目标策略;

24、根据目标策略的可执行形态,对目标策略进行更新。

25、结合第一方面和上述实现方式,在某些可能的实现方式中,根据目标策略的可执行形态,对目标策略进行更新,包括:

26、在目标策略的可执行形态为提示词的情况下,对提示词中的描述方式或决策条件进行修改;

27、在目标策略的可执行形态为规则表的情况下,对规则表中的规则条件或边界条件进行修改;

28、在目标策略的可执行形态为门限判定条件的情况下,对门限判定条件中的门限参数或比较逻辑进行修改;

29、在目标策略的可执行形态为分类器的情况下,对分类器的模型参数进行更新;

30、在目标策略的可执行形态为策略网络的情况下,对策略网络的模型参数进行更新;

31、在目标策略的可执行形态为奖励模型的情况下,对奖励模型的模型参数进行更新;

32、在目标策略的可执行形态为工具调用机制的情况下,对工具调用机制中的调用规则进行修改;

33、在目标策略的可执行形态为记忆召回机制的情况下,对记忆召回机制中的召回条件进行修改。

34、结合第一方面和上述实现方式,在某些可能的实现方式中,获取智能装置在历史场景节点的交互决策记录,包括:

35、获取智能装置在历史场景节点的多模态感知信息;

36、根据多模态感知信息进行预处理,得到历史场景节点的结构化场景元素集合;

37、根据结构化场景元素集合、角色档案信息和用户上下文信息,确定交互价值评分;

38、根据结构化场景元素集合、角色档案信息和用户上下文信息,确定角色关注评分;

39、根据结构化场景元素集合和历史交互记录,确定风险约束评分;

40、根据交互价值评分、角色关注评分以及风险约束评分,确定决策结果;

41、根据决策结果,确定交互执行信息;其中,在决策结果指示智能装置触发针对用户的主动交互动作的情况下,交互执行信息包括交互内容信息和触发时序信息中的至少一项;在决策结果指示智能装置不触发针对用户的主动交互动作的情况下,交互执行信息为空;

42、根据结构化场景元素集合、交互价值评分、角色关注评分、风险约束评分、决策结果以及交互执行信息,确定交互决策记录。

43、第二方面,本技术实施例提供一种面向角色的交互策略优化装置,包括:

44、第一获取模块,用于获取智能装置在历史场景节点的交互决策记录;其中,智能装置被配置为可容纳或关联角色实体;交互决策记录包括历史场景节点的结构化场景元素集合、交互价值评分、角色关注评分、风险约束评分、决策结果以及基于决策结果的交互执行信息;交互价值评分用于表征历史场景节点所具备的交互价值;角色关注评分用于表征角色实体对历史场景节点的关注程度;风险约束评分用于表征在历史场景节点触发主动交互动作的风险约束程度;决策结果用于指示智能装置触发或者不触发针对用户的主动交互动作;

45、第二获取模块,用于获取与交互决策记录对应的监督信息;其中,监督信息用于表征交互决策记录的质量;

46、质量评价模块,用于根据监督信息对交互决策记录进行质量评价,得到质量评价结果;

47、策略更新模块,用于根据质量评价结果,对智能装置的目标策略进行更新;其中,目标策略包括用于确定交互决策记录的策略和/或根据交互决策记录执行的策略。

48、第三方面,本技术实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现第一方面的面向角色的交互策略优化方法的步骤。

49、第四方面,本技术实施例提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现第一方面的面向角色的交互策略优化方法的步骤。

50、本技术实施例提供的面向角色的交互策略优化方法、装置、介质及产品,首先获取智能装置在历史场景节点的交互决策记录,该交互决策记录包括历史场景节点的结构化场景元素集合、交互价值评分、角色关注评分、风险约束评分、决策结果以及基于决策结果的交互执行信息,并获取与交互决策记录对应的、用于表征交互决策记录的质量的监督信息,进而根据监督信息对交互决策记录进行质量评价并得到质量评价结果,再根据质量评价结果对智能装置的目标策略进行更新,其中目标策略包括用于确定交互决策记录的策略和/或根据交互决策记录执行的策略。由此,交互决策记录为策略优化提供了可回溯的历史决策样本,监督信息为评价该历史决策样本提供了参照依据,质量评价结果使得交互决策记录中各项评分、决策结果及交互执行信息的优劣得以被系统性识别,进而驱动目标策略的更新,使得更新后的目标策略能够在后续场景节点中更准确地确定交互价值评分、角色关注评分、风险约束评分和决策结果,或更合理地执行交互动作,从而持续改善智能装置的交互效果。