一种基于强化学习的智能问答方法及系统

本发明涉及智能问答，尤其涉及一种基于强化学习的智能问答方法及系统。

背景技术：

1、现有智能问答技术多采用规则匹配、关键词检索、向量召回、知识图谱推理、深度学习生成模型等方式处理用户问题。问答流程多按照问题输入、语义理解、知识匹配、答案生成、反馈记录的顺序运行。强化学习方法也被用于问答策略选择，通过奖励信号调整检索、追问、回答等动作的选择概率。神经图灵机可通过外部记忆和读写控制保存对话信息、知识片段和历史反馈，为多轮问答提供记忆支撑。

2、现有方案在复杂问答中仍存在不足。答案生成多依赖相似度、置信度或候选证据评分，缺少针对问答记忆访问位的提交资格控制，答案路径在输出前缺少首尾折返回读验证。用户反馈多用于更新参数或记录满意度，难以直接改写后续问答访问路径。面对相反问答指向、反馈否定路径和不稳定答案链时，现有方法难以通过反事实裂解方式识别反向承诺闭环，也难以将错误答案路径锁闭为禁止承诺链，导致相似问题下仍会重复激活低可靠问答路径，影响答案输出稳定性和交互可靠性。

3、因此，如何提供一种基于强化学习的智能问答方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于强化学习的智能问答方法及系统，本发明采用反事实承诺裂解神经图灵机，对问答记忆访问位执行承诺资格授予、裂解回读和禁止承诺链改写，具备答案路径可控、错误路径可阻断、问答结果稳定性高的优点。

2、根据本发明实施例的一种基于强化学习的智能问答方法，包括如下步骤：

3、将用户问题写入反事实承诺裂解神经图灵机，强化学习控制器按照用户问题触发承诺访问窗口；

4、强化学习控制器在承诺访问窗口内逐位激活问答记忆访问位，对与用户问题形成同向问答关系的问答记忆访问位授予正向承诺资格，将相邻正向承诺资格串接为答案承诺链；

5、强化学习控制器驱动答案承诺链执行首尾折返回读，首端问答记忆访问位回读至尾端问答记忆访问位时授予答案承诺链提交资格，回读中断时停止后续问答记忆访问位激活；

6、强化学习控制器在答案承诺链内选取裂解访问位，将裂解访问位的正向承诺资格临时翻转为反向承诺资格，以裂解访问位为起点触发答案承诺链裂解回读；

7、裂解回读得到反向承诺闭环时，强化学习控制器撤销答案承诺链的提交资格，将答案承诺链锁闭为禁止承诺链，阻断禁止承诺链进入答案输出路径；

8、裂解回读未得到反向承诺闭环时，强化学习控制器复位临时翻转状态，保留答案承诺链提交资格，沿答案承诺链输出正式答案；

9、强化学习控制器读取用户反馈，将被采纳答案对应的答案承诺链固化为优先承诺链，将被否定答案对应的答案承诺链改写为禁止承诺链，后续问答避开禁止承诺链。

10、可选的，所述强化学习控制器按照用户问题触发承诺访问窗口，具体包括：

11、强化学习控制器将用户问题写入反事实承诺裂解神经图灵机的当前写入位；

12、将当前写入位标记为承诺访问窗口的起始访问位；

13、从起始访问位开始逐位激活相邻问答记忆访问位；

14、将与用户问题形成同向问答关系的问答记忆访问位并入承诺访问窗口；

15、将读取到未与用户问题形成同向问答关系的问答记忆访问位作为截断访问位；

16、读取到截断访问位时停止截断访问位之后的问答记忆访问位激活，将起始访问位至截断访问位之前的问答记忆访问位锁定为承诺访问窗口；

17、未读取到截断访问位时，将最后一个被并入的问答记忆访问位作为窗口终止访问位，将起始访问位至窗口终止访问位之间的问答记忆访问位锁定为承诺访问窗口。

18、可选的，所述将与用户问题形成同向问答关系的问答记忆访问位并入承诺访问窗口，具体包括：

19、强化学习控制器读取当前被激活的问答记忆访问位；

20、将当前被激活的问答记忆访问位与用户问题执行问答方向比对；

21、问答方向比对结果指向用户问题的答案方向时，将当前被激活的问答记忆访问位判定为与用户问题形成同向问答关系；

22、将与用户问题形成同向问答关系的问答记忆访问位并入承诺访问窗口；

23、问答方向比对结果背离用户问题的答案方向时，将当前被激活的问答记忆访问位判定为未与用户问题形成同向问答关系；

24、将未与用户问题形成同向问答关系的问答记忆访问位作为截断访问位，停止截断访问位之后的问答记忆访问位激活。

25、可选的，所述将相邻正向承诺资格串接为答案承诺链，具体包括：

26、强化学习控制器按照承诺访问窗口内的问答记忆访问位激活顺序读取正向承诺资格；

27、将首个取得正向承诺资格的问答记忆访问位标记为答案承诺链的链首访问位；

28、从链首访问位开始沿问答记忆访问位激活顺序继续读取相邻问答记忆访问位；

29、将连续取得正向承诺资格的相邻问答记忆访问位依次串接至答案承诺链；

30、读取到未取得正向承诺资格的问答记忆访问位时停止串接；

31、将停止串接前最后一个取得正向承诺资格的问答记忆访问位标记为答案承诺链的链尾访问位。

32、可选的，所述强化学习控制器驱动答案承诺链执行首尾折返回读，具体包括：

33、强化学习控制器将链首访问位标记为折返回读起点；

34、将链尾访问位标记为折返回读终点；

35、从折返回读起点沿链首访问位至链尾访问位的方向逐位读取问答记忆访问位；

36、当前读取的问答记忆访问位保持正向承诺资格时继续折返回读；

37、当前读取的问答记忆访问位未保持正向承诺资格时判定为回读中断，停止后续问答记忆访问位激活；

38、从折返回读起点连续回读至折返回读终点时，强化学习控制器向答案承诺链授予提交资格。

39、可选的，所述强化学习控制器在答案承诺链内选取裂解访问位，将裂解访问位的正向承诺资格临时翻转为反向承诺资格，具体包括：

40、强化学习控制器读取已授予提交资格的答案承诺链；

41、从链首访问位开始沿链首访问位至链尾访问位的方向逐位读取问答记忆访问位；

42、临时撤销当前读取的问答记忆访问位的正向承诺资格；

43、临时撤销后答案承诺链仍能从链首访问位回读至链尾访问位时，恢复当前读取的问答记忆访问位的正向承诺资格，继续读取下一问答记忆访问位；

44、临时撤销后答案承诺链不能从链首访问位回读至链尾访问位时，将当前读取的问答记忆访问位选取为裂解访问位；

45、强化学习控制器将裂解访问位的正向承诺资格临时翻转为反向承诺资格。

46、可选的，所述以裂解访问位为起点触发答案承诺链裂解回读，具体包括：

47、强化学习控制器将裂解访问位标记为裂解回读起点；

48、从裂解回读起点开始沿链尾访问位至链首访问位的方向逐位读取答案承诺链内的问答记忆访问位；

49、当前读取的问答记忆访问位保持反向承诺资格时，继续裂解回读；

50、当前读取的问答记忆访问位保持正向承诺资格时，强化学习控制器对当前读取的问答记忆访问位执行临时翻转判断；

51、临时翻转判断通过时，将当前读取的问答记忆访问位的正向承诺资格临时翻转为反向承诺资格，继续裂解回读；

52、临时翻转判断未通过时，判定裂解回读中断；

53、裂解回读连续到达链首访问位时，判定裂解回读得到反向承诺闭环；

54、裂解回读中断于链首访问位之前时，判定裂解回读未得到反向承诺闭环。

55、可选的，所述裂解回读得到反向承诺闭环时，强化学习控制器撤销答案承诺链的提交资格，将答案承诺链锁闭为禁止承诺链，具体包括：

56、强化学习控制器读取反向承诺闭环经过的问答记忆访问位；

57、将反向承诺闭环经过的问答记忆访问位逐位锁定到答案承诺链内对应的问答记忆访问位；

58、撤销答案承诺链的提交资格；

59、将撤销提交资格后的答案承诺链锁闭为禁止承诺链；

60、强化学习控制器检测到禁止承诺链进入答案输出路径时，阻断答案输出路径；

61、将禁止承诺链保留在反事实承诺裂解神经图灵机中，供后续问答避开禁止承诺链。

62、可选的，所述强化学习控制器读取用户反馈，将被采纳答案对应的答案承诺链固化为优先承诺链，将被否定答案对应的答案承诺链改写为禁止承诺链，具体包括：

63、强化学习控制器读取正式答案输出后的用户反馈；

64、用户反馈指向采纳结果时，定位被采纳答案对应的答案承诺链；

65、保留被采纳答案对应的答案承诺链的提交资格；

66、将保留提交资格的答案承诺链固化为优先承诺链；

67、用户反馈指向否定结果时，定位被否定答案对应的答案承诺链；

68、撤销被否定答案对应的答案承诺链的提交资格；

69、将撤销提交资格后的答案承诺链改写为禁止承诺链；

70、后续问答触发承诺访问窗口时，强化学习控制器优先激活优先承诺链，避开禁止承诺链。

71、根据本发明实施例的一种基于强化学习的智能问答系统，包括如下模块：

72、用户问题写入模块，用于将用户问题写入反事实承诺裂解神经图灵机，触发承诺访问窗口；

73、答案承诺链生成模块，用于逐位激活问答记忆访问位，授予正向承诺资格，串接答案承诺链；

74、首尾折返回读模块，用于驱动答案承诺链执行首尾折返回读，授予提交资格；

75、裂解翻转回读模块，用于选取裂解访问位，临时翻转为反向承诺资格，触发裂解回读；

76、禁止承诺链锁闭模块，用于在得到反向承诺闭环时撤销提交资格，锁闭禁止承诺链；

77、正式答案输出模块，用于在未得到反向承诺闭环时复位临时翻转状态，保留答案承诺链提交资格，沿答案承诺链输出正式答案；

78、用户反馈改写模块，用于读取用户反馈，固化优先承诺链，改写禁止承诺链。

79、本发明的有益效果是：

80、（1）本发明将答案输出前的判断由普通置信度评分改为答案承诺链的首尾折返回读，只有首端问答记忆访问位能够回读至尾端问答记忆访问位时才授予提交资格，使答案输出建立在问答记忆访问位连续闭合基础上，减少相似度高但路径不闭合的答案被直接输出的问题。

81、（2）本发明在答案承诺链内选取裂解访问位，将裂解访问位的正向承诺资格临时翻转为反向承诺资格，触发答案承诺链裂解回读，利用反向承诺闭环识别相反问答路径，能够在答案输出前发现与原答案承诺链相冲突的内部访问路径，提升复杂问答场景下答案路径的可靠性。

82、（3）本发明将被否定答案对应的答案承诺链改写为禁止承诺链，将被采纳答案对应的答案承诺链固化为优先承诺链，使用户反馈直接改变后续问答记忆访问路径，而不是仅更新奖励数值，能够阻断低可靠答案路径重复激活，增强相似问题下问答结果的一致性和稳定性。