基于多模态融合的转化处理方法、装置、设备及介质与流程

摘要: 本发明涉及智能决策,尤其涉及一种基于多模态融合的转化处理方法、装置、设备及介质。背景技术:1、随着线上业务办理方式的发展,金融科技业务和医疗健康业务逐步采用网页...
基于多模态融合的转化处理方法、装置、设备及介质与流程

本发明涉及智能决策,尤其涉及一种基于多模态融合的转化处理方法、装置、设备及介质。

背景技术:

1、随着线上业务办理方式的发展,金融科技业务和医疗健康业务逐步采用网页、小程序或应用程序向用户提供自助服务。现有线上交互流程通常按照预先设置的步骤和界面顺序推进,并依据固定条件展示后续内容,难以综合用户在当前会话中的操作行为、文本内容、停留情况、历史数据和上下文状态识别实时意图,导致后续交互内容与用户当前需求不匹配。

2、在金融科技业务领域,保险续保、账户管理、信贷申请和支付确认等业务通常按照固定流程依次展示方案确认、资料核对和交易确认界面。当客户对保费、保险方案、账户信息或支付内容产生疑问,或者在办理过程中改变操作意向时,现有流程难以根据客户当前的点击行为、文本反馈、页面停留情况和历史业务数据判断客户意图,并据此调整下一交互内容,容易使客户在金融业务办理过程中中断操作。

3、在医疗健康业务领域,线上问诊、预约挂号、健康服务续期和检查项目确认等业务也多采用预设步骤逐级推进。当用户在交互过程中改变就诊需求、对服务项目产生疑问或者需要调整办理顺序时,现有流程难以结合用户当前操作、咨询内容、历史服务记录和会话上下文识别实时意图,也难以选择与当前意图匹配的后续交互内容,造成线上医疗健康服务流程与用户实际需求不一致。

技术实现思路

1、本发明的主要目的在于提供一种基于多模态融合的转化处理方法、装置、设备及存储介质,旨在解决现有线上业务流程通常按照预设路径推进,无法综合当前会话中的多模态信息实时感知用户意图并动态确定下一交互行动,导致交互路径与用户当前需求不匹配的技术问题。

2、为实现上述目的,本发明提供一种基于多模态融合的转化处理方法,包括:

3、建立目标对象的交互会话,确定当前会话步骤和当前交互界面,并获取所述当前会话步骤下的多模态输入信息;

4、将所述多模态输入信息输入多模态融合模型进行跨模态注意力融合,生成深度意图表征;

5、基于所述当前会话步骤获取当前可行行动集合,将所述深度意图表征分别与所述当前可行行动集合中的各候选行动组合并输入策略价值分析网络,生成各候选行动对应的行动价值数据;

6、基于所述行动价值数据从所述当前可行行动集合中确定最优行动,基于所述最优行动更新所述当前交互界面,得到目标交互界面;

7、获取所述目标对象针对所述目标交互界面的当前响应操作,并基于所述当前响应操作确定当前会话状态;

8、当所述当前会话状态为结束状态时,生成转化处理结果;

9、当所述当前会话状态为继续状态时,基于所述当前响应操作更新所述交互会话,得到下一轮交互会话,并基于所述下一轮交互会话进行下一轮的多模态输入信息获取、深度意图表征生成、行动价值数据生成、最优行动确定、交互界面更新和会话状态确定,直至确定的会话状态为结束状态,生成转化处理结果。

10、进一步地,为实现上述目的,本发明提供一种基于多模态融合的转化处理装置,包括:

11、会话初始化模块,用于建立目标对象的交互会话,确定当前会话步骤和当前交互界面,并获取所述当前会话步骤下的多模态输入信息;

12、意图融合模块,用于将所述多模态输入信息输入多模态融合模型进行跨模态注意力融合,生成深度意图表征;

13、行动价值分析模块,用于基于所述当前会话步骤获取当前可行行动集合,将所述深度意图表征分别与所述当前可行行动集合中的各候选行动组合并输入策略价值分析网络,生成各候选行动对应的行动价值数据;

14、交互界面更新模块,用于基于所述行动价值数据从所述当前可行行动集合中确定最优行动,基于所述最优行动更新所述当前交互界面,得到目标交互界面;

15、会话状态判定模块,用于获取所述目标对象针对所述目标交互界面的当前响应操作,并基于所述当前响应操作确定当前会话状态;

16、转化结果生成模块,用于当所述当前会话状态为结束状态时,生成转化处理结果;

17、会话迭代控制模块,用于当所述当前会话状态为继续状态时,基于所述当前响应操作更新所述交互会话,得到下一轮交互会话,并基于所述下一轮交互会话进行下一轮的多模态输入信息获取、深度意图表征生成、行动价值数据生成、最优行动确定、交互界面更新和会话状态确定,直至确定的会话状态为结束状态,生成转化处理结果。

18、进一步地,为实现上述目的,本发明还提供一种计算机设备,所述计算机设备包括存储器、处理器以及存储至所述存储器上并可在所述处理器上运行的基于多模态融合的转化处理程序,所述基于多模态融合的转化处理程序被所述处理器执行时实现如上述所述的基于多模态融合的转化处理方法的步骤。

19、进一步地,为实现上述目的,本发明还提供一种计算机可读存储介质,所述存储介质上存储有基于多模态融合的转化处理程序,所述基于多模态融合的转化处理程序被处理器执行时实现如上所述的基于多模态融合的转化处理方法的步骤。

20、有益效果:本发明涉及智能决策技术领域,公开了一种基于多模态融合的转化处理方法、装置、设备及介质,包括:建立目标对象的交互会话,确定当前会话步骤和当前交互界面,获取当前会话步骤下的多模态输入信息,并经跨模态注意力融合生成深度意图表征;结合当前可行行动集合生成各候选行动对应的行动价值数据,确定最优行动并更新交互界面;获取目标对象的当前响应操作并确定会话状态,在继续状态下更新交互会话并进行下一轮处理,直至生成转化处理结果。本发明可应用于金融科技及医疗健康等业务场景中,通过融合当前会话中的多模态输入信息形成深度意图表征,并结合各候选行动的行动价值确定最优行动,使交互界面能够依据目标对象的实时意图和响应操作动态调整,同时通过会话状态持续推进多轮交互,从而提高交互行动与目标对象当前需求的匹配程度,减少固定交互流程造成的中途退出。

1.一种基于多模态融合的转化处理方法,其特征在于,包括以下步骤:

2.如权利要求1所述的基于多模态融合的转化处理方法,其特征在于,建立目标对象的交互会话,确定当前会话步骤和当前交互界面,并获取所述当前会话步骤下的多模态输入信息,包括:

3.如权利要求1所述的基于多模态融合的转化处理方法,其特征在于,将所述多模态输入信息输入多模态融合模型进行跨模态注意力融合,生成深度意图表征,包括:

4.如权利要求1所述的基于多模态融合的转化处理方法,其特征在于,基于所述当前会话步骤获取当前可行行动集合,将所述深度意图表征分别与所述当前可行行动集合中的各候选行动组合并输入策略价值分析网络,生成各候选行动对应的行动价值数据,包括:

5.如权利要求1所述的基于多模态融合的转化处理方法,其特征在于,基于所述行动价值数据从所述当前可行行动集合中确定最优行动,基于所述最优行动更新所述当前交互界面,得到目标交互界面,包括:

6.如权利要求1所述的基于多模态融合的转化处理方法,其特征在于,获取所述目标对象针对所述目标交互界面的当前响应操作,并基于所述当前响应操作确定当前会话状态,包括:

7.如权利要求1所述的基于多模态融合的转化处理方法,其特征在于,当所述当前会话状态为继续状态时,基于所述当前响应操作更新所述交互会话,得到下一轮交互会话,并基于所述下一轮交互会话进行下一轮的多模态输入信息获取、深度意图表征生成、行动价值数据生成、最优行动确定、交互界面更新和会话状态确定,直至确定的会话状态为结束状态,生成转化处理结果,包括:

8.一种基于多模态融合的转化处理装置,其特征在于,所述基于多模态融合的转化处理装置包括:

9.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器以及存储至所述存储器上并可以在所述处理器上运行的基于多模态融合的转化处理程序,所述基于多模态融合的转化处理程序被所述处理器执行时实现如权利要求1-7中任一项所述的基于多模态融合的转化处理方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有基于多模态融合的转化处理程序,所述基于多模态融合的转化处理程序被处理器执行时实现如权利要求1-7中任一项所述的基于多模态融合的转化处理方法的步骤。