一种基于多模态融合的导诊机器人患者核验方法及系统与流程

摘要: 本发明涉及医疗核验,尤其涉及一种基于多模态融合的导诊机器人患者核验方法及系统。背景技术:1、在医院导诊机器人的患者身份核验场景中,现有核验方案大多采用单一模态信...
一种基于多模态融合的导诊机器人患者核验方法及系统与流程

本发明涉及医疗核验,尤其涉及一种基于多模态融合的导诊机器人患者核验方法及系统。

背景技术:

1、在医院导诊机器人的患者身份核验场景中,现有核验方案大多采用单一模态信息完成身份校验,仅依靠人脸、证件或者语音其中一类信息开展比对,单一模态采集过程易受环境干扰,图像遮挡、语音噪声、证件反光等情况都会直接造成采集信息质量下降,进而导致身份核验的误判率升高,核验结果可靠性难以保障。

2、现有多模态核验处理方式通常直接对各类模态信息做简单融合,缺少对不同模态数据的质量量化评估与可信权重动态分配机制,无法有效识别多模态数据内部存在的线索冲突,也不能在时间维度上完成线索的关联约束,模态间信息冲突无法合理消解会进一步降低匹配精度,核验失败后也难以针对性输出补充核验策略,造成整体患者核验效率低下,难以满足医院现场导诊的实际使用需求,因此如何提升医院现场导诊的效率,成为亟待解决的问题。

技术实现思路

1、本发明提供一种基于多模态融合的导诊机器人患者核验方法及系统,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供的一种基于多模态融合的导诊机器人患者核验方法,包括:

3、a.通过导诊机器人采集目标患者的多模态身份信息,所述多模态身份信息包含所述目标患者的面部图像信息、语音信息和证件文本信息;

4、b.对所述多模态身份信息进行多维度质量评估,得到所述目标患者的身份质量结果集,并根据所述身份质量结果集,确定所述多模态身份信息中身份信息对应的可信权重;

5、c.基于所述可信权重,对所述多模态身份信息中的身份信息进行线索提取,得到所述目标患者的多模态身份线索集;

6、d.根据所述多模态身份线索,将所述多模态身份线索集中的身份线索映射至同一患者身份关联关系中,并在时间维度上建立所述身份线索之间的关联关系,得到所述目标患者的多模态核验特征;

7、e.将所述多模态核验特征与所述导诊机器人本地存储的已登记患者信息进行特征匹配,得到所述目标患者的身份匹配结果;

8、f.当所述身份匹配结果表示核验通过时,生成所述导诊机器人的导诊路径引导信息,当所述身份匹配结果表示核验不通过时,生成所述导诊机器人的补充核验指令,并将所述导诊路径引导信息或所述补充核验指令发送至所述导诊机器人。

9、优选地,所述对所述多模态身份信息进行多维度质量评估,得到所述目标患者的身份质量结果集,包括:

10、对目标患者的多模态身份信息进行多维度解析,得到所述目标患者的面部图像信息、语音信息和证件文本信息;

11、对所述证件文本信息进行字段可读性评估、字段完整度评估和文本区域清晰度评估,得到所述目标患者的证件文本质量子参数集;

12、将所述面部图像信息进行面部区域清晰度评估、面部遮挡比例评估和面部姿态偏移评估,得到所述目标患者的面部图像质量子参数集;

13、对所述语音信息进行语音信噪比评估、语音有效时长评估和语音内容完整度评估,得到所述目标患者的语音质量子参数集;

14、分别对所述证件文本质量子参数集、所述面部图像质量子参数集和所述语音质量子参数集进行无量纲处理和正数区间映射,得到所述目标患者的证件文本质量评估值、面部图像质量评估值和语音质量评估值,整合所述证件文本质量评估值、所述面部图像质量评估值和所述语音质量评估值,得到所述目标患者的身份质量结果集。

15、优选地,所述根据所述身份质量结果集,确定所述多模态身份信息中身份信息对应的可信权重,包括:

16、对所述证件文本质量评估值、所述面部图像质量评估值和所述语音质量评估值进行平均值分析,得到所述目标患者的质量评估均值;

17、分别获取所述证件文本质量评估值和所述质量评估均值之间的差值、所述面部图像质量评估值和所述质量评估均值之间的差值,以及所述语音质量评估值和所述质量评估均值之间的差值,得到所述目标患者的证件文本质量差值、面部图像质量差值和语音质量差值;

18、分别将所述证件文本质量差值与所述质量评估均值之间的比值作为证件文本质量离散补偿量,将所述面部图像质量差值与所述质量评估均值之间的比值作为面部图像质量离散补偿量,将所述语音质量差值与所述质量评估均值之间的比值作为语音质量离散补偿量;

19、对所述证件文本质量评估值、所述面部图像质量评估值和所述语音质量评估值之间进行两两差异分析,得到所述目标患者的证件文本模态间支持度、面部图像模态间支持度和语音模态间支持度;

20、根据所述证件文本质量评估值、所述面部图像质量评估值、所述语音质量评估值、所述证件文本质量离散补偿量、所述面部图像质量离散补偿量、所述语音质量离散补偿量、所述证件文本模态间支持度、所述面部图像模态间支持度和所述语音模态间支持度,计算所述多模态身份信息中身份信息对应的可信权重。

21、优选地,所述可信权重的计算公式为:

22、;

23、其中,表示所述多模态身份信息中第类身份信息对应的可信权重,表示所述身份信息的类别总数,表示第类身份信息对应的质量评估值,表示第类身份信息对应的质量离散补偿量,表示第类身份信息对应的模态间支持度,表示预设的第一调节系数,表示预设的第二调节系数,和表示所述身份信息的类别索引。

24、优选地,所述基于所述可信权重,对所述多模态身份信息中的身份信息进行线索提取,得到所述目标患者的多模态身份线索集,包括:

25、按身份信息类别,提取所述多模态身份信息中身份信息的线索原子,得到所述目标患者的线索原子集,所述线索原子集包括所述目标患者的证件文本线索原子集、面部图像线索原子集和语音线索原子集;

26、根据所述可信权重,为所述线索原子集中的线索原子赋予来源可信标记,得到所述目标患者的带标记线索原子集;

27、基于所述带标记线索原子集中线索原子之间的身份语义类别和时间标记,对所述带标记线索原子集进行跨模态对齐,得到所述目标患者的对齐线索组;

28、对所述对齐线索组进行冲突检测,得到所述目标患者的冲突线索组和非冲突线索组,并根据所述来源可信标记,对所述冲突线索组进行冲突消解,得到所述目标患者的消解后线索组;

29、合并所述非冲突线索组和所述消解后线索组,以得到所述目标患者的多模态身份线索集。

30、优选地,所述根据所述多模态身份线索,将所述多模态身份线索集中的身份线索映射至同一患者身份关联关系中,包括:

31、从所述多模态身份线索集中提取身份线索的线索标识、身份语义类别、来源可信标记和时间标记;

32、根据所述身份语义类别,建立身份语义节点,并根据所述线索标识和所述来源可信标记建立带可信度属性的线索节点;

33、连接所述线索节点和所述身份语义节点,得到所述目标患者的初始身份关联关系,并对所述初始身份关联关系中的线索节点进行冲突检测,得到所述目标患者的冲突线索节点集和非冲突线索节点集;

34、根据所述可信度属性,对所述冲突线索节点集中的冲突线索节点进行置信度排序,并将置信度最高的冲突线索节点和所述非冲突线索节点集进行关联整合,得到同一患者身份关联关系。

35、优选地,所述在时间维度上建立所述身份线索之间的关联关系,得到所述目标患者的多模态核验特征,包括:

36、从所述同一患者身份关联关系中提取身份线索的时间标记和来源可信标记;

37、按照所述时间标记对所述同一患者身份关联关系中的身份线索进行排序,得到所述目标患者的时间线索序列;

38、对所述时间线索序列中相邻时间标记的身份线索进行时序一致性检测,得到所述目标患者的时序一致性结果,并根据所述时序一致性结果和所述来源可信标记建立所述身份线索之间的时序关联边;

39、基于所述时序关联边,对所述同一患者身份关联关系中的身份线索进行时序聚合,得到所述目标患者的多模态核验特征。

40、优选地,所述当所述身份匹配结果表示核验通过时,生成所述导诊机器人的导诊路径引导信息,包括:

41、从所述身份匹配结果中提取核验通过标识,根据所述核验通过标识从所述同一患者身份关联关系中获取目标科室信息;

42、根据所述目标科室信息,从所述导诊机器人本地存储的已登记患者信息中提取科室排队状态数据和路径节点数据;

43、基于所述科室排队状态数据,对所述路径节点数据进行优先级排序,得到所述目标患者的路径节点序列;

44、绑定所述路径节点序列与所述目标科室信息,得到所述导诊机器人的导诊路径引导信息。

45、优选地,所述当所述身份匹配结果表示核验不通过时,生成所述导诊机器人的补充核验指令,包括:

46、从所述身份匹配结果中提取核验不通过标识,根据所述核验不通过标识从所述多模态身份线索集中确定未匹配身份线索类别;

47、根据所述未匹配身份线索类别,从所述身份质量结果集中提取对应的质量评估值;

48、基于所述质量评估值,对所述未匹配身份线索类别进行补充核验优先级排序,得到补充核验优先级序列;

49、根据所述补充核验优先级序列和所述未匹配身份线索类别生成所述导诊机器人的补充核验指令。

50、为了解决上述问题,本发明还提供一种基于多模态融合的导诊机器人患者核验系统,所述系统包括:

51、信息采集模块,用于通过导诊机器人采集目标患者的多模态身份信息,所述多模态身份信息包含所述目标患者的面部图像信息、语音信息和证件文本信息;

52、质量评估模块,用于对所述多模态身份信息进行多维度质量评估,得到所述目标患者的身份质量结果集,并根据所述身份质量结果集,确定所述多模态身份信息中身份信息对应的可信权重;

53、线索分析模块,用于基于所述可信权重,对所述多模态身份信息中的身份信息进行线索提取,得到所述目标患者的多模态身份线索集;

54、线索关联模块,用于根据所述多模态身份线索,将所述多模态身份线索集中的身份线索映射至同一患者身份关联关系中,并在时间维度上建立所述身份线索之间的关联关系,得到所述目标患者的多模态核验特征;

55、信息匹配模块,用于将所述多模态核验特征与所述导诊机器人本地存储的已登记患者信息进行特征匹配,得到所述目标患者的身份匹配结果;

56、身份核验模块,用于当所述身份匹配结果表示核验通过时,生成所述导诊机器人的导诊路径引导信息,当所述身份匹配结果表示核验不通过时,生成所述导诊机器人的补充核验指令,并将所述导诊路径引导信息或所述补充核验指令发送至所述导诊机器人。

57、与现有技术相比,本发明具有以下有益效果:

58、1.本发明通过对采集得到的面部图像、语音、证件文本多模态身份信息开展多维度质量评估,依据质量评估结果计算各模态对应的可信权重,能够依据信息实际质量动态分配各身份模态的参考比重,降低低质量采集数据对核验过程带来的干扰,提升身份线索提取的可靠性。

59、2.本发明通过完成跨模态线索对齐、冲突消解与时序维度关联聚合后生成多模态核验特征,结合核验结果分别输出导诊路径引导信息或者补充核验指令,实现多模态信息深度融合下的患者身份核验,优化导诊机器人患者身份核验的整体处理效果,保障核验流程连续顺畅。