基于多模态数据的医患风险评估方法与流程

1.本发明涉及智慧医院建设及管理技术，尤其涉及了基于多模态数据的医患风险评估方法。


背景技术：

2.医患事故会对医务工作者造成极大的人身安全损害，也会对医院管理造成极大的员工和财产安全威胁，现有的管理办法缺少对院内流动人员进行动态监管及风险评估，对医患事件的提前预警能力不足。
3.例如现有技术中，专利申请号为：cn 201810865119.3；专利名称为，医患预警方法、服务平台及计算机可读存储介质，专利申请日：2018.08.01。专利公开了：基于智能识别的医患预警方法，包括获取设置于医院的图像采集模块采集的图像数据；提取出所述图像数据中的人脸特征信息，并判断所述人脸特征信息是否与根据预设危险判定条件构建的疑似纠纷人员库以及纠纷人员库中的数据匹配；在所述人员身份信息与所述疑似纠纷人员库中的数据匹配时，发送第一告警信息；在所述人员身份信息与所述纠纷人员库中的数据匹配时，发送第二告警信息。


技术实现要素：

4.本发明针对现有技术中只是针对医患人员身份的确认，缺乏利用技术手段对院内人员的冲突评估和风险评估，无法全面的落实到院内的每个角落的问题，提供了基于多模态数据的医患风险评估方法。
5.为了解决上述技术问题，本发明通过下述技术方案得以解决：
6.基于多模态数据的医患风险评估方法，包括医患关键词库、医患人员数据库和医患记录数据库；其方法包括；
7.信号采集，采集诊间过程中的语音信号和院内监控的视频信号；
8.信号特征提取，对采集的信号通过冲突评估模型提取医患特征；
9.医患特征的拼接，对提取的医患特征进行拼接；
10.医患风险的评估，针对提取的医患特征对比医患关键词库、医患人员数据库和医患记录数据库中的医患等级，通过医患风险评估模型更新医患等级；
11.医患人员数据库的更新，依据医患等级进行医患人员数据库的更新。
12.作为优选，还包括医患风险预警，对于医患人员数据库内的医患等级与医患记录数据库设置的阈值进行比较，达到了设置的阈值则进行医患风险预警，并将医患风险传送至医患人员数据库。
13.作为优选，冲突评估模型包括对话冲突评估模型、语音识别模型和关键词匹配；对于采集的诊间问诊语音信号进行实时降噪处理；并将实时降噪处理后的信号传送至对话冲突评估模型、语音识别模型；对话冲突评估模型输出医患冲突等级，语音识别模型输出对话文本，关键词匹配结合对话文本与医患关键词库确定关键词匹配的结果。
14.作为优选，关键词匹配，以语言文本为输入，采用n-gram语言模型对文本进行中文分词，随后对分词后的文本与医患关键词库进行匹配，确定关键词匹配的结果。
15.作为优选，医患风险评估模型的输入由语音冲突等级、关键词匹配向量、肢体威胁值以及医患人员数据库中的等级拼接组成。
16.作为优选，医患风险评估模型通过t-sne算法对输入特征进行降维，然后利用mean-shift聚类，计算聚类中心及输入样本到聚类中心的距离，并利用核密度估计计算样本置信度，将该置信度作为该人员的等级。
17.作为优选，
18.医患人员数据库以关系数据库的形式储存涉及医患矛盾的非院内人员，医患人员数据库包括：人员id、姓名、性别、年龄、户籍所在地、人脸数据、已存在的高风险事件id，关联医患记录数据库、等级。其中，等级随人员医患相关行为进行更新；
19.医患记录数据库，以关系数据库的形式存储涉及医患矛盾的高风险记录，医患记录数据库包括：事件id、参与的医患人员id关联医患人员数据库、涉及的医务人员工号、关键证据的设备编号列表、关键证据文件地址、事件威胁等级、诊间语音冲突记录的医患关键词匹配结果；
20.医患关键词库储存大量包含暴力、威胁、愤怒情绪的口语常见词。
21.作为优选，信号的采集通过诊间语音冲突评估模型、院内人脸识别模型和院内肢体动作模型获得信号。
22.作为优选，诊间语音冲突评估模型输入诊间采集的语音信号，对数据进行预处理，利用声音信号模型提取发音、音素、对话内容的特征，并判断患者和医务人员的情绪状态及对话内容是否包含强烈的冲突。
23.作为优选，院内人脸识别模型：从院内监控摄像头采集图像，并采集镜头下的人脸图像，通过人脸识别技术，比对人脸数据库，确认目标身份，并比对医患人员数据库，明确该人员的等级；
24.院内肢体动作模型针对需要追踪的目标，在其进入医院后对其进行监控追踪，从院内监控摄像头采集视频，对视频数据预处理，输入视频人体动作分析模型，提取动作特征并评估肢体动作的威胁值。
25.作为优选，所述语音冲突等级u为闭区间[0,1]的浮点数，数值越大，冲突等级越高，对应冲突越激烈，若无就诊则为0。
[0026]
作为优选，所述肢体动作威胁值v为闭区间[0,1]的浮点数，数值越大，威胁值越高，若未发生肢体冲突则为0。
[0027]
作为优选，所述等级p为闭区间[0,1]内的浮点数，从低至高代表医患风险由低至高。
[0028]
本发明由于采用了以上技术方案，具有显著的技术效果：
[0029]
本发明基于视频追踪、语音识别及模态特征融合，综合多种风险因素评估院内人员可能造成的医患威胁，防患医患事故于未然。
附图说明
[0030]
图1是本发明的医患风险评估方法流程。
[0031]
图2是本发明的诊间语音冲突评估模型及流程图。
[0032]
图3是本发明的院内人员动作模型及院内人脸识别模型及流程图。
[0033]
图4是本发明的医患风险评估模型及流程图。
具体实施方式
[0034]
下面结合附图与实施例对本发明作进一步详细描述。
[0035]
实施例1
[0036]
基于多模态数据的医患风险评估方法，包括医患关键词库、医患人员数据库和医患记录数据库；其方法包括；
[0037]
信号采集，采集诊间问诊过程中的语音信号和院内监控的视频信号；
[0038]
信号特征提取，对采集的信号通过冲突评估模型提取医患特征；
[0039]
医患特征的拼接，对提取的医患特征进行拼接；
[0040]
医患风险的评估，针对提取的医患特征对比医患关键词库、医患人员数据库和医患记录数据库中的医患等级，通过医患风险评估模型更新医患等级；
[0041]
医患人员数据库的更新，依据医患等级进行医患人员数据库的更新。
[0042]
冲突评估模型包括对话冲突评估模型、语音识别模型和关键词匹配；对于采集的信号进行实时降噪处理；并将实时降噪处理后的信号传送至对话冲突评估模型、语音识别模型；对话冲突评估模型输出医患冲突等级，语音识别模型输出对话文本，关键词匹配结合对话文本与医患关键词库确定关键词匹配的结果。
[0043]
关键词匹配，以语言文本为输入，采用n-gram语言模型对文本进行中文分词，随后对分词后的文本与医患关键词库进行匹配，确定关键词匹配的结果。
[0044]
医患风险评估模型的输入由语音冲突等级、关键词匹配向量、肢体威胁值以及医患人员数据库中的等级拼接组成。
[0045]
医患风险评估模型通过t-sne算法对输入特征进行降维，然后利用mean-shift聚类，计算聚类中心及输入样本到聚类中心的距离，并利用核密度估计计算样本置信度，将该置信度作为该人员的等级。
[0046]
医患人员数据库以关系数据库的形式储存涉及医患矛盾的非院内人员，医患人员数据库包括：人员id、姓名、性别、年龄、户籍所在地、人脸数据、已存在的高风险事件id，关联医患记录数据库、等级。其中，等级随人员医患相关行为进行更新；
[0047]
医患记录数据库，以关系数据库的形式存储涉及医患矛盾的高风险记录，医患记录数据库包括：事件id、参与的医患人员id关联医患人员数据库、涉及的医务人员工号、关键证据的设备编号列表、关键证据文件地址、事件威胁等级、诊间语音冲突记录的医患关键词匹配结果；
[0048]
医患关键词库储存大量包含暴力、威胁、愤怒情绪的口语常见词。
[0049]
信号的采集通过诊间语音冲突评估模型、院内人脸识别模型和院内肢体动作模型获得信号。
[0050]
诊间语音冲突评估模型输入诊间采集的语音信号，对数据进行预处理，利用声音信号模型提取发音、音素、对话内容的特征，并判断患者和医务人员的情绪状态及对话内容是否包含强烈的冲突。
[0051]
院内人脸识别模型：从院内监控摄像头采集图像，并采集镜头下的人脸图像，通过人脸识别技术，比对人脸数据库，确认目标身份，并比对医患人员数据库，明确该人员的等级；
[0052]
院内肢体动作模型针对需要追踪的目标，在其进入医院后对其进行监控追踪，从院内监控摄像头采集视频，对视频数据预处理，输入视频人体动作分析模型，提取动作特征并评估肢体动作的威胁值。
[0053]
实施例2
[0054]
在实施例1基础上，本实施例还包括医患风险预警，对于医患人员数据库内的医患等级与医患记录数据库设置的阈值进行比较，达到了设置的阈值则进行医患风险预警。
[0055]
实施例3
[0056]
基于多模态数据的医患风险评估方法，根据诊间医患对话，评估就诊过程中的医患冲突等级。患者甲及家属在医生乙的诊间，诊间的语音采集设备实时采集患者、家属、医生的对话内容并进行lms 自适应滤波算法进行降噪，并输入语音特征提取模型输出语音特征。
[0057]
本实施例使用soundnet模型结构提取语音特征。将语音特征分别输入情绪分类器和语音识别解码器。本实施例中，情绪分类器由两个全连接层串接组成，最后一层全连接层的输出经过sigmoid函数得到冲突等级评估。本实施例的语音识别解码器采用las模型的 decoder，转换为文本数据。该文本输出与医患关键词库进行关键词匹配，得到对话是否存在医患关键词的匹配结果。若存在，系统通知医院安保介入，并将该患者的信息和该事件同步至医患人员数据库和医患记录数据库。
[0058]
实施例4
[0059]
本实施例根据院内人员肢体动作评估医患风险，预警医患事件的流程。患者乙曾和医生发生医患矛盾和冲突，存在语言威胁医务人员，其人员信息已记录在医患人员数据库中，且具有较高的等级。当患者乙再次进入院区时，本发明所述系统通过监控设备结合院内人脸识别模型对比医患人员数据库，确认患者乙身份，其等级较高，系统通报安保已有高威胁目标进入院区。同时，系统通过监控摄像头判别患者乙的肢体动作威胁值，当患者乙的肢体动作威胁等级超过阈值，本发明所述系统即时告警医院安保人员。本实施例中，人脸识别模型使用 deepface模型，视频动作模型基于c3d动作识别模型，将最后一个全连接层的输出经过sigmoid函数，最终输出目标动作的风险值。
[0060]
实施例5
[0061]
在上述实施例基础上，本实施例为评估人员的等级的流程。本实施例中，医院的等级为0-1的浮点数,等级越高，医患风险越高，小于 0.6代表低医患风险；等级大于或等于0.6、小于0.75被列为中风险目标；等级大于0.75为高风险目标，需要预警。
[0062]
患者丙首次进入医院就诊，通过医院电子病历系统采集患者丙的姓名、性别、年龄、电子病历号，并将电子病历号拼接当前时间戳结合md5函数生成唯一id作为的人员id，上传个人信息至医患人员数据库，并初始化等级为等级0。患者丙在医生丁的诊间就诊，并发生语言冲突(冲突事件a)，诊间中的设备采集语音信号通过诊间语音冲突评估模型判断患者和医生发生冲突，即评估等级超出阈值，通知安保介入调解并将该事件上传至医患记录数据库，具体包括：该诊间语音采集设备编号、语音文件路径、冲突等级、诊间医生工号、
医患人员数据库的患者丙id、将患者丙id拼接语音采集设备编号及当前时间戳经过md5函数生成该事件id。
[0063]
将冲突事件a的对话评估结果，包含医患关键词匹配结果的20 维向量w和冲突等级评估结果v，该患者无肢体动作冲突，因此肢体动作威胁值为0，与等级0进行拼接，输入医患风险评估模型，输出该患者的医患风险，更新医患人员数据库中的等级为0.65。
[0064]
患者丙再次来到医院复诊且与医生丁再次爆发肢体冲突，从医患记录数据库输出患者丙的所有医患相关记录，与患者丙的等级0.65 拼接组成特征，输入医患风险评估模型输出新的风险等级并更新患者丙的等级为0.8，为高风险。患者丙第三次来到医院，被本发明所述系统的人脸识别模型确认身份，并通报医院安保提前预警。