基于人工智能的电子病历结构化数据提取与分析处理方法和系统与流程

本发明提出的基于人工智能的电子病历结构化数据提取与分析处理方法和系统，属于病历数据分析。

背景技术：

1、大量历史电子病历多以扫描件图像的非结构化形式存储，文本内容零散、表述自由，存在大量口语化、场景化医疗语句，难以直接用于临床数据分析与辅助决策。传统电子病历处理方式多依赖人工甄别整理文本信息，人力成本投入高，数据处理效率低，且人工整理结果易受主观因素影响，存在标准不统一的问题。现有自动化提取技术多采用基础文本匹配与浅层语义理解方式，仅能识别简单临床实体，无法精准挖掘实体间的时序关联与从属关联关系，语义解析能力存在局限。例如，现有技术中已有采用基于规则匹配的方法进行医疗实体识别的方案，但其仅能识别预设词典中的实体，无法处理实体间的复杂语义关系；缺乏对实体间时序关系和从属关系的联合抽取能力。同时，常规数据提取模型缺乏专业医疗知识约束机制，提取的临床数据易出现内容偏差、逻辑错误，无法贴合真实医疗业务逻辑。此类问题导致非结构化电子病历数据利用率较低，难以形成规范、准确的结构化数据，无法为临床决策、病案分析、医疗数据统计等工作提供可靠的数据支撑。

技术实现思路

1、本发明提供了基于人工智能的电子病历结构化数据提取与分析处理方法和系统，用以解决现有技术中存在的上述技术问题，所采取的技术方案如下：

2、基于人工智能的电子病历结构化数据提取与分析处理方法，所述电子病历结构化数据提取与分析处理方法包括：

3、对所述待处理电子病历的扫描件图像进行图像增强处理，并获取所述扫描件图像对应的初始文本序列；

4、利用基于transformer架构的预训练语言模型对所述初始文本序列进行处理，获取所述初始文本序列对应的联合语义表示，并依据所述初始文本序列对应的联合语义表示提取联合语义表示中所包含的临床实体及其之间的时序关系与从属关系；

5、利用预设的医疗知识图谱及其中存储的临床路径规则，对所述临床实体及其之间的时序关系与从属关系进行一致性校验，并根据通过一致性校验的临床实体及其之间的时序关系与从属关系生成并输出用于辅助临床决策的结构化电子病历数据。

6、优选的，对所述待处理电子病历的扫描件图像进行图像增强处理，并获取所述扫描件图像对应的初始文本序列，包括：

7、提取待处理电子病历的扫描件图像；

8、通过透视变换校正和自适应直方图均衡化方式对所述扫描件图像进行图像增强处理，获取图像增强处理后的扫描件图像；

9、调用预置的ocr引擎对所述图像增强处理后的扫描件图像进行处理，获取所述图像增强处理后的扫描件图像对应的初始文本序列。

10、优选的，利用基于transformer架构的预训练语言模型对所述初始文本序列进行处理，获取所述初始文本序列对应的联合语义表示，并依据所述初始文本序列对应的联合语义表示提取联合语义表示中所包含的临床实体及其之间的时序关系与从属关系，包括：

11、利用基于transformer架构的预训练语言模型对所述初始文本序列进行处理，将所述初始文本序列输入至该语言模型中进行动态词向量编码，生成融合上下文语义的上下文嵌入向量；并利用预构建的医学词典对所述初始文本序列进行字符串最大正向匹配，生成词典特征向量；

12、将所述上下文嵌入向量与词典特征向量进行注意力机制融合，获取所述初始文本序列对应的联合语义表示；

13、利用全局指针网络对所述联合语义表示进行解码，获取所述联合语义表示中的临床实体；其中，所述临床实体包括症状、解剖部位、检查项目和药品名称；

14、将所述临床实体输入至基于分段卷积神经网络的关系分类器对临床实体之间的关系进行分类处理，获取所述临床实体之间的时序关系与从属关系。

15、优选的，根据通过一致性校验的临床实体及其之间的时序关系与从属关系生成并输出用于辅助临床决策的结构化电子病历数据，包括：

16、提取通过一致性校验的临床实体的时间戳信息；

17、根据所述临床实体的时间戳信息，按照时间戳的先后顺序对所述临床实体进行排序，生成排序后的临床实体集合；

18、根据hl7 fhir标准格式将所述排序后的临床实体集合填充至预设的json结构化模板中，生成并输出用于辅助临床决策的结构化电子病历数据。

19、优选的，所述利用预构建的医学词典对所述初始文本序列进行字符串最大正向匹配，生成词典特征向量，包括：

20、若所述初始文本序列为空，则直接输出空向量作为词典特征向量并终止当前流程；否则，对所述初始文本序列执行字符串最大正向匹配，获取所有候选词条及其各自在所述初始文本序列中的起始字符索引和结束字符索引，并将所述候选词条构成候选集合；

21、若所述候选集合为空，则直接将空向量作为词典特征向量输出，并终止当前匹配流程；否则，对于所述候选集合中的每一个候选词条，利用预构建的医学词典获取该候选词条在所述初始文本序列中的出现频次，并获取该候选词条的字符长度、该候选词条所在句子的总字符数、该候选词条的起始字符索引在整个初始文本序列的总字符数中的位置比例，以及当前电子病历文档的总句子数量；其中，所述句子的边界基于句号、问号、感叹号及换行符进行划分；根据所述出现频次、字符长度、所在句子的总字符数、位置比例和总句子数量，采用预设的多粒度路径权重累积因子计算公式计算该候选词条的动态置信度得分；

22、具体地，所述多粒度路径权重累积因子计算公式为：

23、

24、其中，所述  表示自然对数； 表示该候选词条在当前初始文本序列中出现的频次，由文本统计直接获得，其取值为正整数； 表示该候选词条的字符长度，由候选词条本身的字符串长度确定，其取值为正整数； 表示该候选词条所在句子的总字符数，由句子长度直接确定，其取值为正整数； 表示动态位置衰减系数，根据当前电子病历文档的总句子数量  按公式  计算得到，其中  为标准逻辑斯蒂函数， 通过文档结构解析直接获取， 的取值范围为0.1至1.0； 表示该候选词条的起始字符索引值，由匹配过程直接获取，其取值为非负整数； 表示整个初始文本序列的总字符数，由文本序列长度直接确定，其取值为正整数；所述多粒度路径权重累积因子  的计算结果为大于0的正实数，用于表征该候选词条作为有效医学实体的置信度；

25、根据所述候选集合中所有候选词条的动态置信度得分，采用以下方式中的任一种确定第一筛选集合：

26、方式一：将动态保留阈值设定为所述候选集合中所有候选词条动态置信度得分的中位数值，所述中位数值为将所述候选集合中所有候选词条的动态置信度得分按升序排列后，位于中间位置的数值，若候选词条个数为偶数，则取中间两个数值的算术平均值；筛除所述候选集合中动态置信度得分低于所述中位数值的候选词条，并将保留的候选词条构成第一筛选集合；

27、方式二：根据各候选词条的动态置信度得分对所述候选词条进行降序排列，保留排名在前百分之六十的候选词条作为第一筛选集合，若计算结果非整数则向上取整；

28、对所述第一筛选集合中的候选词条，按照其在初始文本序列中的起始字符索引从小到大进行排序，依次遍历所有候选词条对，对于每一对存在字符跨度重叠的重叠词条对，根据该重叠词条对中两个候选词条在初始文本序列中字符区间的交集长度与并集长度之比所确定的跨度交并比、当前句子内属于第一筛选集合的所有候选词条两两之间的平均余弦相似度所确定的局部语义多样性系数、当前句子内各字符嵌入向量在各维度上的方差均值所确定的上下文波动程度，以及根据第一筛选集合中唯一候选词条数量与候选词条总数之比自适应计算的动态调节阈值，计算该对候选词条对应的语义重叠抑制门控因子；所述语义重叠抑制门控因子用于表征在当前重叠词条对中是否应保留两者或剔除其一，其值越接近0表示该对重叠词条中动态置信度得分较低者应被抑制剔除，其值越接近1表示两者因语义差异性显著而应同时保留；

29、具体地，利用如下公式计算每一对存在字符跨度重叠的重叠词条对对应的语义重叠抑制门控因子：

30、

31、其中， 为标准逻辑斯蒂激活函数； 表示该重叠词条对中两个候选词条的跨度交并比，即两个候选词条各自覆盖的字符区间交集长度除以并集长度，由两个候选词条的起始字符索引和结束字符索引计算得到，其取值范围为[0,1]；表示局部语义多样性系数，定义为当前句子内属于所述第一筛选集合的所有候选词条对应的上下文嵌入向量之间的平均余弦相似度，所述平均余弦相似度是指当前句子内属于所述第一筛选集合的所有候选词条两两之间的余弦相似度的平均值，若当前句子内属于所述第一筛选集合的候选词条数量少于2，则所述平均余弦相似度取值为0；所述预训练语言模型以字符为基本处理单元，所述上下文嵌入向量取自所述预训练语言模型输出的对应跨度内各字符的隐层向量的平均值；实际计算时取 ，其中  为所述平均余弦相似度的原始计算值，以确保  为非负数， 的取值范围为[0,1]；表示经维度归一化后的方差均值，即首先计算当前句子内各字符的上下文嵌入向量在各个维度上的原始方差值，再对各维度方差值取平均后除以所述上下文嵌入向量的维度，具体计算公式为 ，其中 ， 为当前句子的总字符数， 为第  个字符在第  个维度的嵌入值， 为第  个维度的均值， 为所述上下文嵌入向量的维度，由所述预训练语言模型输出的当前句子各字符隐层向量计算获得，其取值为非负实数； 表示防除零常数，取值为 ； 表示动态去重调节阈值，根据所述第一筛选集合的匹配统计结果按公式  计算得到，其中  为所述第一筛选集合中唯一候选词条的个数， 为所述第一筛选集合中所有候选词条的总数；所述语义重叠抑制门控因子  ，用于表征在当前重叠词条对中是否应保留两者或剔除其一，门控值越接近0表示该对重叠词条中动态置信度得分较低者应被抑制剔除，门控值越接近1表示两者因语义差异性显著而应同时保留；

32、对于所述第一筛选集合中每一对存在字符跨度重叠且语义重叠抑制门控因子小于预设冗余阈值的候选词条，将其中动态置信度得分较低者确定为待剔除候选词条并立即将其从当前集合中删除；对于已被删除的候选词条，后续遍历中不再参与任何重叠对的判断与计算；所有重叠对遍历完成后，将当前集合中剩余的所有候选词条构成第二筛选集合；

33、将所述第二筛选集合中的每个候选词条映射为固定维度的词典特征向量，所述词典特征向量采用稀疏向量形式，其维度与所述预构建的医学词典的词条总数一致，每个候选词条在其对应词典索引位置处赋予其动态置信度得分作为特征值，其余未被赋值的维度位置置为零，从而生成最终用于所述词典特征向量。

34、基于人工智能的电子病历结构化数据提取与分析处理系统，所述电子病历结构化数据提取与分析处理系统包括：

35、初始文本序列获取模块，用于对所述待处理电子病历的扫描件图像进行图像增强处理，并获取所述扫描件图像对应的初始文本序列；

36、临床实体获取模块，用于利用基于transformer架构的预训练语言模型对所述初始文本序列进行处理，获取所述初始文本序列对应的联合语义表示，并依据所述初始文本序列对应的联合语义表示提取联合语义表示中所包含的临床实体及其之间的时序关系与从属关系；

37、电子病历生成与校验模块，用于利用预设的医疗知识图谱 及其中存储的临床路径规则，对所述临床实体及其之间的时序关系与从属关系进行一致性校验，并根据通过一致性校验的临床实体及其之间的时序关系与从属关系生成并输出用于辅助临床决策的结构化电子病历数据。

38、优选的，初始文本序列获取模块，用于对所述待处理电子病历的扫描件图像进行图像增强处理，并获取所述扫描件图像对应的初始文本序列，包括：

39、提取待处理电子病历的扫描件图像；

40、通过透视变换校正和自适应直方图均衡化方式对所述扫描件图像进行图像增强处理，获取图像增强处理后的扫描件图像；

41、调用预置的ocr引擎对所述图像增强处理后的扫描件图像进行处理，获取所述图像增强处理后的扫描件图像对应的初始文本序列。

42、优选的，临床实体获取模块，用于利用基于transformer架构的预训练语言模型对所述初始文本序列进行处理，获取所述初始文本序列对应的联合语义表示，并依据所述初始文本序列对应的联合语义表示提取联合语义表示中所包含的临床实体及其之间的时序关系与从属关系，包括：

43、利用基于transformer架构的预训练语言模型对所述初始文本序列进行处理，将所述初始文本序列输入至该语言模型中进行动态词向量编码，生成融合上下文语义的上下文嵌入向量；同时，利用预构建的医学词典对所述初始文本序列进行字符串最大正向匹配，生成词典特征向量；

44、将所述上下文嵌入向量与词典特征向量进行注意力机制融合，获取所述初始文本序列对应的联合语义表示；

45、利用全局指针网络对所述联合语义表示进行解码，获取所述联合语义表示中的临床实体；其中，所述临床实体包括症状、解剖部位、检查项目和药品名称；

46、将所述临床实体输入至基于分段卷积神经网络的关系分类器对临床实体之间的关系进行分类处理，获取所述临床实体之间的时序关系与从属关系。

47、优选的，电子病历生成与校验模块，用于根据通过一致性校验的临床实体及其之间的时序关系与从属关系生成并输出用于辅助临床决策的结构化电子病历数据，包括：

48、提取通过一致性校验的临床实体的时间戳信息；

49、根据所述临床实体的时间戳信息，按照时间戳的先后顺序对所述临床实体进行排序，生成排序后的临床实体集合；

50、根据hl7 fhir标准格式将所述排序后的临床实体集合填充至预设的json结构化模板中，生成并输出用于辅助临床决策的结构化电子病历数据。

51、优选的，所述利用预构建的医学词典对所述初始文本序列进行字符串最大正向匹配，生成词典特征向量，包括：

52、若所述初始文本序列为空，则直接输出空向量作为词典特征向量并终止当前流程；否则，对所述初始文本序列执行字符串最大正向匹配，获取所有候选词条及其各自在所述初始文本序列中的起始字符索引和结束字符索引，并将所述候选词条构成候选集合；

53、若所述候选集合为空，则直接将空向量作为词典特征向量输出，并终止当前匹配流程；否则，对于所述候选集合中的每一个候选词条，利用预构建的医学词典获取该候选词条在所述初始文本序列中的出现频次，并获取该候选词条的字符长度、该候选词条所在句子的总字符数、该候选词条的起始字符索引在整个初始文本序列的总字符数中的位置比例，以及当前电子病历文档的总句子数量；其中，所述句子的边界基于句号、问号、感叹号及换行符进行划分；根据所述出现频次、字符长度、所在句子的总字符数、位置比例和总句子数量，采用预设的多粒度路径权重累积因子计算公式计算该候选词条的动态置信度得分；

54、根据所述候选集合中所有候选词条的动态置信度得分，采用以下方式中的任一种确定第一筛选集合：

55、方式一：将动态保留阈值设定为所述候选集合中所有候选词条动态置信度得分的中位数值，所述中位数值为将所述候选集合中所有候选词条的动态置信度得分按升序排列后，位于中间位置的数值，若候选词条个数为偶数，则取中间两个数值的算术平均值；筛除所述候选集合中动态置信度得分低于所述中位数值的候选词条，并将保留的候选词条构成第一筛选集合；

56、方式二：根据各候选词条的动态置信度得分对所述候选词条进行降序排列，保留排名在前百分之六十的候选词条作为第一筛选集合，若计算结果非整数则向上取整；

57、对所述第一筛选集合中的候选词条，按照其在初始文本序列中的起始字符索引从小到大进行排序，依次遍历所有候选词条对，对于每一对存在字符跨度重叠的重叠词条对，根据该重叠词条对中两个候选词条在初始文本序列中字符区间的交集长度与并集长度之比所确定的跨度交并比、当前句子内属于第一筛选集合的所有候选词条两两之间的平均余弦相似度所确定的局部语义多样性系数、当前句子内各字符嵌入向量在各维度上的方差均值所确定的上下文波动程度，以及根据第一筛选集合中唯一候选词条数量与候选词条总数之比自适应计算的动态调节阈值，计算该对候选词条对应的语义重叠抑制门控因子；所述语义重叠抑制门控因子用于表征在当前重叠词条对中是否应保留两者或剔除其一，其值越接近0表示该对重叠词条中动态置信度得分较低者应被抑制剔除，其值越接近1表示两者因语义差异性显著而应同时保留；

58、对于所述第一筛选集合中每一对存在字符跨度重叠且语义重叠抑制门控因子小于预设冗余阈值的候选词条，将其中动态置信度得分较低者确定为待剔除候选词条并立即将其从当前集合中删除；对于已被删除的候选词条，后续遍历中不再参与任何重叠对的判断与计算；所有重叠对遍历完成后，将当前集合中剩余的所有候选词条构成第二筛选集合；

59、将所述第二筛选集合中的每个候选词条映射为固定维度的词典特征向量，所述词典特征向量采用稀疏向量形式，其维度与所述预构建的医学词典的词条总数一致，每个候选词条在其对应词典索引位置处赋予其动态置信度得分作为特征值，其余未被赋值的维度位置置为零，从而生成最终用于所述词典特征向量。

60、本发明实施例提供的技术方案的有益效果如下：

61、通过透视变换校正与自适应直方图均衡化对扫描件图像进行增强处理，有效改善了原始扫描图像的成像质量，结合ocr引擎完成图像到文本的稳定转换，拓展了非结构化病历数据的可处理范围，为后续语义分析提供了可靠的原始文本数据基础。

62、利用基于transformer架构的预训练语言模型对初始文本序列进行动态词向量编码，生成融合上下文语义的上下文嵌入向量，同时利用预构建的医学词典进行字符串最大正向匹配生成词典特征向量，通过注意力机制将二者融合为联合语义表示，兼顾了通用语义理解与医学专业特征提取，弥补了单一模型在医疗文本处理上的局限性，实现了临床实体及其之间时序关系与从属关系的同步抽取。

63、采用全局指针网络对联合语义表示进行解码，能够一次性识别症状、解剖部位、检查项目、药品名称等多类型临床实体及其边界，尤其适用于嵌套实体场景；通过基于分段卷积神经网络的关系分类器进行实体关系分类，准确挖掘病历文本中隐藏的实体关联逻辑，实现临床实体与实体关系的一体化提取。

64、通过多粒度路径权重累积因子对候选词条进行动态置信度评分，有效压制高频噪声、突出关键诊断术语；通过语义重叠抑制门控因子对嵌套实体进行精细化判别，在消除语义冗余与保留语义差异之间取得平衡，提高了词典特征向量的质量。

65、利用预设的医疗知识图谱及其中存储的临床路径规则对提取的临床实体及其时序关系与从属关系进行一致性校验，通过图谱内置的专业医疗规则剔除不符合医疗业务逻辑的错误实体与关联关系，约束了模型解析产生的语义偏差，保证了提取内容符合医疗行业规范。

66、将校验通过的临床实体按照时间戳先后顺序进行排序，并根据hl7 fhir标准格式填充至预设的json结构化模板中，生成标准化的结构化电子病历数据，可直接适配各类医疗信息系统的读取与调用需求，为临床决策、病案分析及医疗数据统计工作提供规整、可信的数据支撑。