一种基于多模态融合的儿童肠套叠诊断智能分析系统的制作方法

1.本发明属于医学人工智能领域，尤其是涉及一种基于多模态融合的儿童肠套叠诊断智能分析系统。


背景技术：

2.肠套叠是一种小儿外科急腹症，在临床上较为常见，以2岁以下小儿为主要患病人群。肠套叠主要是指相连两段肠管间彼此相套的现象，早期及时诊断并积极进行正确治疗可防止肠管发生坏死，减轻患儿受到的痛苦。
3.超声诊断作为一种无创伤、无痛苦的检查手段，易于被患儿及其家属接受，典型儿童肠套叠超声声像图可总结为两个征象：一是横断面上呈现“同心圆”征象，二是纵切面呈现“套筒征”征象，医生多是通过“同心圆”征象的识别判断患者是否出现肠套叠问题，然而日益增加的影像数据也为医生的诊疗带来了负担。
4.随着深度学习技术的发展，以往依赖医生人工读片的传统阅片模式被打破，以数据驱动为基础的深度学习技术，让计算机通过影像学、医学图像处理技术结合计算机的分析计算，辅助发现病灶，提高诊断的准确率。
5.如公开号为cn107133942a的中国专利文献公开了一种基于深度学习的医疗图像处理方法。所述基于深度学习的医疗图像处理方法包括如下步骤：选用标注好的医疗训练集图像对迁移的神经网络模型进行训练和适配，获得经过训练的医疗诊断模型；根据所述医疗诊断模型的要求转换医疗图片的图像格式，并对所述医疗图片进行图像增强处理；提取所述医疗图片的瓶颈特征，利用所述医疗诊断模型根据所述瓶颈特征进行影像诊断，并输出诊断结果。
6.公开号为cn109215021a的中国专利文献公开了一种基于深度学习的胆石病ct医疗图像快速识别方法，包括：1)采集胆石病ct医疗图像，构建训练集；2)对训练集中的图像进行处理，生成所需要的训练样本；3)利用训练样本进行基于深度学习的胆石病ct医疗图像识别训练，生成训练好的胆石病ct医疗图像快速识别模型；4)采集新的胆石病ct医疗图像，构建验证集；5)使用验证集中图像对模型进行验证。
7.然而，针对儿童肠套叠多样的临床表现，复杂的病因病情以及离散的疾病数据(病历、检验、检查等)，儿童肠套叠疾病诊治面临的诊断时间长较长，基层医院超声检查假阳率较高问题。同时，传统诊疗流程困难，医患沟通等待周期长，交互质量低，响应慢。
8.因此，亟需设计一种儿童肠套叠诊断智能分析系统，从而缩短诊断时间、降低假阳性率，全面提升我国儿童肠套叠疾病治疗水平，合理有效发挥医疗资源的作用。


技术实现要素：

9.本发明提供了一种基于多模态融合的儿童肠套叠诊断智能分析系统，可以实现儿童肠套叠疾病的快速诊断，从而缩短诊断时间、降低假阳性率。
10.一种基于多模态融合的儿童肠套叠诊断智能分析系统，包括计算机存储器、计算
机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，所述的计算机存储器中存储有训练好的儿童肠套叠关系抽取模型、文本特征提取模型、超声影像质控模型、结构化数据特征提取模型以及特征融合模型；
11.所述的儿童肠套叠关系抽取模型采用bilstm与crf相结合的方法识别儿童肠套叠专病中的实体，采用该组合模型对儿童肠套叠非结构化文本数据集进行命名实体识别；同时，采用bilstm和注意力机制提取儿童肠套叠专病中的关系，从而构建基于腹痛主诉下儿童肠套叠知识图谱；
12.所述的文本特征提取模型，用于结合构建的儿童肠套叠知识图谱，运用自然语言处理技术，提取原始诊断病历、超声诊断报告中的文本特征；
13.所述的超声影像质控模型，用于提取儿童肠套叠超声影像中的图像特征；
14.所述的结构化数据特征提取模型，用于提取儿童肠套叠实验室数据中的结构化数据特征；
15.所述的特征融合模型，用于融合文本特征、图像特征和结构化数据特征，输出高维特征后，使用归一化函数将儿童肠套叠的预测输出映射为概率分布。
16.进一步地，所述儿童肠套叠知识图谱的构建过程主要包括实体抽取和关系抽取，具体如下：
17.(1)收集儿童肠套叠专病的相关文献、专家共识，收集儿童医院近十年儿童肠套叠的原始病历数据和超声影像报告；
18.(2)对收集的数据做预处理后进行分词和标注，按照7:3的比例划分训练集与测试集；
19.(3)使用bilstm-crf训练，构建儿童肠套叠实体抽取模型；首先，使用bilstm层获取下文相关的字向量表示，然后经过crf层对数据标注添加必要约束来确保其合理有效，最终提取得到实体集；
20.(4)应用抽取的实体标注数据集，并按照7:3的比例划分训练集与测试集；
21.(5)采用bilstm和注意力机制提取儿童肠套叠专病中的关系，构建儿童肠套叠关系抽取模型；
22.(6)将语段进行实体信息以及不同实体之间关系的提炼后，将抽取到的实体-关系-实体三元组存入neo4j数据库，将其描绘成图形化的知识图谱结构，完成儿童肠套叠专病知识图谱的构建并可视化图谱。
23.步骤(2)中，所述的预处理包括脱敏和清洗操作。
24.进一步地，所述的超声影像质控模型包含图像特征提取模型、超声影像扫全模型和同心圆纵横截面检测模型；其中，所述的超声影像扫全模型采用改进的yolov5s网络，将卷积注意力模块cbam与yolov5s网络的neck部分融合，提高网络的特征提取能力。
25.所述的超声影像质控模型在训练过程中，训练数据集的制作过程如下：
26.收集儿童医院超声影像系统中近十年儿童肠套叠的超声影像；
27.查阅相关超声影像文件，咨询超声影像专家，确定儿童肠套叠超声影像质量的标准，包括横切面呈“同心圆征”、纵切面呈“套筒征”以及局部肠壁血流信号增多；
28.保证超声影像扫描到肾脏区域，由2名超声医师进行标准超声图像的筛选；
29.由2位专家根据超声标准切面，对标准切面使用pair智能标注软件进行各项标准
的图像标注，将标注后的图像作为训练图像特征提取模型的数据集。
30.所述的超声影像扫全模型训练过程中，采用ciou loss代替giou loss作为目标边界框回归损失函数，加快边界框回归速的同时提高定位精度，改善漏检问题。
31.所述超声影像质控模型在提取儿童肠套叠超声影像中的图像特征时，首先通过图像预处理技术，将超声影像统一为肾脏位于影像上部或者下部，通过超声影像扫全模型检测是否有扫描到肾脏并返回肾脏区域检测结果；进一步用同心圆纵横截面检测模型检测超声影像是否扫描到同心圆的横截面，如果检测到同心圆横截面，继续检测超声影像是否扫描到同心圆的纵截面。
32.进一步地，所述的特征融合模型在输出高维特征后，使用归一化函数softmax将儿童肠套叠的预测输出映射为概率分布，假设预测值为则：
[0033][0034]
其中，s∈s为文本特征输入，v∈v为超声影像特征输入，f∈f为结构化数据输入，以确保预测目标d∈d的概率为最优目标。
[0035]
与现有技术相比，本发明具有以下有益效果：
[0036]
1、本发明运用自然语言处理技术，构建基于多模态融合的儿童肠套叠专病知识图谱，可以最有效、最直观的表达出儿童肠套叠专病中实体之间的关系，实现高效的查询和知识推理。
[0037]
2、本发明使用改进的目标检测yolov5s算法检测是否有扫描到肾脏并返回肾脏区域检测结果，将卷积注意力模块cbam与yolov5s网络的neck部分融合，提高网络的特征提取能力达到提升目标检测效果的目的。
[0038]
3、本发明的特征融合模型通过融合文本特征、图像特征和结构化数据特征，输出高维特征后，使用归一化函数将儿童肠套叠的预测输出映射为概率分布，大大提高预测的准确度。
附图说明
[0039]
图1为本发明一种基于多模态融合的儿童肠套叠诊断智能分析系统的框架图；
[0040]
图2为本发明中儿童肠套叠知识图谱的构建流程图；
[0041]
图3为本发明中超声影像质控模型提取儿童肠套叠超声影像中图像特征的框架图；
[0042]
图4为本发明实施例中儿童肠套叠超声征象示意图；
[0043]
图5为本发明中超声影像扫全模型的网络结构图；
[0044]
图6为本发明中卷积注意力模块cbam的结构图。
具体实施方式
[0045]
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
[0046]
如图1所示，一种基于多模态融合的儿童肠套叠诊断智能分析系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程
序，计算机存储器中存储有训练好的儿童肠套叠关系抽取模型、文本特征提取模型、超声影像质控模型、结构化数据特征提取模型以及特征融合模型。
[0047]
儿童肠套叠关系抽取模型用于构建基于腹痛主诉下儿童肠套叠知识图谱；文本特征提取模型，用于结合构建的儿童肠套叠知识图谱，运用自然语言处理技术，提取原始诊断病历、超声诊断报告中的文本特征；超声影像质控模型，用于提取儿童肠套叠超声影像中的图像特征；结构化数据特征提取模型，用于提取儿童肠套叠实验室数据中的结构化数据特征；特征融合模型，用于融合文本特征、图像特征和结构化数据特征，输出高维特征后，使用归一化函数将儿童肠套叠的预测输出映射为概率分布。
[0048]
图中，s∈s为患者病历、病史等文本特征输入，v∈v为超声影像特征输入，f∈f为结构化数据输入，以确保预测目标d∈d的概率为最优目标。
[0049]
多模态特征输入经过特征提取层、特征融合层等网络结构的计算，会得到高维特征，最后使用归一化函数将预测输出映射为概率分布，假设预测值为则：
[0050][0051]
如图2所示，儿童肠套叠知识图谱的构建过程如下：
[0052]
(1)收集儿童肠套叠专病的相关文献、专家共识，收集某三甲儿童医院急诊系统中近十年儿童肠套叠的原始病历数据和超声影像报告。
[0053]
(2)对收集的数据做必要的数据预处理，包括脱敏、清洗等操做，然后分词、标注数据集，按照7:3的比例划分训练集与测试集。
[0054]
(3)对于文本数据，根据不同的结构类型，采用人工和命名实体识别技术提取实体集。本发明方法使用bilstm-crf训练，构建基于多模态融合的儿童肠套叠实体抽取模型。首先，使用bilstm层获取下文相关的字向量表示，然后经过crf层对数据标注添加必要约束来确保其合理有效，降低最终结果的偏差。
[0055]
(4)应用抽取的实体标注数据集，并按照7:3的比例划分训练集与测试集。
[0056]
(5)采用bilstm和注意力机制(bilstm-attention)提取儿童肠套叠专病中的关系，构建基于多模态融合的儿童肠套叠关系抽取模型。
[0057]
(6)将语段进行实体信息、以及不同实体之间关系的提炼后，将抽取到的实体-关系-实体三元组存入neo4j数据库，将其描绘成图形化的知识语义网络，其转为知识图谱结构，完成基于多模态融合的儿童肠套叠专病知识图谱的构建并可视化图谱。
[0058]
对于儿童肠套叠知识图谱的构建，最重要的两步是实体抽取和关系抽取。本发明鉴于bilstm-crf模型在序列标注任务上的高效性优势，采用双向长短时记忆循环神经网络(bi-long shot-term memory neural network，bilstm)与条件随机场(conditional random fields，crf)相结合的方法识别儿童肠套叠专病中的实体，采用该组合模型对儿童肠套叠非结构化文本数据集进行命名实体识别。
[0059]
bilstm的输出是方向相反的两个长短时记忆循环神经网络(long shot-term memory neural network，lstm)共同作用的，当前时刻输出的信息由前面时刻的输出有关和后面的时刻的输出共同决定，因此bilstm能获取到更加的丰富的上下文信息。将词向量化的儿童肠套叠专病的数据输入bilstm训练，bilstm模型结合前后时刻信息，输出儿童肠套叠中每个实体标签的得分，即crf的输入。条件随机场是条件概率模型，对bilstm的输出
添加一定的约束，可以有效地提高实体识别的正确率。crf获得bilstm层的输出，从训练数据中学到约束条件对实体标签加以约束，保证儿童肠套叠专病实体标签的有效性。attention类似于人的注意力机制，对bilstm的输出加权，可以提高bilstm在儿童肠套叠专病中关系提取的准确率。
[0060]
知识图谱的数据组织架构，大致分为两层：第一种是“自顶向下”的概念模式层；第二种是“自下而上”的具体数据层构建方法。本发明在构建儿童肠套得专库知识图谱的过程中，由初期的自顶向下的方式逐渐转变为两者结合的方式。neo4j数据库是目前较为流行的图数据库，支持事务管理中的acid特性，查询性能高，内置可视化ui；采用非结构化存储方式，灵活性高。使用neo4j数据库存储基于多模态融合的儿童肠套叠专病中的实体、关系，快速搭建儿童肠套叠专病知识图谱，实现儿童肠套叠中各种实体、关系的可视化。
[0061]
如图3所示，超声影像质控模块模型包含图像特征提取模型、超声影像扫全模型和同心圆纵横截面检测模型。v∈v为超声影像特征输入，y1为经过超声影像扫全模型后的图像特征，y2为经过同心圆横纵截面检测模型后的图像特征。通过两步质量控制，最终得到图像特征，同时输出超声影像的质量评价结果。
[0062]
超声影像质控模型的训练过程如下：
[0063]
第一步，制作数据集：
[0064]
(1)收集某三甲儿童医院超声影像系统中近十年儿童肠套叠的超声影像。
[0065]
(2)查阅相关超声影像文件，咨询超声影像专家，确定儿童肠套叠超声影像质量的标准，包括横切面呈“同心圆征”或称之为“靶环征”；纵切面呈“套筒征”“或者“假肾征”，表现为对称的多层结构；局部肠壁血流信号增多。
[0066]
如图4所示，图中，(a)为“同心圆”征，(b)为“套筒”征，(c)为血流信号。
[0067]
(3)保证超声影像扫描全面，扫描到肾脏区域，由2名超声医师进行标准超声图像的筛选，将2名医师同时判定为合格的标准图像，纳入后续的研究。
[0068]
(4)由2位专家根据超声标准切面，对标准切面使用pair智能标注软件进行各项标准的图像标注，将标注后的图像纳入后续研究。
[0069]
第二步，构建超声影像质控模型
[0070]
超声影像质控模块模型包含图像特征提取模型、超声影像扫全模型和同心圆纵横截面检测模型。其中，超声影像扫全模型采用改进的yolov5s网络，将卷积注意力模块cbam与yolov5s网络的neck部分融合，提高网络的特征提取能力。
[0071]
改进的yolov5s网络结构如图5所示，yolov5s模型是由backbone、neck和output三部分组成。
[0072]
backbone部分主要采用csp(cross stage partial)结构和spp(spatial pyramid pooling)结构。yolov5s中设计了两种csp结构，即csp1_x和csp2_x，分别应用于backbone和neck部分，其中x表示残差组件的个数。yolov5s中backbone部分中csp1_x的x值依次为1、3和3，neck部分csp2_x的x值均为1。spp结构中feature maps是经过三个pooling窗口进行最大池化maxpool操作，并将分别得到的结果在通道维度上进行concat。spp可以增大感受野，有助于解决anchor和feature map的对齐问题。
[0073]
neck部分是由csp2_x结构、fpn(feature pyramid networks) pan(path aggregation network)结构组成，fpn pan结构是两个组合的特征金字塔结构。特征金字塔
结构可以提高网络对不同缩放尺寸目标的检测性能。其中，fpn采用自上而下的特征金字塔，将高层的语义信息通过上采样的方式进行传递并连接，得到预测的特征图；pan采用自下而上的特征金字塔，将低层的定位特征通过下采样的方式进行传递，以增强位置信息。
[0074]
output部分包含边界框损失函数和非极大值抑制(non-maximum suppression，nms)。边界框损失使用giou_loss函数，该损失函数相较于iou_loss增加了相交尺度的衡量方式，解决边界框与预测框不重合的问题。估算目标检测矩形框的识别损失，生成对象边界框和并预测出类别信息。在目标检测推理预测阶段，针对同一个目标上出现的众多相同类别检测框的筛选，采用加权nms操作，保留得分较高的目标框作为最终的目标检测框。
[0075]
yolov5s网络中提取特征最关键的部分在backbone，因此，本发明方法将cbam融合在backbone之后，neck网络的特征融合之前，这么做的原因是yolov5s在backbone中完成了特征提取，经过neck特征融合之后在不同的特征图上预测输出，cbam在此处进行注意力重构，可以起到承上启下的作用。
[0076]
cbam结构如图6所示，对于cnn网络中某一层的三维特征图，cbam顺序地从三维特征图推理出一维通道注意力特征图和二维空间注意力特征图，并分别进行逐元素相乘，最终得出与三维特征图同等维度的输出特征图。cbam同时关注了空间和通道信息，通过两个子模块通道注意力模块(channel attention module，cam)和空间注意力模块(spatial attention module，sam)对网络中间的特征图进行重构，强调重要特征，抑制一般特征，达到提升目标检测效果的目的。
[0077]
同心圆纵横截面检测模型可以检测超声影像是否包含同心圆，如果包含同心圆进一步检测是否有同心圆纵截面的超声影像。
[0078]
同心圆纵横截面检测模型的网络结构主体由3个阶段组成：主干特征提取网络、区域生成网络(region proposal network，rpn)以及roi pooling层。其中，特征提取网络采用vgg16卷积神经网络，vgg16由5组卷积组成，每组卷积带有一个池化层，共包含13个卷积层、13个激活层和5个池化层；在卷积神经网络的第三组卷积和第五组卷积之间增加了跳跃连接层，通过跳跃连接层将卷积神经网络的浅层特征和深层次特征联合。
[0079]
第三步，模型训练
[0080]
yolov5s使用giou loss作为边界框回归损失函数，用以评判预测边界框(predicted box，pb)和真实边界框(ground truth，gt)的距离。giou loss的优势是尺度不变性，即pb和gt的相似性与它们的空间尺度大小无关。giou loss的问题在于当pb或者gt被对方完全包围的时候，giou loss完全退化为iou loss，由于它严重地依赖于iou项，导致在实际训练中收敛速度过慢，并且预测的边界框精度较低。ciou loss针对这些问题，同时考虑了pb和gt的重叠面积、中心点距离、长宽比例。本发明方法将ciou loss代替giou loss作为目标边界框回归损失函数，加快边界框回归速的同时提高定位精度，改善漏检问题。通过不断训练优化模型，最终完成儿童肠套叠超声影像质控模型。
[0081]
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。