基于多模态Transformer与特征选择的气道梗阻伤情预测方法和系统与流程

本发明属于医疗人工智能，具体涉及基于多模态transformer与特征选择的气道梗阻伤情预测方法和系统。

背景技术：

1、气道梗阻是创伤急救和重症监护中常见的危急状况，若未能及时准确评估其严重程度，将延误气道管理措施的实施，显著增加患者的死亡风险和并发症发生率。当前临床实践中，医护人员通常依据生命体征监测数据如心率和呼吸率的变化趋势、实验室检测指标如血气分析结果以及初诊时的病史描述来综合判断伤情，然而这些信息分散于不同的数据源中，且数量庞大、动态性强，人工整合分析效率低下且主观差异大。随着医疗信息化的发展，利用人工智能技术对多源异构数据进行自动化分析成为提升伤情预测准确性的重要途径，但现有预测方法大多仅依赖单一模态的数据，例如单独使用时序波形数据或静态检测结果，未能充分利用初诊文本记录中蕴含的致伤机制和症状描述等关键信息，导致模型的感知范围受限，难以全面捕捉与气道梗阻相关的多维病理特征。

2、在已有的多模态医疗数据处理方案中，针对时序生命体征数据的建模常采用循环神经网络或其变体，但此类网络在处理较长序列时存在梯度衰减问题，且难以对时间维度上的局部模式进行显式提取；对于结构化检测数据，传统方法通常采用浅层分类器或线性回归，无法充分挖掘各检测指标之间的高阶非线性交互关系；对于文本记录的处理，早期技术多依赖词频统计或规则匹配，语义表达能力不足，难以从自然语言描述中准确抽取与气道梗阻相关的细微线索。更为关键的是，现有系统在融合多模态特征时往往采用简单的特征拼接或加权平均，缺乏对模态间深层关联的建模机制，不同模态的信息在融合过程中相互干扰或冗余，无法实现互补增强的效果。

3、此外，大多数方法未针对不同模态特征的重要性进行动态选择与重校准，导致模型容易受到无关或噪声特征的干扰，泛化性能不稳定，难以满足临床实际应用对预测精度和鲁棒性的要求。

技术实现思路

1、针对上述不足，本发明提供了一种基于多模态transformer与特征选择的气道梗阻伤情预测方法和系统，通过构建复合神经网络模型fsmt，针对时序生命体征数据、结构化检测数据和初诊文本记录分别设计差异化的特征提取途径。其中，全卷积网络与挤压激励模块的协同设计能够对时序信号进行局部模式捕获和通道层面的动态特征重校准，强化关键生理变化趋势的响应；多层感知机模块通过层次化的非线性映射提取结构化指标间的复杂依赖关系；transformer编码器则利用自注意力机制深入挖掘文本中的语义关联，弥补了非结构化信息处理的短板。在特征融合层面，本发明采用分阶段交叉融合策略，首先将时序特征与结构化特征进行交互融合，再与文本特征整合，使得跨模态信息在不同抽象层次上逐步对齐和聚合，最终形成综合表征用于严重程度分级预测。该方法充分考虑了各类数据的异质性和互补性，在不依赖人为特征工程的前提下实现了对气道梗阻伤情的全面、精准评估，为急救决策提供了可靠的技术支持。

2、根据本发明第一方面，本发明请求保护一种基于多模态transformer与特征选择的气道梗阻伤情预测方法，包括：

3、s1，获取目标对象的多元医疗数据，所述多元医疗数据包括时序生命体征数据、结构化检测数据和初诊文本记录；

4、s2，将所述时序生命体征数据输入至全卷积网络-挤压激励模块，通过一维卷积操作提取所述时序生命体征数据中的局部时序模式，并由挤压激励机制对卷积输出进行通道层面的特征重校准，得到时序特征向量；

5、s3，将所述结构化检测数据输入至多层感知机模块，通过多层全连接网络对所述结构化检测数据中的检测指标进行非线性变换，提取指标间的关联特征，得到结构化特征向量；

6、s4，将所述初诊文本记录输入至transformer模块的编码器部分，通过自注意力机制捕捉所述初诊文本记录中不同位置词元之间的语义依赖关系，提取文本语义特征，得到文本特征向量；

7、s5，将所述时序特征向量与所述结构化特征向量进行交叉融合，得到第一融合特征，再将所述第一融合特征与所述文本特征向量进行拼接融合，得到综合表征向量；

8、s6，将所述综合表征向量输入至输出层，得到所述目标对象的气道梗阻严重程度预测结果。

9、进一步地，所述s5中将所述时序特征向量与所述结构化特征向量进行交叉融合，得到第一融合特征，包括：

10、将所述时序特征向量与所述结构化特征向量进行拼接，形成拼接向量；

11、将所述拼接向量输入至第一全连接层，通过所述第一全连接层对所述拼接向量进行线性变换和非线性激活，得到所述第一融合特征。

12、进一步地，所述s5中再将所述第一融合特征与所述文本特征向量进行拼接融合，得到综合表征向量，包括：

13、将所述第一融合特征与所述文本特征向量进行拼接，形成综合拼接向量；

14、将所述综合拼接向量输入至第二全连接层，通过所述第二全连接层对所述综合拼接向量进行线性变换和非线性激活，得到所述综合表征向量。

15、进一步地，所述全卷积网络-挤压激励模块包括依次连接的多个卷积子模块，各所述卷积子模块分别包括一维卷积层和挤压激励块；

16、所述一维卷积层以所述时序生命体征数据或上一卷积子模块的输出作为输入，通过卷积核沿时间维度滑动进行卷积运算，生成对应的卷积特征图；

17、所述挤压激励块对所述卷积特征图执行挤压操作，通过对所述卷积特征图在时间维度上进行全局特征聚合，生成通道维度的全局描述向量；

18、所述挤压激励块对所述全局描述向量执行激励操作，通过所述全局描述向量中各通道的描述值生成各通道的重校准权重，将各所述重校准权重分别作用于所述卷积特征图中对应通道的特征，得到重校准后的通道特征；

19、各所述卷积子模块输出的重校准后的通道特征依次经后续卷积子模块处理，由最后一个卷积子模块输出所述时序特征向量。

20、进一步地，所述多层感知机模块包括依次连接的第一全连接层、第二全连接层和第三全连接层，所述第一全连接层的神经元数量大于所述第二全连接层的神经元数量，所述第二全连接层的神经元数量大于所述第三全连接层的神经元数量；

21、所述结构化检测数据依次经所述第一全连接层、所述第二全连接层和所述第三全连接层进行逐层非线性变换，各全连接层分别对输入进行线性变换后经激活函数输出至下一层，所述第三全连接层输出所述结构化特征向量。

22、进一步地，所述transformer模块的编码器部分包括多个依次连接的自注意力层；

23、各所述自注意力层分别对输入的序列数据执行多头自注意力操作，通过多个注意力头并行计算输入序列中不同位置之间的注意力权重，各注意力头分别基于各自计算的注意力权重对输入序列进行加权聚合，得到各注意力头的加权输出，将所有注意力头的加权输出进行拼接并经线性变换后得到该自注意力层的输出，并传递至下一自注意力层；

24、最后一个自注意力层的输出经位置维度的聚合处理，得到所述文本特征向量。

25、进一步地，所述时序生命体征数据为多个时间点的生命体征测量值所构成的时间序列数据，各时间点的生命体征测量值包含心率测量值和呼吸率测量值；

26、所述一维卷积操作采用设定步长的卷积核沿所述时间序列数据的时间维度进行滑动卷积，每次滑动时所述卷积核覆盖所述时间序列数据中局部时间窗口内的生命体征测量值，进行加权求和并经过激活函数处理，生成该局部时间窗口对应的卷积结果，所有局部时间窗口的卷积结果构成所述卷积特征图；

27、所述挤压激励模块对所述卷积特征图在时间维度上进行全局特征聚合，对所述卷积特征图中各通道在全部时间步上的特征值进行聚合运算，得到各通道的全局描述值，所有通道的全局描述值构成所述全局描述向量；

28、所述挤压激励模块将所述全局描述向量经非线性变换生成各通道的所述重校准权重，将各所述重校准权重与所述卷积特征图中对应通道的各时间步特征值相乘，得到所述重校准后的通道特征。

29、进一步地，所述将所述时序特征向量与所述结构化特征向量进行拼接，包括将所述时序特征向量的各维度元素与所述结构化特征向量的各维度元素按序组合，形成维度数量为所述时序特征向量维度数量与所述结构化特征向量维度数量之和的拼接向量；

30、所述第一全连接层对所述拼接向量进行线性变换时，以所述拼接向量的各维度元素作为输入，通过权重矩阵将所述拼接向量映射至目标维度空间，再经激活函数处理，得到所述第一融合特征。

31、进一步地，所述再将所述第一融合特征与所述文本特征向量进行拼接，包括将所述第一融合特征的各维度元素与所述文本特征向量的各维度元素按序组合，形成维度数量为所述第一融合特征维度数量与所述文本特征向量维度数量之和的综合拼接向量；

32、所述第二全连接层对所述综合拼接向量进行线性变换时，以所述综合拼接向量的各维度元素作为输入，通过权重矩阵将所述综合拼接向量映射至目标维度空间，再经激活函数处理，得到所述综合表征向量；

33、所述输出层为全连接分类层，所述全连接分类层以所述综合表征向量作为输入，通过权重矩阵将所述综合表征向量映射至与气道梗阻严重程度等级数量相等的输出维度，各输出维度的值分别对应所述目标对象属于各气道梗阻严重程度等级的预测置信度，根据各所述预测置信度确定所述目标对象的气道梗阻严重程度预测结果。

34、根据本发明第二方面，本发明请求保护基于多模态transformer与特征选择的气道梗阻伤情预测系统，包括：

35、一个或多个处理器；

36、存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的基于多模态transformer与特征选择的气道梗阻伤情预测方法。

37、本发明属于医疗人工智能技术领域，具体涉及基于多模态transformer与特征选择的气道梗阻伤情预测方法和系统。构建复合神经网络模型，分别针对时序生命体征数据、结构化检测数据和初诊文本记录设计差异化的特征提取途径：采用全卷积网络与挤压激励模块对时序信号进行局部模式捕获和通道重校准，利用多层感知机挖掘结构化指标间的高阶交互关系，借助transformer编码器的自注意力机制解析文本语义信息，采用分阶段交叉融合策略形成综合表征并输出分级预测结果。本发明有效突破多模态数据异质性带来的融合瓶颈，实现关键特征的自适应增强与非关键干扰的抑制，显著提升了气道梗阻严重程度预测的全面性和准确性。