基于区间感知多实例学习的桥本甲状腺炎纵向预测方法

本发明涉及数据处理技术，具体为一种基于区间感知多实例学习的桥本甲状腺炎纵向预测方法。

背景技术：

1、桥本甲状腺炎的临床检查方式包括病理检查、生化检查和甲状腺超声检查。病理检查具有侵入性，通常不作为常规随访方式；生化检查能够评估甲状腺功能和免疫异常，但生化指标与桥本甲状腺炎状态之间不存在绝对的对应关系。甲状腺超声检查具有无创和便于重复实施的特点，适用于疾病识别和连续随访评估。

2、桥本甲状腺炎纵向预测是利用目标随访之前的多次历史检查，以估计未来目标随访时点的疾病状态。一次历史随访通常包含多个视角的甲状腺超声图像，每幅图像构成一个实例；同一患者的不同历史随访之间具有实际发生时间，且相邻随访和非相邻随访之间的时间间隔不固定。因此，纵向预测需要同时处理实例级超声信息、同次随访多实例关系和跨随访时间关系。

3、早期桥本甲状腺炎在连续随访中的超声变化较为细微，相关响应表现为弱纹理变化和弥漫性结构变化，容易与背景噪声和成像伪影混淆。常规特征提取网络倾向于关注响应显著的区域，难以同时保留低层纹理细节、高层语义信息和不同尺度下的局部变化。

4、单独采用通道注意力时，模型能够突出信息量较高的特征通道，但不能直接判断响应所在的空间位置；单独采用空间注意力时，模型能够突出空间区域，但不能充分判断该区域对应的通道是否稳定。仅将任一注意力结果直接叠加到输入特征，还会扩大不可靠响应。因而需要同时利用通道可靠性和空间可靠性约束局部增强位置，并通过残差路径保留原始特征。

5、同一次历史随访中包含不同切面和不同观察视角的超声图像。不同实例对疾病状态的贡献并不相同，部分图像包含较清晰的病变线索，部分图像受到伪影或视角差异影响。直接拼接或简单平均不能建立实例之间的相关性，也不能降低信息量较低实例对随访级表示的影响，容易形成不稳定的聚合结果。

6、现有多实例学习方法通常通过实例权重获得集合级表示，但仅依赖单个实例自身计算权重时，缺少同次随访内不同视角之间的上下文。

7、纵向疾病预测方法需要表示不同历史随访之间的时间依赖。固定位置编码通常只表示随访在序列中的先后顺序，相邻两个位置的编码距离固定，无法反映实际随访可能相隔数周、数月或更长时间。忽略真实时间间隔会削弱模型对疾病进展速度和跨随访变化的表达。

8、此外，已有纵向分析方法通过时间差加权、跨时间注意力或连续时间模型改善时间依赖建模，但在不规则随访条件下，仍需要同时表示单次随访发生的具体时间和不同随访之间的相对间隔。为此，需要一种将可靠细微特征增强、多视角实例聚合和不规则时间建模连接为完整处理链的桥本甲状腺炎纵向预测方法。

技术实现思路

1、为解决现有技术中早期超声变化细微、多视角图像贡献不一致以及不规则随访间隔难以表达的问题，本发明提出一种基于区间感知多实例学习的桥本甲状腺炎纵向预测方法，能够形成更稳定的随访级表示并提高不规则随访序列的建模能力，能够增强细微超声特征，降低多视角信息冗余和成像伪影对聚合结果的影响，并表达不规则随访间隔所对应的时间依赖关系。

2、一方面，本发明实施例提供一种基于区间感知多实例学习的桥本甲状腺炎纵向预测方法，包括如下步骤：

3、s1、获取患者在目标随访之前的多次历史随访记录，每次历史随访记录包括多幅多视角甲状腺超声图像和对应的随访时间；

4、s2、分别对每幅多视角甲状腺超声图像进行可靠性引导跨尺度特征增强，得到实例级超声特征；

5、s3、对同一次历史随访对应的实例级超声特征进行自注意力门控多实例聚合，得到随访级超声表示；

6、s4、根据各次历史随访的具体随访时间以及不同历史随访之间的相对时间间隔，对随访级超声表示进行区间感知位置编码，得到区间感知时间表示；

7、s5、融合各次历史随访的随访级超声表示和区间感知时间表示，得到融合后的历史随访序列；对融合后的历史随访序列进行纵向依赖建模，并根据纵向依赖建模得到的最后一次历史随访对应序列表示输出目标随访时点的桥本甲状腺炎状态预测结果。

8、另一方面，本发明实施例还提供一种基于区间感知多实例学习的桥本甲状腺炎纵向预测系统，基于上述纵向预测方法实现，所述系统包括：

9、数据获取模块，用于获取患者在目标随访之前的多次历史随访记录，每次历史随访记录包括多幅多视角甲状腺超声图像和对应的随访时间；

10、跨尺度特征增强模块，分别对每幅多视角甲状腺超声图像进行可靠性引导跨尺度特征增强，得到实例级超声特征；

11、多实例聚合模块，对同一次历史随访对应的实例级超声特征进行自注意力门控多实例聚合，得到随访级超声表示；

12、区间感知编码模块，根据各次历史随访的具体随访时间以及不同历史随访之间的相对时间间隔，对随访级超声表示进行区间感知位置编码，得到区间感知时间表示；

13、纵向预测模块，融合各次历史随访的随访级超声表示和区间感知时间表示，得到融合后的历史随访序列；对融合后的历史随访序列进行纵向依赖建模，并根据纵向依赖建模得到的最后一次历史随访对应序列表示输出目标随访时点的桥本甲状腺炎状态预测结果。

14、与现有技术相比，本发明取得的技术效果包括：

15、1、本发明以目标随访之前的多次历史随访记录为输入，依次形成实例级超声特征、随访级超声表示和区间感知时间表示，并输出目标随访时点的桥本甲状腺炎状态预测结果。

16、2、本发明通过在聚合前建立实例关联，再利用门控权重突出信息量较高的实例，能够在保留多视角信息的同时减少冗余和伪影影响。

17、3、本发明通过通道可靠性与空间可靠性的联合约束，使局部增强集中于具有双重可靠性支持的特征响应，并通过残差路径避免丢失原始超声信息；通过跨尺度融合同时利用纹理细节和语义信息；通过门控实例聚合突出信息量较高的多视角图像；通过相对时间偏置表达实际随访间隔。因此，本发明能够形成更稳定的随访级超声表示并提高不规则随访序列的建模能力。

18、4、本发明通过自注意力门控多实例学习模块，先对同一次历史随访中的实例级超声特征进行关联建模，使每个实例特征结合与其相关的其他视角信息；再通过门控多实例权重确定各实例对随访级超声表示的贡献，将加权结果与原实例特征均值进行残差融合。由此获得的随访级超声表示同时保留多视角上下文和原始集合信息。

1.一种基于区间感知多实例学习的桥本甲状腺炎纵向预测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的桥本甲状腺炎纵向预测方法，其特征在于，在步骤s2中，通过残差网络提取第一阶段特征图、第二阶段特征图、第三阶段特征图和第四阶段特征图；分别对第一阶段特征图和第三阶段特征图执行卷积块注意力处理，以增强与甲状腺结构和纹理变化相关的通道响应及空间区域响应，得到对应阶段的精化特征图；分别对第二阶段特征图和第四阶段特征图执行可靠性引导跨尺度特征增强处理，得到第二阶段的精化特征图和第四阶段的精化特征图；以第四阶段的精化特征图作为初始融合特征图，按照从高层至低层的顺序进行跨尺度融合，并对第一阶段对应的跨尺度融合特征图进行全局平均池化，得到实例级超声特征。

3.根据权利要求2所述的桥本甲状腺炎纵向预测方法，其特征在于，所述按照从高层至低层的顺序进行跨尺度融合，具体包括：

4.根据权利要求3所述的桥本甲状腺炎纵向预测方法，其特征在于，以第四阶段的精化特征图作为初始融合特征图，从第三阶段至第一阶段逐级执行上采样、相加和投影：

5.根据权利要求2所述的桥本甲状腺炎纵向预测方法，其特征在于，对第二阶段特征图和第四阶段特征图进行的可靠性引导跨尺度特征增强，包括以下过程：

6.根据权利要求1所述的桥本甲状腺炎纵向预测方法，其特征在于，步骤s3的自注意力门控多实例聚合包括：

7.根据权利要求6所述的桥本甲状腺炎纵向预测方法，其特征在于，对于第次历史随访，将幅超声图像的实例级超声特征按行堆叠为多视角特征矩阵：

8.根据权利要求1所述的桥本甲状腺炎纵向预测方法，其特征在于，步骤s4的区间感知位置编码，包括：

9.根据权利要求8所述的桥本甲状腺炎纵向预测方法，其特征在于，对于第次历史随访和第次历史随访，将相对时间间隔定义为：

10.一种基于区间感知多实例学习的桥本甲状腺炎纵向预测系统，基于权利要求1-9中任一项所述方法实现，其特征在于，所述系统包括：