基于时序注意力融合的结肠胶囊内镜视频病灶检测方法

本发明属于医疗器械图像处理，涉及一种基于时序注意力融合的结肠胶囊内镜视频病灶检测方法。

背景技术：

1、结肠胶囊内镜作为无创结肠疾病筛查核心手段，单次检查可生成数万帧连续视频流数据，人工阅片存在耗时冗长、漏诊率偏高的问题，因此依托人工智能实现病灶自动化辅助检测成为行业刚需；现阶段结肠胶囊内镜病灶检测相关技术方案，多以单帧图像分析为核心，主流方案多采用单帧卷积类模型完成病灶初筛，仅通过帧间差值比对、固定窗口投票、简单计数滤波等浅层后处理方式做时序优化，相关现有专利与期刊文献中的技术手段，均未对视频流的时序关联特征进行深度建模，仅能实现基础的病灶检测与初步伪影剔除，难以适配临床筛查的精准性与高效性需求，具体存在微小病灶易因肠道蠕动模糊、短暂遮挡出现漏检，同一病灶跨帧重复检测、假阳性率居高不下，无法有效区分真实病灶与肠道蠕动伪影、气泡干扰，以及帧间特征重复计算导致推理效率偏低等诸多缺陷。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于时序注意力融合的结肠胶囊内镜视频病灶检测方法，通过深度建模视频时序关联特征，实现微小病灶精准检出、跨帧病灶去重、伪影自动过滤，同时提升视频流推理效率，降低临床阅片的漏诊率与假阳性率。

2、为达到上述目的，本发明提供如下技术方案：

3、一种基于时序注意力融合的结肠胶囊内镜视频病灶检测方法，包括以下步骤：

4、s1：对结肠胶囊内镜连续视频流进行时序分窗和预处理；

5、s2：采用3d-cnn提取窗口内时空联合特征，同时通过改进时序transformer提取长时序依赖特征；

6、s3：利用时序注意力权重矩阵对时空特征与长时序特征做动态加权融合，得到精准表征病灶的融合特征；

7、s4：对融合特征解码输出病灶候选框，通过余弦相似度计算跨帧病灶关联度，判定是否为同一病灶；

8、s5：设置时序持续阈值，仅病灶连续检测帧数达标时判定为真实病灶，结合帧有效率修正最终置信度。

9、进一步，步骤s1中，将结肠胶囊内镜连续视频流按固定长度划分为时序滑动窗口，其中表示第帧图像；对每帧图像做归一化、去噪预处理，得到标准化帧。

10、进一步，步骤s2中，采用3d-cnn提取窗口内时空联合特征，同时通过改进时序transformer提取长时序依赖特征，具体公式如下：

11、

12、式中：为卷积运算，为3d卷积核权重，为偏置项，为relu激活函数，为卷积核总数，为第个卷积核。

13、进一步，步骤s3中所述融合特征计算公式如下：

14、

15、

16、式中为第帧时序注意力权重，为多层感知机，为特征点积运算，为特征通道拼接运算，表示滑动窗口中第帧对应的时空联合特征；表示滑动窗口中第帧对应的长时序依赖特征；表示滑动窗口中第帧对应的时空联合特征；表示滑动窗口中第帧对应的长时序依赖特征；是求和遍历的索引变量，代表滑动窗口中任意一帧，取值范围为，配合对窗口内所有帧的特征相似度做求和，实现softmax归一化，最终保证窗口内所有帧的注意力权重之和为1；为融合特征。

17、进一步，步骤s4中，对融合特征解码输出病灶候选框，其中表示第帧图像经融合特征解码后输出的第1~m个病灶候选检测框；通过余弦相似度计算跨帧病灶关联度，判定是否为同一病灶，公式如下：

18、

19、式中，为第帧第个候选框的深度特征向量，为第帧第j个候选框的深度特征向量，设置相似度阈值，当时判定为同一病灶，仅保留置信度最高的检测框。

20、进一步，步骤s5中，设置时序持续阈值，仅病灶连续检测帧数达标时判定为真实病灶，结合帧有效率修正最终置信度，计算公式如下：

21、

22、式中为病灶最终置信度，为单帧原始检测置信度，为窗口内病灶有效检测帧数，为滑动窗口总帧数；设置判定阈值，当时，输出最终病灶结果。

23、本发明的有益效果在于：本发明利用时序滑动窗口+3d-cnn与transformer双分支特征提取，打破单帧检测局限，同步捕捉病灶局部时空细节与长时序依赖关系，从根源解决微小息肉漏检难题；通过动态权重分配强化病灶时序关联、弱化背景干扰，大幅提升病灶特征表征的精准度；基于余弦相似度实现同一病灶跨帧精准匹配，彻底杜绝重复检测问题；结合连续检测帧数做置信度修正，有效区分真实病灶与肠道蠕动伪影、气泡干扰；滑动窗口内共享特征计算结果，避免重复运算，显著提升视频流处理效率。

24、本发明依托时序特征深度建模，可有效捕捉肠道蠕动中短暂模糊、局部遮挡的微小息肉特征，相较传统单帧检测方案大幅提升微小病灶检出率，同时通过跨帧去重与时序过滤双重机制，能够剔除绝大多数蠕动伪影与气泡干扰，显著降低假阳性率与重复检测率，不仅适配不同肠道准备质量、胶囊运动速度的视频流场景，对光照波动、运动模糊等复杂干扰的抗干扰能力也得到明显增强，加之帧间特征复用设计有效提升了视频流整体处理效率，可满足临床实时筛查需求，且检测逻辑契合医生阅片习惯，能够大幅减少人工复核工作量、降低漏诊误诊风险，完美适配结肠胶囊内镜无创筛查的全流程应用。

25、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

1.一种基于时序注意力融合的结肠胶囊内镜视频病灶检测方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于时序注意力融合的结肠胶囊内镜视频病灶检测方法，其特征在于：步骤s1中，将结肠胶囊内镜连续视频流按固定长度划分为时序滑动窗口，其中表示第帧图像；对每帧图像做归一化、去噪预处理，得到标准化帧。

3.根据权利要求1所述的基于时序注意力融合的结肠胶囊内镜视频病灶检测方法，其特征在于：步骤s2中，采用3d-cnn提取窗口内时空联合特征，同时通过改进时序transformer提取长时序依赖特征，具体公式如下：

4.根据权利要求1所述的基于时序注意力融合的结肠胶囊内镜视频病灶检测方法，其特征在于：步骤s3中所述融合特征计算公式如下：

5.根据权利要求1所述的基于时序注意力融合的结肠胶囊内镜视频病灶检测方法，其特征在于：步骤s4中，对融合特征解码输出病灶候选框，其中表示第帧图像经融合特征解码后输出的第1~m个病灶候选检测框；通过余弦相似度计算跨帧病灶关联度，判定是否为同一病灶，公式如下：

6.根据权利要求1所述的基于时序注意力融合的结肠胶囊内镜视频病灶检测方法，其特征在于：步骤s5中，设置时序持续阈值，仅病灶连续检测帧数达标时判定为真实病灶，结合帧有效率修正最终置信度，计算公式如下：

7.一种电子设备，其特征在于，包括存储器和处理器；

8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-6任一项所述的基于时序注意力融合的结肠胶囊内镜视频病灶检测方法。

9.一种计算机程序产品，其特征在于：包括计算机程序，该计算机程序被处理器执行时实现如权利要求1-6任一项所述的基于时序注意力融合的结肠胶囊内镜视频病灶检测方法。