一种萎缩性胃炎内镜视频的时空特征处理系统的制作方法

本发明涉及医学图像分析领域，特别涉及一种萎缩性胃炎内镜视频的时空特征处理系统。

背景技术：

1、慢性萎缩性胃炎是胃黏膜上皮在反复炎症损伤作用下发生腺体萎缩、黏膜变薄的慢性胃部疾病，被公认为胃癌前病变演进过程中的关键环节。多数胃癌遵循correa级联反应模式，经历从慢性炎症、萎缩、肠上皮化生到异型增生乃至癌变的长期演进过程，因此对萎缩性胃炎的早期识别，对于胃癌的早期防治具有重要意义。目前，胃镜检查结合病理活检是确诊萎缩性胃炎的主流方式。在临床实践中，广泛采用木村-竹本分型对萎缩性胃炎进行内镜下程度分级与风险评估，该分型依据萎缩边界在胃黏膜的分布范围，将萎缩程度由局限到广泛、由轻至重划分为闭合型（c型）c1、c2、c3与开放型（o型）o1、o2、o3共六个等级。萎缩边界从胃窦起始，逐步向胃体小弯、贲门及大弯侧扩展，c1至o3构成一个萎缩严重程度逐级递增的连续谱系，萎缩范围越广则胃癌发生风险越高。木村-竹本分型不仅是内镜医师判断萎缩程度、制定随访策略的核心依据，也是进行胃癌风险分层的重要工具。近年来，深度学习技术已逐步应用于内镜图像分析领域。部分研究基于卷积神经网络构建了萎缩性胃炎的静态图像二分类识别模型或病灶区域分割模型；亦有研究者尝试利用u-net等架构开发面向内镜视频的实时监测模型。

2、尽管已有诸多研究将深度学习技术引入萎缩性胃炎的内镜诊断，现有方法仍存在以下显著局限。其一，多数方法基于单帧静态图像进行分析，未能充分利用胃镜检查过程中内镜进退、旋转及黏膜动态暴露所蕴含的时序信息；虽有少数研究尝试面向视频流建模，但其技术路线仍以逐帧分割或逐帧分类为主，缺乏对视频片段内帧间时序依赖关系的系统化建模。其二，现有方法在萎缩程度评估方面，多数仅进行二分类（萎缩/非萎缩）判别或病灶区域分割，未能与临床广泛采用的木村-竹本六等级分型标准实现有效对接；尽管已有将人工智能诊断与木村-竹本分型联合应用的研究报道，但其分型判定仍需依赖内镜专家作为参照标准，未能实现分型的全自动输出。其三，现有系统普遍缺乏胃腔解剖部位的自动识别能力，无法为结构化报告提供部位维度的诊断依据。因此，基于上述难题，本发明提出了一种萎缩性胃炎内镜视频的时空特征处理系统。

技术实现思路

1、为了解决上述问题，本发明的目的在于提供一种萎缩性胃炎内镜视频的时空特征处理系统，通过构建融合空间特征提取与双支路时序-注意力并行建模的视频分析架构，对胃镜检查全过程的动态视频数据进行端到端的智能化处理，以消除人工判读在分型判定和部位描述中的主观经验差异，提升萎缩性胃炎内镜诊断的客观性和标准化程度。

2、为了实现上述目的，本发明提供一种萎缩性胃炎内镜视频的时空特征处理系统，整体处理流程为：系统首先接入动态胃镜实时视频流，按预设时间窗口将其分割为连续的视频片段，对各帧图像执行质量筛选与归一化预处理；继而将预处理后的图像序列输入空间特征提取网络，该网络采用多尺度卷积架构并经内镜图像数据集预训练，提取各帧图像中与萎缩性胃炎相关的空间域视觉特征，生成视频片段的片段空间特征向量；随后将片段空间特征向量并行输入双支路时空特征融合模块，其中第一支路通过时序依赖提取网络捕获帧间在时域上的前后向依赖关系以输出时序特征，第二支路通过注意力权重分配网络基于各帧特征之间的全局相关性对含有临床关键征象的图像帧赋予差异化权重以输出注意力增强特征，两支路输出的特征经级联后由分类判别层处理，输出萎缩性胃炎程度分型概率分布；同时，胃腔解剖部位识别网络对当前视频帧进行解剖部位分类，输出其属于胃底、胃体、胃角或胃窦的概率分布；最后，多模态语义映射引擎接收分型概率分布与部位概率分布，将其转换为结构化语义数据，并按预设报告模板输出内镜辅助评估报告。

3、第一方面，本发明提供了一种萎缩性胃炎内镜视频的时空特征处理系统，包括：

4、视频流接入模块，用于获取动态胃镜视频流，按预设时间窗口分割为连续视频片段，并对各帧图像执行标准化预处理；

5、空间特征提取网络，其采用多尺度卷积架构并预先经由内镜图像数据集训练，用于提取各帧图像中与萎缩性胃炎相关的空间域视觉特征，并生成视频片段的片段空间特征向量；

6、双支路时空特征融合模块，其第一支路为时序依赖提取网络，用于捕获视频片段内帧间时域前后向依赖关系以输出时序特征，其第二支路为注意力权重分配网络，用于基于帧间全局相关性对含预设临床关键征象的图像帧赋予差异化权重以输出注意力增强特征，所述双支路输出的特征经级联后输入分类判别层，输出萎缩性胃炎程度分型概率分布；

7、胃腔解剖部位识别网络，其独立于所述空间特征提取网络设置，用于对当前视频帧进行解剖部位分类，输出胃腔解剖部位的概率分布；

8、多模态语义映射引擎，用于接收所述萎缩性胃炎程度分型概率分布和所述胃腔解剖部位的概率分布，将其转换为结构化语义数据，并按预设报告模板输出内镜辅助评估报告。

9、进一步的，所述空间特征提取网络经配置以提取的所述空间域视觉特征至少包括：

10、黏膜白相与红相的分布比例特征、黏膜下血管的透见程度特征、黏膜表面颗粒状增生或结节状改变的纹理特征、胆汁反流造成的黏膜色泽偏移特征、黏膜红斑与渗出性改变的色彩特征、黏膜肿胀导致的光滑度变化特征、糜烂区域的边缘不连续特征、皱襞形态的规则性偏离特征、白色浑浊粘液的覆盖区域特征以及局限性点状发红的聚集分布特征。

11、进一步的，所述双支路时空特征融合模块中的时序依赖提取网络为双向循环神经网络，其通过正向传播路径提取视频片段从起始帧至终止帧方向上的时序依赖关系，同时通过反向传播路径提取从终止帧至起始帧方向上的时序依赖关系，将双向隐状态拼接后作为所述时序特征输出。

12、进一步的，所述双支路时空特征融合模块中的注意力权重分配网络为基于自注意力机制的编码器，其通过位置编码保留各图像帧在视频片段中的顺序信息，并以各帧的空间特征向量作为查询向量和键向量计算帧间注意力权重矩阵，将权重矩阵与值向量加权求和后输出所述注意力增强特征。

13、进一步的，所述分类判别层至少包括全连接变换子层和概率归一化子层，所述全连接变换子层对级联后的时序特征与注意力增强特征进行非线性映射，所述概率归一化子层将映射结果转换为非萎缩以及木村-竹本分型体系下各萎缩等级的概率分布，所述分类判别层在训练阶段采用对各类别差异化加权的损失函数以抑制样本类别分布不均衡。

14、进一步的，所述胃腔解剖部位识别网络为轻量化卷积神经网络，其输出层经概率归一化后生成当前视频帧分别属于胃底、胃体、胃角、胃窦四个解剖部位的概率分布。

15、进一步的，所述多模态语义映射引擎包括：

16、部位-特征关联单元，用于根据所述胃腔解剖部位识别网络对各帧输出的部位概率分布进行多数投票聚合，以确定当前视频片段归属的解剖部位及该片段内的代表帧，并从所述空间特征提取网络中提取所述代表帧的空间特征向量作为与该部位对应的黏膜特征数据；

17、规则驱动文本生成单元，其预置有将不同黏膜特征向量组合映射为临床自然语言描述的映射规则库，用于根据输入的黏膜特征数据触发相应的映射规则，生成各部位的结构化黏膜描述文本；

18、报告模板装配单元，用于获取所述各部位的结构化黏膜描述文本以及所述萎缩性胃炎程度分型概率分布中最大概率对应的分型结论，按照预设的检查信息字段、各部位黏膜描述字段、萎缩判定字段及辅助评估结论字段填充结构化报告模板，输出内镜辅助评估报告。

19、需说明的是，由于双支路时空特征融合模块输出的是融合了整段视频时序信息的全局特征，无法直接按解剖部位进行空间切分，因此本发明以代表帧的单帧空间特征作为部位特异性黏膜特征的载体，以此规避全局融合特征与局部部位标签之间的粒度错配问题，确保每一部位的描述文本均可追溯至该部位实际成像质量最佳的一帧图像。

20、进一步的，所述视频流接入模块在对各帧图像执行质量筛选时，至少包括：

21、通过镜面反射区域检测算法识别并标记存在高光干扰的图像区域，通过图像清晰度评价函数剔除运动模糊或对焦失败的图像帧，以及将保留的图像帧的像素值映射至预设标准数值范围。

22、进一步的，所述空间特征提取网络和所述双支路时空特征融合模块均采用预训练权重进行参数初始化，并通过几何变换增强、光度变换增强及退化模拟增强的多重数据增强策略进行联合训练，以提升模型在真实内镜场景下的泛化能力。

23、进一步的，所述双支路时空特征融合模块之前还设有跨尺度特征对齐单元，所述跨尺度特征对齐单元用于接收所述空间特征提取网络输出的各帧空间特征向量，计算相邻帧特征向量之间的差异度量值，并基于所述差异度量值构建累积距离矩阵，通过求解最优规整路径将原始不等长特征序列映射至标准时间长度，输出时序一致性规整后的标准化特征序列，以消除胃镜镜头运动速度和胃部蠕动造成的帧间时间尺度非均匀性对时序建模的干扰。

24、进一步的，所述双支路时空特征融合模块还包括萎缩边界空间定位与分型修正子模块，用于对所述双支路输出的融合特征进行边界响应映射，提取萎缩黏膜与正常黏膜之间的边界空间分布特征并编码为边界位置特征，将所述边界位置特征与所述融合特征进行联合关联映射后生成分型修正因子，以所述分型修正因子对所述分类判别层输出的萎缩性胃炎程度分型概率分布进行调制，输出经边界空间信息修正后的分型概率分布。

25、进一步的，所述多模态语义映射引擎还包括输出可信度评估与标记子模块，用于对所述分类判别层输出的分型概率分布进行认知不确定性量化评估，同时对胃镜检查全过程中多个连续视频片段的输出分型结果进行决策一致性分析，将所述认知不确定性量化结果与所述决策一致性分析结果融合为综合可信度评分，根据所述综合可信度评分对所述内镜辅助评估报告中的辅助评估结论附加对应的可信度等级标记。

26、第二方面，本发明还提供了一种萎缩性胃炎内镜视频的时空特征处理方法，所述方法基于前述第一方面所述系统，包括：

27、获取动态胃镜视频流，按预设时间窗口分割为连续的视频片段，对各视频片段内的每一帧图像执行质量筛选与归一化预处理；

28、将预处理后的图像序列输入空间特征提取网络，提取各帧图像中与萎缩性胃炎相关的空间域视觉特征，生成视频片段的片段空间特征向量；

29、将所述片段空间特征向量分别输入时序依赖提取网络和注意力权重分配网络，由所述时序依赖提取网络捕获视频片段内帧间在时域上的前后向依赖关系以输出时序特征，由所述注意力权重分配网络基于各帧图像特征之间的全局相关性对含有预设临床关键征象的图像帧赋予差异化权重以输出注意力增强特征；

30、将所述时序特征与所述注意力增强特征级联后经分类判别层处理，输出萎缩性胃炎程度分型概率分布；

31、将预处理后的图像序列输入胃腔解剖部位识别网络，输出当前视频帧所属胃腔解剖部位的概率分布；

32、将所述萎缩性胃炎程度分型概率分布和所述胃腔解剖部位的概率分布输入多模态语义映射引擎，转换为结构化语义数据，并按预设报告模板输出内镜辅助评估报告。

33、本发明通过构建融合内镜专用空间特征提取、双支路并行时空建模、胃腔部位同步识别与多模态语义映射的端到端处理架构，实现了对动态胃镜视频流的实时解析与自动化诊断分析。其中，内镜专用空间特征提取网络针对萎缩性胃炎相关多类临床征象进行针对性特征编码，为后续时空建模提供具有临床判别力的特征基础；双支路时空融合模块通过时序依赖提取与注意力权重分配的并行协同，分别捕获视频片段内黏膜演变的前后向依赖关系以及关键征象帧的差异化贡献，从而在充分利用动态时序信息的同时强化萎缩程度判别的特征表达能力；胃腔部位识别网络同步输出解剖位置信息，为辅助评估结论提供部位特异性空间定位；多模态语义映射引擎将异构的影像特征与部位标签统一转换为符合临床术语规范的结构化文本，实现辅助评估结论的自动生成与标准化输出。

34、有益效果

35、通过实施上述本发明提供的一种萎缩性胃炎内镜视频的时空特征处理系统，具有以下技术效果：

36、(1)构建了专门针对萎缩性胃炎内镜图像的空间特征提取网络，该网络采用多尺度卷积架构并经由内镜图像数据集预训练。该网络在特征提取的针对性和临床相关性方面具有显著优势，其输出的片段空间特征向量为后续双支路时空融合模块提供了与萎缩性胃炎临床诊断直接相关的判别性特征基础，从源头保障了全系统分型判别的准确性。

37、(2)构建了时序依赖提取网络与注意力权重分配网络并行运行的双支路时空融合架构，其中第一支路通过双向循环神经网络捕获视频片段内帧间在时域上的前后向依赖关系以输出时序特征，第二支路通过基于自注意力机制的编码器基于各帧图像特征之间的全局相关性对含有临床关键征象的图像帧赋予差异化权重以输出注意力增强特征，两支路输出的特征经级联后输入分类判别层处理。该并行架构突破了传统方法将时序建模与注意力建模串行处理的局限，使得内镜进退过程中黏膜暴露的时序演变规律和关键萎缩征象帧的空间显著性在同一框架下被同步捕捉与融合，实现了对动态胃镜视频中时空信息的综合利用，显著增强了分类判别层对木村-竹本各分型等级之间细微差异的分辨能力。

38、(3)通过在双支路时空融合模块之前引入动态时间规整层，以相邻帧特征差异度量值为基础构建累积距离矩阵并求解最优规整路径，将原始不等长时间尺度的特征序列映射至标准时间长度。该机制有效消除了胃镜检查过程中镜头进退速度差异和胃部蠕动造成的帧间时间尺度非均匀性，使得时序依赖提取网络能够在统一的时间轴上准确捕获黏膜演变的前后向依赖关系，同时使得注意力权重分配网络能够在规整后的时间轴上更有效地识别关键征象帧，从而显著提升了模型对动态胃镜视频中非均匀帧间变化速率的适应能力。

39、(4)通过在双支路时空融合模块中增设萎缩边界空间定位与分型修正子模块，对融合特征进行边界响应映射以提取萎缩黏膜与正常黏膜之间的边界空间分布特征并编码为边界位置特征，将边界位置特征与融合特征进行联合关联映射后生成分型修正因子，对分类判别层输出的原始分型概率进行调制。该机制将木村-竹本分型“依据萎缩边界空间范围判定分型等级”的临床逻辑显式嵌入深度学习模型的决策过程中，使模型的判定依据与临床诊断标准保持一致，在萎缩边界特征模糊、常规全局分类方法难以准确判别的困难样本上表现出显著的性能优势。

40、(5)通过在多模态语义映射引擎中增设输出可信度评估与标记子模块，从认知不确定性量化和跨片段决策一致性分析两个维度综合评估输出结果的可靠性。认知不确定性量化通过多次前向传播的预测方差度量模型对当前片段分类结果的确信程度，决策一致性分析通过汇总全检查过程中多个连续视频片段的分型结果序列评估模型对同一辅助评估结论的稳定程度，二者融合为综合可信度评分后对报告中的辅助评估结论附加对应的可信度等级标记。该机制使临床医师在查看报告时能够快速甄别需要重点复核的高风险辅助评估结论，有效提升了系统输出结果在临床决策中的可用性。