视频自监督预训练方法、装置、设备及介质

摘要: 本发明涉及计算机视觉分析,特别是涉及一种基于本体表征假设的视频自监督预训练方法、装置、设备及介质。背景技术:1、腹腔镜手术场景理解通常包括单目深度估计、语义分割...
视频自监督预训练方法、装置、设备及介质

本发明涉及计算机视觉分析,特别是涉及一种基于本体表征假设的视频自监督预训练方法、装置、设备及介质。

背景技术:

1、腹腔镜手术场景理解通常包括单目深度估计、语义分割、器械检测等任务,但这些任务高度依赖专家标注数据,而临床标注成本高、数据稀缺,导致模型泛化受限。现有研究多采用“任务-模型”一一对应的范式:针对不同任务分别训练不同特征与端到端网络结构,表征学习受到任务相关数据量的限制,从而难以充分利用大量常见的未标注腹腔镜手术视频学习表征。

2、另一方面,常见的自监督预训练(如对比学习、掩码重建、单帧自编码等)往往仅约束外观层面的统计一致性,难以从纯视觉信号中稳定恢复与物理实体相关的、可跨任务复用的表示;同时,部分内窥镜领域的预训练仍依赖增强数据、合成数据或弱监督标签,严格意义上难以做到完全“无标签”的统一表示学习。

3、因此,如何提供一种能够从大量易获取的腹腔镜未标注视频中学习统一、可迁移、可跨任务解码的表示的方法,以减少表征学习对任务特定标注的依赖,并提升下游任务的效率与性能,是迫切需要本领域技术人员解决的技术问题。

技术实现思路

1、鉴于上述问题,本发明提供用于克服上述问题或者至少部分地解决上述问题的一种视频自监督预训练方法、装置、设备及介质。

2、本发明提供了如下方案:

3、一种视频自监督预训练方法,包括:

4、从获取到的腹腔镜手术原始视频中按固定间隔采样得到连续帧序列,构造训练片段,并确定目标帧以及历史帧,所述历史帧为所述目标帧前的若干帧;

5、采用变分自编码器将所述目标帧以及所述历史帧分别映射到隐空间,获得包含目标帧隐变量以及若干历史帧隐变量的集合,以使所述目标帧隐变量以及所述历史帧隐变量分别在隐空间中保留空间结构并降低数据维度;

6、将若干所述历史帧隐变量按通道维进行拼接获得拼接历史帧隐变量,通过线性投影模块将所述拼接历史帧隐变量进行映射,获得与所述目标帧隐变量同形状的时序潜特征;

7、对所述目标帧隐变量执行前向扩散过程加入噪声,得到扰动隐变量;并将所述扰动隐变量与时间步以及所述时序潜特征共同输入噪声预测网络,输出带有时序信息的隐变量扩散特征;

8、通过跨归一化对齐并融合所述目标帧隐变量与所述带有时序信息的隐变量扩散特征,形成元特征;所述元特征作为任务无关、实体级统一表示,用于后续下游任务解码。

9、优选地:时序条件隐变量扩散预训练过程中,以噪声估计误差为训练目标,优化损失由下式表示:

10、

11、式中:为加入的高斯噪声,表示噪声预测网络,表示扰动隐变量,表示时间步,表示时序潜特征,表示对训练样本、扩散时间步及加入的随机高斯噪声进行采样后的数学期望。

12、优选地:所述跨归一化对齐与融合包括:

13、计算所述带有时序信息的隐变量扩散特征的批均值与方差;

14、对所述目标帧隐变量进行归一化并施加可调缩放;

15、与所述带有时序信息的隐变量扩散特征相加得到元特征。

16、优选地:所述元特征由下式表示:

17、

18、式中:表示目标帧隐变量,表示批均值,表示方差,表示数值稳定常数,表示带有时序信息的隐变量扩散特征。

19、优选地:将所述元特征输入不同下游解码器,以得到下游不同任务的解码输出。

20、优选地:所述解码器包括与vae 解码器相近的结构,并仅对靠近输出的浅层进行轻量适配,以降低对标注的依赖。

21、优选地:所述解码器包括深度解码器、分割解码器、检测头中的任意一种或几种。

22、一种视频自监督预训练装置,用于执行上述的视频自监督预训练方法,所述装置包括:

23、视频帧采样单元,用于从获取到的腹腔镜手术原始视频中按固定间隔采样得到连续帧序列,构造训练片段,并确定目标帧以及历史帧,所述历史帧为所述目标帧前的若干帧;

24、隐变量生成单元,用于采用变分自编码器将所述目标帧以及所述历史帧分别映射到隐空间,获得包含目标帧隐变量以及若干历史帧隐变量的集合,以使所述目标帧隐变量以及所述历史帧隐变量分别在隐空间中保留空间结构并降低数据维度;

25、时序潜特征获取单元,用于将若干所述历史帧隐变量按通道维进行拼接获得拼接历史帧隐变量,通过线性投影模块将所述拼接历史帧隐变量进行映射,获得与所述目标帧隐变量同形状的时序潜特征;

26、去噪预测单元,用于对所述目标帧隐变量执行前向扩散过程加入噪声,得到扰动隐变量;并将所述扰动隐变量与时间步以及所述时序潜特征共同输入噪声预测网络,输出带有时序信息的隐变量扩散特征;

27、元特征形成单元,用于通过跨归一化对齐并融合所述目标帧隐变量与所述带有时序信息的隐变量扩散特征,形成元特征;所述元特征作为任务无关、实体级统一表示,用于后续下游任务解码。

28、一种视频自监督预训练设备,所述设备包括处理器以及存储器:

29、所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;

30、所述处理器用于根据所述程序代码中的指令执行上述的视频自监督预训练方法。

31、一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述的视频自监督预训练方法。

32、根据本发明提供的具体实施例,本发明公开了以下技术效果:

33、本发明实施例提供的一种视频自监督预训练方法、装置、设备及介质,通过下一帧预测这一自监督信号,仅利用大量易获取的腹腔镜未标注视频即可完成预训练,摆脱了对任务特定标注数据的依赖。同时,提出的“本体表示假设”首次在纯视觉条件下定义了任务无关、实体级的潜在空间,该空间编码了生成各种观测(rgb图像、深度图、分割掩码、检测框)的底层物理实体与状态。通过视频生成式预训练,该潜在表示能够稳定捕获场景中的几何结构、物体边界与时空关系等物理本质属性,而非仅停留在像素外观层面的统计相关性。另外,通过将目标帧的空间隐变量与历史帧预测得到的时序隐变量进行对齐融合,使元特征能够同时编码静态结构与动态演变,为下游任务提供更丰富的场景理解信息。

34、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

1.一种视频自监督预训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的视频自监督预训练方法,其特征在于,时序条件隐变量扩散预训练过程中,以噪声估计误差为训练目标,优化损失由下式表示:

3.根据权利要求1所述的视频自监督预训练方法,其特征在于,所述跨归一化对齐与融合包括:

4.根据权利要求3所述的视频自监督预训练方法,其特征在于,所述元特征由下式表示:

5.根据权利要求1所述的视频自监督预训练方法,其特征在于,将所述元特征输入不同下游解码器,以得到下游不同任务的解码输出。

6.根据权利要求5所述的视频自监督预训练方法,其特征在于,所述解码器包括与vae解码器相近的结构,并仅对靠近输出的浅层进行轻量适配,以降低对标注的依赖。

7.根据权利要求6所述的视频自监督预训练方法,其特征在于,所述解码器包括深度解码器、分割解码器、检测头中的任意一种或几种。

8.一种视频自监督预训练装置,其特征在于,用于执行权利要求1-7任一项所述的视频自监督预训练方法,所述装置包括:

9.一种视频自监督预训练设备,其特征在于,所述设备包括处理器以及存储器:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行权利要求1-7任一项所述的视频自监督预训练方法。