一种原生结构轴组合的视觉编码方法及设备

摘要: 本发明涉及一种视觉编码方法及设备。背景技术:1、现有视觉编码方案通常采用如下技术路线:2、技术路线一:二维与三维分别使用专用编码器3、常见做法是给二维图像配置二...
一种原生结构轴组合的视觉编码方法及设备

本发明涉及一种视觉编码方法及设备。

背景技术:

1、现有视觉编码方案通常采用如下技术路线:

2、技术路线一:二维与三维分别使用专用编码器

3、常见做法是给二维图像配置二维视觉编码器,给ct、mri配置三维卷积网络、三维transformer或体数据专用编码器,再在文本空间、投影层或下游接口处对齐。各编码器可以按输入调整结构,但视觉计算被分成多套参数。每增加一种输入结构,往往还要增加训练流程和接口。不同编码塔的输出也可能需要再次对齐。

4、技术路线二:把二维输入升维后送入三维通路

5、复制二维图像、填充深度维,或者把多幅二维图像拼成伪体数据,再送入同一三维通路。该技术路线虽然对齐了接口维度,却引入了二维输入原本没有的深度轴。该深度轴仍可能触发卷积、注意力、归一化和随机运算,既增加无对应物理含义的计算,也可能改变二维预训练表示。

6、技术路线三:多观察图像平均、拼接或晚期聚合

7、多视图胸片、自然多视点图像和多序列检查,常在逐图编码后作平均、拼接或浅层集合聚合。平均操作会先压缩观察间的互补信息,直接拼接又受观察数变化影响,晚期聚合只能读取已经独立编码或池化的结果。

8、技术路线四:增加固定深度但不复用参数

9、继续堆叠transformer层会增加计算深度,参数量通常也随层数增长,而且每层只执行一次。循环transformer可重复调用同一变换,但现有方案多面向单一token序列。观察轴、深度轴和平面轴是否独立,缺失轴应在何处旁路,通常没有同时说明。

技术实现思路

1、本发明旨在解决现有视觉编码方案存在的以下技术问题:

2、1)原生二维图像、体数据和多观察图像应共享主要视觉计算,且二维输入不依赖伪深度复制;

3、2)观察轴和深度轴应分别定义,二者可以单独存在,也可以同时存在;

4、3)token在各轴更新之间应保留原有结构,避免交互前平均造成局部信息丢失;

5、4)输入缺少某一轴时,不应调用该轴对应的参数和随机运算;

6、5)增加执行深度时,不应按执行次数复制整套模块。

7、为解决上述技术问题,本发明提供一种原生结构轴组合的视觉编码方法,其特征在于,包括以下步骤:

8、步骤1、接收视觉数据,记录观察数和深度数,视觉数据所包含的颜色或灰度通道位于输入通道维;

9、步骤2、对视觉数据中每个观察的每个保留平面应用同一二维patch投影,加入位置编码和前缀token,获得初始持久token状态,其中,持久状态的维度为,为批次大小,为每个保留平面的token序列长度,包括m个前缀token(m>=1)和个稠密token,,为单token嵌入特征维度;

10、步骤3、对初始持久token状态进行轮循环更新,,任意第轮更新进一步包括以下步骤,:

11、步骤301、对第轮获得的持久token状态进行不丢失token的张量重排,使平面token序列长度、深度数及观察数分别成为注意力序列长度,其余结构维度折叠到批次位置;

12、步骤302、依次执行三个平面算子、深度算子一、三个平面算子、深度算子二和一个观察算子,其中,平面算子、深度算子和观察算子依次作用于同一持久token状态,前一算子的输出作为后一算子的输入,利用步骤301的张量重排使得:

13、平面token序列长度作为平面算子中信息交互的序列轴,在每个观察和切片内部混合平面token;

14、深度数作为深度算子中信息交互的序列轴,在共享patch索引处跨深度混合平面token;

15、观察数作为观察算子中信息交互的序列轴,在共享token索引处跨观察交换信息;

16、步骤4、对上一步所获得的终端持久token状态执行池化以获得语言对齐表征,或者保留结构化token供下游网络读取。

17、优选地,步骤1中,所述视觉数据包括单幅二维图像、ct体数据、配对或多视图二维图像以及配准多序列mri,其中:对于所述单幅二维图像,观察数,深度数;

18、对于所述ct体数据,观察数,深度数;

19、对于所述配对或多视图二维图像,观察数,深度数;

20、对于所述配准多序列mri,观察数,深度数。

21、优选地,步骤3中,轮循环复用同一组由平面算子、深度算子和观察算子组成的物理模块,在不按执行次数复制物理模块的情况下进行多步更新。

22、优选地,步骤3中,对轴长度是否为1进行检测:

23、若检测到轴长度为1:

24、若深度数为1,则深度算子不执行对应参数计算和dropout操作,在深度算子的参数和随机运算前返回输入,深度算子成为执行级恒等映射;

25、若观察数为1,则观察算子不执行对应参数计算和dropout操作,在观察算子的参数和随机运算前返回输入,观察算子成为执行级恒等映射;

26、若检测到相应轴长度大于1,则平面算子、深度算子或观察算子对持久token状态执行轴向注意力流程,包括:

27、步骤301所述的不丢失token的张量重排;

28、进行轴向注意力运算,或者进行轴向注意力运算后,进行多层感知处理;

29、恢复持久token状态的原维度排列。

30、本发明还提供了一种电子设备,包括:

31、一个或多个处理器;

32、存储装置,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据上述的视觉编码方法。

33、本发明主要用于处理三类视觉数据:二维图像、具有连续切片的体数据,以及同一对象下含多个观察的图像集合。通过本发明所获得的编码结果有以下用途:

34、1)生成可比较的语言对齐视觉表征,用于图像—文本检索、样本检索、零样本或少样本分类及下游模型输入;

35、2)保留观察、深度和局部平面结构的终端token,供下游网络读取;

36、3)同一编码器可接收自然二维图像、胸部x线图像、ct体数据和多序列mri,减少按输入类型分别维护视觉编码塔的工作。

37、在本发明公开的技术方案中:

38、1)三个轴具有不同物理含义

39、平面轴对应单个观察、单个切片内部的视觉结构。深度轴对应同一体数据沿切片方向的连续关系。观察轴则对应同一对象或检查下的多个观察、投影或序列。三者彼此独立:多视图二维检查有观察轴而无深度轴;ct有深度轴而无多观察轴;多序列mri可同时具有深度轴和观察轴。

40、2)结构依赖计算图

41、n与d写入输入结构后,执行路径可由轴长度直接确定。n=d=1的二维单图旁路深度算子以及观察算子;ct只执行深度算子;多视图二维图像只执行观察算子;多序列mri执行二者。这一计算图由输入结构选择算子,不需要先把各类输入改造成相同的伪维度。

42、3)持久状态避免过早信息压缩

43、观察、深度和平面token维度在有序更新之间保持存在,使后续深度(depth)算子或观察(observation)算子仍能访问局部patch位置。若先对切片或观察平均,后续模块只能处理已经丢失局部对应的信息。持久状态因而为三个轴算子的连续交互提供共同数据载体。

44、4)张量重排把一个状态交给不同轴算子

45、三个算子共用一份token化状态。重排时把目标轴移至序列位置,其余结构维度折叠到批次位置,于是同一状态可分别沿l、d或n执行注意力。算子结束后恢复原形状,前一步结果直接交给下一步,整体状态维度不变。

46、5)有序交替与循环复用

47、一次单元先执行三个平面算子,再执行第一个深度算子;随后执行三个平面算子和第二个深度算子,末端才执行观察算子。跨切片和跨观察计算因此插入平面特征更新过程,不是池化后的独立后处理。后续循环继续修改同一持久状态,并重复调用原有参数。执行深度增加时,独立参数量不按循环次数同比增加。

48、采用上述技术方案,本发明相比于现有视觉编码方案具有以下有益效果:

49、1)由于本发明采用了显式独立的n、d、l轴,因此,同一表示可覆盖单图、体数据、多观察二维和多序列体数据,不把观察、深度和颜色通道混同;

50、2)本发明采用了逐平面共享二维投影的技术手段,使得二维输入无需伪深度扩展,各保留切片使用同一平面token化;

51、3)本发明具有“持久b×n×d×l×d状态”的结构特征,使得后续轴算子仍可访问局部token,避免在轴交互前平均;

52、4)在本发明公开的技术方案中,张量重排形成三类序列,由此,同一token内容可以沿不同结构轴交互,无需分别维护三份状态;

53、5)本发明固定有序轴更新,将深度和观察交互插入平面更新过程,而非仅在最终池化后聚合;

54、6)在本发明公开的技术方案中,三次循环复用同一模块,在不按执行次数复制物理模块的情况下进行多步更新;

55、7)本发明采用了d=1或n=1精确旁路的技术手段,缺失轴不执行对应参数计算和dropout操作,减少无意义计算并保持恒等映射;

56、8)对比实验中,启用depth算子后,ct和mri完整模型的平均auroc较关闭depth算子时分别提高0.0734和0.0401。

57、应当注意的是,通过本发明公开技术方案获得的是视觉表征或结构化token,不以直接获得疾病诊断结论或治疗方案为必要步骤,医学场景中的概率、相似度或候选标签均作为计算机信息处理结果,由专业人员结合其他信息使用。