一种原生结构轴组合的视觉编码方法及设备
本发明涉及一种视觉编码方法及设备。
背景技术:
1、现有视觉编码方案通常采用如下技术路线:
2、技术路线一:二维与三维分别使用专用编码器
3、常见做法是给二维图像配置二维视觉编码器,给ct、mri配置三维卷积网络、三维transformer或体数据专用编码器,再在文本空间、投影层或下游接口处对齐。各编码器可以按输入调整结构,但视觉计算被分成多套参数。每增加一种输入结构,往往还要增加训练流程和接口。不同编码塔的输出也可能需要再次对齐。
4、技术路线二:把二维输入升维后送入三维通路
5、复制二维图像、填充深度维,或者把多幅二维图像拼成伪体数据,再送入同一三维通路。该技术路线虽然对齐了接口维度,却引入了二维输入原本没有的深度轴。该深度轴仍可能触发卷积、注意力、归一化和随机运算,既增加无对应物理含义的计算,也可能改变二维预训练表示。
6、技术路线三:多观察图像平均、拼接或晚期聚合
7、多视图胸片、自然多视点图像和多序列检查,常在逐图编码后作平均、拼接或浅层集合聚合。平均操作会先压缩观察间的互补信息,直接拼接又受观察数变化影响,晚期聚合只能读取已经独立编码或池化的结果。
8、技术路线四:增加固定深度但不复用参数
9、继续堆叠transformer层会增加计算深度,参数量通常也随层数增长,而且每层只执行一次。循环transformer可重复调用同一变换,但现有方案多面向单一token序列。观察轴、深度轴和平面轴是否独立,缺失轴应在何处旁路,通常没有同时说明。
技术实现思路
1、本发明旨在解决现有视觉编码方案存在的以下技术问题:
2、1)原生二维图像、体数据和多观察图像应共享主要视觉计算,且二维输入不依赖伪深度复制;
3、2)观察轴和深度轴应分别定义,二者可以单独存在,也可以同时存在;
4、3)token在各轴更新之间应保留原有结构,避免交互前平均造成局部信息丢失;
5、4)输入缺少某一轴时,不应调用该轴对应的参数和随机运算;
6、5)增加执行深度时,不应按执行次数复制整套模块。
7、为解决上述技术问题,本发明提供一种原生结构轴组合的视觉编码方法,其特征在于,包括以下步骤:
8、步骤1、接收视觉数据,记录观察数和深度数,视觉数据所包含的颜色或灰度通道位于输入通道维;
9、步骤2、对视觉数据中每个观察的每个保留平面应用同一二维patch投影,加入位置编码和前缀token,获得初始持久token状态,其中,持久状态的维度为,为批次大小,为每个保留平面的token序列长度,包括m个前缀token(m>=1)和个稠密token,,为单token嵌入特征维度;
10、步骤3、对初始持久token状态进行轮循环更新,,任意第轮更新进一步包括以下步骤,:
11、步骤301、对第轮获得的持久token状态进行不丢失token的张量重排,使平面token序列长度、深度数及观察数分别成为注意力序列长度,其余结构维度折叠到批次位置;
12、步骤302、依次执行三个平面算子、深度算子一、三个平面算子、深度算子二和一个观察算子,其中,平面算子、深度算子和观察算子依次作用于同一持久token状态,前一算子的输出作为后一算子的输入,利用步骤301的张量重排使得:
13、平面token序列长度作为平面算子中信息交互的序列轴,在每个观察和切片内部混合平面token;
14、深度数作为深度算子中信息交互的序列轴,在共享patch索引处跨深度混合平面token;
15、观察数作为观察算子中信息交互的序列轴,在共享token索引处跨观察交换信息;
16、步骤4、对上一步所获得的终端持久token状态执行池化以获得语言对齐表征,或者保留结构化token供下游网络读取。
17、优选地,步骤1中,所述视觉数据包括单幅二维图像、ct体数据、配对或多视图二维图像以及配准多序列mri,其中:对于所述单幅二维图像,观察数,深度数;
18、对于所述ct体数据,观察数,深度数;
19、对于所述配对或多视图二维图像,观察数,深度数;
20、对于所述配准多序列mri,观察数,深度数。
21、优选地,步骤3中,轮循环复用同一组由平面算子、深度算子和观察算子组成的物理模块,在不按执行次数复制物理模块的情况下进行多步更新。
22、优选地,步骤3中,对轴长度是否为1进行检测:
23、若检测到轴长度为1:
24、若深度数为1,则深度算子不执行对应参数计算和dropout操作,在深度算子的参数和随机运算前返回输入,深度算子成为执行级恒等映射;
25、若观察数为1,则观察算子不执行对应参数计算和dropout操作,在观察算子的参数和随机运算前返回输入,观察算子成为执行级恒等映射;
26、若检测到相应轴长度大于1,则平面算子、深度算子或观察算子对持久token状态执行轴向注意力流程,包括:
27、步骤301所述的不丢失token的张量重排;
28、进行轴向注意力运算,或者进行轴向注意力运算后,进行多层感知处理;
29、恢复持久token状态的原维度排列。
30、本发明还提供了一种电子设备,包括:
31、一个或多个处理器;
32、存储装置,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据上述的视觉编码方法。
33、本发明主要用于处理三类视觉数据:二维图像、具有连续切片的体数据,以及同一对象下含多个观察的图像集合。通过本发明所获得的编码结果有以下用途:
34、1)生成可比较的语言对齐视觉表征,用于图像—文本检索、样本检索、零样本或少样本分类及下游模型输入;
35、2)保留观察、深度和局部平面结构的终端token,供下游网络读取;
36、3)同一编码器可接收自然二维图像、胸部x线图像、ct体数据和多序列mri,减少按输入类型分别维护视觉编码塔的工作。
37、在本发明公开的技术方案中:
38、1)三个轴具有不同物理含义
39、平面轴对应单个观察、单个切片内部的视觉结构。深度轴对应同一体数据沿切片方向的连续关系。观察轴则对应同一对象或检查下的多个观察、投影或序列。三者彼此独立:多视图二维检查有观察轴而无深度轴;ct有深度轴而无多观察轴;多序列mri可同时具有深度轴和观察轴。
40、2)结构依赖计算图
41、n与d写入输入结构后,执行路径可由轴长度直接确定。n=d=1的二维单图旁路深度算子以及观察算子;ct只执行深度算子;多视图二维图像只执行观察算子;多序列mri执行二者。这一计算图由输入结构选择算子,不需要先把各类输入改造成相同的伪维度。
42、3)持久状态避免过早信息压缩
43、观察、深度和平面token维度在有序更新之间保持存在,使后续深度(depth)算子或观察(observation)算子仍能访问局部patch位置。若先对切片或观察平均,后续模块只能处理已经丢失局部对应的信息。持久状态因而为三个轴算子的连续交互提供共同数据载体。
44、4)张量重排把一个状态交给不同轴算子
45、三个算子共用一份token化状态。重排时把目标轴移至序列位置,其余结构维度折叠到批次位置,于是同一状态可分别沿l、d或n执行注意力。算子结束后恢复原形状,前一步结果直接交给下一步,整体状态维度不变。
46、5)有序交替与循环复用
47、一次单元先执行三个平面算子,再执行第一个深度算子;随后执行三个平面算子和第二个深度算子,末端才执行观察算子。跨切片和跨观察计算因此插入平面特征更新过程,不是池化后的独立后处理。后续循环继续修改同一持久状态,并重复调用原有参数。执行深度增加时,独立参数量不按循环次数同比增加。
48、采用上述技术方案,本发明相比于现有视觉编码方案具有以下有益效果:
49、1)由于本发明采用了显式独立的n、d、l轴,因此,同一表示可覆盖单图、体数据、多观察二维和多序列体数据,不把观察、深度和颜色通道混同;
50、2)本发明采用了逐平面共享二维投影的技术手段,使得二维输入无需伪深度扩展,各保留切片使用同一平面token化;
51、3)本发明具有“持久b×n×d×l×d状态”的结构特征,使得后续轴算子仍可访问局部token,避免在轴交互前平均;
52、4)在本发明公开的技术方案中,张量重排形成三类序列,由此,同一token内容可以沿不同结构轴交互,无需分别维护三份状态;
53、5)本发明固定有序轴更新,将深度和观察交互插入平面更新过程,而非仅在最终池化后聚合;
54、6)在本发明公开的技术方案中,三次循环复用同一模块,在不按执行次数复制物理模块的情况下进行多步更新;
55、7)本发明采用了d=1或n=1精确旁路的技术手段,缺失轴不执行对应参数计算和dropout操作,减少无意义计算并保持恒等映射;
56、8)对比实验中,启用depth算子后,ct和mri完整模型的平均auroc较关闭depth算子时分别提高0.0734和0.0401。
57、应当注意的是,通过本发明公开技术方案获得的是视觉表征或结构化token,不以直接获得疾病诊断结论或治疗方案为必要步骤,医学场景中的概率、相似度或候选标签均作为计算机信息处理结果,由专业人员结合其他信息使用。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com