一种2D到3D端对端的超声或CT医学影像跨模态重建方法与流程

技术特征：
1.一种2d到3d端对端的超声或ct医学影像跨模态重建方法，其特征在于，该方法输入一个超声或者ct影像序列，其影像分辨率为m
×
n，100≤m≤2000，100≤n≤2000，三维重建的过程具体包括以下步骤：步骤1：构建数据集(a)构建自然图像数据集选取一个自然图像网站，要求具有图像序列及对应的摄像机内部参数，从所述自然图像网站下载a个图像序列及序列对应的内部参数,1≤a≤20,对于每个图像序列，每相邻3帧图像记为图像b、图像c和图像d，将图像b和图像d按照颜色通道进行拼接，得到图像τ，由图像c与图像τ构成一个数据元素，图像c为自然目标图像，图像c的采样视点作为目标视点，图像b、图像c和图像d的内部参数均为e
t
(t＝1，2，3，4)，其中e1为水平焦距，e2为垂直焦距，e3及e4是主点坐标的两个分量；如果同一图像序列中最后剩余图像不足3帧，则舍弃；利用所有序列构建自然图像数据集，所构建的自然图像数据集中有f个元素，而且3000≤f≤20000；(b)构建超声影像数据集采样g个超声影像序列，其中1≤g≤20，对于每个序列，每相邻3帧影像记为影像i、影像j和影像k，将影像i和影像k按照颜色通道进行拼接得到影像π，由影像j与影像π构成一个数据元素，影像j为超声目标影像,影像j的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建超声影像数据集，所构建的超声影像数据集中有f个元素，而且1000≤f≤20000；(c)构建ct影像数据集采样h个ct影像序列，其中1≤h≤20，对于每个序列，每相邻3帧记为影像l、影像m和影像n，将影像l和影像n按照颜色通道进行拼接得到影像σ，由影像m与影像σ构成一个数据元素，影像m为ct目标影像,影像m的采样视点作为目标视点，如果同一影像序列中最后剩余影像不足3帧，则舍弃，利用所有序列构建ct影像数据集，所构建的ct影像数据集中有ξ个元素，而且1000≤ξ≤20000；步骤2：构建端对端三维重建网络a神经网络输入的图像或影像的分辨率均为p
×
o，p为宽度，o为高度，以像素为单位，100≤o≤2000，100≤p≤2000；网络a的结构由一个主干网络和6个网络分支构成，主干网络为跨视图transformer拓扑结构，张量j和张量c作为输入，尺度分别为α
×
o
×
p
×
3和α
×
o
×
p
×
6；6个网络分支分别预测张量l、张量o、张量w、张量b、张量d和张量r，张量l尺度为α
×2×
6，张量o尺度为α
×4×
1，张量w尺度为α
×
o
×
p
×
1，张量b尺度为α
×
o
×
p
×
4，张量d的尺度为α
×
3，张量r尺度为α
×
o
×
p
×
3，α为批次数量；主干网络设计为依次进行的3个阶段跨视图编码：(1)第1个阶段的跨视图编码包括第1个阶段的嵌入编码和第1个阶段注意力编码第1个阶段的嵌入编码，分别将张量j、张量c的最后一个维度的前3个特征分量、张量c最后一个维度的后3个特征分量进行卷积运算，卷积核尺度均为7
×
7，特征通道数为24，序列化处理将编码特征从图像特征空域形状变换为序列结构，层归一化处理，分别得到第1个阶段嵌入编码1、第1个阶段嵌入编码2和第1个阶段嵌入编码3；
第1个阶段注意力编码，将第1个阶段嵌入编码1与第1个阶段嵌入编码2按照最后一个维度进行串接，得到注意力编码输入特征1；将第1个阶段嵌入编码1与第1个阶段嵌入编码3按照最后一个维度进行串接，得到第1个阶段注意力编码输入特征2；将第1个阶段嵌入编码2与第1个阶段嵌入编码1按照最后一个维度进行串接，得到第1个阶段注意力编码输入特征3；将第1个阶段嵌入编码3与第1个阶段嵌入编码1按照最后一个维度进行串接，得到第1个阶段注意力编码输入特征4；将所述第1个阶段注意力编码的4个输入特征，进行注意力编码：将第1个阶段每个注意力编码输入特征按照最后一个维度将前一半通道特征作为目标编码特征，将后一半通道特征作为源编码特征，再将目标编码特征和源编码特征分别进行可分离的卷积运算，其中卷积核尺度均为3
×
3，特征通道数为24，水平方向及垂直方向的步长均为1，将目标编码特征的处理结果作为注意力学习的查询关键词k编码向量和数值v编码向量，将源编码特征的处理结果作为注意力学习的查询q编码向量，然后，利用多头注意力方法计算每个注意力编码输入特征的注意力权重矩阵，头的个数为1，特征通道数为24，最后，将所述每个注意力权重矩阵与每个注意力编码输入特征的目标编码特征相加，得到第1个阶段4个跨视图编码特征，利用所述4个跨视图编码特征的第1个和第2个跨视图编码特征的平均特征作为第1个阶段跨视图跨层特征；将所述第1个阶段跨视图跨层特征、第1个阶段第3个跨视图编码特征和第1个阶段第4个跨视图编码特征作为第1个阶段跨视图编码结果；将所述第1个阶段跨视图编码结果作为第2个阶段跨视图编码输入，将所述第1个阶段跨视图编码结果按照最后一个维度进行串接得到第1个阶段串接编码结果；(2)第2个阶段的跨视图编码包括第2个阶段的嵌入编码和第2个阶段注意力编码第2个阶段的嵌入编码，将第1个阶段跨视图编码结果中的每个特征进行嵌入编码，卷积运算的特征通道数为64，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，序列化处理将编码特征从图像特征空域形状变换为序列结构，特征的层归一化处理，得到第2个阶段嵌入编码1、第2个阶段嵌入编码2和第2个阶段嵌入编码3；第2个阶段注意力编码，将第2个阶段嵌入编码1与第2个阶段嵌入编码2按照最后一个维度进行串接，得到第2阶注意力编码输入特征1；将第2个阶段嵌入编码1与第2个阶段嵌入编码3按照最后一个维度进行串接，得到第2个阶段注意力编码输入特征2；将第2个阶段嵌入编码2与第2个阶段嵌入编码1按照最后一个维度进行串接，得到第2个阶段注意力编码输入特征3；将第2个阶段嵌入编码3与第2个阶段嵌入编码1按照最后一个维度进行串接，得到第2个阶段注意力编码输入特征4，将每个所述输入特征，按照最后一个维度，将前一半通道特征作为目标编码特征，将后一半通道特征作为源编码特征，将目标编码特征和源编码特征分别进行可分离的卷积运算，卷积核尺度均为3
×
3，特征通道数为64，水平方向及垂直方向的步长均为2，将目标编码特征的处理结果作为注意力学习的查询关键词k编码向量和数值v编码向量，将源编码特征的处理结果作为注意力学习的查询q编码向量，然后，利用多头注意力方法计算每个注意力编码输入特征的注意力权重矩阵，头的个数为3，特征通道数为64，最后，将所述每个注意力编码输入特征的注意力权重矩阵与每个注意力编码输入特征的目标编码特征相加，得到第2个阶段的4个跨视图编码特征，利用所述跨视图编码特征的第1个和第2个特征的平均特征作为第2个阶段跨视图跨层特征；将所述第2个阶段跨视图跨层特征、第2个阶段第3个跨视图编码特征和第2个阶段第4个跨视图编码特征作为第2个阶段跨视图编码结果；将所述第2个阶段跨视图编码结果作为第3个阶段跨视图编码输入，将
所述第2个阶段跨视图编码结果按照最后一个维度进行串接得到第2个阶段串接编码结果；(3)第3个阶段的跨视图编码包括第3个阶段的嵌入编码和第3个阶段注意力编码第3个阶段的嵌入编码，将第2个阶段跨视图编码结果中的每个特征进行嵌入编码处理，卷积运算，卷积核尺度均为3
×
3，特征通道数为128，水平方向及垂直方向的步长均为2，序列化处理将编码特征从图像特征空域形状变换为序列结构，特征的层归一化处理，得到第3个阶段嵌入编码1、第3个阶段嵌入编码2和第3个阶段嵌入编码3；第3个阶段注意力编码，将第3个阶段嵌入编码1与第3个阶段嵌入编码2按照最后一个维度进行串接，得到第3阶注意力编码输入特征1；将第3个阶段嵌入编码1与第3个阶段嵌入编码3按最后一个维度进行串接，得到第3个阶段注意力编码输入特征2；将第3个阶段嵌入编码2与第3个阶段嵌入编码1按照最后一个维度进行串接，得到第3个阶段注意力编码输入特征3；将第3个阶段嵌入编码3与第3个阶段嵌入编码1按照最后一个维度进行串接，得到第3个阶段注意力编码输入特征4；将每个所述输入特征，按照最后一个维度，将前一半通道特征作为目标编码特征，将后一半通道特征作为源编码特征，将目标编码特征和源编码特征分别进行可分离的卷积运算，其中卷积核尺度均为3
×
3，特征通道数为128，水平方向及垂直方向的步长均为2，将目标编码特征的处理结果作为注意力学习的查询关键词k编码向量和数值v编码向量，将源编码特征的处理结果作为注意力学习的查询q编码向量，然后，利用多头注意力方法计算每个注意力编码输入特征的注意力权重矩阵，头的个数为6，特征通道数为128，最后，将第3个阶段每个注意力编码输入特征的权重矩阵与每个注意力编码输入特征的目标编码特征相加，得到第3个阶段的4个跨视图编码特征，利用所述跨视图编码特征的第1个和第2个特征的平均特征作为第3个阶段跨视图跨层特征；将所述第3个阶段跨视图跨层特征、第3个阶段第3个跨视图编码特征和第3个阶段第4个跨视图编码特征作为第3个阶段跨视图编码结果；将所述第3个阶段跨视图编码结果按照最后一个维度进行串接得到第3个阶段串接编码结果；对于第1个网络分支，将第1个阶段串接编码结果依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为16，卷积核尺度均为7
×
7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；将所得到的特征依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为7
×
7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为64，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；然后，将所得到的特征与第3个阶段串接编码结果相串接，进行以下3个单元处理：在第1个单元处理中，卷积运算的特征通道数为64，卷积核尺度均为7
×
7，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为128，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为12，卷积核尺度均为1
×
1，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；将所得的12通道的特征结果按照2
×
6的形式进行预测，得到张量l的结果；对于第2个网络分支，将第1个阶段串接编码结果依次进行2个单元处理：在第1个单元
处理中，卷积运算的特征通道数为16，卷积核尺度均为7
×
7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；然后将所得到的特征与第2个阶段串接编码结果相串接，进行以下2个单元处理：在第1个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为7
×
7，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；将所得到的特征与第3个阶段串接编码结果相串接，进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为64，卷积核尺度均为7
×
7，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为128，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为4，卷积核尺度均为1
×
1，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；将所得的4通道特征作为张量o的结果；对于第3个网络分支，将第1个阶段跨视图跨层特征输入，依次进行3个单元处理：在第1个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为1；再进行特征激活、批归一化处理，然后进行1次反卷积运算，卷积的特征通道数为16，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，得到第3个网络分支的第1跨层特征；对于第3个网络分支跨层特征初始化：将主干网络的第1个阶段跨视图跨层特征作为第3个网络分支的第2跨层特征，将主干网络的第2个阶段跨视图跨层特征作为第3个网络分支的第3跨层特征，将主干网络的第3个阶段跨视图跨层特征作为第3个网络分支的第4跨层特征，再将主干网络的第1个阶段跨视图跨层特征经过第1次残差编码处理，包括3次卷积运算，其通道特征数分别为64、64和256个，卷积核的形状分别为1
×
1、3
×
3和1
×
1，然后，依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为192，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理，在第2个单元处理中，卷积运算的特征通道数为192，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，作为第3个网络分支的第5跨层特征，将第5跨层特征进行1次残差编码处理，具体进行3次卷积运算，这3次卷积运算中通道特征数分别为512、512和2048个，卷积核的形状分别为1
×
1、3
×
3和1
×
1，然后将所得到的特征依次进行6个单元处理过程：在第1个单元处理时，上采样卷积处理，特征通道数为512，卷积的核形状为3
×
3，上采样的尺度为2
×
2，将所得的特征与第3个网络分支的第5跨层特征相串接，进一步将所述串接特征进行卷积处理，卷积的特征通道数为512，卷积的核形状为3
×
3；在第2个单元处理时，上采样卷积处理，特征通道数为256，卷积的核形状为3
×
3，上采样的尺度为2
×
2，将所得的特征与第3个网络分支的第4跨层特征相串接，将得到的特征再进行卷积处理，卷积的特征通道数为256，卷积的核形状为3
×
3；
在第3个单元处理时，上采样卷积处理，特征通道数为128，卷积的核形状为3
×
3，上采样的尺度为2
×
2，将所得的特征与第3个网络分支的第3跨层特征相串接，将所述串接特征进行卷积处理，卷积的特征通道数为128，卷积的核形状为3
×
3，将所得的特征输入到第4个单元处理，同时，将所得到的特征通过核为3
×
3的卷积运算，预测为张量w的第4个尺度的结果；在第4个单元处理时，上采样卷积处理，特征通道数为64，卷积的核形状为3
×
3，上采样的尺度为2
×
2，将所得的特征与第3个网络分支的第2跨层特征、在第3个单元处理时的2
×
2上采样编码特征相串接，将所述串接特征进行卷积处理，卷积的特征通道数为64，卷积的核形状为3
×
3，将所得的特征输入到第5个单元处理，同时，将所得到的特征通过核为3
×
3的卷积运算，预测为张量w的第3个尺度的结果；在第5个单元处理时，上采样卷积处理，特征通道数为32，卷积的核形状为3
×
3，上采样的尺度为2
×
2，将所得的特征分别与第3个网络分支的第1跨层特征、在第4个单元处理时的2
×
2上采样编码特征相串接，再将所述串接特征输入到第6个单元处理，同时，将所得到的特征通过核为3
×
3的卷积运算，预测为张量w的第2个尺度的结果；在第6个单元处理时，上采样卷积处理，特征通道数为16，卷积的核形状为3
×
3，上采样的尺度为2
×
2，将所得的特征与在第5个单元处理时的2
×
2上采样编码特征相串接，再将所述串接特征通过核为3
×
3的卷积运算，预测为张量w的第1个尺度的结果；利用第1至4个尺度的结果作为张量w的结果；对于第4个网络分支，将第1个阶段跨视图跨层特征进行一次反卷积运算、特征激活、批归一化处理，反卷积运算中，卷积的特征通道数为16，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2；将得到的结果记为解码器跨层特征1，再将第1个阶段跨视图跨层特征进行以下2个单元的处理：第1个单元处理时，卷积运算特征通道数为32，卷积核尺度均为7
×
7，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，并将处理特征记为解码器跨层特征2；第2个单元处理，卷积运算，特征通道数为32，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的特征与第2个阶段跨视图跨层特征进行串接，将所述串接结果进行以下2个单元的处理：第1个单元处理时，卷积的特征通道数为64，卷积核尺度均为7
×
7，水平方向及垂直方向的步长均为1，并将处理特征记为解码器跨层特征3；第2个单元处理时，卷积的特征通道数为128，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，然后将所得到的特征与第3个阶段跨视图跨层特征进行串接，再进行以下3个单元处理，第1个单元处理时，卷积的特征通道数为128，卷积核尺度均为7
×
7，水平方向及垂直方向的步长均为1，并将处理特征记为解码器跨层特征4；第2个单元处理时，卷积的特征通道数为256，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，将并将处理特征记为解码器跨层特征5；第3个单元处理时，卷积的特征通道数为512个，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，处理后得到第4个网络分支编码特征；进一步进行解码，将所述第4个网络分支编码特征进行1次反卷积运算：卷积的特征通道数为256，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，并将得到的结果与解码器跨层特征5相串接，进行一次卷积运算：特征通道数为512，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得
到的结果进行反卷积运算：特征通道数为256，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的结果与解码器跨层特征4相串接，进行一次卷积运算：特征通道数为256，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的结果进行一次进行反卷积运算：特征通道数为128，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的结果与解码器跨层特征3相串接，进行一次卷积运算：特征通道数为128，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量b的第4个尺度结果；同时，将所得到的特征进行1次反卷积运算，反卷积的特征通道数为64，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的特征与解码器跨层特征2相串接，进行一次卷积运算：特征通道数为64，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量b的第3个尺度结果；同时，将所得到的特征进行1次反卷积运算：反卷积的特征通道数为32，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，再将所得到的特征与解码器跨层特征1相串接，然后进行一次卷积运算：特征通道数为32，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量b的第2个尺度结果；同时，将所得到的特征进行1次反卷积运算：特征通道数为16，卷积核尺度均为7
×
7，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，将所得到的特征与第3个尺度特征经过上采样处理后得到的结果进行串接，然后进行一次卷积运算：特征通道数为16，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为1，特征激活、批归一化处理，将所得到的特征作为张量b的第1个尺度结果；利用所述张量b的4个尺度结果，得到第4个网络分支的输出；对于第5个网络分支，将第3个阶段串接编码结果依次进行4个单元处理：在第1个单元处理中，卷积运算的特征通道数为256，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为512，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为1024，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2；在第4个单元处理中，卷积运算的特征通道数为3，卷积核尺度均为1
×
1，水平方向及垂直方向的步长均为1，将所得到的特征作为张量d的结果；对于第6个网络分支，将第1个阶段跨视图跨层特征输入，依次进行3个单元处理：在第1个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；在第3个单元处理中，卷积运算的特征通道数为32，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为1，再进行特征激活、批归一化处理；然后进行1次反卷积运算，卷积的特征通道数为16，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，得到第6个网络分支的第1跨层特征；对于第6个网络分支跨层特征初始化：将主干网络的第1个阶段跨视图跨层特征作为第6个网络分支的第2跨层特征，将主干网络的第2个阶段跨视图跨层特征作为第6个网络分支的第3跨层特征，将主干网络的第3个阶段跨视图跨层特征作为第6个网络分支的第4跨层特
征，再将主干网络的第1个阶段跨视图跨层特征经过第1次残差编码处理，包括3次卷积运算，其通道特征数分别为64、64和256个，卷积核的形状分别为1
×
1、3
×
3和1
×
1，然后，依次进行2个单元处理：在第1个单元处理中，卷积运算的特征通道数为192，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，再进行特征激活、批归一化处理；在第2个单元处理中，卷积运算的特征通道数为192，卷积核尺度均为3
×
3，水平方向及垂直方向的步长均为2，特征激活、批归一化处理，作为第6个网络分支的第5跨层特征，将第5跨层特征进行1次残差编码处理，具体进行3次卷积运算，这3次卷积运算中通道特征数分别为512、512和2048个，卷积核的形状分别为1
×
1、3
×
3和1
×
1，然后将所得到的特征依次进行6个单元处理过程：在第1个单元处理时，上采样卷积处理，特征通道数为512，卷积的核形状为3
×
3，上采样的尺度为2
×
2，将所得的特征与第3个网络分支的第5跨层特征相串接，进一步将所述串接特征进行卷积处理，卷积的特征通道数为512，卷积的核形状为3
×
3；在第2个单元处理时，上采样卷积处理，特征通道数为256，卷积的核形状为3
×
3，上采样的尺度为2
×
2，将所得的特征与第6个网络分支的第4跨层特征相串接，将得到的特征再进行卷积处理，卷积的特征通道数为256，卷积的核形状为3
×
3；在第3个单元处理时，上采样卷积处理，特征通道数为128，卷积的核形状为3
×
3，上采样的尺度为2
×
2，将所得的特征与第6个网络分支的第3跨层特征相串接，将所述串接特征进行卷积处理，卷积的特征通道数为128，卷积的核形状为3
×
3，将所得的特征输入到4个单元处理，同时，将所得到的特征通过核为3
×
3的卷积运算，预测为张量r的第4个尺度的结果；在第4个单元处理时，上采样卷积处理，特征通道数为64，卷积的核形状为3
×
3，上采样的尺度为2
×
2，将所得的特征与第6个网络分支的第2跨层特征、在第3个单元处理时的2
×
2上采样编码特征相串接，将所述串接特征进行卷积处理，卷积的特征通道数为64，卷积的核形状为3
×
3，将所得的特征输入到第5个单元处理，同时，将所得到的特征通过核为3
×
3的卷积运算，预测为张量r的第3个尺度的结果；在第5个单元处理时，上采样卷积处理，特征通道数为32，卷积的核形状为3
×
3，上采样的尺度为2
×
2，将所得的特征分别与第6个网络分支的第1跨层特征、在第4个单元处理时的2
×
2上采样编码特征相串接，再将所述串接特征输入到第6个单元处理，同时，将所得到的特征通过核为3
×
3的卷积运算，预测为张量r的第2个尺度的结果；在第6个单元处理时，上采样卷积处理，特征通道数为16，卷积的核形状为3
×
3，上采样的尺度为2
×
2，将所得的特征与在第5个单元处理时的2
×
2上采样编码特征相串接，再将所述串接特征通过核为3
×
3的卷积运算，预测为张量r的第1个尺度的结果；利用第1至第4个尺度的结果作为张量r的结果；步骤3：神经网络的训练分别将自然图像数据集、超声影像数据集和ct影像数据集中样本按照9:1划分为训练集和测试集，训练集中数据用于训练，测试集数据用于测试，在训练时，分别从对应的数据集中获取训练数据，统一缩放到分辨率p
×
o，输入到对应网络中，迭代优化，通过不断修改网络模型参数，使得每批次的损失达到最小；在训练过程中，各损失的计算方法：
内部参数监督合成损失：在自然图像的网络模型训练中，将网络a的第3个网络分支输出的张量w作为深度，将网络a输出的张量l与训练数据的内部参数标签e
t
(t＝1，2，3，4)分别作为位姿参数和摄像机内部参数，根据计算机视觉原理算法，利用图像b和图像d分别合成图像c视点处的两个图像，利用图像c分别与所述的两个合成图像，按照逐像素、逐颜色通道强度差之和计算得到；无监督合成损失：在超声或者ct影像的网络模型训练中，将网络a的输出张量w作为深度，网络a输出的张量l和张量o分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两个相邻影像分别构建目标视点处的合成影像，利用目标影像分别与所述两个目标视点处的合成影像，按照逐像素、逐颜色通道强度差之和计算得到；内部参数误差损失：网络a输出的张量o与训练数据的内部参数标签e
t
(t＝1，2，3，4)按照各分量差的绝对值之和计算得到；空间结构误差损失：在超声或者ct影像的网络模型训练中，将网络a的输出张量w作为深度，网络a输出的张量l和张量o分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，分别利用目标视点处影像的两个相邻影像重建目标视点处影像的三维坐标，采用ransac算法对重建点进行空间结构拟合，利用拟合得到的法向量与网络a的输出张量d，利用余弦距离计算得到；变换合成损失：在超声或者ct影像的网络模型训练中，将网络a的输出张量w作为深度，网络a输出的张量l和张量o分别作为位姿参数和摄像机内部参数，根据计算机视觉算法，利用目标影像的两个相邻影像构建目标影像视点处的两个合成影像，对于所述合成影像中的每个影像，在合成过程得到每个像素位置后，将网络a的输出张量b作为合成影像空域变形的位移量，利用所述两个目标视点处的合成影像与目标视点处影像，按照逐像素、逐颜色通道强度差之和计算得到；3d重投影损失：利用第6个网络分支的输出张量r作为摄像机坐标系下的3d坐标，将网络a的输出张量o作为摄像机内部参数，将网络a的第5个网络分支的输出张量b作为2d变形位移，依据摄像机的成像规律，将3d坐标投影到目标视点的2d空间中，对于医学影像，就再利用输出张量b作为变形位移，对于自然图像，无需进行变形处理，这样，得到合成目标视点处的结果，然后利用目标视点处的图像或者影像与所述合成目标视点处的结果，按照逐像素、逐颜色通道强度差之和计算得到；具体训练步骤：(1)自然图像数据集上，分别对网络a的主干网络及第1及第3个网络分支，训练50000次每次从自然图像数据集中取出训练数据，统一缩放到分辨率p
×
o，将图像c及图像τ输入网络a，对网络a的主干网络及第1及第3个网络分支训练50000次，每批次的训练损失由内部参数监督合成损失计算得到；(2)自然图像数据集上，对网络a的第2及第6个网络分支，训练60000次每次从自然图像数据集中取出训练数据，统一缩放到分辨率p
×
o，将将图像c及图像τ输入网络a，对网络a的第2及第6个网络分支进行训练，每批次的训练损失由无监督合成损失、内部参数误差损失和3d重投影损失之和计算得到；(3)在超声影像数据集上，对网络a的第4及第5个网络分支训练60000次每次从超声影像数据集上取出超声训练数据，统一缩放到分辨率p
×
o，将影像j及影像
π输入网络a，将输入到网络a，对网络a的第4及第5个网络分支进行训练，每批次的训练损失由变换合成损失、空间结构误差损失及3d重投影损失之和计算得到；(4)在超声影像数据集上，对网络a的主干网络及第1至第6个网络分支训练50000次，得到网络模型参数ρ每次从超声影像数据集上取出超声训练数据，统一缩放到分辨率p
×
o，将影像j及影像π输入网络a，将输入到网络a，对网络a的主干网络及第1至第6个网络分支进行训练，每批次的训练损失由变换合成损失、空间结构误差损失及3d重投影损失之和计算得到；(5)在ct影像数据集上，对网络a的主干网络及第1至第6个网络分支进行训练50000次，得到网络模型参数ρ
′
每次从ct影像数据集中取出ct影像训练数据，统一缩放到分辨率p
×
o，将影像m及影像σ输入到网络a，对网络a的主干网络及第1至第6个网络分支进行训练，每批次的训练损失由变换合成损失、空间结构误差损失、3d重投影损失和摄像机平移运动的损失之和计算得到；步骤4：对超声或者ct影像三维重建利用自采样的一个超声或者ct序列影像，同时进行以下3个处理实现三维重建：(1)对序列影像中任一目标影像，缩放到分辨率p
×
o，对于超声序列影像，将影像j及影像π输入网络a，对于ct序列影像，将影像m及影像σ输入到网络a，将网络a的输出张量w作为深度，网络a输出的张量l和张量o分别作为位姿参数和摄像机内部参数，将网络a的输出张量r作为摄像机坐标下的3d坐标；(2)序列影像三维重建过程中，建立关键帧序列：将序列影像第一帧作为关键帧序列的第一帧，并作为当前关键帧，当前关键帧之后的帧作为目标帧，按照目标帧顺序依次动态选取新的关键帧：首先，用单位矩阵初始化目标帧相对于当前关键帧的位姿参数矩阵，针对任一目标帧，将所述位姿参数矩阵累乘目标帧摄像机位姿参数，并利用累乘结果，结合所述目标帧的内部参数及深度信息，合成所述目标帧视点处的影像，利用所述合成影像与所述目标帧之间逐像素逐颜色通道强度差之和的大小计算误差λ，再根据所述目标帧的相邻帧，利用摄像机位姿参数和内部参数，合成所述目标帧视点处的影像，利用所述合成的影像与所述目标帧之间逐像素逐颜色通道强度差之和的大小计算误差γ，进一步利用公式(1)计算合成误差比z：满足z大于阈值η，1<η<2，将所述目标帧作为新的关键帧，并将所述目标帧相对于当前关键帧的位姿参数矩阵作为新的关键帧的位姿参数，同时将所述目标帧更新为当前关键帧；以此迭代，完成关键帧序列建立；(3)将序列影像第一帧的视点作为世界坐标系的原点，对任一目标影像，将其分辨率缩放到m
×
n，利用网络a输出的每帧影像摄像机坐标下的3d坐标，并结合关键帧序列中每一关键帧的位姿参数以及目标帧相对于当前关键帧的位姿参数矩阵，计算得到所述目标帧的每个像素的世界坐标系中的三维坐标。

技术总结
本发明公开了一种2D到3D端对端的超声或CT医学影像跨模态重建方法，本发明的特点是建立2D到3D端到端的Transformer学习网络，采用无监督学习，借助于自然图像的成像规律，在医学影像少纹理多噪声的情况下，实现跨模态医学影像2D到3D端到端的快速重建，不仅如此，由于深度学习过程中得到了医学影像采样的摄像机参数，因此，该方法可以实现医学影像目标的三维度量，可以为临床医学辅助诊断提供有效的医疗辅助诊断的解决方案。疗辅助诊断的解决方案。疗辅助诊断的解决方案。


技术研发人员：全红艳 董家顺
受保护的技术使用者：华东师范大学
技术研发日：2021.08.02
技术公布日：2021/11/23