一种基于深度强化学习的纳米成像的图像配准方法与流程

1.本发明属于纳米成像技术领域，具体涉及一种纳米成像的图像配准方法。


背景技术：

2.利用深度强化学习方法提取纳米成像的图像配准方法。图像配准是使用某种算法，基于某种评估标准，将一副或多副图片(局部)最优映射到目标图片上的方法，属于软件方法领域。
3.深度强化学习方法，涉及到深度学习中的神经网络结构和强化学习的控制策略，属于软件方法领域。
4.由于步进电机的抖动，以及x射线长时间的照射等等其他因素的影响，每张经过x射线透射后形成的图片都会在准心处略有偏移。在处理纳米成像的图像时，为消除由于步进电机抖动或其他原因造成的失准，需要对图像进行配准。
5.图像配准的基本分类是：(1)基于灰度的图像配准；(2)基于特征的图像配准。具体的图像配准算法是基于这两点的混合或者变体的算法。通常，图像配准技术包括四个方面：变换模型、特征空间、相似性测度、搜索空间和搜索策略。
6.依据这四个特性，图像配准的步骤一般可分为以下五个步骤：
7.(1)根据实际应用场合选取适当的变换模型；
8.(2)选取合适的特征空间，基于灰度或基于特征
9.(3)根据变换模型的参数配置以及所选用的特征，确定参数可能变化的范围，并选用最优的搜索策略；
10.(4)应用相似性测度在搜索空间中按照优化准则进行搜索，寻找最大相关点，从而求解出变换模型中的未知参数；
11.(5)将待配准图像按照变换模型对应到参考图像中，实现图像间的匹配。
12.其中，如何选取合适的特征进行匹配是配准的关键所在。以基于特征的图像配准为例，流程为：
13.(1)特征检测
14.图像配准过程的一项重要任务。根据问题的复杂性，通常分为手动或自动检测，但通常优先选择自动特征检测。封闭边界，边缘，轮廓，线交点，角点，以及它们的代表点如重心或线末端(统称为控制点)可以作为特征。由特殊对象组成的这些特征必须易于检测，即特征将是物理上可解释和可识别的。参考图像必须与浮动图像共享足够多的共同特征集合，而不受到任何未知遮挡或意外改变的影响。用于检测的算法应该足够稳健，以便能够在场景的所有投影中检测相同的特征而不受任何特定图像变形或退化的影响。
15.(2)特征匹配；
16.该步骤基本建立在对待配准图像与在参考图像中检测到的特征之间的对应关系上。除了特征之间的空间关系之外，还采用不同的特征描述符(feature descriptor)和相似性度量来确定配准的准确性。必须合理地配置特征描述符，使得它们在任何退化时仍保
卷积层10 3*3132relu 全连接层2
ꢀꢀꢀ
512relu512全连接层3
ꢀꢀꢀ
8linear8
33.(二)图像配准
34.对于图像配准来说，对于图形的变化，可以细分为以下几个动作：图像的放大(记为a1)，图像的缩小(记为a2)，图像的逆时针旋转(记为a3，图像的顺时针选择(记为a4，图像的向上平移(记为a5)，图像的向左平移(记为a6)，图像的向右平移(记为a7)，图像的向下平移(记为a8)。
35.一般地，放大和缩小的倍率增量和减量都设置为0.05，逆时针和顺时针的旋转都设置为1度，图像的平移距离都设置为1mm。定义以上的8种动作序列，来对待配准的图像进行微调。
36.通过以上8种动作序列，来对待配准的图像进行微调。具体流程为：
37.(1)根据概率分布，从以上的动作序列中选取一个动作移动待配准图像并且返回一个奖励值。按照迭代次数或者判断网络状态值是否达到阈值对待配准图像进行重采样。
38.(2)将单模态下的待配准图像和参考图像和以上的动作序列输入到步骤(1)中所述的网络模型中，输出策略动作的概率分布。
39.(3)根据ε的概率，从上述动作序列中选取一个概率分布最大的，根据这个动作，对待配准图像进行移动,并且返回一个奖励值；这里的奖励值就用两张图片的相似度作为度量，如果相似度到达某个阈值，则可以停止。如果没有到达阈值，则接着将移动后产生的待配准新图和参考图像再次放进网络中运行。
40.本发明中，网络模型中加入空间变换网络(stn)，是为了应对在进行配准的时候图片部分区域的旋转和缩放和平移，以弥补卷积神经网络对于这部分特征的不敏感。
41.与现有技术相比，本发明的优点：
42.①
速度快的同时保证了精度；
43.③
鲁棒性好；
44.④
全自动进行图像配准，摆脱了手动标记的麻烦，适应性好。
附图说明
45.图1为本发明构建的深度强化学习网络模型结构图示。
具体实施方式
46.原样品按中心轴从0度开始旋转投影，每旋转1度，得到一幅图片，旋转一周360度，得到360幅图片，作为数据集，选取0度的初始图片作为参考图片，因为这个时候的图片是初始状态，还没有进行转动，不存在步进电机抖动和过久的x射线照射造成的热辐射，剩下的1到359度的图片，每一帧图片都和上一帧图片有着紧密的联系，因为每一张都是由样品旋转变换得来的。因此，可以很正常的假定在两张相邻帧图片之间存在着较为简单的变换。
47.将1度的图像作为待配准的图像，将这两张图像进行堆叠并作为网络的输入。一共有八种动作，维护一个动作经验池，里面每次都存放着上一次最后的八个动作序列；在初始状态下，这是八个空序列。在网络输出动作的q值后，再按照q值的概率分布选取动作序列，
将这个动作先入先出的存放进这个动作序列经验池。
48.网络中的参数都进行初始化，学习率设置为1e
‑
5，当待配准图片和参考图片的相似度达到阈值的时候，停止这一轮。并将待配准图片进行重采样生成配准后的图片，接着将这个生成后的图片作为新的参考图片，而将下一帧的图片作为待配准图。再将这两张图经过缩放裁剪至同样的尺寸后，堆叠放入网络输入层；循环之前的流程。这个过程持续至所有的图片都做好了配准。
49.输出的则是一个8维的信息向量，指定动作序列的值，再根据这个指定的动作序列的值，每次按旋转角度顺序去更新其中一张图片，再对比浮动图片和参考图片计算得出相似度，用这个相似度的值作为奖励值，再利用奖励值的损失函数进行反向传播更新网络参数。


技术特征：
1.一种基于深度强化学习的纳米成像的图像配准方法，其特征在于，具体步骤如下：(一)构建深度强化学习网络模型(stn)深度强化学习网络模型分为左右两个分支；其中：左边分支网络：包括一个全连接层1，输入为动作序列；右边分支网络：包括：卷积层4和池化层1和卷积层5，输入为选取的参考图片和待配准图片，经过卷积层和池化层后再分为两个小的分支；其中：左边小分支网络，包括三层卷积：卷积层6、卷积层7、卷积层8；右边的小分支网络包括空间转换网络和两层卷积：卷积层9和卷积层10；最后两个分支网络特征合并，再经过两个全连接层：全连接层2和全连接层3，一个softmax层，用来表示策略函数的的动作概率分布；(二)图像配准对于图形的变化，细分为以下几个动作：图像的放大(记为a1)，图像的缩小(记为a2)，图像的逆时针旋转(记为a3，图像的顺时针选择(记为a4，图像的向上平移(记为a5)，图像的向左平移(记为a6)，图像的向右平移(记为a7)，图像的向下平移(记为a8)；通过以上的8种动作序列，来对待配准的图像进行微调；具体流程为：(1)根据概率分布，从以上的动作序列中选取一个动作移动待配准图像，并且返回一个奖励值；按照迭代次数或者判断网络状态值是否达到阈值，对待配准图像进行重采样；(2)将单模态下的待配准图像和参考图像和以上的动作序列输入到步骤(1)中构建的深度强化学习网络模型中，输出策略动作的概率分布；(3)根据ε的概率，从上述动作序列中选取一个概率分布最大的，根据这个动作，对待配准图像进行移动,并且返回一个奖励值；这里的奖励值用两张图片的相似度作为度量，如果相似度到达某个阈值，则停止；如果没有到达阈值，则接着将移动后产生的待配准新图和参考图像再次放进网络中运行。2.根据权利要求1所述的基于深度强化学习的纳米成像的图像配准方法，其特征在于，步骤(1)中构建的深度强化学习网络模型中，模型具体参数如下：
3.根据权利要求2所述的基于深度强化学习的纳米成像的图像配准方法，其特征在于，步骤(2)中的8种动作中，放大和缩小的倍率增量和减量都设置为0.05，逆时针和顺时针的旋转都设置为1度，图像的平移距离都设置为1mm。

技术总结
本发明属于纳米成像技术领域，具体为一种基于深度强化学习的纳米成像的图像配准方法。本发明方法包括构建深度强化学习网络模型、利用该网络进行图像配准；网络模型包括两个分支；一个分支包括一个全连接层，输入为动作序列；一个分支包括两个卷积层和池化层，输入为选取的参考图片和待配准图片；输出为表示策略函数的的动作概率分布；图像配准部分，设计8种动作序列来对待配准的图像进行微调；具体包括：对待配准图像进行重采样；将待配准图像和参考图像和重采样图像输入构建的网络模型中，输出策略动作的概率分布。本发明速度快、精度高、鲁棒性好、适应性强；全自动进行图像配准，摆脱了手动标记的麻烦。摆脱了手动标记的麻烦。摆脱了手动标记的麻烦。


技术研发人员：蒋林华 杜云龙 张冠华 曾新华 庞成鑫 宋梁
受保护的技术使用者：复旦大学
技术研发日：2021.06.23
技术公布日：2021/10/23