一种全数字化乳腺摄影图像合成方法、系统、设备及介质

1.本发明涉及图像处理技术领域，尤其是一种全数字化乳腺摄影图像合成方法、系统、设备及介质。


背景技术：

2.近十几年，全数字化乳腺摄影技术由于其方便计算机系统存储、处理和显示的特点，已逐渐取代传统乳腺摄影技术。全数字化乳腺摄影技术是一种二维成像技术，具有较高的空间分辨率，能够通过摄影图像直观地观察乳房整体表现以及大致结构，也能发现微钙化簇等早期乳腺癌征象。而现有技术通过使用数字乳腺断层合成技术合成全数字化乳腺摄影图像，该方法生成的图像与真实图像在视觉上有明显的差异。而另一种方法需要使用额外的高剂量成像以获取足够的垂直投影数据，虽然能产生更高质量的图像，但是也具有较高的辐射量。


技术实现要素：

3.有鉴于此，本发明实施例提供一种全数字化乳腺摄影图像合成方法、系统、设备及介质，以实现生成更清晰的乳腺摄影图像。
4.一方面，本发明提供了一种全数字化乳腺摄影图像合成方法，包括：
5.获取乳腺断层图像和初始乳腺摄影图像；
6.将所述乳腺断层图像和所述初始乳腺摄影图像输入超分辨率网络，其中，所述超分辨率网络的损失函数包括梯度引导生成对抗网络损失函数；
7.根据所述超分辨率网络对所述乳腺断层图像和初始乳腺摄影图像进行残差处理，确定残差图像；
8.根据所述超分辨率网络对所述初始乳腺摄影图像进行图像上采样处理，确定上采样图像；
9.对所述残差图像和所述上采样图像进行合成处理，确定全数字化乳腺摄影图像。
10.可选地，所述根据所述超分辨率网络对所述乳腺断层图像和初始乳腺摄影图像进行残差处理，确定残差图像，包括：
11.对所述乳腺断层图像进行第一特征提取处理，确定第一提取特征；
12.对所述初始乳腺摄影图像进行第二特征提取处理，确定第二提取特征；
13.对所述第一提取特征和所述第二提取特征进行拼接处理，确定拼接特征；
14.将所述拼接特征输入残差内残差密集模块躯干进行残差密集处理，确定残差图像。
15.可选地，所述对所述乳腺断层图像进行第一特征提取处理，确定第一提取特征，包括：
16.将所述乳腺断层图像进行特征提取后进行缩小处理，确定第一提取特征，其中，所述第一提取特征用于表征大小为第一数值的图像特征。
17.可选地，所述对所述初始乳腺摄影图像进行第二特征提取处理，确定第二提取特征，包括：
18.对所述初始乳腺摄影图像进行特征提取，通过像素重组对提取得到的特征进行放大处理，确定待处理特征；
19.对所述待处理特征进行上采样处理，确定第二提取特征。
20.可选地，所述将所述拼接特征输入残差内残差密集模块躯干进行残差密集处理，确定残差图像，包括：
21.通过残差内残差密集模块躯干对所述拼接特征进行卷积处理、像素重组处理和激活函数处理，确定残差图像，其中，所述残差内残差密集模块躯干包括残差密集模块。
22.可选地，所述根据所述超分辨率网络对所述初始乳腺摄影图像进行图像上采样处理，确定上采样图像，包括：
23.通过超分辨率网络对所述初始乳腺摄影图像进行双线性插值上采样处理，并进行放大处理，确定上采样图像。
24.可选地，在所述通过残差内残差密集模块躯干对所述拼接特征进行卷积处理、像素重组处理和激活函数处理，确定残差图像，其中，所述残差内残差密集模块躯干包括残差密集模块之前，包括：
25.通过对密集模块进行短残差连接和系数放缩处理，确定残差密集模块；
26.对所述残差密集模块进行长残差连接，确定残差内残差密集模块躯干。
27.另一方面，本发明实施例还公开了一种全数字化乳腺摄影图像合成系统，包括：
28.第一模块，用于获取乳腺断层图像和初始乳腺摄影图像；
29.第二模块，用于将所述乳腺断层图像和所述初始乳腺摄影图像输入超分辨率网络，其中，所述超分辨率网络的损失函数包括梯度引导生成对抗网络损失函数；
30.第三模块，用于根据所述超分辨率网络对所述乳腺断层图像和初始乳腺摄影图像进行残差处理，确定残差图像；
31.第四模块，用于根据所述超分辨率网络对所述初始乳腺摄影图像进行图像上采样处理，确定上采样图像；
32.第五模块，用于对所述残差图像和所述上采样图像进行合成处理，确定全数字化乳腺摄影图像。
33.另一方面，本发明实施例还公开了一种电子设备，包括处理器以及存储器；
34.所述存储器用于存储程序；
35.所述处理器执行所述程序实现如前面所述的方法。
36.另一方面，本发明实施例还公开了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
37.另一方面，本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
38.本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明实施例通过获取乳腺断层图像和初始乳腺摄影图像，能够结合乳腺断层图像补充更多的局部结构信
息和感知特征；另外，本发明实施例将所述乳腺断层图像和所述初始乳腺摄影图像输入超分辨率网络，其中，所述超分辨率网络的损失函数包括梯度引导生成对抗网络损失函数，能够通过使用损失函数使生成的图像细节更丰富；再者，本发明实施例根据所述超分辨率网络对所述乳腺断层图像和初始乳腺摄影图像进行残差处理，确定残差图像；根据所述超分辨率网络对所述初始乳腺摄影图像进行图像上采样处理，确定上采样图像；对所述残差图像和所述上采样图像进行合成处理，确定全数字化乳腺摄影图像，能够使用低辐射量垂直投影生成高质量的全数字化乳腺摄影图像。
附图说明
39.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明实施例的一种全数字化乳腺摄影图像合成方法流程图；
41.图2为本发明实施例的一种残差密集模块结构示意图；
42.图3为本发明实施例的一种残差内残差密集模块结构示意图；
43.图4为本发明实施例的一种残差内残差密集模块躯干结构示意图。
具体实施方式
44.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
45.本发明实施例为了降低乳腺摄影图像与乳腺断层联合成像的放射剂量，通过从乳腺断层数据中合成与乳腺摄影图像相似的二维图像作为乳腺摄影图像的替代，得到全数字化乳腺摄影图像。合成乳腺摄影图像算法使用从乳腺断层成像过程中的投影数据和/或重建得到的乳腺断层数据，不需要额外的放射成像过程，因此在乳腺断层成像以外不需要额外的放射剂量。因此同时使用乳腺断层和乳腺摄影图像，相比于单独使用乳腺摄影图像，本发明实施例合成全数字化乳腺摄影图像的效果提升，并且没有增加放射剂量。
46.参照图1，本发明实施例提供一种全数字化乳腺摄影图像合成方法，包括：
47.s101、获取乳腺断层图像和初始乳腺摄影图像；
48.s102、将所述乳腺断层图像和所述初始乳腺摄影图像输入超分辨率网络，其中，所述超分辨率网络的损失函数包括梯度引导生成对抗网络损失函数；
49.s103、根据所述超分辨率网络对所述乳腺断层图像和初始乳腺摄影图像进行残差处理，确定残差图像；
50.s104、根据所述超分辨率网络对所述初始乳腺摄影图像进行图像上采样处理，确定上采样图像；
51.s105、对所述残差图像和所述上采样图像进行合成处理，确定全数字化乳腺摄影图像。
52.具体地，本发明实施例通过获取乳腺断层图像和低辐射量的垂直投影数据即低分
辨率的初始乳腺摄影图像用于合成高质量的全数字化乳腺摄影图像，通过输入超分辨率网络进行图像处理，经过双通道输出残差图像和上采样图像，并将残差图像和上采样图像进行合成，得到全数字化乳腺摄影图像。本发明实施例采用引导生成对抗网络损失函数训练超分辨率网络，使生成的图像细节更丰富。另外，本发明实施例通过结合乳腺断层图像为低分辨率的初始乳腺图像补充更多的局部结构信息和感知特征，同时通过对低分辨率的初始乳腺图像进行合成全数字化乳腺摄影图像，能够降低使用的放射剂量。
53.进一步作为优选的实施方式，上述步骤s103中，所述根据所述超分辨率网络对所述乳腺断层图像和初始乳腺摄影图像进行残差处理，确定残差图像，包括：
54.对所述乳腺断层图像进行第一特征提取处理，确定第一提取特征；
55.对所述初始乳腺摄影图像进行第二特征提取处理，确定第二提取特征；
56.对所述第一提取特征和所述第二提取特征进行拼接处理，确定拼接特征；
57.将所述拼接特征输入残差内残差密集模块躯干进行残差密集处理，确定残差图像。
58.具体地，本发明实施例分别对乳腺断层图像和乳腺摄影图像进行特征提取，得到第一提取特征和第二提取特征。接着将第一提取特征和第二提取特征进行拼接处理，通过提取乳腺断层图像的特征为低分辨率的初始乳腺图像补充更多的局部结构信息和感知特征。然后将拼接特征输入残差内残差密集模块躯干，通过残差内残差密集模块躯干进行卷积操作、像素重组、leaky relu激活操作和双曲正切激活，最后得到残差图像。
59.进一步作为优选的实施方式，所述对所述乳腺断层图像进行第一特征提取处理，确定第一提取特征，包括：
60.将所述乳腺断层图像进行特征提取后进行缩小处理，确定第一提取特征，其中，所述第一提取特征用于表征大小为第一数值的图像特征。
61.具体地，对乳腺断层图像进行卷积操作、层归一化操作和leaky relu激活操作，其中，第一层卷积层是权重共享组卷积，输出通道数为256。将提取出乳腺断层的图像特征进行缩小操作，缩小到第一数值，得到第一提取特征。需要说明的是本发明中第一数值为四分之一，此数值能够兼顾降低辐射量和保持图像细节的最优参数，若小于第一数值则使生成的图像会丢失部分细节，若大于第一数值则会导致辐射量增大。
62.进一步作为优选的实施方式，所述对所述初始乳腺摄影图像进行第二特征提取处理，确定第二提取特征，包括：
63.对所述初始乳腺摄影图像进行特征提取，通过像素重组对提取得到的特征进行放大处理，确定待处理特征；
64.对所述待处理特征进行上采样处理，确定第二提取特征。
65.具体地，本发明实施例首先提取低分辨率的初始乳腺摄影图像的特征，通过每个像素重组层将提取得到的特征大小放大两倍，得到待处理特征。接着对待处理特征进行上采样操作，输出得到第二提取特征。
66.进一步作为优选的实施方式，所述将所述拼接特征输入残差内残差密集模块躯干进行残差密集处理，确定残差图像，包括：
67.通过残差内残差密集模块躯干对所述拼接特征进行卷积处理、像素重组处理和激活函数处理，确定残差图像，其中，所述残差内残差密集模块躯干包括残差密集模块。
68.具体地，本发明实施例通过残差内残差密集模块躯干对拼接特征进行卷积操作、leaky relu激活操作、像素重组操作和双曲正切激活操作，并通过残差内残差密集模块躯干中的残差内残差密集模块进行残差密集处理，得到残差图像。其中，残差内残差密集模块躯干中有十六个残差内残差密集模块，每个残差内残差密集模块中有三个残差密集模块。
69.进一步作为优选的实施方式，所述根据所述超分辨率网络对所述初始乳腺摄影图像进行图像上采样处理，确定上采样图像，包括：
70.通过超分辨率网络对所述初始乳腺摄影图像进行双线性插值上采样处理，并进行放大处理，确定上采样图像。
71.具体地，本发明实施例通过超分辨率网络对初始乳腺摄影图像进行双线性插值上采样处理，根据双线性插值算法进行上采样处理，并放大至残差图像大小。
72.进一步作为优选的实施方式，所述通过残差内残差密集模块躯干对所述拼接特征进行卷积处理、像素重组处理和激活函数处理，确定残差图像，其中，所述残差内残差密集模块躯干包括残差密集模块之前，包括：
73.通过对密集模块进行短残差连接和系数放缩处理，确定残差密集模块；
74.对所述残差密集模块进行长残差连接，确定残差内残差密集模块躯干。
75.进一步作为优选的实施方式，参照图2、图3和图4，残差内残差密集模块躯干中有残差内残差密集模块，每个残差内残差密集模块内包括残差密集模块，残差密集模块包括密集模块，使用密集模块增大了超分辨率网络的视野域，提高了网络学习能力，对密集模块使用短残差连接和系数放缩处理，能够替代批回归避免梯度消失，而每个残差内残差密集模块躯干和残差内残差密集模块使用长残差连接避免梯度消失。参照图2，在残差密集模块内包括密集模块1，对密集模块进行拼接2处理，接着进行系数放缩3处理，最后进行相加4处理。参照图2，残差内残差密集模块包括残差密集模块5。残差内残差密集模块躯干包括残差内残差密集模块6，然后进行卷积7操作。
76.另一方面，本发明实施例还公开了一种全数字化乳腺摄影图像合成系统，包括：
77.第一模块，用于获取乳腺断层图像和初始乳腺摄影图像；
78.第二模块，用于将所述乳腺断层图像和所述初始乳腺摄影图像输入超分辨率网络，其中，所述超分辨率网络的损失函数包括梯度引导生成对抗网络损失函数；
79.第三模块，用于根据所述超分辨率网络对所述乳腺断层图像和初始乳腺摄影图像进行残差处理，确定残差图像；
80.第四模块，用于根据所述超分辨率网络对所述初始乳腺摄影图像进行图像上采样处理，确定上采样图像；
81.第五模块，用于对所述残差图像和所述上采样图像进行合成处理，确定全数字化乳腺摄影图像。
82.与图1的方法相对应，本发明实施例还提供了一种电子设备，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如前面所述的方法。
83.与图1的方法相对应，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
84.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的
处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
85.在保留肿物、钙化、感知质量的图像质量标准下，对于不同分辨率的低分辨乳腺摄影图像，本发明采用基于深度学习的超分辨率方法合成全数字化乳腺摄影图像，比bicubic基线合成方法具有很大的提升。在结合乳腺断层图像的情况下，基于深度学习的超分辨率方法可以为低分辨率乳腺摄影图像补充更多的局部结构信息和感知特征。在亮度保真的质量标准下，对于较低分辨率的乳腺摄影图像，提出的基于深度学习的超分辨率方法比bicubic基线效果更好。本发明实施例采用提出的基于深度学习的超分辨率方法作为合成乳腺摄影图像方法，使用乳腺摄影图像的十六分之一放射剂量的垂直投影数据即可达到与乳腺摄影图像相似的效果，使用更低放射剂量的垂直投影数据合成乳腺摄影图像也有一定的效果。
86.综上所述，本发明实施例具有以下优点：
87.(1)本发明实施例通过使用低辐射量垂直投影结合乳腺断层影像生成高质量乳腺摄影图像，能够减低使用的放射剂量。
88.(2)本发明实施例使用梯度引导生成对抗网络损失函数使生成的图像细节更丰富。
89.在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
90.此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
91.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-on ly memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
92.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用
于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
93.计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
94.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
95.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
96.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
97.以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。