基于类别激活图的衍射图像识别方法、系统、设备及介质与流程

1.本发明涉及计算机视觉领域，尤其涉及一种基于类别激活图的衍射图像识别方法、系统、设备及计算机存储介质。


背景技术：

2.相干x射线衍射成像(cdi)方法作为x射线成像技术，具有高达纳米级的高分辨率，已应用于广泛的材料科学和生物样品的成像领域。cdi方法基于相干x射线衍射图(以下简称衍射图像)重建图像；然而，衍射图像生成所基于的x射线设施往往是以极高数据速率产生衍射图像，如100gb/s，使后续图像处理过程中产生巨大的计算、通信和存储压力。
3.为了便于后续处理、通信和存储，通过对衍射图像进行过滤，筛除目标功能的图像，降低所需要处理的图像数据规模。由于命中目标的衍射图像中包含布拉格斑点，因此，通常采用识别布拉格斑点方法来筛选出命中目标的衍射图像。目前，对衍射图像中极小尺寸的布拉格斑点识别方法尚存在精度不足、准确性较低、识别效率较慢等技术困难。


技术实现要素：

4.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于类别激活图的衍射图像识别方法、系统、设备及计算机存储介质，可以解决现有的衍射图像中对布拉格斑点识别率较低、准确性不高等问题。
5.为实现上述目的及其他相关目的，本发明于第一方面提供一种类别激活图的衍射图像识别方法，包括：基于样本数据集，于若干个预选模型中确定图像识别性能最高的模型，作为衍射图像的图像识别模型；基于所述样本数据集和所述图像识别模型，确定所述衍射图像的参数配置方式；根据所述参数配置方式，对所述衍射图像预处理，获得预处理后的衍射图像；利用类别激活图中的全局池化层，调整所述图像识别模型的结构，以获得调整后的图像识别模型；利用所述调整后图像识别模型，对所述预处理后的衍射图像进行图像识别，以获得图斑的类别激活图。
6.于本发明一实施例中，所述类别激活图的衍射图像识别方法还包括：于各所述类别激活图中，筛选出包含有热力区域的类别激活图，作为选定的衍射图像；于各所述选定的衍射图像中，截取包含热力区域的部分，以作为最终的衍射图像
7.于本发明一实施例中，所述基于所述样本数据集和所述图像识别模型，确定所述衍射图像的参数配置方式，包括：设置若干个所述衍射图像参数配置的预设方案；各所述参数配置方案包括对所述衍射图像中相同类型参数的不同设置；基于所述图像识别模型，根据各所述预设方案，对所述样本数据集分别进行图像识别性能的检测；于各所述参数配置方案中，获得图像识别性能最高的参数配置方案。
8.于本发明一实施例中，所述参数配置方案包括：设定图像单通道的位深为8位深。
9.于本发明一实施例中，所述利用类别激活图中的全局池化层，调整所述图像识别模型的结构，包括：于所述图像识别模型结构中最后一个卷积层之后的全连接层，替换为类
别激活图中的全局池化层。
10.于本发明一实施例中，所述预选模型包括renet14模型，为对renet18模型进行模块结构调整和模块参数调配后获得的新模型。
11.于本发明一实施例中，所述对renet18模型进行模块结构调整，包括：删除所述renet18 模型于模块序列中的最后一子模块
12.本发明于第二方面提供一种基于类别激活图的衍射图像识别系统，包括：模型选取模块，用于基于样本数据集，于若干个预选模型中确定图像识别性能最高的模型，作为衍射图像的图像识别模型；图像参数配置模块，基于所述样本数据集和所述图像识别模型，确定所述衍射图像的参数配置方式；图像预处理模块，用于根据所述参数配置方式，对所述衍射图像进行预处理，获得预处理后的衍射图像；模型调整模块，利用类别激活图中的全局池化层，调整所述图像识别模型的结构，以获得调整后的图像识别模型；识别处理模块，利用所述调整后图像识别模型，对所述预处理后的衍射图像进行图像识别，以获得图斑的类别激活图。
13.于本发明一实施例中，所述预选模型包括renet14模型，为对renet18模型进行模块结构调整和模块参数调配后获得的新模型。
14.于本发明一实施例中，所述基于类别激活图的衍射图像识别系统，还包括：后处理单元；用于在各所述类别激活图中，筛选出包含有热力区域的类别激活图，作为选定的衍射图像；以及，于各所述选定的衍射图像中，截取包含热力区域的部分，以作为最终的衍射图像。
15.本发明于第三方面提供一种电子设备，包括：处理器、通信接口、存储器以及通信总线；所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；所述存储器用于存放至少一指令；所述指令使所述处理器执行如前所述任一种基于类别激活图的衍射图像识别方法。
16.本发明于第四方面提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前所述任一种基于类别激活图的衍射图像识别方法。
17.与现有技术相比，本发明提供的所述类别激活图的衍射图像识别方法、系统、设备及计算机存储介质，可以显著提升了模型预测精确度，实现以较高的准确率实现对无效衍射图像的筛选，并通过筛选可以大大降低了衍射图像的存储大小，为后续的图像处理、信息提取等提供了便利。
附图说明
18.图1显示为本发明所述类别激活图的衍射图像识别方法于一实施例中的流程示意图
19.图2显示为本发明中所述调整后的图像识别模型于一实施例的结构框架示意图；
20.图3显示为本发明中所述resnet14模型的结构示意图；
21.图4显示为利用所述类别激活图的衍射图像识别方法获得的所述类别激活图的热力区域显示于一实施例中的示意图；
22.图5显示为利用所述类别激活图的衍射图像识别方法获得的所述类别激活图的热
力区域显示于一实施例中的示意图(包括热力区域范围的截取框)；
23.图6显示为本发明所述类别激活图的衍射图像识别系统于一实施例中的结构示意图；
24.元件标号说明
[0025]2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
基于类别激活图的衍射图像识别系统
[0026]
21
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
模型选取模块
[0027]
22
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
图像参数配置模块
[0028]
23
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
图像预处理模块
[0029]
24
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
模型调整模块
[0030]
25
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
识别处理模块
具体实施方式
[0031]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0032]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0033]
本发明提供了一种基于类别激活图的衍射图像识别方法、系统、设备及计算机存储介质，用于对衍射图像中的布拉格斑点进行识别，以获取衍射图像中布拉格斑点(以下简称图斑) 的识别结果。
[0034]
请参阅图1，为基于类别激活图的衍射图像识别方法的流程示意图。
[0035]
如图1所示，所述方法包括以下步骤：
[0036]
s101，基于样本数据集，对若干个预选模型的识别性能进行检测，根据检测结果确定衍射图像的图像识别模型；
[0037]
具体的，获取待识别衍射图像的样本数据集；所述样本数据集包括预分类后的命中目标图像子集、非命中目标图像子集和可能命中目标图像子集；
[0038]
预先选定若干个的神经网络模型作为所述预设模块，分别基于所述样本数据集进行图像识别，以获得各预设模型的图像识别准确率、速率和精度等识别性能参数；其中，所述预设模块可以为现有的神经网络模型，也可以为新构建的神经网路模型，在此不做限定。
[0039]
于所述识别性能参数中，选取一个或多个参数作为评价指标，对各预设模型的识别性能进行评定，以获得各预设模型中性能最优的模型，作为衍射图像的图像识别模型。
[0040]
s102，基于所述样本数据集和所述图像识别模型，确定与所述图像识别模型适配的衍射图像的参数配置方式；
[0041]
具体的，基于待识别的衍射图像，预先设置若干个图像参数配置的预设方案；各所述参数配置的预设方案包括对所述衍射图像中相同类型参数的不同设置；
[0042]
其中，所述图像参数包括但不限于图像通道数量、各通道的位深或其他现有的图像固有参数信息。
[0043]
具体的，基于步骤s101获得的图像识别模型，通过对所述样本数据集基于不同的图像参数配置方案，分别进行图像识别性能的检测，于各所述图像参数配置方案中获得最优的参数配置方案，作为与所述图像识别模型适配的图像参数配置方式。
[0044]
s103，基于所述参数配置方式，对所述衍射图像预处理，获得预处理后的衍射图像；
[0045]
具体的，基于步骤s102获得所述图像参数配置方式，对待识别的各衍射图像进行预处理，获得预处理后各衍射图像。
[0046]
s104，利用类别激活图中的全局池化层，调整所述图像识别模型的结构，以获得调整后的图像识别模型；调整后所述图像识别模型中包含所述全局池化层；
[0047]
如图2所示，将所述类别激活图cam中的gap层(global average pooling，全局池化层)代替所述图像识别模型中的全连接层，即于所述第一图像模型中的最后一个卷积层之后，对获得的特征图进行全局池化，并将特征图中各像素的卷积特征向量与权重矩阵(图中的 w1，w2，......，wn)结合，以获得一包括gap层的神经网络模型，作为调整后图像识别模型。
[0048]
其中，权重矩阵于模型训练前随机初始化。
[0049]
基于该模型，可对各特征图进行计算获得各特征图于判别结果中的贡献度，即获得特征图中各个子区域对判别结果的贡献度。
[0050]
具体的，对于输入的图像，对于给定的点(x，y)，用f
k
(x，y)表示该点的卷积特征向量，则经过全局池化之后，用f
k
代表∑
x，y
，f
k
(x，y)；对于单个像素点k，用作为c类中每个f
k
的贡献度，得到：
[0051][0052][0053]
其中，s
c
为每个类别的得分；m
c
为每个类别类c的类别激活图，用于反映每个像素点在判定过程中对每个类别的贡献度。
[0054]
s105，利用所述调整后图像识别模型，对所述预处理后的衍射图像进行图像识别，以获得图斑的类别激活图；
[0055]
具体的，利用所述调整后图像识别模型，对所述预处理后的衍射图像进行图像识别，获得图中各像素的贡献度信息；将图中各像素的贡献度信息图形化显示，例如，贡献度越高的像素点显示颜色越深，从而形成对应的贡献度特征图。
[0056]
将所述贡献度特征图与图像识别前的所述衍射图像进行匹配，即将各像素点的贡献度信息与该像素点于所述衍射图像中的位置相关联，从而获得该衍射图像的图斑类别激活图。
[0057]
s106，于各所述类别激活图中，筛选出包含有热力区域的所述类别激活图，作为选定的衍射图像；于各所述选定的衍射图像中，截取其中包含热力区域的图像，以作为最终的衍射图像存储。
[0058]
具体的，于各所述类别激活图中，提取所述热力区域的最小外扩矩形区域，截取该区域内的图像数据，剔除该区域外的其他图像数据，以获得最终的衍射图像存储，从而减少
所述相干x射线衍射成像过程中图像存储空间和命中目标图像的处理效率。
[0059]
以下将通过一具体实施例，详细阐述本发明所述衍射图像识别方法；
[0060]
于步骤s101中，选取开源的相干x射线图像数据集
[1]
中的l498数据集，作为所述衍射图像的样本数据集；在该数据集中，各图像均已标记为hit、maybe或miss三类中的一种。
[0061]
预先选定以下表1示出的神经网络模型作为预设模型，于rtx2080 gpu设备上对各预设模型进行图像识别，获得图像识别的准确度和识别速度信息，以获得各模型的图像识别性能，具体见表1；其中，识别性能最佳的模型为resnet14模型，将其作为图像识别模型。
[0062]
表1各预设模型信息和各预设的图像识别性能
[0063]
预选模型模型大小(m)测试时间(秒)准确率(％)resnet1422.314.7985.93resnet1889.516.1774.87resnet34170.018.0575.88resnet50188.020.569.85vgg161070.027.7165.83vgg191120.030.3168.34densenet56.219.2659.29efficientnet42.630.3159.80
[0064]
需要说明的是，所述resnet14模型为预先构建的模型，为对现有的resnet18模型的结构进一步调整后的模型。
[0065]
于一具体实施方式中，所述resnet14模型为基于现有的resnet18模型，结合衍射图像中图斑的特征，对resnet18模型中各子模块模型参数进行调整，并且，删除其最后一子模块后，形成的模型；更具体的，请参阅图3，示出为所述resnet14模型的结构示意图，其中，各模块参数和各模型结构具体如图3所示。
[0066]
于步骤s102中，预先设置图像位深参数的配置方案，如表2所示，利用所述resnet14 模型，对所述样本数据集基于如表2所示的图像参数配置方案，分别进行识别准确性的检测，获取其中最高的图像参数配置方案为：8位深；则基于该参数配置方案，对待识别的衍射图像进行预处理，即将各衍射图像处理为8位深的衍射图像。
[0067]
表2各图像参数配置方案信息和对应的图像识别性能
[0068]
参数配置方案准确率(％)16位深54.498位深71.72
[0069]
基于步骤s104中调整后的图像识别模型，对预处理为8位深的衍射图像进行图像识别，以获得对应的图斑类别激活图，在经过类别激活图的热力区域显示之后的效果如图4和图5 所示。于各显示热力区域的衍射图像中，截图图中的显示热力区域的部分进行保存；示例性的，于图5所示的衍射图中，仅截取上图5中方框内的图像进行保存。其原图(图4)的大小为720*720，截取后的图像大小为374*348，截取后的衍射图像大小约为原图的25％，即该衍射图像的储存过程中，节省了约75％的储存空间。
[0070]
请参阅图6，本发明还提供一种基于类别激活图的衍射图像识别系统，包括：
[0071]
模型选取模块21，用于基于样本数据集，于若干个预选模型中确定图像识别性能
最高的模型，作为衍射图像的图像识别模型；
[0072]
可选的，所述预选模型包括resnet14模型，为基于现有的resnet18模型，结合衍射图像中图斑的特征，对resnet18模型中各子模块模型参数进行调整，并且，删除其最后一子模块后，形成的新模型。
[0073]
图像参数配置模块22，基于所述样本数据集和所述图像识别模型，确定所述衍射图像的参数配置方式；
[0074]
图像预处理模块23，用于根据所述参数配置方式，对所述衍射图像进行预处理，获得预处理后的衍射图像；
[0075]
其中，所述图像参数包括但不限于图像通道数量、各通道的位深或其他现有的图像固有参数信息。
[0076]
可选的，所述图像参数包括各通道的位深为8位深。
[0077]
模型调整模块24，利用类别激活图中的全局池化层，调整所述图像识别模型的结构，以获得调整后的图像识别模型；
[0078]
将所述类别激活图cam中的gap层(global average pooling，全局池化层)代替所述图像识别模型中的全连接层，即于所述第一图像模型中的最后一个卷积层之后，对获得的特征图进行全局池化，并将特征图中各像素的卷积特征向量与权重矩阵(图中的w1,w2,
……
， wn)结合，以获得一包括gap层的神经网络模型，作为调整后图像识别模型。
[0079]
其中，权重矩阵于模型训练前随机初始化；
[0080]
基于该模型，可对各特征图进行计算获得各特征图于判别结果中的贡献度，即获得特征图中各个子区域对判别结果的贡献度。
[0081]
具体的，对于输入的图像，对于给定的点(x,y)，用f
k
(x,y)表示该点的卷积特征向量，则经过全局池化之后，令f
k
＝∑
x,y
fk(x,y)；对于单个像素点k，用作为c类中每个f
k
的贡献度，得到：
[0082][0083][0084]
其中，s
c
为每个类别的得分；m
c
为每个类别类c的类别激活图，用于反映每个像素点在判定过程中对每个类别的贡献度。
[0085]
识别处理模块25，利用所述调整后图像识别模型，对所述预处理后的衍射图像进行图像识别，以获得图斑的类别激活图。
[0086]
可选的，所述基于类别激活图的衍射图像识别系统还包括：后处理单元；用于在各所述类别激活图中，筛选出包含有热力区域的类别激活图，作为选定的衍射图像；以及，于各所述选定的衍射图像中，截取包含热力区域的部分，以作为最终的衍射图像。
[0087]
本发明提供一种电子设备，所述电子设备包括：处理器、存储器、通信接口和系统总线；存储器和通信接口通过系统总线与处理器连接并完成相互间的通信，所述存储器用于存放至少一指令，所述指令使所述处理器执行如上所述基于类别激活图的衍射图像识别方法的各个步骤。
[0088]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称 cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器
(digitalsignal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0089]
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器调用时实现如上所述基于类别激活图的衍射图像识别方法。所述计算机可读存储介质可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器 (non
‑
volatile memory)，例如至少一个磁盘存储器。
[0090]
综上所述，本发明提出的所述基于类别激活图的衍射图像识别方法、系统、设备及计算机存储介质，通过于预选模型中确定识别性能最高的模型，作为衍射图像的图像识别模型，和基于所述图像识别模型，确定所述衍射图像的参数配置方式，并且，基于类别激活图技术对所述图像识别模型调整和改进，以基于获得改进后图像识别模型进行识别，获得图斑的类别激活图；以及，基于所述类别激活图对衍射图像进行筛选和热力区域提取；不仅可以显著提升了模型预测精确度，实现以较高的准确率实现对无效衍射图像的筛选，并通过筛选，可以大大降低了衍射图像的存储大小，为后续的图像处理、信息提取等提高了便利；此外，基于类别激活图技术对所述图像识别模型调整和改进，还可以实现模型的轻量化，以便于应用场景的进一步拓展。
[0091]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
[0092]
[1]f.r.maia,“the coherent x
‑
ray imaging data bank,”nature methods,vol.9,no.9,pp.854
–
855, 2012。