一种HRTEM图像中芳香烃晶格条纹交叉的分离合并方法与流程

一种hrtem图像中芳香烃晶格条纹交叉的分离合并方法
技术领域
1.本发明涉及图像处理技术领域，具体而言，涉及一种hrtem图像中芳香烃晶格条纹交叉的分离合并方法。


背景技术：

2.近年来，科研人员为了研究煤芳香烃的分子排列，主要通过高分辨透射电镜来直接观察，这为研究芳香烃的分子排列带来了极大的方便，但是如何准确地有效地观察分子排列，尤其是交叉的晶格条纹，是一个十分重要、也是一个十分棘手的问题。
3.目前，主要的处理方法有两种。第一种是科研人员将在高分辨透射电镜下观察到的样品图片，通过一些软件将图像阈值分割，并对图像进行二值化处理，之后运用相关绘图软件，根据人们的主观意识，手动绘出条纹；另一种是科研人员利用程序的手段，自动的提取出条纹，例如康倩楠和张志强开发了virtualfringe的程序，他们将图片导入程序，之后对图像进行降噪，傅里叶变换等操作，提取出晶格条纹，对提取出的晶格条纹，进行手动修剪分支，以解决晶格条纹的交叉；王绍清等通过mask
‑
r
‑
cnn的手段，对条纹进行标注，之后对神经网络训练，再利用神经网络精确地提取出条纹，该提取手段虽然加快了处理速度，但是在晶格条纹的标签部分，依然是通过人为划分，对于交叉的晶格条纹，还是依靠人工绘制。
4.在现有的两种处理方法中，对于第一种来说，一张图像里面包含巨大的条纹数量，手动画出条纹不说其准确程度，耗费时间和耗费体力是一定的，随后在手动分割交叉条纹的过程中，过于依赖经验和主观意识；对于第二种方法来说，虽然能快速地提取出条纹，但是并为对晶格条纹的交叉部分进行有效地自动处理，同时神经网络对人为事先定义好的条纹进行处理，也为考虑交叉部分，进而也会导致误判。


技术实现要素：

5.为解决上述技术问题，本发明提供一种hrtem图像中芳香烃晶格条纹交叉的分离合并方法。
6.本发明解决其技术问题所采用的技术方案是：本发明公开一种hrtem图像中芳香烃晶格条纹交叉的分离合并方法，包括以下步骤：
7.步骤1)，对预处理后的原始图像进行语义分割，将晶格条纹区域分离出来；
8.步骤2)，对分离晶格条纹区域的主体部分图像进行分块，使用遗传算法进行阈值分割，将分块后的矩阵合并得到晶格条纹底图；
9.步骤3)，除去晶格条纹底图周边范围的毛刺，骨骼化提取条纹，对骨骼化后图像的联通区域进行标签定义，得到初步晶格条纹图像，将标签顺序按照从小到大的顺序排列，并作为细胞矩阵第一列，并将每一个标签下的晶格条纹坐标存放在细胞矩阵的第二列；
10.步骤4)，对初步晶格条纹图像除去毛刺，使晶格条纹的长度符合要求；
11.步骤5)，对除去毛刺的初步晶格条纹图像，分割出交叉条纹和非交叉条纹，以非交
叉条纹为基础，根据相似度的大小，判断交叉条纹分割之后的归属，除去了所有的毛刺之后，将所有归属条纹部分所连接的交叉点位置补上；
12.步骤6)，对步骤5)得到的图像，进行方向的判断，更好的观察晶格条纹的走向，以及对应大小的分布图。
13.优选地，对预处理后的原始图像进行语义分割的步骤中，包括步骤：
14.对预处理后的原始图像进行标签定义，利用matlab image label工具，标出语义分割的掩膜图像，并导出掩膜矩阵；
15.对标签定义的图片进行训练，并导出最后的语义分割模型；
16.输入一张完整的hrtem图像，即可得到晶格条纹区域图像。
17.优选地，在除去晶格条纹底图周边范围的毛刺的步骤中，得到晶格条纹底图之后，去除底图中突出的单个像素点，完成对毛刺的去除。
18.优选地，定义晶格条纹底图中的条纹矩阵为矩阵a，将最初的矩阵a进行扩大；扩大的方法为：矩阵a设定为x行y列，建立矩阵a_expand，x 2行，y 2列，矩阵a对应的是矩阵a_expand(2,2)至a_expand(x 1,y 1)，其他的空缺部分，是将矩阵a_expand边界一周的像素点，向周围补零得到；
19.条纹部分是联通区域，对矩阵a联通区域进行判断，使得每一个条纹都有对应的标签，并按照数目从小到大的顺序进行排列，并得出标签总数n和标签矩阵l；
20.建立与原始图片a一样大小的全零矩阵a1和a2，用于统计交叉点和边界点；遍历a中的每一个元素，若a中的元素大于0，同时在其八邻域中进行卷积运算；
21.所有的卷积结果大于3的元素，在a1和a2中在对应行数和列数相同的位置，记录下八邻域卷积结果，用于交叉点的判断；所有的卷积结果等于2的，在a1和a2中在对应行数和列数相同的位置，用于边界点的判断；
22.建立空矩阵b1，遍历a1中每一个元素，如果数值大小在其八邻域中是最大的，则判定为交叉点，将交叉点对应的行数和列数存储到b1中，b1的第一列统计行数，第二列统计列数；对于没有交叉点的晶格条纹，将其单独提取出来，存放到矩阵d中；
23.有了所有的交叉点信息之后，按照对应的列数，在原始图像a中，去除交叉点，得到新的矩阵c，得到标签矩阵l2和标签总数n2；由于除去了交叉点，所以剩下的是断裂的条纹，即为初步晶格条纹图像。
24.优选地，由于晶格条纹最短是0.25nm，而一个像素点是0.03nm，考虑到交叉，以三个和三个以下像素点所形成的连通区域为毛刺，对l2中的连通区域进行遍历，以除去初步晶格条纹图像中的毛刺。
25.优选地，去除毛刺之后，得到所有的分割之后的晶格条纹，将这些条纹按照对应的新的标签顺序，一一计算相似度。选取条纹的灰度均值、灰度方差、灰度三阶矩、中位数、众数作为特征值进行判断，采用斯皮尔曼相关系数判断公式：
[0026][0027]
其中，x：原始数据；y：对比数据；xi为原始数据中的第i个数据，为原始数据的平均值；y
i
为对比数据中的第i个数据，为对比数据的平均值。
[0028]
与现有技术相比，本发明使用语义分割、遗传算法和相似度的方法，不仅能够找到
主要的条纹部位进行分析处理，同时也减少了二值化对图像失真的影响；将每次提取到的条纹，去除毛刺，再以非交叉条纹为基准，对每一个交叉条纹进行相似度判断，根据相似度的差异程度，来决定分割之后的条纹，是组合还是继续保持分割状态；对所有的条纹的方向和大小进行判断，生成对应的图片，以供研究。本发明能够避免人工修剪条纹的繁琐，以及减少人工修剪时主观因素和经验因素造成的修剪困难，进而方便快捷地提取出晶格条纹，同时克服噪音部分，提高准确度，最后得到条纹的分布情况、长度、角度和长径比等信息，使hrtem中携带的晶格条纹信息更加准确有利。
附图说明
[0029]
下面将结合附图及实施例对本发明作进一步说明，附图中：
[0030]
图1是本发明提供的一种hrtem图像中芳香烃晶格条纹交叉的分离合并方法的流程示意图。
[0031]
图2是本发明提供的一种hrtem图像中芳香烃晶格条纹交叉的分离合并方法的遗传算法的原理示意图。
[0032]
图3是本发明提供的一种hrtem图像中芳香烃晶格条纹交叉的分离合并方法中去除晶格条纹周围毛刺的示意图。
[0033]
图4是本发明提供的一种hrtem图像中芳香烃晶格条纹交叉的分离合并方法中条纹矩阵扩大后的示意图。
[0034]
图5是本发明提供的一种hrtem图像中芳香烃晶格条纹交叉的分离合并方法中标签定义示意图。
[0035]
图6是本发明提供的一种hrtem图像中芳香烃晶格条纹交叉的分离合并方法中卷积效果示意图。
[0036]
图7是本发明提供的一种hrtem图像中芳香烃晶格条纹交叉的分离合并方法中去除毛刺过程示意图。
[0037]
图8是本发明提供的一种hrtem图像中芳香烃晶格条纹交叉的分离合并方法中条纹分类示意图。
具体实施方式
[0038]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步的详细说明。应当理解，此外所描述的具体实施例仅用以解释本发明，但并不用于限定本发明。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都将属于本发明保护的范围。
[0039]
本发明的目的是提供一种hrtem图像中芳香烃晶格条纹交叉的分离合并方法，包括以下步骤：
[0040]
步骤1)，对预处理后的原始图像进行语义分割，将晶格条纹区域分离出来；
[0041]
步骤2)，对分离晶格条纹区域的主体部分图像进行分块，使用遗传算法进行阈值分割，将分块后的矩阵合并得到晶格条纹底图；
[0042]
步骤3)，除去晶格条纹底图周边范围的毛刺，骨骼化提取条纹，对骨骼化后图像的联通区域进行标签定义，得到初步晶格条纹图像，将标签顺序按照从小到大的顺序排列，并
作为细胞矩阵第一列，并将每一个标签下的晶格条纹坐标存放在细胞矩阵的第二列；
[0043]
步骤4)，对初步晶格条纹图像除去毛刺，使晶格条纹的长度符合要求；
[0044]
步骤5)，对除去毛刺的初步晶格条纹图像，分割出交叉条纹和非交叉条纹，以非交叉条纹为基础，根据相似度的大小，判断交叉条纹分割之后的归属，除去了所有的毛刺之后，将所有归属条纹部分所连接的交叉点位置补上；
[0045]
步骤6)，对步骤5)得到的图像，进行方向的判断，更好的观察晶格条纹的走向，以及对应大小的分布图。
[0046]
本发明使用matlab2021a和excel2016软件，提供一种hrtem图像中芳香烃晶格条纹交叉的分离方法。用于避免人工修剪条纹的繁琐，以及减少人工修剪时主观因素和经验因素造成的修剪困难，进而方便快捷地提取出晶格条纹，同时克服噪音部分，提高准确度，最后得到条纹的分布情况、长度、角度、长径比等信息，使hrtem中携带的晶格条纹信息更加准确有利。
[0047]
具体的，本发明首先利用语义分割的手段，对16800张224*224图像进行标签定义，可以分为三个标签，背景部分、条纹部分和比例尺部分。语义分割是图像处理中常用的处理方法之一，它可以使目标快速分离出来，常用在无人驾驶、智慧农业等领域，将语义分割运用到晶格条纹的处理中，无不加快了运行速度和解译效率同时将背景和条纹比例尺部分分开，比起原有单一的阈值过滤办法，不仅加快了速度，还减少了大部分噪音的生成。
[0048]
对原始图像进行傅里叶变换、反变换，其目的是将原始图像中一些噪音点去除，表面提取条纹的时候因为某些噪音点存在的过多而造成的失误。对处理后的图像进行分析，由于处理之后的图像只有三个颜色，其中对应背景部分是橘黄色，将其转化成灰度图像，灰度值仅有三个，每一个部分都是同一种灰度值，进而根据此将图像分割出来得到主图部分图片。将训练好的网络模型导出，在matlab中选择图片，利用训练好的神经网络模型对其进行处理，得到晶格条纹区域部分。
[0049]
在得到主体部分的图像之后，便是将图像中每一块区域进行各自的阈值分割，阈值分割的手段采用遗传算法。所谓遗传算法，就是模拟自然界生物进化机制的一种算法，遵循适者生存，优胜劣汰的法则，从而在模拟自然进化的过程中寻找到最优的解决办法，增加算法的运行速度。遗传算法操作包括三个基本的遗传算子，即选择、交叉和变异。
[0050]
在群体中选出优胜的个体，淘汰劣质的个体，这种方式称之为选择。交叉在生物进化中起着至关重要的作用，即基因重组。变异是生物生存过程中产生的基因突变。根据上述三个基本算子，在给定的条件下，有方向的寻找最优解，在最优个体的适应程度达到阈值的时候，或者最优个体的自适应程度不在上升，算法终止，从而解决问题。遗传算法流程图如图二所示。
[0051]
遗传算法具有全局寻优的能力并且通用性好，可以与其他算法一起混合使用。将每一个细胞内的阈值参数通过遗传算法的方式进行编码，再根据交叉、变异后开始生成种群，最后得到最优的阈值参数，这样就能避免每次人为选定阈值的不确定性和主观性，也加快了整定速率。由于人眼在辨别晶格条纹的时候，是选取较为黯淡的部分，也就是说，在每一个细胞所处的范围内，其阈值应当是小于所处部分的平均值，所以最初的阈值，应当比小于平均灰度的一个单位，使得最初的父代个体并不是完全随机产生，加快寻优速率。得到最佳个体之后，通过阈值分割的手段，将个体阈值大小以上的像素点，灰度值转化为255，其余
的不变。
[0052]
得到晶格条纹底图之后，去除底图中突出的单个像素点，如图三所示，再进行骨骼化提取，得到条纹。
[0053]
在有了初步的条纹之后，将图像中毛刺部分去除，由于图片都是由数字矩阵构成，所以hrtem图像也可以用矩阵的形式进行表达，在提取得到条纹之后，需要对条纹进行多次处理，将现在得到的条纹矩阵位定义为矩阵a。对于矩阵a边界点的像素，无法判断其3领域情况，因此将最初的矩阵a进行扩大。扩大的方法如下，矩阵a是x行y列，建立矩阵a_expand，x 2行，y 2列，矩阵a对应的是矩阵a_expand(2，2)至a_expand(x 1，y 1)，其他的空缺部分，是将矩阵a_expand边界一周的像素点，向周围补零得到，具体如图四所示。
[0054]
由于条纹部分是联通区域，所以通过bwlabel函数对矩阵a联通区域进行判断，使得每一个条纹都有对应的标签，并按照数目从小到大的顺序进行排列，并得出标签总数n和标签矩阵l，如图五所示。
[0055]
建立与原始图片a一样大小的全零矩阵a1和a2，用于统计交叉点和边界点。遍历a中的每一个元素，若a中的元素大于0，同时在其八邻域中进行卷积运算，卷积核为：
[0056][0057]
卷积公式如下所示：
[0058][0059]
f(x，y)表示图像中灰度值大小。
[0060]
卷积的形式如图六所示，所有的卷积结果大于3的元素，在a1中在对应行数和列数相同的位置，记录下八邻域卷积结果，用于交叉点的判断；所有的卷积结果等于2的，用于边界点的判断，并按照上述相同的办法记录在a2中。建立一个空矩阵b1，遍历a1中每一个元素，如果该元素的数值大小在其八邻域中也是最大的，则这点为交叉点，将交叉点对应的行数和列数存储到b1中，b1的第一列统计行数，第二列统计列数。对于没有交叉点的晶格条纹，将其单独提取出来，存放到矩阵d中。
[0061]
有了所有的交叉点信息之后，按照对应的列数，在原始图像a中，去除交叉点，得到新的矩阵c，使用bwlabel函数对其进行分析，并得到标签矩阵l2和标签总数n2。由于除去了交叉点，所以剩下的是断裂的条纹。由于晶格条纹最短是0.25nm，而一个像素点一般是0.03nm，考虑到交叉，以三个和三个以下像素点所形成的连通区域为毛刺，对l2中的连通区域进行遍历，即可除去毛刺，如图七所示。
[0062]
去除毛刺之后，得到所有的分割之后的晶格条纹，将这些条纹按照对应的新的标签顺序，一一计算相似度。选取条纹的灰度均值、灰度方差、灰度三阶矩、中位数、众数作为特征值进行判断，采用斯皮尔曼相关系数判断公式：
[0063][0064]
其中，x：原始数据；y：对比数据；x
i
为原始数据中的第i个数据，为原始数据的平
均值；y
i
为对比数据中的第i个数据，为对比数据的平均值。
[0065]
斯皮尔曼利用单调方程评价两个统计变量的相关性。如果数据中没有重复值，并且当两个变量完全单调相关时，斯皮尔曼相关系数则为 1或
‑
1。求出了每一个条纹的相似度之后，若在原本的每一个联通区域中，晶格条纹的相似度相似与非交叉点的晶格条纹，则代表这个条纹应当和非交叉点的条纹属于同一种类。其他的不相似与非交叉点的晶格条纹，按照相似度的大小分成5类。根据相似度的接近程度，可以将需要连接的交叉位置连接起来。从图八中可以知道条纹的标签顺序，将条纹按照有非交叉点进行分类后，如下表所示。
[0066][0067][0068]
表格中可以看出，6号和7号分割前是同一条纹，分割后每一段区域相似度差别挺大，然而8号9号，相似度差别挺小，所以可以认为，6号7号需要分开，8号9号合并，即将交叉点的位置补上，此时根据条纹的起始位置和终点位置，计算出晶格条纹的角度，通过角度来判断晶格条纹的方向。我们可以知道一条直线可以对应两个角度，例如y＝x，既是45
°
又是225
°
，所以计算角度的过程中，只需要计算0
°‑
180
°
之间即可，最后得到角度的分布图，方便我们观察晶格条纹的走向。
[0069]
需要说明的是，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0070]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。