一种用于小尺度相似结构的语义分割方法及系统与流程

1.本发明涉及神经网络技术领域，尤其涉及一种用于小尺度相似结构的语义分割方法及系统。


背景技术：

2.深度学习网络在各个领域的应用越来越多，目前，可以使用深度学习网络实现图像检测、参数预测、图像识别等目的，这些都基于语义分割实现。
3.然而，对于小尺度且结构较为相似的结构，现有的语义分割方法没有考虑其结构特点，分割准确率不高，常容易将非目标的对象进行区域分割，容易出现误判，导致影响后续的功能实现。


技术实现要素：

4.本发明所要解决的技术问题是针对现有技术的不足，提供一种用于小尺度相似结构的语义分割方法及系统。
5.本发明解决上述技术问题的技术方案如下：
6.一种用于小尺度相似结构的语义分割方法，包括：
7.获取待分割图像的步骤；
8.将所述待分割图像输入到卷积神经网络得到小尺度相似结构的分割结果和关键点的步骤；
9.根据所述关键点对所述分割结果进行处理的步骤。
10.本发明解决上述技术问题的另一种技术方案如下：
11.一种用于小尺度相似结构的语义分割系统，包括：采集设备、处理设备和显示设备，其中：
12.所述采集设备用于获取待分割图像；
13.所述处理设备用于将所述待分割图像输入到卷积神经网络得到小尺度相似结构的分割结果和关键点；并根据所述关键点对所述分割结果进行处理；
14.所述显示设备用于显示所述待分割图像的分割结果。
15.本发明的有益效果是：本发明提供的方法及系统，适用于小尺度相似结构的语义分割，通过根据小尺度相似结构影像的特点设计特征提取网络结构，对小尺度相似结构进行区域分割和关键点提取，充分利用了影像信息和关键点信息，从而提高分割精度。
16.本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
17.图1为本发明方法的实施例提供的流程示意图；
18.图2为本发明方法的实施例提供的脊椎分割结果示意图，a为关键点示意图，b为分
割区域示意图；
19.图3为本发明方法的其他实施例提供的卷积神经网络结构示意图；
20.图4为本发明方法的其他实施例提供的用于测量骨密度的卷积神经网络结构流程示意图；
21.图5为本发明系统的实施例提供的结构框架示意图。
具体实施方式
22.以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
23.如图1所示，为本发明方法的实施例提供的流程示意图，该方法用于提高小尺度相似结构的语义分割准确性，包括：
24.s1获取待分割图像。
25.需要说明的是，待分割图像可以为包含小尺度相似结构的影像数据。小尺度相似结构指的是尺寸较小结构较为相似的对象结构，例如，可以为人的脊椎、花瓣、密集排列的建筑装饰物等。这些对象具有一些共同特点，即尺寸通常较小，且形状较为相似，在使用卷积神经网络进行分割时，容易受到干扰，现有的卷积神经网络没有针对这些结构的特点进行优化，从而导致语义分割的准确率不高。
26.s2，将待分割图像输入到卷积神经网络得到小尺度相似结构的分割结果和关键点。
27.需要说明的是，关键点可以为每个小尺度相似结构的中心点，由于小尺度相似结构相比于其他对象形状较为固定，因此可以预先标记中心点，便于机器学习和识别，相比于直接进行小尺度相似结构的区域分割，通过中心点辅助的方法识别率很高。
28.卷积神经网络的结构可以根据实际需求设置，卷积神经网络的输入可以为待分割图像，输出可以为每个小尺度相似结构分割区域特征图和每个小尺度相似结构的关键点特征图。
29.s3，根据关键点对分割结果进行处理。
30.在得到每个小尺度相似结构分割区域特征图和每个小尺度相似结构的关键点特征图后，可以将包含关键点的分割区域作为最终的分割结果，这样可以剔除非目标对象的分割结果，例如，在对花朵进行语义分割时，生成的分割区域中还有叶子，那么只有花朵有关键点，叶子上无关键点，那么可以去除叶子的分割区域，从而高分割的准确性。
31.还可以根据关键点重新确定分割区域的范围，例如，假设对脊椎进行语义分割，得到的分割结果中，脊椎与旁边的骨组织共同被分割出来了，就导致关键点在该分割区域范围中的位置并不是中心点的附近，从而可以根据关键点重新确定分割区域的范围，使关键点处于脊椎中心点的预设范围内，从而提高区域分割的精度。
32.下面以对脊椎进行语义分割为例，进行进一步说明。
33.例如，如图2的b所示，在图像分割时，可能出现误判或者将非脊椎的骨组织进行了分割，得到的分割图可能包含非脊椎区域，那么可以通过关键点对分割区域进行筛选，从图2的a中可以看出，关键点的识别结果较为准确，但是无分割区域，通过将关键点与分割区域结合，将包含关键点的分割区域作为最终的分割结果，从而得到准确率更高的脊椎区域分
割结果。
34.也就是说，在得到每块脊椎的分割结果和关键点之后，将包含关键点的分割区域作为最终的分割结果，可以提高分割的准确性。
35.在得到更为准确的脊椎分割图后，还可以基于脊椎分割图作如下应用：例如，使用脊椎分割图对脊椎的骨密度进行检测，可以使用卷积神经网络处理脊椎分割图，得到每块脊椎的骨密度。
36.检测骨密度的卷积神经网络的结构可以根据实际需求设置，可以通过现有神经网络实现，例如，可以选择cnn网络。
37.如图4所示，提供了一种示例性的检测骨密度的卷积神经网络结构示意图，下面结合图4对检测骨密度的卷积神经网络结构进行说明。
38.卷积神经网络包括：3层3*3的卷积层c7，卷积核个数分别为512、256、128，用于提取特征，2层全连接层f和最终层o，最终层o的单元个数为对应脊椎块的数量，分别测量出对应脊椎块的骨密度。
39.t11、t12、l1和l2分别是不同的脊椎。
40.下面对检测骨密度的卷积神经网络的工作流程进行说明。
41.将包含分割区域的脊椎图像输入到卷积神经网络中，通过卷积层对待分割图像进行特征提取，通过全连接层对提取的特征进行分类，通过最终层输出每个脊椎的骨密度测量值。
42.应理解，使用深度学习方法实现骨密度测量自动诊断时，可以先分割指定椎体，根据分割出来的椎体进行回归测量，脊椎的分割定位至关重要，因此，通过结合关键点对脊椎进行分割，提高了分割的精度，进而提高了骨密度测量的精度。
43.下面以对某生产线上的芯片进行语义分割为例，进行进一步说明。
44.芯片在生产完成后，需要进行贴合，而对于贴合位置的检测很重要，关系到芯片的良品率，而生产线上的芯片具有尺寸小且结构相似的特点，可以认为是小尺度相似结构，因此，可以通过拍摄包含芯片的图像，将图像输入到卷积神经网络中，对芯片进行特征提取，得到每个芯片的分割区域结果特征图，以及每个芯片的关键点特征图，将包含关键点的分割区域作为最终的分割结果，从而提高了芯片的语义分割精度，从而便于后续的检测和处理。
45.本实施例提供的方法，适用于小尺度相似结构的语义分割，通过根据小尺度相似结构影像的特点设计特征提取网络结构，对小尺度相似结构进行区域分割和关键点提取，充分利用了影像信息和关键点信息，从而提高分割精度。
46.可选地，在一些可能的实施方式中，将待分割图像输入到卷积神经网络得到小尺度相似结构的分割结果和关键点的步骤，具体包括：
47.将待分割图像输入到卷积神经网络中，通过卷积层对待分割图像进行特征提取；
48.将提取到的特征分成两路，一路通过下采样层进行下采样处理，得到浅层语义特征，另一路通过卷积层进行不同尺度的空洞卷积处理，得到深层语义特征；
49.将深层语义特征经上采样处理后与浅层语义特征结合，得到结合特征；
50.通过卷积层对结合特征进行细化处理，通过上采样层对细化后的结合特征进行上采样处理，得到包含小尺度相似结构分割区域的特征图和关键点的特征图。
51.如图3所示，提供了一种示例性的用于提取小尺度相似结构的分割结果和关键点的卷积神经网络结构示意图，下面结合图3，对该卷积神经网络结构进行说明。
52.卷积神经网络包括：5层3*3的卷积层c1，用于对待分割图像进行特征提取，得到的特征分成两路。
53.对于第一路，包括1*1的卷积层c2，用于细化特征，下采样层d，用于对细化后的特征下采样4倍作为浅层语义信息，保留小尺度相似结构的纹理信息。
54.对于第二路，包括2个1*1的卷积层c3和c4，以及4个不同尺度的卷积层c5，用于提取深层次的语义特征，其中，4个不同尺度的卷积层c5的rate＝6、12、18和全局，扩大感受野的同时和不过分丢失小尺度相似结构的信息。还包括上采样层u1，用于将多尺度空洞卷积提取的特征进行上采样4倍。
55.还包括：3*3的卷积层c6，用于将深层语义特征与浅层语义特征结合后进行细化。
56.还包括：上采样层u2，用于将细化后的结合特征进行上采样4倍得到和原图相同大小的特征图作为最终的小尺度相似结构影像的输出特征。
57.需要说明的是，深层语义特征与浅层语义特征的结合指的是：深层语义特征和浅层语义特征都有很多特征图，可以将这些特征图共同作为下一层的输入。
58.可选地，在一些可能的实施方式中，将待分割图像输入到卷积神经网络得到小尺度相似结构的分割结果和关键点的步骤之前，还包括：
59.对卷积神经网络进行多任务训练，同时对区域分割和关键点检测进行训练的步骤。
60.区域分割和关键点检测同时训练，虽然最终目的是分割出目标区域，每个小尺度相似结构的关键点也很有价值，利用关键点的分支和分割的分支相辅相成，加速模型收敛，提高分割准确率。
61.可选地，在一些可能的实施方式中，根据关键点对分割结果进行处理的步骤，具体包括：
62.将分割区域的特征图和关键点的特征图进行对比，将包含关键点的分割区域作为最终的分割结果。
63.通过选择包含关键点的分割区域作为最终的分割结果，能够排除干扰，对于没有关键点的分割区域不予保留，从而提高区域分割的准确度。
64.可选地，在一些可能的实施方式中，将待分割图像输入到卷积神经网络得到小尺度相似结构的分割结果和关键点的步骤之前，还包括：
65.对待分割图像中的小尺度相似结构进行检测的步骤。
66.通过预先对待分割图像进行检测，能够先确定小尺度相似结构的大致位置，从而便于排除干扰，提高分割的速度和准确性。
67.例如，可以通过现有的图像检测算法进行检测，在此不再赘述。
68.可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。
69.如图5所示，为本发明系统的实施例提供的结构框架示意图，该系统用于提高脊椎骨密度测量准确性，包括：采集设备10、处理设备20和显示设备30，其中：
70.采集设备10用于获取待分割图像；
71.处理设备20用于将待分割图像输入到卷积神经网络得到小尺度相似结构的分割
结果和关键点；并根据关键点对分割结果进行处理；
72.显示设备30用于显示待分割图像的分割结果。
73.本实施例提供的系统，适用于小尺度相似结构的语义分割，通过根据小尺度相似结构影像的特点设计特征提取网络结构，对小尺度相似结构进行区域分割和关键点提取，充分利用了影像信息和关键点信息，从而提高分割精度。
74.可选地，在一些可能的实施方式中，处理设备20包括：处理器和神经芯片，神经芯片上布置有卷积神经网络，其中：
75.处理器用于将待分割图像输入到卷积神经网络中；
76.神经芯片用于通过卷积层对待分割图像进行特征提取；将提取到的特征分成两路，一路通过下采样层进行下采样处理，得到浅层语义特征，另一路通过卷积层进行不同尺度的空洞卷积处理，得到深层语义特征；将深层语义特征经上采样处理后与浅层语义特征结合，得到结合特征；通过卷积层对结合特征进行细化处理，通过上采样层对细化后的结合特征进行上采样处理，得到包含小尺度相似结构分割区域的特征图和关键点的特征图。
77.可选地，在一些可能的实施方式中，处理设备20还包括：训练系统，用于对卷积神经网络进行多任务训练，同时对区域分割和关键点检测进行训练。
78.可选地，在一些可能的实施方式中，处理设备20还包括：第一图形处理器，用于将分割区域的特征图和关键点的特征图进行对比，将包含关键点的分割区域作为最终的分割结果。
79.可选地，在一些可能的实施方式中，处理设备20还包括：第二图形处理器，用于对待分割图像中的小尺度相似结构进行检测。
80.可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。
81.需要说明的是，上述各实施方式是与在先方法实施例对应的产品实施例，对于产品实施方式的说明可以参考上述各方法实施方式中的对应说明，在此不再赘述。
82.读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
83.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。
84.上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步
骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
85.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。