自动分类发射器结构的方法、执行方法的设备和存储介质与流程

1.本发明涉及一种计算机实施的用于自动分类发射器结构的方法，所述发射器结构构成用于发射电子以产生x射线，其中基于发射器结构的参考图像(herangezogenen bild)进行分类，其中分类包括第一类别和至少一个第二类别，其中第一类别对应于基本上无缺陷的发射器结构并且至少一个第二类别对应于有缺陷的发射器结构。此外，本发明还涉及一种用于执行所述方法的设备、以及一种机器可读的程序代码和一种具有用于执行所述方法的机器可读的程序代码的存储介质。


背景技术：

2.为了产生x射线实现不同方案。为了产生x射线、尤其用于医疗使用的x射线，典型地将电子加速到阳极。通过被加速的电子与阳极的相互作用产生x辐射。对于产生的x辐射的质量重要的是提供为此使用的电子。
3.用于产生x射线的电子借助于发射器提供，所述发射器发射用于产生x射线的电子。
4.通常，电子借助于热学发射产生，例如借助于热离子发射器如加热线或借助于能够通过电流流动加热的面发射器产生。对应的面发射器例如在de 10 2010 020 151 a1或de 10 2006 018 633 a1中描述。
5.面发射器的形成发射面的部分通常包括一个或多个薄的板材，所述板材由耐高温的金属如钨制成。为了在板材面的定义区域中获得发射，必须将面发射器加热到大约2000
–
2500摄氏度的高温。这借助于电流和发射器材料的固有电阻实现。
6.为了达到定义的欧姆电阻，板材材料通常通过引入尽可能精确的切口或裂缝而被结构化。这种热离子面发射器的发射器板材设有加热电流连接端，经由所述加热电流连接端引导加热电流穿过发射器板材。受发射器板材所加热到的高温所决定，电子从发射器板材发射并且借助于高压朝向阳极加速。
7.在从发射器板材至阳极的路径上，所发射的电子经由聚焦系统被聚焦。在电子在焦斑中射到同样由耐高温材料例如钨制成的阳极上时，通过电子在阳极材料中的制动产生x辐射。
8.也越来越多地使用场效应发射器，其中电子借助于场效应从阴极发射。场效应发射器通常包括针状结构，例如由材料硅、碳化硅或由碳纳米管构成的针状结构。通过针尖处的对应的电场强度，电子被从发射器结构释放。在场效应发射器中电子的所述发射还可以热学地受到支持。然后，电子被同样以所希望的方式加速到阳极上。
9.因此，用于产生电子的设置用于产生x射线的全部发射器具有发射器结构，发射器结构影响发射器的功能能力。
10.对于发射器的良好发射性能决定性的是，尽可能无缺陷地制造发射器。发射器结构中的缺陷通常导致之后的构件故障，导致在发射时更低的发射效率或不希望的电子分布，这负面地作用于借此产生的x辐射的质量。
11.至今由对应人员手动检查发射器是否有无缺陷。这是人员耗费的、费时的且不可靠的，因为缺陷的辨识在于个体人员的判断和经验。缺陷的识别尤其取决于检查人员的专注状态。
12.由于高耗费，通常在存在缺陷的情况下才检验发射器构件，以便查明构件故障的原因。在投入使用之前对所制造的发射器尤其所有所制造的发射器进行检查同样由于耗费通常并不普遍。


技术实现要素：

13.因此，本发明的目的是，提供一种方法、一种设备、一种机器可读的程序代码或一种具有机器可读的程序代码的存储介质，利用其可以改进发射器结构的缺陷检验。
14.所述目的通过本发明的主题来实现。
15.所述目的尤其借助于一种计算机实施的用于自动分类用于发射电子的发射器结构的方法来实现，其中基于发射器结构的参考图像进行分类，其中分类包括第一类别和至少一个第二类别，其中第一类别对应于基本上无缺陷的发射器结构并且至少一个第二类别对应于有缺陷的发射器结构，其中为了分类，参考、尤其接收由亮场图像尤其由亮场显微镜图像和暗场图像尤其暗场显微镜图像构造为融合图像的图像，并且根据所述图像借助于为了分类发射器结构所训练的用于分类发射器结构的人工神经网络将发射器结构分类成第一类别和第二类别，即将发射器结构归类到相应的类别，其中产生用于输出借助于分类确定的对于发射器结构的类别的信号。
16.计算机实施的方法以有效的和高效的方式允许在不存在或存在有缺陷的发射器结构方面进行发射器结构的自动化检验。尤其可以根据神经网的学习过程区分不同的缺陷类型。所述解决方案还允许在制造过程的范围内连续和完全检查发射器。与现有技术相比，根据本发明的方法能够更可靠，更快和客观地实施。这例如可以自动化地针对每个离开制造的发射器进行或也作为在制造过程期间的检查步骤进行。
17.所述方法可以经由网络应用实施，例如基于网络或基于云，或本地在对应的设备、例如测试设备上，在制造检验的范围内实施。
18.如果本地地实施，即在例如企业网络中或由缺陷检验设备在制造中实施所述方法，则进行亮场图像、暗场图像的图像记录和由亮场图像和暗场图像产生融合图像的方法可选地可以是所述方法的方法步骤。
19.在经由网络应用所述方法时，尤其作为基于云的应用，可以单独提供发射器结构的亮场图像和暗场图像，或也提供由此组合的融合图像。
20.例如可以借助于显微镜在合适的放大的情况下对同一发射器结构的亮场图像和暗场图像进行记录，使得发射器结构在光学上充分分辨或可见。优选地可以逐渐地借助于亮场图像和暗场图像检测发射器的对于电子发射相关的全部发射器结构，使得可以自动化分析整个发射器的缺陷。
21.如果未提供融合图像，则所述方法可以可选地也包括：产生由亮场图像和暗场图像构成的融合图像。在这种情况下，在分类之前还进行数据准备步骤，其形式为：产生由同一发射器结构的亮场图像和暗场图像构成的融合图像。
22.然而重要的是，借助于人工神经网络基于由同一发射器结构的亮场图像和暗场图
像构成的融合图像对发射器结构进行分类。融合图像形成用于分类的基础。在此可以借助于融合图像自身进行分类或可以执行融合图像的预处理并且然后借助于经预处理的融合图像进行分类。
23.基于发射器结构的亮场图像和暗场图像的所述组合才能够对发射器结构进行分类，所述分类在缺陷确定方面提供使人满意的或良好的结果。
24.融合图像理解为由同一发射器结构的亮场图像或亮场记录和暗场图像或暗场记录构成的组合图像。尤其将相应图像的通道、尤其色彩通道组合。例如在三通道的亮场图像和三通道的暗场图像的情况下，融合图像组合成六通道的图像，即分别由亮场图像或暗场图像的三个通道组合成。也可以为每图像设置多于或少于3个的色彩通道。尤其可以作为亮场图像也使用1通道的亮场图像，尤其作为灰度图像，并且作为暗场图像使用1通道的暗场图像，尤其作为灰度图像。于是，在这种情况下，融合图像具有两个通道。通过使用仅两通道的融合图像，提高用于分类的执行速度。也仅需要规模更小的训练数据集。
25.术语“发射器结构”尤其包括面发射器结构和场效应-发射器结构。
26.根据实现的分类产生输出信号，基于所述输出信号，分类结果例如经由发送接口能够进一步利用、尤其能够显示、能够存储或能够借助于其他例程进一步处理。尤其如果借助于云应用进行分类，则可以在此在任意位置进行显示。优选地，所述信号可以，如获得或后处理，在针对用于发射器的生产设施的监控装置中再现，以便监控制造过程。
27.如果本地实施计算机实施的方法，则所述方法也可以包括输出、尤其显示对发射器结构的分类的方法步骤。
28.术语“第一类别”和“第二类别”仅仅用于区分类别并且尤其并不限定类别的顺序。
29.对应于无缺陷的发射器结构的第一类别可以设置为人工神经网络的显式类别。然而，所述第一类别也可以构成为神经网的隐式类别。在后一种情况下，给所述第一类别关联所有如下像素，所述像素借助于神经网络与作为现有缺陷类别的第二、第三、第四类别等中的任何类别不能够相关联或可关联，所述现有缺陷类别也可以包括类别“其他缺陷”。
30.在本发明的一个实施方式中，借助于为了分类发射器结构所训练的人工深度神经网络或deep neural network、尤其卷积神经网络进行分类。已表明，按德语可以称为“faltendes neuronales netz”的卷积神经网络，尤其借助于supervised learning或监督学习基于已知的发射器结构及其已知的缺陷经训练，获得对于发射器结构的缺陷相关的分类的良好结果。在此由卷积神经网络应用的过滤器优选不是手动预设，而是在神经网的训练期间学习。
31.卷积神经网络尤其可以具有三个卷积层，其中第一卷积层例如具有32个过滤器，第二卷积层具有64个过滤器并且第三卷积层具有128个过滤器。优选地，以对于第一卷积层的过滤器数量例如8、16或32开始，然后针对每个另外的存在的卷积层将过滤器数量提高2倍。尤其可以针对每个卷积层设置激活函数，例如relu激活函数，其中“relu”是修正线性单元(rectified linear unit)的简称，使得仅转送超过阈值的值。
32.也可以仅设置唯一的卷积层或也可以设置两个、四个、五个或更多个卷积层。根据可用的训练数据，分类结果通常随着卷积层或convolutional layer的数量增长而改进。在此可以将针对每个卷积层的过滤器数量提高2倍，例如针对第一卷积层以32个过滤器开始。然后，针对第二卷积层可以使用64个过滤器，针对第三卷积层使用128个过滤器，针对第四
卷积层使用256个过滤器并且针对第五卷积层使用512个过滤器。
33.还可以在每个卷积层之后，尤其针对前三个卷积层，设置池化(polling)操作。在池化时进行数据减少，尤其例如经由最大池化或平均池化。在最大池化时，根据预设数量的神经元活动值(neuronen
‑‑
werten)、例如2x2个神经元的矩阵的活动值，仅最强的活动被进一步利用。在这种情况下，因此数据减少了百分之七十五或减少到图像数的四分之一。舍弃其余值。在平均池化时通过对神经元活动值求平均值来进行数据减少。
34.如果设置多于三个卷积层，则尤其可以在属于此的池化操作之后不实行对后续卷积层的另外的池化操作，以便不过于强烈地减少数据。
35.随后，可以将在卷积层和池化操作之后获得的值转化成1d向量，这也称为扁平化，并且借助于经典的神经网络分类在卷积层和池化操作之后获得的值。该网络的这部分尤其可以具有两个隐藏的层或hidden layer。典型地，还可以应用softmax函数，借助于其执行对于确定的类别的归一化的概率值分布。
36.在确定人工神经网络的超参数即要选择的网络拓扑结构方面，可以使用与对于网络的对应的优化函数有关的高斯过程。作为超参数尤其可以设置：激活函数的类型，例如relu函数、正切函数，sigmoid函数等，只要考虑就如此，以及例如网深度，即层数量、像素周边区域的大小，以及例如设置在卷积层下游的全联网神经网络的神经元数量和隐藏层的数量。也可以考虑学习率或learning rate。
37.根据所述方法的另一设计方案，基于发射器结构的融合图像逐像素地进行分类，其中为了分类相应的像素考虑融合图像中的像素周边区域，其中待考虑的像素周边区域借助于距待分类的像素的间距或借助于围绕待分类的像素的区域确定。
38.优选地，对于逐像素的分类，分别待考虑的像素周边区域的大小和形状是恒定的。然而，像素周边区域也可以可变地、尤其逐像素地可变地构造。例如可以针对不同的过滤器使用不同定义的像素周边区域。像素周边区域例如可以构造成圆形。然后，围绕待分类的像素的像素周边区域通过从待分类的像素开始的间距半径限界。然而，待考虑的像素周边区域也可以具有其他形状，例如具有矩形、正方形或任意四边形。大小为32乘32个像素或48乘48个像素的围绕待分类的像素的正方形的像素周边区域已经被证明是特别合适的。
39.根据所述方法的另一设计方案，基于从融合图像中选择的像素区域进行分类，其中借助于人工神经网络、尤其编码器-解码器-网络确定像素区域，并且基于确定的像素区域进行逐像素或逐像素区域分类。
40.像素区域包括来自融合图像的多个通常空间相邻的像素并且将这些像素组合成分析区域。对应像素区域的生成是融合图像的示例性的上述预处理。融合图像因此可以划分成多个、尤其大量本身不相交的像素区域，这些像素区域然后被分类。
41.一个待分类的像素区域或多个待分类的像素区域借助于对应地经训练的神经网络例如编码器-解码器-网络确定。编码器-解码器-网络优选地构造成，使得可以从融合图像提取对于分类重要的特征。借助于这种要训练的神经网络，可以针对融合图像生成压缩的代表、即编码的图像。然后，基于融合图像的所述压缩的代表进行分类。只要逐像素地进行分类，则分类在这种情况下也包括解码。
42.尤其可以在分类像素区域时忽略像素区域的周边区域或对于分类不考虑像素区域的周边区域。
43.融合图像的像素区域的分类允许对于融合图像的数据减少和更快的逐像素的分类。分类结果可以逐像素地存在，即给每个像素关联特定的类别。也可以给整个像素区域关联特定的类别。
44.对于基于像素区域的分类，尤其基于像素区域的逐像素的分类，有利的是，显著提高卷积层的数量，例如提高到几十个卷积层。
45.在所述方法的另一设计方案中，在确定分类与产生用于输出确定的类别的信号之间将用于降低尤其局部的信号噪声的方法应用于至少一个分类结果并且基于降低噪声的分类结果产生用于输出的信号。通过分类的所述后处理，例如可以将对于各缺陷类别的总面确定为相应的类别的所有像素的数量。也可以由此例如确定特定缺陷的频率，或也确定特定的或所有缺陷的位置分布或相对位置。
46.作为用于降低尤其局部的信号噪声的方法例如可以使用数学形态操作。尤其可以重复实施腐蚀和膨胀，这也作为开操作(opening operation)已知，以便降低噪声。
47.有利地可以产生输出信号，借助于输出信号可以在发射器结构的结果图像上以位置分辨的方式显示至少一个所确定的类别，优选地可以在发射器结构的图像上以位置分辨的方式显示所有所确定的类别。结果图像是如下图像：在所述图像中，发射器或发射器的一部分示意性地或以发射器结构示出，在所述图像上，至少一个类别以位置分辨的方式再现。结果图像可以包括发射器的或发射器的一部分的示意性再现，发射器的或发射器的一部分的亮场图像、暗场图像或其他任意图像。
48.尤其是，发射器结构和在结果图像中显示的至少一个类别，尤其在分类过程中找到的所有类别，可以在si单元中显示。为此在si单元上对像素尺寸进行校准。
49.可以在结果图像中显示所述发射器的或具有当前类别的全部发射器的多个发射器结构。由此可以提供关于发射器的类别的局部分布的良好概览。例如也可以以这种方式和方法得出有缺陷的制造过程步骤的结论，所述有缺陷的制造过程步骤例如造成发射器上的划痕。
50.尤其可以从发射器结构的单个图像提供对于多个发射器结构或对于全部发射器的结果图像。这例如可以作为具有发射器结构的组合的结果图像进行，即具有由发射器的不同的局部区域构成的发射器结构，在合适的分辨的情况下，不同的局部区域不匹配于单个的亮场图像或暗场图像。这尤其是在如下情况下进行，即发射器结构的图像分别是显微镜图像。此外，尤其可以使用分类本来所基于的亮场图像或暗场图像来产生具有如下图像区域的组合的结果图像：所述图像区域大于单个的亮场或暗场图像的图像区域。
51.在所述方法的另一实施变型方案中，进行分类，使得至少一个第二类别分别与特定缺陷相关联，其中相应的特定缺陷从以下缺陷中选择：切边缺陷、材料缺陷、平坦度缺陷、表面缺陷。优选地，除了第二类别之外还存在第三类别、第四类别、第五类别等，其分别与特定缺陷相关联。在此例如可以在所提及的缺陷类型中也还进一步区分。因此，例如可以进一步区分出表面缺陷的类别，例如区分出对于“污染”的类别，对于“破裂或破裂部位”的另一类别，对于“划痕”的另一类别，对于“污斑”的另一类别，对于“灰尘颗粒”的另一类别，对于“燃烧”的另一类别等，这些类别表示所有表面缺陷。例如也可以对于切边缺陷设置多个类别，例如“切边断裂部”或“与期望切边的偏离”。同样的情况以类似的方式适用于材料缺陷。因此，例如可以对于“非结晶材料”设置类别，对于“材料夹杂物”设置另一类别，对于“材料
的晶体结构中的错位”设置另一类别。对于“平坦度缺陷”还可以设置类别，即发射器结构的不希望的波形构造，例如由于材料中的内应力造成。
52.可以通过提供多个或大量类别，尤其第三类别、第四类别等在发射器结构的不同缺陷之间进行详细区分。如果希望，则这些类别也还可以聚合或组合成特定缺陷类型，例如表面缺陷、材料缺陷等。
53.所述目的同样借助于用于执行用于自动分类用于产生x射线的发射器结构的方法的设备来实现，所述设备具有接口，接口用于接收发射器结构的亮场图像，发射器结构的暗场图像或由发射器结构的亮场图像和暗场图像产生的融合图像，所述设备具有计算单元，机器可读的程序代码能够加载到所述计算单元中，所述机器可读的程序代码在其运行时促使执行根据本发明的方法，并且所述设备具有用于输出信号的信号输出接口，所述信号基于借助于分类确定的对于发射器结构的类别。
54.可选地，该设备可以包括用于记录亮场图像和/或暗场图像的图像记录系统。用于记录亮场图像的图像记录系统和用于记录暗场图像的图像记录系统可以在图像记录系统内实现或实施为独立的图像记录系统。然而，在独立的图像记录系统的情况下确保，对于亮场图像和暗场图像检测发射器结构的基本上全等的图像，使得从中能够确定合适的融合图像。
55.此外，该设备可选地也可以包括用于再现输出信号的再现装置例如显示器和/或语言输出设备，所述输出信号基于借助于分类确定的对于发射器结构的类别。
56.在远程的、即例如经由互联网和从而非本地执行的分类的过程中，例如经由云应用或web应用，通常充分的且需要的是，由该设备包括仅仅一个用于接收亮场图像、暗场图像或一个从中已经产生的融合图像或多个融合图像的接口。所述接口用于提供对于计算单元需要的数据，以便可以借助于计算单元基于融合图像实施发射器结构的分类。这种接口同样存在于“本地运行的”设备中。
57.所述目的也借助于计算机程序产品和/或借助于用于计算单元的机器可读的程序代码来实现，其包括控制指令，所述控制指令在其借助于计算单元执行时促使执行根据本发明所述的方法。
58.所述目的也借助于具有根据本发明的机器可读的程序代码的存储介质来实现。
59.所述目的也借助于用于再现、尤其显示发射器结构的分类的方法来实现，其中接收借助于根据本发明的方法产生的用于输出的信号，其中基于接收到的用于输出的信号再现发射器结构和与发射器结构相关联的至少一个类别。
60.所述目的同样借助于用于再现、尤其显示发射器结构的分类的设备来实现，所述设备包括：用于从根据本发明的设备接收用于输出的信号的接口；与再现设备相关联的计算单元，机器可读的程序代码能够加载到所述计算单元中，所述机器可读的程序代码在其执行时促使执行根据本发明的方法；并且所述设备包括用于基于接收到的用于输出的信号再现发射器结构和与发射器结构相关联的至少一个类别的装置。
61.所述目的同样借助于尤其在用于发射器的生产设施处的第一计算机、例如客户端计算机的控制装置来实现，所述控制装置具有机器可读的程序代码，所述机器可读的程序代码包括控制指令，所述控制指令在其运行时促使将同一发射器结构的亮场图像和暗场图像或由这种亮场图像或暗场图像构成的融合图像发送给根据本发明的设备，其中控制指令
还促使借助于根据本发明的设备执行根据本发明的方法，并且由根据本发明的设备产生的用于输出的信号可被第一计算机接收。
62.对于促使执行所述方法足够的可以是，控制指令仅间接促使执行根据本发明的方法，例如将执行该方法的请求发送给根据本发明的设备。执行所述方法的时刻以及方法流程的控制可以在设备一侧受控地进行，尤其根据其他客户端的现存的请求和可用的资源、尤其计算资源进行。然后又由第一计算机接收借助于根据本发明的方法产生的用于输出的信号。这可以通过第一计算机在根据本发明的设备中的请求实现，例如针对所传送的请求的用于输出的信号是否已经存在并且然后——根据用于输出的信号是否存在——传送。替选地，根据本发明的设备可以将这直接发送给第一计算机，即在无需第一计算机请求用于输出的信号的存在，例如只要用于输出的信号存在或也在有希望的延迟的情况下就直接发送，其中例如操控第一计算机的接收接口，使得所述接收接口可以从根据本发明的设备接收用于输出的信号。
附图说明
63.本发明的示例性的设计方案根据以下附图示例性地详细阐述。附图示出：
64.图1示出用于执行分类方法的一个实施方式的设备的示意图，
65.图2示出用于执行所述方法的实施方式的合适的卷积神经网络的示意性结构，
66.图3示出用于分类方法的实施方式的方法流程的示意图。
具体实施方式
67.图1示出设备10的示意图，借助于所述设备在云环境中能够实施用于确定对于发射器结构e的缺陷的方法。所述方法因此例如由对应的云服务器10实施。
68.为了执行对与存在缺陷有关的发射器结构e的分类首先提供具有发射器结构e的图像。
69.为此，借助于图像记录系统21，例如对应的显微镜记录待分类的发射器结构e的亮场图像和暗场图像。还可以借助于图像记录系统21以合适的分辨率采样或扫描发射器的所有功能上相关的部分。所述图像记录系统21在所述实施例中不是设备10的一部分。
70.如果整个的用于分类发射器结构e的方法本地例如在用于发射器的生产设施中实施，而不在包括云的情况下实施，则设备10也可以包括图像记录系统21。
71.当前，同一发射器结构e的至少一个亮场图像和暗场图像发送给设备10的接收接口11。可选地，亮场图像和暗场图像可以在发送给设备10的接收接口11之前已经组合成融合图像。
72.然而，由亮场图像和暗场图像构成的融合图像也可以借助于设备10或由设备10包括的计算单元12产生。
73.作为借助于计算单元12进行的发射器结构e的分类的基础，使用融合图像。融合图像包括相应的发射器结构e的亮场图像和暗场图像的图像通道，即例如6个色彩通道，即亮场图像的3个r(红)、g(绿)、b(蓝)通道以及暗场图像的r、g、b通道。替代rgb系统，例如也可以使用cmyk系统。对应地，对于融合图像，色彩通道的数量从三个改变成四个或从六个改变成八个。
74.借助于计算单元12，机器可读的程序代码13能够加载到计算单元12的工作存储器中。机器可读的程序代码13设计成，使得所述机器可读的程序代码在其运行时根据融合图像促使执行发射器结构e的分类。机器可读的程序代码13在其由计算单元12加载之前持久存储在存储介质14上并且可以由所述存储介质调用或加载。
75.机器可读的程序代码13包括控制指令，所述控制指令包括使用呈卷积神经网络30的形式的人工神经网络。所述卷积神经网络30为了分类发射器结构e借助于具有已知的发射器缺陷或缺陷类别的融合图像提前被训练。
76.为此，从发射器结构的对借助于亮场图像和暗场图像和所属的类别，尤其对于各像素，建立数据集。在学习阶段，卷积神经网络评估所述数据集，以便学习输入数据即融合图像的发射器结构与输出值即对于发射器结构的类别之间的关系。
77.尤其通过监督学习或supervised learning进行所述网络的训练，其中使用具有分类的损失函数的随机梯度下降方法，以便支持训练过程。也可以使用其他损失函数。例如可以在优化所使用的神经网络或卷积神经网络的超参数的过程中确定最合适的损失函数。经由反向传播确定对应的梯度。
78.如果用于分析发射器结构的边界条件强烈改变，例如由于技术变更，则可能需要执行用于适配模型的其他学习过程。
79.在应用经训练的卷积神经网络30时，即在训练结束之后，借助于对应地经训练的卷积神经网络30对作为融合图像存在的发射器结构e进行分类，而无需已知针对所述发射器结构e先前确定的类别。基于经训练的卷积神经网络30确定对于相应的发射器结构e存在的类别。对于分类还使用softmax函数，以便获得类别的归一化分布。
80.借助于经训练的卷积神经网络30逐像素地分析融合图像并且为了分类每个像素考虑在定义的大小的区域中的周围的或相邻的像素。所述卷积神经网络30给每个像素关联先前确定的类别k1、k2、
……
、kn，其中n是等于或大于3、优选地在4与12之间的正整数。类别例如可以对应于：不良引导的切边、破裂的切边、非结晶的区域、波浪区域、划痕、聚焦头破裂、不洁、灰尘、燃烧过的部位、污斑等。
81.尤其可以进行关联，使得确定每个像素落入不同类别的概率。然后，将相应的像素与如下类别相关联，对于所述类别，分类已经确定最大概率。
82.在借助于卷积神经网络30评估所有像素之后进行后处理，尤其跨融合图像地后处理，用于通过应用例如开操作、即腐蚀随后膨胀来降低局部的信号噪声。在如此后处理的图像中，现在可以将对于各缺陷类别的总面确定为相应的类别的所有像素的数量。也可以确定其他特征值如缺陷的频繁性或缺陷彼此或在发射器上的相对位置。
83.例如根据一次校准将像素换算成si单元。对于所述si单元，记录具有固定定义的间距的标记(例如具有直线间距1mm的网格)的图像并且在图像中以像素确定标记的间距，并且因此建立si单元与像素大小之间的关系。
84.分类融合图像之后产生输出信号，所述输出信号然后可以经由信号输出接口15，尤其在从云传送之后，在例如设置在用于发射器的生产设施中的再现设备24、例如监视器上显示。
85.显示的图像优选地还检测整个发射器的发射器结构e并且因此例如也允许——除了将观察限制到特定的例如由使用者选择的发射器结构e之外——在结果图像上关于整个
发射器的缺陷分布和缺陷类别的局部分布的概览式检测。
86.基于类别的所述局部分布，例如可以裁剪发射器，使得仅进一步利用无缺陷的发射器结构e并且将有缺陷的发射器结构e从所述过程移除。这尤其在如下情况下是可行的：发射器由独立的发射器结构e模块化构造。
87.图2示出卷积神经网络30的示意性结构，所述卷积神经网络可以用于分类发射器缺陷。
88.从输入图像i、融合图像开始，卷积神经网络30具有三个卷积层31、32和33或convolutional layer。所述三个卷积层借助于对应的过滤器产生，对应的过滤器在训练过程期间已学习。在此，例如对于第一卷积层31使用32个过滤器，对于第二卷积层32使用64个过滤器并且对于第三卷积层33使用128个过滤器。在此，对于每个卷积层31或32或33使用relu激活函数，即仅转送超过阈值(通常“0”)的值。在每个卷积层31、32或33下游设置有池化操作31
′
、32
′
或33
′
。在那里根据最大池化方法在分别执行的卷积之后仅进一步使用过滤器例如2x2矩阵的最大值。在此，图像尺寸降为四分之一，即舍弃三个值而继续使用一个值。
89.在第三池化33
′
之后进行所谓的扁平化34，即在第三池化33
′
之后的数据转化成1d向量。所述1d向量借助于经典神经前馈网络来分类。为此，使用第一隐藏层35或第一hidden layer以及第二隐藏层36或第二hidden layer，其分别与在前和在后设置的层完全连接或“fully connected”。第一隐藏层35优选地具有32个神经元，第二隐藏层36优选地具有8个神经元，尤其具有分别位于下游的激活函数。
90.第二隐藏层36跟随有输出层37或output layer。所述输出层例如具有4个神经元，其中每个神经元对应于一个类别。此外，借助于softmax函数进行类别的归一化。因此，现在存在由卷积神经网络30进行的用于所分析的发射器结构的分类。
91.神经元的数量也可以根据期望的类别的数量提高，例如提高到8或10个。在这种情况下，可以提高第一和第二隐藏层的神经元的数量。因此，对于第一隐藏层例如可以设置256或128个神经元并且对于第二隐藏层可以设置128或64个神经元。
92.选择较大数量的类别具有如下优点：所述类别在分类之后还可以聚合或组合成特定的上位类型、例如表面缺陷。如果仅确定小数量的类别，则可以事后不进一步区分结果。就此而言，类别的数量预设结果-多样化的最大粒度。
93.随后，如下进行分类结果的后处理步骤104，降低信号噪声。为此可以使用不同的形态数学操作。优选地应用开操作，所述开操作包括腐蚀信号和随后膨胀信号。
94.随后，在另一步骤105中，例如借助于计算单元12产生输出信号，所述输出信号然后可以经由在图1中示出的信号输出接口15发送给对应的接收器。
95.图3示出用于在缺陷方面分类发射器结构的方法的实施方式的示意图。
96.用于在无缺陷性方面或是否存在缺陷或特定缺陷方面分类发射器结构的方法以附图标记100表示。所述方法实施为云应用并且例如经由互联网连接从第一计算机200、例如客户端计算机获得所需的图像数据。
97.首先，在第一步骤201中记录发射器结构的亮场图像。随后，在下一步骤202中，记录同一发射器结构的暗场图像。优选地，以这种方式和方法——逐个部段地——以亮场图像和暗场图像检测整个发射器。发射器结构的上述图像记录在第一计算机即客户端的一侧上执行，即在要检查的发射器结构实体存在的地方。
98.根据图3的实施例，在云环境中产生融合图像。为此，在方法步骤101中，经由接收接口从云应用接收亮场图像和暗场图像。
99.在方法步骤102中，作为准备执行后续分类的步骤，由针对相应的发射器结构的接收到的亮场图像和接收到的暗场图像组合融合图像，在所述融合图像中，相应图像的色彩通道包含在图像的图像数据集(融合图像)中。
100.替选地，融合图像可以已经在客户端侧上产生并且传送给云应用，然后替代地或必要时除了亮场图像和/或暗场图像之外经由接收接口接收所述融合图像。
101.参考融合图像来借助于卷积神经网络，如根据图2阐述的那样，执行分类。融合图像的发射器结构的所述分类在方法步骤103中进行。
102.在已分类整个图像，即融合图像的每个像素之后，在方法步骤104中将局部的噪声降低方法应用于分类结果，使得可以确定对于所分析的发射器结构的类别的局部分布。
103.在方法步骤105中产生输出信号，所述输出信号随后经由信号输出接口向回传送给客户端。
104.然后，在客户端侧上，根据另一方法步骤204，在再现设备上，例如在监视器或用于再现信息的另一装置上显示所分析的发射器结构的分类。在此发射器的至少一部分尤其可以在显示器上显示，其中类别的局部分布在发射器的部分上以图形方式再现。例如，借助于第一类型的标记、例如第一色彩再现发射器的无缺陷区域，而尤其分别以另一类型的标记、例如用于所有有缺陷的发射器结构的第二色彩或用于每个有缺陷的类别的自身色彩显示其他有缺陷的类别。