影像分析系统及影像分析方法与流程

1.本发明是关于一种分析系统及分析方法，特别是关于一种影像分析系统及影像分析方法。


背景技术：

2.关键尺寸扫描电子显微镜(critical dimension scanning electron microscope，cdsem)主要用途为线上产品线宽测量，其特点为晶片无须经过切片或镀金属膜等预处理步骤，即可观察及测量光阻、绝缘层及金属层等的图案。当使用者以cdsem测量关键尺寸时，必须先建置工艺参数(recipe)让cdsem知道要怎么标的、标的在哪、怎么测量等信息。测量cd也是影像处理的一环，必须告知cdsem精准的测量区域、方向、取值方式等信息，否则cdsem无法在大面积的图像中找到标的，并取得正确的结果，也因此前置作业(建构工艺参数)相当重要但也相当耗时。
3.由此可知，前置作业需要大量时间，若改变测量位置或物件，即需要重新设置工艺参数，且此方法在分析灰阶影像时，若起始黑白交错边与预期不同，则会整批影像测量错误，故影像获取的容错率相当低。
4.因此，上述现有方式仍有待加以进一步改进。


技术实现要素：

5.为了解决上述的问题，本技术内容的一实施例提供了一种影像分析系统，包含：一影像获取装置以及一处理器。影像获取装置用以获取一待分析影像。处理器用以将待分析影像输入至一区域卷积神经网络(region-based convolutional neural network，rcnn)模型，区域卷积神经网络模型输出一遮罩影像，处理器计算遮罩影像中的一遮罩物件的一中心，将中心视为一坐标原点，往相对坐标原点的四个象限分别搜寻与坐标原点距离最远的一最远坐标点，对于每个最远坐标点产生一影像分析区块，并将影像分析区块进行一后处理，以取得一物件范围。
6.为了解决上述的问题，本技术内容的一实施例提供了一种影像分析方法，包含：输入一待分析影像至一区域卷积神经网络模型，区域卷积神经网络模型输出一遮罩影像；计算遮罩影像中的一遮罩物件的一中心；将中心视为一坐标原点，往相对坐标原点的四个象限分别搜寻与坐标原点距离最远的一最远坐标点；对于每个最远坐标点产生一影像分析区块；以及将影像分析区块进行一后处理，以取得一物件范围。
7.本发明所示的影像分析系统及影像分析方法，将待分析影像输入至区域卷积神经网络模型，依据区域卷积神经网络模型输出的遮罩影像产生多个影像分析区块，并将此影像分析区块进行后处理，无须将整张遮罩影像都进行后处理，即可以取得遮罩影像中重要的关键点，故大幅减少运算量。在完成后处理之后，处理器可自动地分析出此影像分析区块中的关键点，透过此关键点的位置，可精准地可得到物件范围的效果。
附图说明
8.图1为依照本发明一实施例绘示一种影像分析系统的方块图；
9.图2为根据本发明的一实施例绘示一种影像分析方法的流程图；
10.图3a～图3d为根据本发明的一实施例绘示一种影像分析方法的示意图；
11.图4为根据本发明的一实施例绘示一种产生影像分析区块的方法的示意图；
12.图5a～图5f为根据本发明的一实施例绘示一种后处理方法的示意图；
13.图6为根据本发明的一实施例绘示一种影像分析方法的示意图。
14.[符号说明]
[0015]
100：影像分析系统
[0016]
10：影像获取装置
[0017]
20：处理器
[0018]
200：影像分析方法
[0019]
210～250：步骤
[0020]
bk1、bk2：区块
[0021]
m1、m2：遮罩物件
[0022]
ra：物件范围
[0023]
img：遮罩影像
[0024]
p1、p2：中心
[0025]
a1～e1、a2～e2：最远坐标点
[0026]
v1、v2：向量
[0027]
pa1～pe1、pa2～pe2：影像分析区块
[0028]
eur、edr、ci、idr：坐标
[0029]
pi：初始分析区块
[0030]
il：第一像素曲线
[0031]
nd：标示点
[0032]
sl：第一斜率曲线
[0033]
rl：回归线段
[0034]
pcd1～pcd5：关键点
具体实施方式
[0035]
以下说明为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
[0036]
请参照图1、图2及图3a～图3d，图1是依照本发明一实施例绘示一种影像分析系统100的方块图。图2是根据本发明的一实施例绘示一种影像分析方法200的流程图。图3a～图3d是根据本发明的一实施例绘示一种影像分析方法的示意图。
[0037]
如图1所示，影像分析系统100包含一影像获取装置10及一处理器20。影像获取装置10与处理器20以有线/无线方式通信耦接。于一实施例中，影像获取装置10用以获取一待分析影像，待分析影像例如是半导体影像。于一实施例中，影像获取装置为一扫描电子显微镜(scanning electron microscope，sem)，扫描电子显微镜透过用聚焦电子束扫描样品的
表面来产生样品表面的图像。
[0038]
于一实施例中，处理器20可由集成电路如微控制单元(micro controller)、微处理器(microprocessor)、数位信号处理器(digital signal processor)、特殊应用集成电路(application specific integrated circuit，asic)或一逻辑电路来实施。
[0039]
以下叙述精准自动标记待分析影像中物件范围ra(例如为半导体剖面的一或多层)的影像分析方法200。于一实施例中，物件范围ra的表示单位为纳米(nm)。
[0040]
于步骤210中，通过处理器20输入一待分析影像至一区域卷积神经网络模型，区域卷积神经网络模型输出一遮罩影像。
[0041]
于一实施例中，如图3a所示，待分析影像例如是由影像获取装置10所获取的半导体影像。一般而言，半导体影像中包含多层结构，许多半导体的剖面形状为角锥状，例如区块bk1为光阻层或金属层，区块bk1上面的区块bk2为氧化层或光阻层。为方便说明，本案实施例以区块bk1及区块bk2为例做说明。
[0042]
于一实施例中，区域卷积神经网络模型的训练过程为：首先给予大量的标记图片数据(例如为标记出半导体剖面的每一层的影像)给予区域卷积神经网络模型，区域卷积神经网络模型会先将此些标记图片的特征获取出来，再经由可能物件区域(例如半导体剖面的每一层)的模拟，评断出物件较可能出现的区域，将可能物件区域内的特征合并成物件的特征频谱，再将特征频谱信息经运算推得物件种类机率与物件可能位置，将特征频谱重组，并利用神经元尝试还原物件轮廓。此些步骤可以重复实施，以训练区域卷积神经网络模型。当区域卷积神经网络模型训练好后，将影像输入，即可获得对应的物件位置、轮廓与种类。由于区域卷积神经网络模型为已知演算法，此处不赘述。
[0043]
于一实施例中，当区域卷积神经网络模型训练完后，处理器20输入待分析影像至区域卷积神经网络模型，如图3a所示，区域卷积神经网络模型输出一遮罩影像img，遮罩影像img中包含遮罩物件m1及遮罩物件m2。
[0044]
于一实施例中，遮罩影像img还包含遮罩物件m1的外框bk1及遮罩物件m2的外框bk2。外框bk1是区域卷积神经网络模型依据遮罩物件m1的最高点像素、最右侧像素、最左侧像素及最低点像素所产生；外框bk2是区域卷积神经网络模型依据遮罩物件m2的最高点像素、最右侧像素、最左侧像素及最低点像素所产生。
[0045]
于步骤220中，处理器20计算遮罩影像img中的一遮罩物件(例如为遮罩物件m1)的一中心(例如为中心p1)。
[0046]
于一实施例中，如图3b所示处理器20可以将遮罩影像img中没被遮罩的部分视为“0”，被遮罩的部分视为“1”，依据遮罩物件m1中的每个像素点的坐标，例如将遮罩影像img的最左下角视为坐标原点，将遮罩物件m1(即被视为“1”的被遮罩的部分)中所有像素点的x值与y值分别加总后再取平均值，以计算出遮罩物件m1的中心p1。遮罩物件m2的中心p2亦可由相同方法算出。然而，计算遮罩物件m1、m2各自对应的中心p1、p2的方法不限于此，此仅为计算中心p1、p2的一示例性方法。
[0047]
于步骤230中，处理器20将中心(例如为中心p1)视为一坐标原点，往相对坐标原点的四个象限分别搜寻与坐标原点距离最远的一最远坐标点。
[0048]
于一实施例中，如图3c所示，处理器20将中心p1视为坐标原点，往相对坐标原点的四个象限分别搜寻与坐标原点距离最远的最远坐标点。最远坐标点是指遮罩物件m1的范围
中，相对坐标原点的四个象限分别搜寻与坐标原点距离最远的最远坐标点。例如，第一象限中，遮罩物件m1的范围与坐标原点距离最远的最远坐标点为坐标b1。例如，第二象限中，遮罩物件m1的范围与坐标原点距离最远的最远坐标点为坐标a1。例如，第三象限中，遮罩物件m1的范围与坐标原点距离最远的最远坐标点为坐标d1。例如，第四象限中，遮罩物件m1的范围与坐标原点距离最远的最远坐标点为坐标e1。其中，处理器20计算坐标b1与坐标a1相连后的中心点，将此中心点视为坐标c1，坐标c1可应用于后续推测遮罩范围m1的高度。
[0049]
于一实施例中，如图3d所示，处理器20将中心p2视为坐标原点，往相对坐标原点的四个象限分别搜寻与坐标原点距离最远的最远坐标点。最远坐标点是指遮罩物件m2的范围中，相对坐标原点的四个象限分别搜寻与坐标原点距离最远的最远坐标点。例如，第一象限中，遮罩物件m2的范围与坐标原点距离最远的最远坐标点为坐标b2。例如，第二象限中，遮罩物件m2的范围与坐标原点距离最远的最远坐标点为坐标a2。例如，第三象限中，遮罩物件m2的范围与坐标原点距离最远的最远坐标点为坐标d2。例如，第四象限中，遮罩物件m2的范围与坐标原点距离最远的最远坐标点为坐标e2。其中，处理器20计算坐标b2与坐标a2相连后的中心点，将此中心点视为坐标c2，也视为最远坐标点之一，坐标c2可应用于后续推测遮罩范围m2的高度。
[0050]
由于遮罩物件m2的下述处理方式可以比照遮罩物件m1处理，故后续以遮罩物件m1作为说明。
[0051]
于步骤240中，处理器20对于每个最远坐标点产生一影像分析区块。
[0052]
于一实施例中，如图3d所示，对于遮罩物件m1而言，处理器20对于每个最远坐标点(例如，最远坐标点a1、最远坐标点b1、最远坐标点c1、最远坐标点d1及最远坐标点e1)各自产生影像分析区块(例如，影像分析区块pa1、影像分析区块pb1、影像分析区块pc1、影像分析区块pd1及影像分析区块pe1)。
[0053]
于一实施例中，最远坐标点a1、最远坐标点b1、最远坐标点c1、最远坐标点d1及最远坐标点e1的相对位置可以用以旋转遮罩影像img，例如，处理器20可算出最远坐标点a1与最远坐标点b1的连线大致上平行于最远坐标点d1与最远坐标点e1的连线，当处理器20判断此两条连线并非水平时，可将整张遮罩影像img进行旋转，使此两条连线趋近水平状态，藉此可转正遮罩影像img。
[0054]
于一实施例中，影像分析区块pa1、影像分析区块pb1、影像分析区块pc1、影像分析区块pd1及影像分析区块pe1会各自往遮罩物件m1的外部外推一些，以尽量包含到物件范围ra的转角处。举例而言，请参阅图4，图4是根据本发明的一实施例绘示一种产生影像分析区块pe1的方法的示意图。由于遮罩物件m1的遮罩范围不一定能精准的遮盖到物件范围ra的转角处，换言之，遮罩物件m1在转角处可能因为产生抖边，而没有遮罩到物件范围ra，或是遮罩到过超过物件范围ra，此会导致定位出来的物件范围ra不精准。因此，需要针对每个最远坐标点a1、最远坐标点b1、最远坐标点c1、最远坐标点d1及最远坐标点e1(都是位于遮罩物件m1的边界或角落)应用各自对应的影像分析区块pa1、影像分析区块pb1、影像分析区块pc1、影像分析区块pd1及影像分析区块pe1进行细部的分析，以更精准的分析出物件范围ra。
[0055]
于图4中，以最远坐标点e1为例，由于最远坐标点e1位于遮罩物件m1的右下部分，处理器20在产生影像分析区块pe1时，除了要将确认最远坐标点e1要在影像分析区块pe1
中，亦要将影像分析区块pe1往右下方向外推一些，以尽量包含到物件范围ra的右下转角处。
[0056]
具体而言，处理器20先计算中心p1到最远坐标点e1的向量v1(即包含方向性)，计算最远坐标点e1往右边推算一预设像素值(例如为5)的坐标ci，将坐标ci作为产生影像分析区块pe1的中心点，如此一来，可以产生相对于最远坐标点e1往右偏的初始分析区块pi，初始分析区块pi的长度、宽度皆为一预设值(例如长度为10像素，宽度为20像素)，接着，取得初始分析区块pi的右下角坐标idr，从坐标idr依据向量v2的方向延长另一预设像素值(例如为20)，以找到坐标edr，其中，向量v2与向量v1平行。依据初始分析区块pi的左上角坐标eur及坐标edr可以绘制出影像分析区块pe1，且藉此方式可以让影像分析区块pe1往最远坐标点e1右下方再向外推一些，以尽量包含到物件范围ra的右下转角处。然，定义影像分析区块pe1的方式不限于此，此处仅为一实施例。此外，影像分析区块pa1、影像分析区块pb1、影像分析区块pc1及影像分析区块pd1亦可以此方式产生，故此处不赘述。
[0057]
通过上述方式，如图3d所示，处理器20可产生对应于遮罩物件m1的影像分析区块pa1、影像分析区块pb1、影像分析区块pc1、影像分析区块pd1及影像分析区块pe1，依据同样的方式，处理器20亦可产生对应于遮罩物件m2的影像分析区块pa2、影像分析区块pb2、影像分析区块pc2、影像分析区块pd2及影像分析区块pe2。
[0058]
于步骤250中，处理器20将影像分析区块进行一后处理，以取得一物件范围ra。
[0059]
于一实施例中，请参阅图5a～图5f，图5a～图5f根据本发明的一实施例绘示一种后处理方法的示意图。由于后处理方法可以应用于每个影像分析区块(如，影像分析区块pa1、影像分析区块pb1、影像分析区块pc1、影像分析区块pd1、影像分析区块pe1、影像分析区块pa2、影像分析区块pb2、影像分析区块pc2、影像分析区块pd2及影像分析区块pe2)中，将此些影像分析区块各自进行后处理之后，可得到物件的各个角落，藉此精准的定义出物件范围ra，下述以影像分析区块pe1为例作说明。
[0060]
于一实施例中，如图5a所示，处理器20还用以在进行后处理时，将当前分析区块(例如影像分析区块pe1)进行一平滑化处理。平滑化处理可以去除影像杂质。于一实施例中，平滑化处理可以采用现有的演算法例如领域平均法、低通滤波法及多影像平均法等。
[0061]
于一实施例中，如图5b所示，处理器20处理完成平滑后处理后的影像分析区块pe1，处理器20垂直扫描影像分析区块pe1的每个像素。当处理器20在垂直扫描影像分析区块pe1的像素行(column)sc时，计算像素行sc中的所有像素各自的一像素强度，此些像素强度形成一第一像素曲线il，计算第一像素曲线il的斜率，以得到一第一斜率曲线sl，将第一斜率曲线sl的最大值标示为一标示点nd。处理器20会垂直扫描影像分析区块pe1中的所有像素行，因此会计算出许多标示点nd(即图5b上的圆点都为标示点nd)。
[0062]
于一实施例中，处理器20垂直扫描影像分析区块pe1的每个像素，以取得多个标示点nd，计算此些标示点nd所对应的一强度平均值(average intensity)，例如将此些标示点nd的灰阶度相加后取平均值以得到强度平均值，将强度平均值乘以一参数(例如为0.8)，以取得一门槛值，将像素强度低于门槛值的标示点过滤后(如图5c所示，图5c中的每个圆点都是过滤后剩余的标示点nd)，将剩余的标示点nd代入一线性回归演算法，以取得一回归线段rl(如图5d所示)。
[0063]
于一实施例中，处理器20更用以垂直扫描回归线段rl的每个像素，当处理器20在
垂直扫描回归线段的一第二像素行时，计算第二像素行中的所有像素各自的一第二像素强度，此些第二像素强度形成一第二像素曲线，计算第二像素曲线的斜率，以得到一第二斜率曲线，将第二斜率曲线的最大值的坐标视为关键点pcd1(如图5e所示)。
[0064]
于一实施例中，处理器20计算关键点pcd2(如图5f所示)，并计算关键点pcd1与关键点pcd2之间的距离，以取得一关键尺寸，关键尺寸例如为349.62纳米，此关键尺寸为一底部关键尺寸(bottom cd)。于一实施例中，关键点pcd2的计算方式与关键点pcd1相同，关键点pcd2位于影像分析区块pd1中。
[0065]
于一实施例中，关键点pcd3、关键点pcd4的计算方式与关键点pcd1相同，关键点pcd3位于影像分析区块pa1中，关键点pcd4位于影像分析区块pb1中。
[0066]
于一实施例中，请参阅图6，图6是根据本发明的一实施例绘示一种影像分析方法的示意图。处理器20处理器计算多个关键点pcd1～关键点pcd5，此些关键点为物件范围ra之整体或一部分的顶点，例如为区块bk1中的物件范围ra的一右下角(关键点pcd1)、一左下角(关键点pcd2)、一左上角(关键点pcd3)及一右上角(关键点pcd4)。于此例中，处理器20计算对应右上角的关键点pcd4与对应左上角的关键点pcd3的一中间位置，将此中间位置视为关键点pcd5，并将中间位置(关键点pcd5)与一底部关键尺寸(即关键点pcd1与关键点pcd2之间的连线)的距离视为一高度(例如为401.12纳米)。
[0067]
于一实施例中，处理器20计算关键点pcd3与关键点pcd4之间的距离，以取得关键尺寸，关键尺寸例如为215.27纳米。此关键尺寸为一上部关键尺寸(topcd)。
[0068]
由上述可知，处理器20将对应右上角的关键点pcd4与对应左上角的关键点pcd3相连，以取得上部关键尺寸，处理器20将对应右下角的关键点pcd1与对应左下角的关键点pcd2相连，以取得底部关键尺寸。处理器20计算关键点pcd5与关键点pcd1与关键点pcd2之间的连线的距离，以得到高度。因此，处理器20可计算出多个关键尺寸，此些关键尺寸包含上部关键尺寸、底部关键尺寸及高度，处理器20依据此些关键尺寸以精准地取得物件范围ra。
[0069]
本发明所示的影像分析系统及影像分析方法，将待分析影像输入至区域卷积神经网络模型，依据区域卷积神经网络模型输出的遮罩影像产生多个影像分析区块，并将此些影像分析区块进行后处理，无须将整张遮罩影像都进行后处理，即可以取得遮罩影像中重要的关键点，因此大幅减少运算量。在完成后处理之后，处理器可自动地分析出此些影像分析区块中的关键点，通过此些关键点的位置，可精准地可得到物件范围的效果。