判定装置、试验系统、判定方法及判定程序与流程

1.本发明关于一种判定装置、试验系统、判定方法及判定程序。


背景技术：

2.当对被测定器件(device)进行试验时，可能会因接触不良等而误判试验失败。因此，以往对试验失败的被测定器件进行重新试验，防止良率降低。


技术实现要素：

3.在本发明的第一方面中，提供一种判定装置。判定装置可具备结果获取部，其获取对被测定器件进行的复数个项目的试验的试验结果。判定装置可具备第1判定部，其判定是否对试验失败的被测定器件进行重新试验。第1判定部可基于预先对复数个被测定器件进行复数次试验时的试验结果的再现性来进行判定。
4.判定装置还可具备计算部，其对复数个项目分别计算再现性。第1判定部可基于由计算部所算出的再现性，来判定是否对相应项目的试验失败的被测定器件进行重新试验。
5.第1判定部可使用已学习了再现性的学习模型来进行判定。
6.计算部可具有学习模型，其与输入的复数个项目的试验结果相对应，输出重新试验的预测结果。计算部可具有供给部，其对学习模型供给由结果获取部所获取的复数个项目的试验结果。计算部可具有再现性获取部，其与将复数个项目的试验结果供给至学习模型相对应，从学习模型所输出的重新试验的预测结果中获取再现性。
7.判定装置还可具备学习处理部，其使用学习数据来执行学习模型的学习处理，该学习数据含有复数个项目中的至少失败的项目的项目id(标识符)、及重新试验的结果。
8.判定装置还可具备第2判定部，其使用重新试验的结果、及第1判定部的判定结果，来判定是否再次学习学习模型。学习处理部可根据由第2判定部所作的判定结果，来执行学习模型的学习处理。
9.计算部可由对复数个被测定器件进行复数个试验的试验结果、及复数个重新试验的试验结果，来计算再现性。
10.判定装置还可具备第2判定部，其使用重新试验的结果、及第1判定部的判定结果，判定是否更新再现性。计算部可根据由第2判定部所作的判定结果，来更新再现性。
11.判定装置还可具备第3判定部，其根据对每隔基准数的批次所包含的被测定器件执行试验，且无论第1判定部的判定结果如何，都判定对被测定器件进行重新试验。第2判定部可使用由第3判定部所执行的重新试验的结果来进行判定。
12.判定装置还可具备下限值获取部，其获取试验合格的被测定器件的比例的容许下限值。判定装置还可具备预测部，其基于各项目的再现性，算出相应项目的试验失败的被测定器件中，被预测为至少在所述项目的重新试验中合格的被测定器件的预测合格个数。第1判定部可在依照各项目的再现性的大小依序累计对应预测合格个数时，将基于再现性的值用作判定的阈值，该再现性与达到容许下限值的对应个数时、或即将达到之前的预测合格
个数对应。
13.判定装置还可具备提取部，其获取包含试验结果的数据文件，并从该数据文件提取各项目的试验结果。判定装置还可具备存储部，其存储由提取部提取的试验结果。结果获取部可从存储部获取复数个项目的试验结果。
14.在本发明的第2方面中，提供一种试验系统，其可具备第一方面的判定装置。试验系统可具备试验装置，其对被测定器件进行复数个项目的试验。
15.在本发明的第3方面中，提供一种判定方法，其可具备结果获取阶段，其获取对被测定器件进行的复数个项目的试验的试验结果。判定方法可具备第1判定阶段，其判定是否对试验失败的被测定器件进行重新试验。在第1判定阶段中，可基于预先对复数个被测定器件进行复数次试验时的试验结果的再现性来进行判定。
16.在本发明的第4方面中，提供一种判定程序。判定程序由计算机执行，并使计算机发挥作为结果获取部的功能，该结果获取部获取对被测定器件进行的复数个项目的试验的试验结果。判定程序由计算机执行，并使计算机发挥作为第1判定部的功能，该第1判定部判定是否对试验失败的被测定器件进行重新试验。第1判定部可基于预先对复数个被测定器件进行复数次试验时的试验结果的再现性来进行判定。
17.再者，上述的发明内容并未列举出本发明的全部的特征。另外，这些特征组的子组合也可成为发明。
附图说明
18.图1表示本实施方式的试验系统1。图2将试验装置200与晶圆101一并示出。图3将判定装置300的动作与试验装置200的动作一并示出。图4表示第1判定处理。图5将变型例的判定装置300a与试验装置200和被测定器件100一并示出。图6表示本发明的复数个方面可全部或部分具体化的计算机2200的一例。
具体实施方式
19.以下，通过发明的实施方式来说明本发明，但以下的实施方式并非用以限定权利要求的发明。另外，并非实施方式中所说明的特征的全部组合为发明的解决手段所必不可少的。
20.[1.试验系统1]图1表示本实施方式的试验系统1。试验系统1具备被测定器件100、试验装置200、及判定装置300。试验装置200与判定装置300也可一体地形成为单一装置。
[0021]
[1-1.被测定器件100]被测定器件100可为例如半导体和微机电系统(micro electro mechanical systems；mems)等电子器件。被测定器件100可在一片晶圆上形成有复数个，可将晶圆切割并单片化成为裸芯片状，也可被密封并封装。
[0022]
[1-2.试验装置200]试验装置200对一个或复数个被测定器件100进行试验。试验装置200可进行单一
项目的试验，也可同时或依序进行复数个项目(作为一例，1000至2000个项目)的试验。当例如被测定器件100是被封装后的电子器件时，试验所包含的复数个项目中的任意两个以上的项目，可为属于音频功能等相同类别的试验项目。在本实施方式中，作为一例，试验装置200对晶圆上的复数个被测定器件100依序进行复数个项目的试验。
[0023]
试验装置200可为系统lsi测试仪、模拟测试仪、逻辑测试仪、或内存测试仪等器件试验装置。试验装置200向被测定器件100提供各种测试信号，并从被测定器件100获取响应信号。试验装置200可将由各项目的试验所获得的数据文件，经由有线或无线供给至判定装置300。由试验装置200供给的试验的数据文件，在本实施方式中，作为一例，可为标准试验数据格式(standard testdataformat；stdf)的形式，可包含被测定器件100的批次编号和晶圆编号、被测定器件100的器件id、试验项目的项目id、各项目的测定值、及各项目的试验结果(在本实施方式中，作为一例，为合格/失败的判定值“0”、“1”)等。数据文件也可为数据日志(datalog)和测试日志的形式。
[0024]
此处，在由试验装置200实施的试验中，由于被测定器件100的表面污垢、试验装置200的接触不良等原因，会导致试验结果产生错误，即便是在第一次试验(也称作初检)中被判定为失败的被测定器件100，也可能在第二次试验(也称作再检、重新试验)中变成合格。因此，在以往的试验系统中，对初检失败的被测定器件进行重新试验，防止良率降低。
[0025]
然而，若对初检失败的被测定器件一律进行重新试验，则对原本就是不可能合格的不良品，也会白费工夫地进行无用的重新试验。因此，在本实施方式的试验系统1中，以判定装置300对初检失败的被测定器件100判断是否应该进行再检。再者，试验失败是指可为试验所包含的至少一个项目失败。再试验是指可为所谓再探测，其使试验装置200接触被测定器件100并修正然后重新进行试验。将被测定器件100固定至试验装置200后，使探针接触被测定器件100时，可在初检后解除固定状态，也可不解除。
[0026]
[1-3.判定装置300]判定装置300具有：提取部301、存储部303、结果获取部305、计算部307、下限值获取部309、预测部311、阈值决定部313、及第1判定部315。
[0027]
[1-3-1.提取部301]提取部301从试验装置200获取试验的数据文件(本实施方式中，作为一例为stdf文件)，从该数据文件提取各项目的试验结果(本实施方式中，作为一例为合格/失败的判定值)。除了试验结果以外，提取部301可从数据文件预先提取对应试验的项目id、及被测定器件100的器件id和批次编号等变换至csv(comma-separatedvalues)文件。提取部301可将提取的数据供给至存储部303。
[0028]
[1-3-2.存储部303]存储部303存储由提取部301提取的试验结果(本实施方式中，作为一例为合格/失败的判定值)。存储部303，可将试验的项目id、被测定器件100的器件id及批次编号等，与试验结果附加对应关系并存储。存储部303中所存储的数据，可由结果获取部305可读取。
[0029]
[1-3-3.结果获取部305]结果获取部305，获取对被测定器件100所进行的复数个项目的试验结果。本实施方式中，作为一例，结果获取部305可从存储部303获取试验结果。结果获取部305可从存储部303，与各项目的试验结果一同获取该项目的项目id及被测定器件100的器件id。结果获
取部305，可将初检相关试验结果等，供给至计算部307及第1判定部315。
[0030]
[1-3-4.计算部307]在预先对复数个被测定器件100进行复数次试验(本实施方式中，作为一例为2次)时，计算部307计算此时的试验结果的再现性。计算部307可将算出的再现性的值供给至第1判定部315及预测部311。
[0031]
再现性可为表示相同试验结果(本实施方式中，作为一例为合格/失败的判定值)将再现多少的指标，例如示出初检中的失败的试验结果，在再检中将再现多少。再现性越高，再检成为失败而再试验所需的时间等容易浪费，因此，再现性可为表示再试验的无效性的指标。
[0032]
作为一例，再现性可为失败的试验结果再现的比率(也称作再现率)。取而代之，再现性可为再试验中所预测的失败数(也称作再检预测失败数)。再检预测失败数可为自在初检中为失败的被测定器件100的个数(也称作初检失败数)，减去在再检中的预测合格数的值，也可为对基准数的被测定器件100的在初检中成为失败的被测定器件100的数，乘上再现率而得的值。基准数可为晶圆所包含的被测定器件100的数，作为一例，可为100至10000。
[0033]
再现性可为复数个项目的各者的值，可表示当一项目中的初检的结果为失败时，再检的结果会成为失败。本实施方式中，作为一例，再检成为失败是指，可为试验所包含的任一项目成为失败，也可为在与初检相同的项目中成为失败。
[0034]
本实施方式中，作为一例，计算部307使用学习模型371来计算再现性。计算部307具有学习模型371、供给部373及再现性获取部375。
[0035]
[1-3-5(1).学习模型371]学习模型371与输入的复数个项目的试验结果相对应，输出再试验的预测结果。
[0036]
学习模型371可通过使用了学习数据的学习处理来生成，该学习数据包含对初检为失败的被测定器件100所执行的再试验的试验结果。学习数据可包含试验的各项目中的至少失败的项目的项目id、及再试验的结果。当初检中的一项目的试验为失败时，其再试验的试验结果可仅表示该一项目的试验的结果，也可表示各项目的试验的结果，也可仅表示试验的全体的结果。学习数据中，可进而含有晶圆上的被测定器件100的位置、测定值与理想值的偏移量等。
[0037]
在本实施方式中，作为一例，学习模型371为随机森林(random forest)的机器学习算法，但也可为支持向量机(svm)和k邻域法、逻辑回归等其它机器学习算法。
[0038]
关于试验的各项目的结果，学习模型371可将合格设为0，将失败设为1来学习，再试验的结果成为失败的可能性越高，可输出越接近1的值。由此，关于某一项目的试验被输入了表示失败的试验结果(也即1)时，再试验的结果再次为失败的可能性越高，输出值越接近1。因此，所输出的预测结果可表示试验的逐项的再现性。
[0039]
[1-3-5(2).供给部373]供给部373对学习模型371供给由结果获取部305获取的复数个项目的试验结果(本实施方式中，作为一例为初检的试验结果)供给。供给部373可供给各项目的试验结果连同该项目的项目id。
[0040]
[1-3-5(3).再现性获取部375]供给部373与将复数个项目的试验结果供给至学习模型371，与此相应地，再现性
获取部375可从学习模型371所输出的再检的预测结果，获取再现性。再现性获取部375可对再检的预测结果的值进行四则运算等来获取再现性，也可将预测结果的值本身作为再现性来获取。
[0041]
再现性获取部375将获取的再现性供给至预测部311及第1判定部315。本实施方式中，作为一例，不论初检的试验结果如何，将各项目的再现性供给至预测部311，并将初检中失败的项目(也称作初检失败项目)的再现性供给至第1判定部315。
[0042]
[1-3-6.下限值获取部309]下限值获取部309获取试验合格的被测定器件100的比例的容许下限值。容许下限值基于应试验合格的被测定器件100的良率等，可由判定装置300的操作者设定。容许下限值，作为一例，可为10％。下限值获取部309可将获取的容许下限值供给至阈值决定部313。
[0043]
[1-3-6.预测部311]预测部311，基于各项目的再现性，计算相应项目的试验(本实施方式中，作为一例为初检)失败的被测定器件100中，至少预测为该项目的再检会合格的被测定器件100的预测合格个数。例如，预测部311可计算被预测为再检的全体会合格的被测定器件100的预测合格个数。
[0044]
预测部311可基于自计算部307供给的再现性来计算预测合格个数。预测部311可按各项目，将再现性与预测合格个数附加对应关系并供给至阈值决定部313。
[0045]
[1-3-6.阈值决定部313]阈值决定部313，根据各项目的再现性及预测合格个数，决定用于判定是否进行再检的阈值。本实施方式中，作为一例，阈值可为再现性的值。阈值决定部313可将所决定的阈值供给至第1判定部315。
[0046]
[1-3-6.第1判定部315]第1判定部315，判定是否对试验(本实施方式中，作为一例为初检)失败的被测定器件100进行再检。试验失败是指可为试验所包含的至少一个项目失败。第1判定部315可基于再现性来进行判定。
[0047]
例如，第1判定部315可基于各项目的再现性，判定是否对相应项目的试验失败的被测定器件100进行再检。本实施方式中，作为一例，第1判定部315可使用从结果获取部305供给的各项目的试验结果、该项目的项目id、及被测定器件100的器件id来进行判定。第1判定部315可使用已学习了再现性的学习模型371，并基于从该学习模型371输出的再现性来进行判定。第1判定部315可将由阈值决定部313决定的阈值用于判定。
[0048]
当进行了再检的判定时，第1判定部315可将应进行再检的被测定器件100的器件id供给至试验装置200。由此，通过试验装置200对作为对象的被测定器件100进行再检。再检可对试验的全部项目重新进行。
[0049]
根据以上的判定装置300，基于试验结果的再现性，判定是否对试验失败的被测定器件100进行再检。因此，可以节省对即便再检仍然失败的被测定器件100白费工夫地进行无用的再检的麻烦，并有效进行再检。
[0050]
另外，基于各项目的再现性，来判定是否对相应项目的试验失败的被测定器件100进行再检，因此，能够确实地省略无用的再检。
[0051]
另外，由于使用已学习了各项目的再现性的学习模型371来进行判定，因此，能够
将项目之间的试验结果的潜在关联性反映至判定中。因此，能够提高判定的精度，并有效地进行再检。
[0052]
另外，将复数个项目的试验结果输入学习模型371，获取表示再现性的再检的预测结果，因此，能够确实地获取高精度的再现性而进行判定。
[0053]
另外，从试验的数据文件提取各项目的试验结果后保存于存储部303，所保存的试验结果可由结果获取部305获取。因此，与结果获取部305从试验装置200直接地获取数据文件后提取试验结果的情况不同，能够提高结果获取部305的处理速度。
[0054]
[2.试验装置200]图2将试验装置200与晶圆101一并示出。试验装置200具备测试仪主体201、测试头203及探测器205。
[0055]
测试仪主体201为试验装置200的主体部，其进行各种试验的控制。例如，测试仪主体201可进行被测定器件100的初检，并基于来自判定装置300的信号，进行被测定器件100的再检。
[0056]
测试头203被构成为可在经由电缆连接于测试仪主体201并对被测定器件100进行试验的试验位置、及不进行试验的退避位置之间进行驱动。当进行试验时，测试头203基于由测试仪主体201实行的控制，在试验位置将测试信号发送至被测定器件100，从被测定器件100接收响应信号后，将该信号中继到测试仪主体201。测试头203可具有：与被测定器件100接触而获取电接触的复数个探针231。
[0057]
复数个探针231，与形成于晶圆101上的复数个被测定器件100中的若干(本实施方式中为四个)的复数个电极焊垫的各者对应地配置。
[0058]
探测器205搬送晶圆101并载置到平台上，使晶圆101与测试头203的位置对准。
[0059]
[3.动作]图3将判定装置300的动作与试验装置200的动作一并示出。判定装置300通过进行步骤s11至s25的处理，来判定是否进行被测定器件100的再检。再者，图中的虚线框示出由试验装置200实行的处理。
[0060]
在步骤s11中，试验装置200对复数个被测定器件100分别进行试验。本实施方式中，作为一例，试验装置200对基准数的被测定器件100也即晶圆101上的全部被测定器件100，分别进行试验。当步骤s11的处理从第二次以后进行时，试验装置200可对尚未进行试验的复数个被测定器件100进行初检。
[0061]
在步骤s13中，提取部301从试验装置200获取数据文件(本实施方式中，作为一例为stdf文件)来提取各项目的试验结果，存储部303存储该试验结果。在本实施方式中，作为一例，可通过提取部301进而提取被测定器件100的器件id及试验的项目id等，并存储于存储部303。
[0062]
在步骤s15中，结果获取部305从存储部303获取试验结果。结果获取部305可进而获取试验结果及被测定器件100的器件id和试验的项目id等。
[0063]
在步骤s17中，第1判定部315在判定步骤s11中，判定经试验的基准数的被测定器件100的全部是否试验合格。本实施方式中，作为一例，第1判定部315判定晶圆101上的全部被测定器件100是否在试验的全项目上合格。当判定在步骤s17中的全部被测定器件100试验合格时(步骤s17；是)，处理移至步骤s11。由此，通过试验装置200，对下一片晶圆101的被
测定器件100进行试验。当判定在步骤s17中的全部被测定器件100未试验合格时(步骤s17；否)，处理移至步骤s19。
[0064]
在步骤s19中，第1判定部315对在步骤s11中的试验失败的被测定器件100，进行是否再检的判定处理。此步骤s19的处理的详情后面详述。
[0065]
在步骤s21中，第1判定部315判定是否进行再检的判定。当执行对全部被测定器件100不进行再检的判定时(步骤s21；是)，处理移至步骤s11。由此，通过试验装置200对下一片晶圆101的被测定器件100进行试验。当对在步骤s21中的至少一个被测定器件100进行再检的判定时(步骤s21；是)，处理移至步骤s23。
[0066]
在步骤s23中，试验装置200对已判定为进行再检的一个或复数个被测定器件100进行再检。再检，可对试验的各项目进行。
[0067]
当试验装置200能够同时对复数个被测定器件100进行试验时，试验装置200可仅对这些被测定器件100中的被判定为进行再检的被测定器件100进行试验。作为一例，当试验装置200的复数个探针231能够接触各被测定器件100时，试验装置200可使各探针231接触对应位置的各被测定器件100，并仅对与进行再检的被测定器件100接触的探针231，流通电流。
[0068]
在步骤s25中，与上述的步骤s13相同，提取部301从试验装置200获取数据文件(本实施方式中，作为一例为stdf文件)后，提取各项目的试验结果，存储部303存储该试验结果。步骤s25的处理结束后，处理可移至步骤s11。由此，通过试验装置200对下一片晶圆101的被测定器件100进行试验。
[0069]
[4-1.第1判定处理]图4表示第1判定处理。判定装置300通过进行步骤s101至s107的处理，对被测定器件100判定是否再检。
[0070]
在步骤s101中，下限值获取部309，通过判定装置300的操作者来获取预设的容许下限值。容许下限值被内部存储于判定装置300时，下限值获取部309可获取该容许下限值。
[0071]
在步骤s102中，计算部307对复数个项目分别计算再现性。计算部307可使用学习模型371来计算再现性。
[0072]
在步骤s103中，预测部311基于各项目的再现性，来计算各项目的预测合格个数。作为一例，当再现性表示失败的再现率时，预测部311可对各项目根据下述式(1)算出预测合格个数。当再现性表示再检预测失败数时，预测部311可对各项目根据下述式(2)算出预测合格个数。
[0073]
预测合格个数＝初检失败数
×
(1-再现率)(1)预测合格个数＝初检失败数-再检预测失败数(2)
[0074]
在步骤s105中，阈值决定部313根据各项目的再现性及预测合格个数，来决定用于判定是否进行再检的阈值。例如，阈值决定部313在依照各项目的再现性的大小依序累计对应预测合格个数时，可检出累计结果达到容许下限值的对应个数时的预测合格个数。取而代之，阈值决定部313可检出累计结果即将达到容许下限值的对应个数之前的预测合格个数。阈值决定部313可将基于与检出的预测合格个数对应的再现性的值，用作为阈值。
[0075]
此处，依照再现性的大小依序累计预测合格个数是指，可为按再现性的升序或降序来累计预测合格个数，本实施方式中，作为一例，按再现性的升序来累计预测合格个数。
基于再现性的值是指，可为对再现性的值进行四则运算等而获得的值，但本实施方式中，作为一例为再现性的值本身。此时，利用比较阈值、及各项目的再现性，能够判定是否对该项目失败的被测定器件100进行再检。
[0076]
在步骤s107中，第1判定部315按项目判定是否对该项目的试验失败的被测定器件100进行再检。第1判定部315可使用以下两者来进行判定：由计算部307的再现性获取部375供给的关于各初检失败项目的再现性、由阈值决定部313供给的关于再现性的阈值。
[0077]
当初检失败项目的再现性大于阈值时，第1判定部315可判定不对该项目失败的被测定器件100进行再检，当初检失败项目的再现性小于阈值时，可判定对该项目失败的被测定器件100进行再检。第1判定部315可检出由结果获取部305获取的各器件id中，初检失败项目的再现性小于阈值的再现性的项目失败的被测定器件100的器件id，并作为再检的对象供给至试验装置200。
[0078]
根据以上的第1判定处理，当依照各再现性的大小依序累计各项目的预测合格个数时，由于检出与达到合格比例的容许下限值的对应个数时、或即将达到之前的预测合格个数对应的再现性，因此，检出满足容许下限值但不需再检的阈值。因此，通过使用此阈值来进行是否再检的判定，能够使试验合格的被测定器件100的比例为容许下限值以上。
[0079]
再者，试验的再现性，由于对被测定器件100实施的处理工程而不同。例如，在经低温处理的被测定器件100、及经高温处理的被测定器件100中，再现性可能不同。因此，当试验对象中包含实施了各自的处理工程的被测定器件100时，较佳为按所实施的处理工程而使用各自的学习模型371来进行第1判定处理。
[0080]
[5.变型例]图5将变型例的判定装置300a与试验装置200和被测定器件100一并示出。判定装置300a还具有：第1判定部315a、结果获取部305a、第3判定部317、第2判定部319、及学习处理部321。再者，本变型例的判定装置300a中，对与图1所示的判定装置300大致相同者附加相同的符号，并省略说明。
[0081]
[5-2.第1判定部315a]第1判定部315a为与上述的第1判定部315相同的构成，但也将判定结果供给至第2判定部319。
[0082]
[5-3.结果获取部305a]结果获取部305a为与上述的结果获取部305相同的构成，但还从存储部303获取试验结果等及被测定器件100的批次编号。另外，结果获取部305a将批次编号与器件id附加对应关系并供给至第3判定部317。另外，结果获取部305a将与由第3判定部317所供给的器件id对应的初检的试验结果、及再检的试验结果，与试验项目的项目id附加对应关系并从存储部303获取，且供给至第2判定部319。
[0083]
[5-4.第3判定部317]第3判定部317，判定是否对被测定器件100进行再检。第3判定部317可无论该第1判定部315的判定结果如何，都判定对被测定器件100进行再检。第3判定部317对每隔基准数(本实施方式中，作为一例为4)的批次所包含的被测定器件100执行该试验，由此，可进行再检的判定。例如，第3判定部317，当对基准数的批次的下一批次(本实施方式中，作为一例为第5批次)所包含的各被测定器件100进行初检时，可对该被测定器件100进行再检的判
定。作为一例，第3判定部317可在上述的步骤s15、及步骤s17之间进行判定。
[0084]
第3判定部317可基于从结果获取部305a供给的批次编号，检出批次编号的切换，并计数已试验的批次数。第3判定部317可对被测定器件100进行再检的判定，该被测定器件100在已试验的批次数达到基准数(本实施方式中为4)后，在达到下一数(本实施方式中为5)为止的期间进行初检。第3判定部317可从结果获取部305a所供给的器件id，提取应进行再检的被测定器件100的器件id，并供给至试验装置200。由此，通过试验装置200来对作为对象的被测定器件100进行再检。
[0085]
第3判定部317，可将应再检的被测定器件100的器件id也供给至结果获取部305a。由此，与该器件id对应的初检的试验结果、及再检的试验结果，被与试验的各项目的项目id附加对应关系，并供给至第2判定部319。
[0086]
[5-5.第2判定部319]第2判定部319，使用再检的结果、及第1判定部315的判定结果，来判定是否再次学习学习模型371。由第2判定部319所使用的再检的结果，可为由第3判定部317所执行的再检的结果，但也可为由第1判定部315所执行的再检的结果。
[0087]
第2判定部319可从以下两种结果算出tp(truepositive，真阳性)、tn(truenegative，真阴性)、fp(falsepositive，伪阳性)、及fn(falsenegative，伪阴性)的值：第1判定部315的判定结果(本实施方式中，作为一例为判定为再检的对象的被测定器件100的器件id)、及自结果获取部305a所供给的各器件id的再检的试验结果。tp可为，被判定为再检，且再检合格的被测定器件100的个数。tn可为，被判定为不进行再检，且再检失败的被测定器件100的个数。fp可为，被判定为进行再检，且再检失败的被测定器件100的个数。fn可为，被判定为不进行再检，且再检合格的被测定器件100的个数。
[0088]
当未满足防止良率降低所需的条件(也称作良率条件)、及减少再检数所需的条件(也称作再试验降低条件)中的至少一者的条件时，第2判定部319可进行再次学习的判定。再者，良率可为，供试验的全部被测定器件100中，试验(或再检)合格的被测定器件100的比例。
[0089]
良率条件可为：当对全部的被测定器件100进行再检时，合格的被测定器件100的数(fn tp)、及判定为进行再检并再检合格的被测定器件100的个数(tp)的比，大于阈值。也即，良率条件，可使用阈值(th1)并以tp/(fn tp)≥th1来表示。
[0090]
再检降低条件可为：初检中失败的被测定器件100的个数(tn fp fn tp)、及未进行再检的被测定器件100的个数(tn fn)的比，大于阈值。也即，再检降低条件可使用阈值(th2)并以(tn fn)/(tn fp fn tp)≥th2来表示。
[0091]
当已进行再次学习的判定时，第2判定部319可将从结果获取部305a获取的数据中所提取的学习数据，供给至学习处理部321。
[0092]
[5-6.学习处理部321]学习处理部321，使用学习数据来执行学习模型371的学习处理，该学习数据包含试验的各项目中的至少失败的项目的项目id、及再试验的结果。学习处理部321可根据由第2判定部319所作的判定结果，来执行学习模型371的学习处理。作为一例，学习处理部321根据从第2判定部319供给学习数据，可进行学习处理。学习处理部321可进而使用学习数据来执行学习处理，该学习数据包含晶圆上的被测定器件100的位置、及测定值与理想值的偏移
量等。学习处理部321可从结果获取部305a和第2判定部319获取这些的数据。
[0093]
根据以上的判定装置300a，由于通过学习处理部321来进行学习模型371的学习处理，因此，能够进一步提高再现性的精度。
[0094]
另外，使用由第2判定部319所作的再检的结果、及第1判定部315的判定结果，来判定是否再次学习学习模型371。因此，当第1判定部315的判定精度较低时，再次学习学习模型371，能够提高第1判定部315的判定精度。
[0095]
另外，由于每当进行基准批次数的被测定器件100的试验时都强制进行再检，因此能够确实地将再现性的精度和学习模型371的学习精度维持在较高水平。
[0096]
[6.其它变型例]再者，上述的实施方式及变型例中，以判定装置300具有计算部307、下限值获取部309、预测部311及阈值决定部313来进行说明，但也可不具有这些构件。例如，判定装置300可从外部连接的计算部307、预测部311及阈值决定部313，获取再现性、预测合格个数及阈值的计算结果。另外，判定装置300可不使用预测合格个数和阈值就进行由第1判定部315实施的判定。作为一例，第1判定部315可对再现性较大的基准数的项目失败的被测定器件，实行不进行再检的判定。
[0097]
另外，已对结果获取部305经由提取部301及存储部303而从试验装置200获取试验结果等进行说明，但也可从试验装置200直接地获取。此时，结果获取部305可获取数据文件(作为一例为stdf文件)的试验数据后，从该数据文件提取试验结果等。此时，判定装置300可不具有提取部301。
[0098]
另外，可将由预测部311所算出的各项目的预测合格个数，作为该项目的初检失败的被测定器件100中的被预测为在该项目的再检中合格的被测定器件100的数量来进行说明，但也可作为表示其它值的数。例如，各项目的预测合格个数可为，该项目的初检失败的被测定器件中的被预测为在全部的再检中合格的被测定器件100的数量。
[0099]
另外，对将试验的各项目作成再现性的值来进行说明，但也可作成与试验全体对应的值。当初检的结果失败时，此时再现性可显示再检的结果失败。
[0100]
另外，对计算部307使用学习模型371来计算再现性进行说明，但也可在不使用学习模型371的情况下，计算再现性。例如，计算部307可从以下两种结果计算再现性：对复数个被测定器件100进行复数个试验的试验结果、及复数个再检的试验结果。作为一例，计算部307可使用对复数个被测定器件100进行初检及再检的结果，并从各项目的初检中的失败数、及再检中的失败数的比，来计算再现率。由此，能够获取统计性再现率，该统计性再现率基于对复数个被测定器件100进行初检的结果。当在不使用学习模型371的情况下，计算再现性时，由于不需要每次都对各被测定器件100将初检的试验结果输入至学习模型371，因此，可预先按项目计算再现率后，内部存储于判定装置300。此外，第2判定部319可使用再检的结果、及第1判定部315的判定结果，来判定是否更新已算出的再现性。此时，计算部307可根据由第2判定部319所作的判定结果，来更新再现性。再者，第2判定部319的判定手法，可为与上述的变型例相同。
[0101]
再者，试验系统1的试验装置200和判定装置300、300a中的至少一部分的功能部，可由执行程序的计算机来实现。计算机可为依照预先作成的程序来进行计算和逻辑处理，作为一例，可为具有微处理器的特殊目的专用的计算机，可为通用计算机，也可为其它计算
机。
[0102]
本发明的各种实施方式，可参阅流程图及方块图来记载，此处，方块可表示：(1)操作被执行的进程(process)的阶段、或(2)具有执行操作的任务的装置的区段。特定的阶段及区段，可通过下述来构装：专用电路、与存储于计算机可读取介质上的计算机可读取指令一并供给的可编程电路、及/或与存储于计算机可读取介质上的计算机可读取指令一起供给的处理器。专用电路可含有数字及/或模拟硬件电路，也可含有集成电路(ic)及/或离散电路。可编程电路可含有可重新构成的硬件电路，该可重新构成的硬件电路含有逻辑and、逻辑or、逻辑xor、逻辑nand、逻辑nor、及其它逻辑操作、正反器、缓存器、场可编程门阵列(fpga)、及可编程逻辑数组(pla)等的内存组件等。
[0103]
计算机可读取介质可含有任意的有形器件，该任意的有形器件能存储通过合适的器件来执行的指令，其结果为，具有被存储于其中的指令的计算机可读取介质，具备一种产品，该产品含有可执行的指令以创建在流程图或方块图中所指定的操作所需的手段。作为计算机可读取介质的例子，可含有电子存储介质、磁存储介质、光存储介质、电磁存储介质、半导体存储介质等。作为计算机可读取介质的更具体的例子，可含有：软盘(注册商标)碟、磁盘、硬盘、随机存取内存(ram)、只读存储器(rom)、可抹除可编程只读存储器(eprom或闪存)、电气可抹除可编程只读存储器(eeprom)、静态随机存取内存(sram)、光盘只读存储器(cd-rom)、数字多功能光盘(dvd)、蓝光(rtm)碟、存储棒、集成电路卡等。
[0104]
计算机可读取指令可包含一或复数个程序语言的任意组合中所记述的源代码或目标代码的任一者，其汇编组译器指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、韧体指令、状态设定数据、或smalltalk、java(注册商标)、c 等般的面向对象程序语言、及“c”程序语言或相同的程序语言般的以往的顺序程序语言。
[0105]
相对于通用计算机、特殊目标计算机、或其它计算机等可编程数据处理装置的处理器或可编程电路，计算机可读指令，可在本地或经由局域网(lan)、互联网等的广域网(wan)提供，以创建执行流程图或方块图中所指定的操作所需的手段，并执行计算机可读指令。作为处理器的例子，含有计算机处理器、处理单元、微处理器、数字信号处理器、控制器、及微控制器等。
[0106]
图6表示本发明的复数个方面可全部或部分具体化的计算机2200的一例。安装于计算机2200额程序，可以使计算机2200作为关联在本发明的实施方式的装置的操作或该装置的一个或复数个区段而发挥作用；或者，可以执行该操作或该一个或复数个区段、及/或可以使计算机2200执行本发明的实施方式的进程或该进程的阶段。这种程序可使计算机2200通过cpu2212来执行，以执行与本说明书所述的流程图及方块图的方块中的若干或全部关联的特定的操作。
[0107]
本实施方式的计算机2200，含有cpu2212、ram2214、图形控制器2216、及显示设备2218，它们通过主机控制器2210相互连接。计算机2200还含有通讯接口2222、硬盘驱动器2224、dvd-rom驱动器2226、及ic卡驱动器般的输入/输出单元，它们经由输入/输出控制器2220而连接于主机控制器2210。计算机还含有rom2230及键盘2242般的传统的输入/输出单元，它们经由输入/输出芯片2240而连接于输入/输出控制器2220。
[0108]
cpu2212依照存储于rom2230及ram2214内的程序而运行，由此来控制各单元。图形控制器2216获取ram2214内提供的讯框缓冲器等或其本身中通过cpu2212所生成的图像数
据，图像数据可显示于显示设备2218上。
[0109]
通讯接口2222经由网络而与其它电子器件通讯。硬盘驱动器2224存储要被计算机2200内的cpu2212使用的程序及数据。dvd-rom驱动器2226从dvd-rom2201读取程序或数据，并经由ram2214将程序或数据提供至硬盘驱动器2224。ic卡驱动器从ic卡读取程序及数据、及/或将程序及数据写入ic卡。
[0110]
rom2230在其中存储要通过计算机2200在启动时执行的开机程序等、及/或存储依存于计算机2200的硬件的程序。输入/输出芯片2240，还可将各种输入/输出单元经由并行端口、串行端口、键盘端口、鼠标端口等，连接于输入/输出控制器2220。
[0111]
程序通过dvd-rom2201或ic卡般的计算机可读取介质提供。程序从计算机可读取介质读取，并安装于计算机可读取介质的例子也即硬盘驱动器2224、ram2214、或rom2230，且通过cpu2212执行。这样的程序内所记述的信息处理被读取至计算机2200，致使程序、及上述各种类型的硬件资源之间协作。装置或方法可通过以下内容来构成：依据计算机2200的使用来实现信息的操作或处理。
[0112]
例如，通讯在计算机2200及外部器件之间执行时，cpu2212执行已加载于ram2214中的通讯程序，并基于通讯程序中所记述的处理，可对通讯接口2222命令进行通讯处理。通讯接口2222在cpu2212的控制下，读取已存储于ram2214、硬盘驱动器2224、dvd-rom2201、或ic卡等的记录介质内所提供的发送缓冲处理领域中的发送数据，并将所读取的发送数据发送至网络、或将从网络接收的接收数据写入记录介质上所提供的接收缓冲处理领域等。
[0113]
另外，cpu2212可使硬盘驱动器2224、dvd-rom驱动器2226(dvd-rom2201)、及ic卡等的外部记录介质中所存储的文件或数据库的全部或必要部分，被读取至ram2214，并对ram2214上的数据执行各种类型的处理。cpu2212继而将所处理的数据写回至外部记录介质。
[0114]
各种类型的程序、数据、表格、及数据库般的各种类型的信息，可存储于记录介质，并接受信息处理。cpu2212可对从ram2214读取的数据，执行本发明所记载的含有通过程序的指令序列所指定的各种类型的操作、信息处理、条件判断、条件分支、无条件分支、及信息的检索/置换等的各种类型的处理，并将结果写回至ram2214。另外，cpu2212可检索记录介质内的文件、数据库等中的信息。例如，当具有各自与第2属性的属性值相关联的第1属性的属性值的复数个条目，被存储于记录介质内时，cpu2212从该复数个条目中检索第1属性的属性值所指定的符合条件的条目，并读取该条目内所存储的第2属性的属性值，由此，可获取与满足预定条件的第1属性相关联的第2属性的属性值。
[0115]
以上说明的程序或软件模块，可存储于计算机2200上或计算机2200附近的计算机可读取介质。此外，连接于专用通讯网络或互联网的服务器系统内所提供的硬盘或ram般记录介质，可以作为计算机可读取介质使用，并由此经由网络将程序提供至计算机2200。
[0116]
以上，利用实施方式来说明本发明，但本发明的保护范围并不限定于上述实施方式所记载额范围。熟悉本发明的技术领域者明白可对上述实施方式实施各种变更或改良。由权利要求的记载可知，如此的经实施变更或改良的方式也可包含在本发明的保护范围内。
[0117]
应注意的是，权利要求、说明书及附图中所示额装置、系统、程序以及方法中的动作、程序、步骤及阶段等各处理的执行顺序，只要未特别明示“更前”、“之前”等，再者只要并
非在后一处理中使用前一处理的输出，则可按任意顺序实现。关于权利要求、说明书及附图中的动作流程，为方便起见而采用“首先，”、“其次，”等进行了说明，但并不表示必须按该顺序实施。附图标记说明
[0118]
1:试验系统100:被测定器件101:晶圆200:试验装置201:测试仪主体203:测试头205:探测器231:探针300:判定装置301:提取部303:存储部305:结果获取部307:计算部309:下限值获取部311:预测部313:阈值决定部315:第1判定部317:第3判定部319:第2判定部321:学习处理部371:学习模型373:供给部375:再现性获取部2200:计算机2201:dvd-rom2210:主机控制器2212:cpu2214:ram2216:图形控制器2218:显示设备2220:输入/输出控制器2222:通讯接口2224:硬盘驱动器2226:dvd-rom驱动器2230:rom
2240:输入/输出芯片2242:键盘