自动判别处理装置、自动判别处理方法、检查系统、程序、及记录介质与流程

1.本发明涉及一种自动判别处理装置、自动判别处理方法、检查系统、程序、及记录介质。
2.本技术依据2019年7月18日于日本提出专利申请的特愿2019-132725号而主张优先权，并在此援引其内容。


背景技术：

3.在树脂制的薄膜上形成有铜箔的配线图案的印刷基板等的检查中，一般而言所使用的是使用了相机的光学式检查。在光学式检查中，以下的方法已广泛地被使用：让计算机进行将检查对象物的拍摄图像和参照图像比较的图像处理来检测缺陷。然而，在上述的方法中，有误将原本并非缺陷的部分辨识为缺陷的可能性。这样的情形被称为误检测(虚报)。从而，有作业人员必须再确认计算机所进行的图像处理结果的问题。
4.在专利文献1中记载有以下技术：为了减少上述的误检测，而对用于检测缺陷的基准进行调整。具体而言，在专利文献1的段落0006中记载有以下情形：提供“一种检查方法，可以抑制虚报及漏看的至少其中一者的产生，而使缺陷的检测精度提升”等。
5.现有技术文献
6.专利文献
7.专利文献1：日本特许第6218094号公报


技术实现要素：

8.发明要解决的问题
9.所期望的是能够有效率地判别作为计算机所进行的图像处理的结果而报告的缺陷是真的缺陷(实报)还是假的缺陷(虚报(误检测))。
10.在以往的技术中，误检测验证装置(或误检测验证程序)将具有作为计算机所进行的图像处理的结果来报告的缺陷的图像显示于计算机的画面上。此外，作业人员目视确认显示于画面的图像来判别是实报还是虚报。并且，作业人员使用键盘或鼠标等的输入组件来将判别结果输入到误检测验证装置等。使得能够削减这种由作业人员所进行的作业将涉及到检查的效率化。
11.在检查的效率化中，让施加于以往的系统(误检测验证装置等)的改变尽量变少的作法，将涉及到对检查设备的投资效率的提升。
12.本发明是根据上述的课题理解而进行的发明。本发明是设为如下的发明：提供一种可以将目视来判别所显示的图像的作业效率化，并且以尽可能地让对以往的设备的改变较少的方式来完成的自动判别处理装置、自动判别处理方法、检查系统、程序、及记录介质。
13.用于解决问题的手段
14.实施方式的自动判别处理装置具备图像取得部、自动判别部及判别结果输出部。
误检测验证装置将不良候选图像显示于显示装置，并且经由输入组件来取得针对所述不良候选图像的二次检查的判别结果。图像取得部从用于在所述显示装置显示的介质读取所述误检测验证装置所显示的所述不良候选图像。自动判别部进行依据所述图像取得部所读取到的所述不良候选图像的内容的判别处理并输出判别结果。判别结果输出部会生成根据所述判别结果的信号。该信号是与经由连接于所述误检测验证装置的输入组件来将所述误检测验证装置所显示的画面中包含的“不良”的按钮和“良”的按钮的任一个按钮按下等效的信号。
15.所述自动判别部也可以保持有针对所述不良候选图像与所述判别结果的关系已机器学习完毕的模型，并通过将所述模型应用于所述图像来进行所述判别处理。
16.所述误检测验证装置也可以是将通过光学地读取电子电路而被检测出的所述不良候选图像显示输出的装置。所述自动判别部也可以依据所述不良候选图像来进行判别所述电子电路为良还是不良的处理，并输出所述判别结果。
17.所述输入组件也可以是鼠标和键盘的至少其中一种。在所述输入元件为鼠标的情况下，所述判别结果输出部生成如下信号：通过产生鼠标的事件，使鼠标光标移动到所述“不良”的按钮和所述“良”的按钮的任一个的区域内后使鼠标点击。在所述输入组件为键盘的情况下，所述判别结果输出部生成如下信号：通过产生键盘的事件，使焦点移动至所述“不良”的按钮和所述“良”的按钮的任一个后确定操作。
18.所述自动判别处理装置也可以更具备脚本(scenario)执行部。所述脚本执行部执行记述有处理过程的脚本。所述脚本是使所述脚本执行部作为所述图像取得部和所述判别结果输出部来发挥功能的脚本。
19.所述脚本执行部也可以通过执行所述脚本来进一步完成所述误检测验证装置为了将所述图像显示于所述显示装置所需要的处理过程。
20.自动判别处理方法包含图像取得过程、自动判别过程及判别结果输出过程。误检测验证装置将不良候选图像显示于显示装置，并且经由输入组件取得针对所述不良候选图像的判别结果的信息来作为二次检查。在图像取得过程中，例如计算机从用于在所述显示装置显示的介质读取所述误检测验证装置所显示的所述不良候选图像。在自动判别过程中，例如计算机依据在所述图像取得过程中所读取到的所述不良候选图像的内容来进行判别处理并输出判别结果。在判别结果输出过程中，例如计算机生成根据所述判别结果的信号，且所述信号是与经由连接于所述误检测验证装置的输入组件来将所述误检测验证装置所显示的画面中包含的“不良”的按钮和“良”的按钮的任一个按钮按下等效的信号。
21.程序是在计算机中执行上述自动判别处理方法的程序。计算机可读取的记录介质是记录有上述程序的记录介质。
22.检查系统构成为包含光学检查装置、误检测验证装置及自动判别处理装置。所述光学检查装置依据以光学方式所拍摄的图像来检测不良候选图像而作为一次检查。所述误检测验证装置使所述光学检查装置所检测出的所述不良候选图像显示于显示装置，并且经由输入组件取得关于所述不良候选图像的判别结果的信息来作为二次检查。所述自动判别处理装置是作为解决方案而记载的上述的任一个自动判别处理装置。
23.发明的效果
24.根据本发明，可以让外部装置将关于显示于显示装置的图像的判别、与依据判别
结果的应答自动化。
附图说明
25.图1是表示第1实施方式的检查系统的功能构成的框图。
26.图2是表示使用计算机来实现第1实施方式的检查系统的情况下的程序的构成的概要图。
27.图3是表示第1实施方式的自动判别处理装置依据预定的脚本而动作时的处理过程的流程图。
28.图4是表示第1实施方式的自动判别处理装置的文本数据的一例的概要图，所述文本数据是表示对应于图3的处理过程的脚本的数据。
29.图5是表示第1实施方式的误检测验证装置所显示的画面(用户接口)的例子的概要图。
30.图6是表示在第1实施方式的脚本执行部中执行了特定的脚本的情况下的脚本执行部的功能构成的概要的框图。
31.图7是表示第2实施方式的检查系统的功能构成的框图。
32.图8是表示第1实施方式或第2实施方式中的自动判别处理装置、误检测验证装置、光学检查装置、或指示装置等的内部构成的例子的框图。
具体实施方式
33.接着，说明本发明的实施方式。
34.[第1实施方式]
[0035]
图1是表示第1实施方式的检查系统的功能构成的框图。
[0036]
如图1所示，检查系统3包含自动判别处理装置1、误检测验证装置2、光学检查装置9。自动判别处理装置1包含脚本编辑部12、脚本存储部13、脚本执行部14、自动判别部15。检查系统3包含图像内存21及指示装置22作为用于输入输出的功能的一部分。这些各部分的功能例如使用电子电路来实现。再者，也可以以计算机或程序来实现这些各部分的至少一部分的功能。误检测验证装置2是从自动判别处理装置1侧观察的情况下的“外部装置”。包含于检查系统3的功能的概要如下所述。
[0037]
检查系统3是利用机器人流程自动化(rpa，robotic process automation)方式来将以往由人所判断的流程自动化而构成的系统。具体而言，检查系统3让以往是将人所进行的操作及判断设为必要的误检测验证装置2设为可以在没有人介入的情形下运作。作为用于该运作的方法，自动判别处理装置1捕捉误检测验证装置2输出到画面的不良候选图像。自动判别处理装置1使用人工智能的技术来自动地进行该不良候选图像为良(good)或不良(no good)的判别(二次检查)。自动判别处理装置1自动地将判别结果输入到误检测验证装置2。
[0038]
由此，自动判别处理装置1依据图像而自动地进行判别处理。从而，在使用检查系统3的情况下，不必将作为一次检查的结果而从光学检查装置9输出的不良候选图像一个个以人眼方式来观看并判定。自动判别处理装置1是依据判别结果来自动地将仿真鼠标或键盘等的信号供给至误检测验证装置2。从而，不需要让人使用鼠标或键盘来输入判别结果。
此外，通过如此构成自动判别处理装置1，不需要人的判断或人的操作来进行二次检查。
[0039]
也就是说，自动判别处理装置1利用rpa方式来如以下地动作。即，自动判别处理装置1会捕捉通过误检测验证装置2而显示于显示器的不良候选图像的影像。此外，自动判别处理装置1使用人工智能的技术，也就是使用学习处理完毕的机器学习模型来判别上述不良候选图像。判别结果是良或不良(真的不良)。在判别结果为良的情况下，自动判别处理装置1通过自动地产生鼠标或键盘的事件，将表示不良候选图像实际上是“良”(误检测)的信号回传到误检测验证装置2侧。在判别结果为不良的情况下，自动判别处理装置1通过自动地产生鼠标或键盘的事件，将表示不良候选图像为真的“不良”(并非误检测)的信号回传到误检测验证装置2侧。如上述，自动判别处理装置1与误检测验证装置2的间的接口是经由显示装置、鼠标或键盘等的接口。也就是说，可以在不必改变既有的误检测验证装置2的情形下(例如不必修正其程序的情形下)实现二次检查的自动化。
[0040]
光学检查装置9在内部具有相机。光学检查装置9使用其相机来拍摄电路基板等，并依据其图像而检测电路等的不良处的候选来作为一次检查。光学检查装置9会针对包含所检测出的不良处的检查对象产品(电路基板等)来输出其图像(不良候选图像、ng影像)。光学检查装置9将不良候选图像传送至误检测验证装置2。再者，光学检查装置9所输出的不良候选图像可以是灰度图像，也可以是彩色图像。此外，光学检查装置9本身可以使用既有的技术来实现。
[0041]
电路基板是例如在树脂的板上形成有由金属薄膜所形成的配线的基板。再者，电路基板上，将存在由金属所形成的配线的区域称为配线区域，并将其他的区域(不存在由金属所形成的配线的区域)称为空间区域。在那样的电路基板中的不良的例子中，有如以下的例子。第1，有以下不良：应连接的1个配线区域被空间区域隔开成2个或其以上的配线区域，并将此不良称为“断开(open)”。第2，有以下不良：应被空间区域隔开的2个配线区域成为互相电连接状态，并将此不良称为“短路”。第3，有以下不良：与线状的配线区域的长边方向正交的方向的宽度缺损了预定的容许范围以上，并将此不良称为“缺损”。第4，有以下不良：与线状的配线区域的长边方向正交的方向的宽度扩大到预定的容许范围以上，并将此不良称为“突起”。第5，有以下不良：在本来应为空间区域的区域的一部分以呈岛状的方式存在有配线，并将此不良称为“岛状物”。第6，有以下不良，在本来作为应为配线区域的区域而扩大的位置处的一部分存在有针孔状的空间，并将此不良称为“针孔”。再者，也可能有在此所列举的种类以外的不良。有可能包含这些不良中的任一种的电路基板作为一次检查而被光学检查装置9挑选出来。
[0042]
误检测验证装置2是用于判定(二次检查)从光学检查装置9输出的不良候选图像是真正拍摄了不良产品的图像(实报)还是拍摄了并非不良的产品的图像(虚报、误检测)的装置。为了此判定，本来，误检测验证装置2进行用于使上述的不良候选图像显示于计算机的显示装置的处理。此外，本来的误检测验证装置2从输入组件(例如键盘或鼠标等)取得观察显示于显示装置的不良候选图像的人(作业人员)的判定结果。并且，误检测验证装置2依据所输入的判定结果(良或不良)来进行区分原本的产品的处理。误检测验证装置2本身可使用既有的技术来实现。
[0043]
在本实施方式中，自动判别处理装置1取代上述的作业人员而自动地进行判定(二次检查)。为此，自动判别处理装置1会从图像内存21取得误检测验证装置2显示于显示装置
的不良候选图像(判定对象图像)。自动判别处理装置1对所取得的图像自动地进行良或不良的判别，并输出判别结果。此外，自动判别处理装置1将与本来由作业员所进行的自输入组件(键盘或鼠标等)的输入等效的信号(对应于上述的判别结果的信号)经由指示装置22来传送至误检测验证装置2。
[0044]
图像内存21是至少暂时地保持误检测验证装置2显示于显示装置的图像的内存。图像内存21使用例如半导体内存(可读写的ram(随机存取内存)等)来实现。图像内存21是通常受到计算机的显示装置的驱动器所管理的内存。在本实施方式中，自动判别处理装置1构成为可以访问图像内存21，来取得图像内存21所保持的图像。
[0045]
指示装置22是具有以下功能的装置：依据来自例如鼠标或键盘等的输入组件的信号，来将对应于该信号内容的信息传送至误检测验证装置2侧。指示装置22通常作为鼠标或键盘等的输入组件的驱动器来实现。在本实施方式中，自动判别处理装置1构成为以虚拟的方式操作鼠标或键盘，并将对应于那些操作的信号供给至指示装置22。
[0046]
再者，在此，作为例子而说明了使用键盘或鼠标来进行指示的情况，但也可以设为可使用其他的组件来进行对误检测验证装置2的信息输入。例如，也可以除了键盘或鼠标以外，还使用触控面板、触控笔、语音、或光学图案(条形码或二维码)读取器等。在任一个情况下，都是指示装置22依据来自自动判别处理装置1的指示，来将与操作了物理输入组件时同样的信号传送至误检测验证装置2。
[0047]
自动判别处理装置1如前述地，具有脚本编辑部12、脚本存储部13、脚本执行部14、自动判别部15。自动判别处理装置1通过执行已存储于脚本存储部13的脚本来执行相当于二次检查的处理。
[0048]
脚本编辑部12是编辑用于自动判别处理装置1执行的脚本的构件。脚本使用脚本记述用语言来记述。脚本记述用语言可以是作为字符串来表示的语言，也可以是组合图形来表示的图形语言。脚本编辑部12具有用户接口。用户可以通过该用户接口(例如使用字符数据的编辑器功能等)来编辑脚本。脚本编辑部12会将编辑结果即脚本写入脚本存储部13。
[0049]
脚本存储部13是事先存储脚本的构件。脚本以文本数据的形式或二进制数据的形式被适当存储。脚本存储部13使用例如半导体内存或磁盘装置等来实现。存储于脚本存储部13的脚本可由脚本编辑部12或脚本执行部14来参照。脚本能够通过脚本编辑部12来编辑。脚本能够通过脚本执行部14来执行。
[0050]
脚本执行部14是从脚本存储部13读出脚本，并执行该脚本的构件。脚本执行部14以例如直译器(interpreter)方式或编译程序(compiler)方式等的合宜的方式来执行脚本。本实施方式中的脚本执行部14可以从图像内存21读入图像的数据，并将该图像(判别对象图像)传送至自动判别部15来作为具体的处理。此外，脚本执行部14可以从自动判别部15接收判别结果，并将依据该判别结果的信号传送至指示装置22。
[0051]
自动判别部15针对从脚本执行部14接收到的图像(有关于产品的判别对象图像)来进行判别处理，并将该判别结果回传到脚本执行部14。作为具体例，自动判别部15从脚本执行部14接收产品的不良候选图像来作为判别对象图像。并且，自动判别部15判别包含于该图像的产品为真的不良(实报)还是并非不良(虚报)。也就是说，自动判别部15会执行自动判别过程。
[0052]
自动判别部15例如使用机器学习的手法来进行上述的判别处理。也就是说，自动
判别部15在内部已具有机器学习模型。作为机器学习模型的一例，也可以使用神经网络。此机器学习模型已事先学习完毕。也就是说，自动判别部15以附有正确的解释的方式事先大量地准备正例(实报)的图像与反例(虚报)的图像来作为学习数据，事先实施使用该学习数据的机器学习处理。从而，学习完毕的机器学习模型能够对输入的未知的判别对象图像进行正确的判别处理。
[0053]
图2是表示使用计算机来实现检查系统3的情况下的程序的构成的概略图。如图2所示，包含于检查系统3的程序构成为属于以下的任一层：应用层(application layer)、事件处理层(event layer)、操作系统层(operating system layer)。操作系统141属于操作系统层。显示输出部121、鼠标事件处理部122、键盘事件处理部123属于事件处理层。自动判别应用程序与误检测验证应用程序102属于应用层。这些程序都在具有cpu(中央处理装置)或内存等的执行环境中执行。
[0054]
操作系统141是如以下的系统：将计算机的资源(cpu时间、内存、输入输出设备等)的整体合宜地控制，并适当地分配给在计算机上运作的各个进程。作为操作系统141，可使用例如windows(windows操作系统)、linux(linux操作系统)、unix(unix操作系统)等(分别为注册商标)。
[0055]
自动判别应用程序101是具有以下功能的程序：依据所给予的产品(电子电路等)的图像来判别其的良或不良。自动判别应用程序101具有对应于图1中的自动判别处理装置1的功能。自动判别应用程序101是实现所谓的rpa(robotic process automation)的程序。再者，自动判别应用程序101也被称为“rpa judgement application(rpa判断应用程序)”。
[0056]
误检测验证应用程序102是具有以下功能的程序：将作为一次检查的结果而得到的产品(电子电路等)的不良候选图像显示于画面，并接收其二次检查结果(良或不良)的输入。换言之，误检测验证应用程序102具有以下功能：用于进行在光学检查装置9(图1)所进行的一次检查中判定为不良的图像的再判定。误检测验证应用程序102具有对应于图1的误检测验证装置2的功能。再者，误检测验证应用程序102也被称为“verification application(验证应用程序)”。
[0057]
显示输出部121、鼠标事件处理部122、键盘事件处理部123是各自适当地处理计算机的输入输出的事件的构件。这些属于事件处理层的程序是用于控制连接于计算机的各种输入输出组件的程序。
[0058]
显示输出部121将由程序所输出的图像转换为可在显示装置中显示的图像信号并输出。再者，显示输出部121在内部持有图1所示的图像内存21并进行管理。也就是说，在本实施方式中，显示输出部121具有以下功能：使自动判别应用程序101能够取得误检测验证应用程序102想要显示于显示装置的图像。
[0059]
鼠标事件处理部122接收指向组件(pointing device)即鼠标的信号，并依据该信号来生成鼠标的事件，且传送至程序。鼠标的事件是指鼠标光标的移动、鼠标的按钮(右键、左键等)的各种点击(单击、双击等)、或存在鼠标滚轮的情况下的鼠标滚轮的旋转等。在本实施方式中，鼠标事件处理部122从自动判别应用程序101接收用于代替来自鼠标的信号的指示，并依据该指示来生成鼠标的事件，且根据需要而经由操作系统141来将该事件传送至误检测验证应用程序102。
[0060]
键盘事件处理部123接收用于输入字符等的组件即键盘的信号，并依据该信号来
生成键盘的事件，且传送至程序。键盘的事件是指对应于按下了特定的键盘的情形的事件。在本实施方式中，键盘事件处理部123从自动判别应用程序101接收用于代替来自键盘的信号的指示，并依据该指示来生成键盘的事件，且根据需要而经由操作系统141来将该事件传送至误检测验证应用程序102。
[0061]
如上述，鼠标事件处理部122或键盘事件处理部123可分别将如同人操作鼠标或键盘的作用波及到误检测验证应用程序102。在本实施方式中，鼠标事件处理部122或键盘事件处理部123根据从自动判别应用程序101所输出的判别结果来分别产生合宜的事件。再者，在此，虽然针对作为输入组件的例子而使用鼠标或键盘的情况进行了说明，但在使用其他的输入组件(例如触控面板、触控笔、语音、或光学图案(条形码或二维码)读取器，但并不限定于此)的情况下，将用于处理各个组件的程序置于事件处理层。
[0062]
在不良候选图像为虚报(即，误检测)的情况下，换言之，在对应于不良候选图像的产品的状态为“量”的情况下，鼠标事件处理部122或键盘事件处理部123等产生对应于该判定结果的事件(鼠标操作或键盘操作)。由此，可向误检测验证装置2侧传达不良候选图像为虚报。另一方面，在不良候选图像为实报(也就是表示真的不良)的情况下，换言之，在对应于不良候选图像的产品的状态为“不良”的情况下，鼠标事件处理部122或键盘事件处理部123等产生对应于该判定结果的事件(鼠标操作或键盘操作)。由此，可向误检测验证装置2侧传达不良候选图像为实报。
[0063]
图3是表示自动判别处理装置1依据预定的脚本的例子而动作时的处理过程的流程图。以下，沿着此流程图来说明动作过程。
[0064]
首先，在步骤s1中，自动判别处理装置1判定结束条件是否为真。在结束条件为真的情况下(步骤s1：是)，结束本流程图整体的处理。在结束条件并非真的情况下(步骤s1：否)，前进至下一个步骤s2。再者，结束条件是指例如没有下一个判定对象图像的情形(end of images)。下一个判定对象图像的有无被适当地通知给脚本执行部14。或者，也可以添加其他的结束条件(例如，有来自操作人员的处理结束的指示)。
[0065]
接着，在步骤s2中，脚本执行部14执行直到使判别对象图像显示为止的过程。该过程也可以包含有例如以下处理：对指示装置22指示与鼠标或者键盘等有关的操作的处理。通过执行本步骤，误检测验证装置2进行用于将判别对象图像显示于显示装置的处理。
[0066]
接着，在步骤s3中，若检测到判别对象图像已显示于显示装置的情形，则脚本执行部14捕捉显示装置的画面。具体而言，脚本执行部14从图像内存21取得画面整体的图像的数据。再者，为了检测判别对象图像已显示于显示装置的情形，例如脚本执行部14判定是否于画面内的预定的区域显示有特定的图像。
[0067]
接着，在步骤s4中，脚本执行部14从在步骤s3中所捕捉到的图像提取判别对象图像的区域。例如，在所捕捉到的画面上的判别对象图像的区域的位置(例如长方形的区域的左上角及右下角的各个点的x坐标及y坐标)为已知的情况下，脚本执行部14使用该坐标值来剪切判别对象图像。
[0068]
接着，在步骤s5中，脚本执行部14将在步骤s4中所提取出的判别对象图像传送至自动判别部15。自动判别部15会判别所传送来的图像(不良候选图像)为实报(不良)还是虚报(良)。
[0069]
接着，在步骤s6中，脚本执行部14从自动判别部15取得判别结果。判别结果是实报
(不良)和虚报(良)中的其中一个。
[0070]
接着，在步骤s7中，脚本执行部14进行根据在步骤s6中所接收到的判别结果的预定的处理。具体而言，脚本执行部14将指示传送至指示装置22，以生成并输出根据判别结果的鼠标事件消息或键盘事件消息。其结果，指示装置22执行与对误检测验证装置2进行根据判别结果的动作的情形等效的处理。
[0071]
指示装置22的处理例如下。在判别结果为实报(不良)的情况下，作为一例，指示装置22将使鼠标光标移动至误检测验证装置2的画面上的显示有“实报(不良)”的按钮的区域后点击鼠标的左键的消息，发送至误检测验证装置2。在判别结果为虚报(良)的情况下，作为一例，指示装置22将使鼠标光标移动至误检测验证装置2的画面上的显示有“实报(不良)”的按钮的区域后点击鼠标的左键的消息，发送至误检测验证装置2。如上述，本实施方式中的按钮包含显示于显示画面的形态的按钮。
[0072]
图4是表示脚本执行部14所执行的脚本的一例的概要图。图4所示的脚本以预定的语言来记述。该脚本例如通过脚本执行部14所具备的直译器功能被逐次解释并执行。或者，也可以将该脚本通过编译程序翻译成其他形式的指令列并执行。该脚本对应于图3所示的流程图的处理过程。再者，在该脚本中为了方便而附有行号。以下，沿着此脚本进行说明。
[0073]
脚本的第1行是while子句。其条件为“not end_of_images”。“end_of_images”是具有表示状况的值的变量，且表示判别对象的图像已结束且不存在(结束条件)。此外，“not”是否定的逻辑运算符。也就是说，该while子句表示只要还留有判别对象的图像，就应执行由第1行的左花括号(left cuulybraces)及第7行的右花括号(right curlybraces)所包围的部分的脚本。
[0074]
脚本的第2行到第6行是在上述while子句的条件为真的条件下依次执行的处理的序列。
[0075]
第2行表示执行get_next_image_for_verification()函数的处理。该函数对应于图3中的步骤s2的处理。作为执行该函数的结果，误检测验证装置2将判定对象即下一个图像(不良候选图像)显示于画面。由此，可在图像内存21的预定的区域储存下一个不良候选图像的数据。
[0076]
第3行表示执行capture_screen()函数的处理。该函数对应于图3中的步骤s3的处理。通过执行该函数，自动判别处理装置1会捕捉误检测验证装置2所显示的画面。换言之，自动判别处理装置1取得图像内存21内的图像的数据。
[0077]
第4行表示执行extract_rectabgle_image_from_screen()函数的处理。该函数对应图3中的步骤s4的处理。也就是说，自动判别处理装置1提取显示画面内的预定区域的图像。在本例中，将表示应提取的长方形的区域的坐标值作为对此函数的实际参数来传送。作为一例，长方形的左上角的点的图像为(x，y)＝(120，200)，且该长方形的右下角的点的图像为(x，y)＝(720，600)。再者，前提是在被这些坐标值所确定的长方形的区域中显示有判别对象即不良候选图像。在此提取出的图像的数据带入到用于储存图像数据的二维矩阵即变量image_for_verification。
[0078]
第5行表示执行automated_verification()函数的处理。该函数对应于图3中的步骤s5到步骤s6的处理。作为该函数的参数而被传送的是已储存于上述的变量image_for_verification的判别对象图像的数据。也就是说，自动判别处理装置1通过执行该函数来进
行针对判别对象图像的判别处理，并取得判别结果。
[0079]
具体而言，通过执行该函数，脚本执行部14将判别对象图像传送至自动判别部15，并将其结果即判别结果作为上述函数的返回值来接收。可将automated_verification()函数的返回值带入变量result。result的值表示“良”和“不良”的其中一个。
[0080]
第6行表示执行input_process()函数的处理。该函数对应于图3中的步骤s7的处理。作为该函数的参数而传送的是上述的变量result的值。input_process()函数的处理，根据作为参数而传送的判别结果(良或不良)，来分别产生适当的鼠标事件或键盘事件。通过该虚拟的鼠标操作或键盘操作，自动判别处理装置1可以将判别结果的信息正确地传给误检测验证装置2。再者，也可以除了鼠标操作或键盘操作以外，还使用由触控面板、触控笔、或语音所进行的输入的方法。在由语音进行输入的情况下，装置进行语音识别处理。在由触控面板、触控笔、或语音进行输入的情况下，input_process()函数的处理也是产生和上述鼠标事件或键盘事件同样的事件。
[0081]
再者，只要第1行的while子句的条件为真，就可重复从第2行到第6行为止的处理。这对应于图4中的步骤s7的处理后返回到步骤s1的处理。
[0082]
图5是表示误检测验证装置2所显示的画面的例子的概要图。如图5所示，该画面具有用于显示判别对象图像的长方形的区域。此外，该画面包含有用于选择性地输入“不良”和“良”中的任一个的按钮。自动判别处理装置1可以从图像内存21取得包含于该画面的图像等的数据。
[0083]
此外，自动判别处理装置1可以将与按下“不良”的按钮或“良”的按钮等效的信号传送至指示装置22。例如，自动判别处理装置1可以通过产生鼠标的事件，来使鼠标光标移动至“不良”的按钮的区域内的某处后，在该位置使鼠标进行“左键点击”。在此情况下，误检测验证装置2接收与按下“不良”按钮的情况同样的信息。此外，自动判别处理装置1可以通过产生鼠标的事件，来使鼠标光标移动至“良”的按钮的区域内的某处后，在该位置使鼠标进行“左键点击”。在此情况下，误检测验证装置2接收与按下“良”按钮的情况同样的信息。
[0084]
此外，自动判别处理装置1可以取代鼠标的事件而通过产生键盘的事件，来使焦点移动至“不良”按钮(可使用例如“制表”键等)之后进行确定的操作(可使用例如“输入”键等)。在此情况下，误检测验证装置2接收与按下“不良”按钮的情况同样的信息。此外，自动判别处理装置1可以通过产生键盘的事件，来使焦点移动至“良”按钮(与上面的情况同样地可使用例如“制表”键)之后进行确定的操作(与上面的情况同样地可使用例如“输入”键)。在此情况下，误检测验证装置2接收与按下“良”按钮的情况同样的信息。
[0085]
再者，在自动判别处理装置1中，可以适当地定义并设定从自动判别部15输出的判别结果、与从脚本执行部输出的事件(与鼠标或键盘等有关的事件)之间的关系。从而，只要根据需要来变更此判定结果与事件之间的关系的设定，就能够改变自动判别处理装置1所输出的信号(事件的信号)。
[0086]
图6是表示在脚本执行部14中执行了特定的脚本的情况下的脚本执行部14的功能构成的概要的框图。如图6所示，脚本执行部14通过执行脚本，而作为图像取得部147及判别结果输出部148来发挥功能。图像取得部147从用于在显示装置显示的介质即图像内存21读取误检测验证装置2显示于显示装置的图像。也就是说，图像取得部147执行图像取得过程。判别结果输出部148从自动判别部15接收判别结果，并生成根据该判别结果的信号。该信号
是指与经由连接于误检测验证装置2的输入组件(鼠标、键盘、触控面板等)来输入信息的情况等效的信号(事件)。也就是说，判别结果输出部148会执行判别结果输出过程。以上，如所说明地，已存储于脚本存储部13的脚本是使脚本执行部14作为图像取得部147及判别结果输出部148来发挥功能的脚本。
[0087]
总结本实施方式的特征如下。
[0088]
图像取得部147(脚本执行部14)从用于在显示装置显示的介质(图像内存21)读取外部装置(误检测验证装置2)显示于显示装置的图像。
[0089]
自动判别部15进行依据图像取得部147所读取到的前述图像(判别对象图像)的内容的判别处理，并输出判别结果(对应于判别对象图像的产品是“良”还是“不良”)。
[0090]
自动判别部15也可以保持有针对图像与判别结果的关系已机器学习完毕的模型，并通过将前述模型应用于前述图像来进行前述判别处理。机器学习完毕的模型的一例是神经网络。
[0091]
判别结果输出部148(脚本执行部14)生成根据前述判别结果的信号，且前述信号是与经由连接于前述外部装置的输入组件(鼠标、键盘、触控面板等)来输入信息的情况等效的信号(事件)。
[0092]
前述输入组件也可以是鼠标或键盘的至少其中一种。
[0093]
外部装置(误检测验证装置2)也可以是将不良候选图像显示输出为图像的装置，前述不良候选图像是通过光学地读取电子电路(印刷基板等)而被检测出的图像。
[0094]
在此情况下，自动判别部15是依据该不良候选图像来进行判别前述电子电路为良或不良的任一者的处理，并输出前述判别结果。
[0095]
自动判别处理装置1也可以具备脚本执行部14。脚本执行部14执行记述有处理过程的脚本。前述脚本是使脚本执行部14作为图像取得部147及判别结果输出部148来发挥功能的脚本。再者，脚本执行部14也可以通过执行脚本来进一步完成外部装置(误检测验证装置2)为了将前述图像显示于显示装置所需要的处理过程。具体而言，图3所示的步骤s2的处理相当于该处理过程。也就是说，脚本执行部14通过该处理而使指示装置22产生鼠标的事件或键盘的事件等。依据这些事件，误检测验证装置2进行预定的动作。作为其结果，误检测验证装置2执行用于验证不良候选图像的处理。并且，误检测验证装置2将不良候选图像显示于显示装置。即，将该不良候选图像写入图像内存21。
[0096]
[第2实施方式]
[0097]
接着，针对第2实施方式进行说明。再者，针对在前实施方式中已说明的事项，有时在以下会省略说明。在此，以本实施方式中特有的事项为中心来说明。
[0098]
图7是表示本实施方式的检查系统的功能构成的框图。如图7所示的检查系统4包含自动判别处理装置5、误检测验证装置2、光学检查装置9。自动判别处理装置5包含自动判别部15、图像取得部247、判别结果输出部248。再者，本实施方式的自动判别处理装置5并未持有以下功能：用于编辑脚本的功能、用于存储脚本的功能、或用于执行脚本的功能。在本实施方式中，图像取得部247或判别结果输出部248并非是通过脚本来实现的构件，而是分别作为专用的功能来实现。图像取得部247或判别结果输出部248也可以使用专用的电子电路等来实现，也可以使用计算机与程序来实现。图像取得部247从用于在显示装置显示的介质即图像内存21读取误检测验证装置2显示于显示装置的图像。判别结果输出部248从自动
判别部15接收判别结果，并生成根据该判别结果的信号。该信号是与经由连接于误检测验证装置2的输入组件(鼠标、键盘、触控面板等)来输入信息的情况等效的信号(事件)。此外，检查系统4与第1实施方式的情况同样地，作为用于输入输出的功能的一部分而包含图像内存21与指示装置22。
[0099]
在第2实施方式中，自动判别处理装置5并非是使用脚本来实现的装置。但是，以下的点与第1实施方式是同样的：自动判别处理装置5取得误检测验证装置2所输出的图像、自动判别处理装置5依据该图像来判别图像的状况、自动判别处理装置5依据该判别结果来进行用于操作误检测验证装置2的指示。
[0100]
以上，虽然说明了复数个实施方式，但本发明仍可进一步以如下的变形例来实施。例如，在上面的各个实施方式中，自动判别处理装置从图像内存21即存储介质取得判别对象的图像。但是，也可以进行成并非是从存储介质，而是从用于传输图像的传输介质(电缆或光纤等)来取得判别对象图像。
[0101]
图8是表示第1实施方式或第2实施方式中的自动判别处理装置、误检测验证装置、光学检查装置、或指示装置等的内部构成的例子的框图。在此所列举的各个装置能够使用计算机来实现。如图8所示，该计算机包含中央处理装置901、ram902、输入输出端口903、输入输出组件904或905等、总线906而构成。计算机本身可使用既有技术来实现。中央处理装置901执行包含于从ram902等所读入的程序的命令。中央处理装置901依照各个命令来将数据写入ram902、从ram902读出数据、进行算术运算或逻辑运算。ram902会存储数据或程序。包含于ram902的各个要素是持有地址，且能够使用地址来存取的要素。再者，ram是“随机存取内存”的缩写。输入输出端口903是中央处理装置901用于与外部的输入输出组件等进行数据的交换的端口。输入输出组件904或905是输入输出组件。输入输出组件904或905经由输入输出端口903而在与中央处理装置901之间交换数据。总线906是在计算机内部使用的公共的通信路。例如，中央处理装置901经由总线906来读取或写入ram902的数据。此外，例如中央处理装置901经由总线906来对输入输出端口进行访问。
[0102]
能够通过计算机的程序来实现上述的各个实施方式中的自动判别处理装置、误检测验证装置、光学检查装置、或指示装置等的至少一部分的功能。在该情况下，也可以通过以下作法来实现：将用于实现此功能的程序记录在计算机可读取的记录介质中，并且使计算机系统读入此记录介质所记录的程序并执行。再者，在此所谓的“计算机系统”设为包含os(操作系统)或外围设备等硬件的系统。此外，“计算机可读取的记录介质”是指软盘(flexible disk)、光盘、rom、cd-rom、dvd-rom、usb内存等的可携式介质、内置于计算机系统的硬盘等的储存装置。此外，“计算机可读取的记录介质”也可以包含：如经由因特网等网络或电话线路等通信线路来发送程序的情况的通信线路、以暂时的且动态的方式保持程序的记录介质、如成为该情况的服务器或客户端的计算机系统内部的挥发性内存那样在一定时间保持有程序的记录介质。此外，上述程序也可以为用于实现前述功能的一部分的程序，此外，也可以是能够以与已经记录于计算机系统的程序的组合的方式来实现前述的功能的构成。
[0103]
以上，根据所说明的实施方式的任一个(包含变形例)，可以将以往为人所进行的判别作业替换为由计算机等所进行的自动的处理。由此，可以削减检查的操作成本。此外，相较于人进行判别作业的情况，可以将判断的基准统一为固定，在质量管理上也是较有效
的。
[0104]
此外，自动判别处理装置取得误检测验证装置2显示于显示装置的图像，并且经由以仿真方式连接于误检测验证装置2的输入组件来将判别结果传送至误检测验证装置2。通过采取这样的方式，可以在不需要改变既有的误检测验证装置2的情形下追加自动判别的机制。
[0105]
以上，虽然参照附图而详细地描述了此发明的实施方式，但是具体的构成并不限定于此实施方式，也可包含不脱离此发明的主旨的范围的设计等。
[0106]
产业上的可利用性
[0107]
本发明可以利用于例如使用了光学式拍摄机构的检查系统等。但是，本发明的利用范围并不限定于在此所例示的内容。
[0108]
附图标记说明
[0109]
1、5：自动判别处理装置
[0110]
2：误检测验证装置
[0111]
3、4：检查系统
[0112]
9：光学检查装置
[0113]
12：脚本编辑部
[0114]
13：脚本存储部
[0115]
14：脚本执行部
[0116]
15：自动判别部
[0117]
21：图像内存
[0118]
22：指示装置
[0119]
101：自动判别应用程序
[0120]
102：误检测验证应用程序
[0121]
121：显示输出部
[0122]
122：鼠标事件处理部
[0123]
123：键盘事件处理部
[0124]
141：操作系统
[0125]
147、247：图像取得部
[0126]
148、248：判别结果输出部
[0127]
901：中央处理装置
[0128]
902：ram
[0129]
903：输入输出端口
[0130]
904、905：输入输出组件
[0131]
906：总线