特征点识别系统及识别方法与流程

1.本发明涉及例如在识别食用肉中的骨部等情况下能够使用的、利用了深度学习的特征点识别系统以及识别方法。
2.本技术要求于2019年4月26日在日本提交的申请号为2019
‑
86815的日本专利申请的优先权，该日本专利申请的内容引用至本文。


背景技术：

3.例如，在将食用肉作为被摄体进行拍摄来检测食用肉中的骨部的特征点并利用食用肉处理机器人自动地对骨部进行脱骨等情况下，需要得到被摄体中的特征点的正确的位置信息。
4.在专利文献1中公开了如下的一种系统：从x射线照射装置朝向被摄体照射x射线，对透过了被摄体的x射线透过图像进行图像处理，得到骨部等的特征点的位置坐标。
5.现有技术文献
6.专利文献
7.专利文献1：国际公开第2012/056793号(日本专利第5384740号)


技术实现要素：

8.发明要解决的问题
9.在专利文献1的系统中，首先用固定坐标指定预想为图像中的特征点存在的区域，针对该区域内的图像，利用基于阈值处理的二值化、边缘提取等图像处理方法，提取想要捕捉的边界部分，根据其形状求出特征点。
10.但是，例如在如所述的食用肉、人体这样在形状、尺寸、胖瘦程度等方面存在个体差异的被摄体的情况下，存在有如下的情况：特征点检测所需要的形状部分从所述固定坐标范围脱离；阈值处理的亮度值超出预料；由于内部结构的不均匀而检测出不必要的形状从而无法锁定所需要的特征点。
11.另外，由于受到图像的噪声、照明光的变化引起的干扰；被摄体的表面状态不一样而对图像造成影响；拍摄时的被摄体的姿势、形状的变化使图像受到各种影响，所以与将形状、尺寸为一定的人造物作为被摄体的情况相比较，基于图像处理的特征点的正确的识别是困难的。在应用于食用肉处理系统等情况下，如果特征点的识别位置存在误差，则会发生刀陷入骨头、产生食用肉的浪费等问题。
12.如上所述，在以往的技术中，在从被摄体的图像稳定且正确地得到特征点的位置信息这点存在改善的余地。
13.用于解决问题的手段
14.【1】本发明的一个方式是一种特征点识别系统，其根据从被摄体取得的图像识别所述被摄体的特征点，所述特征点识别系统具备：
15.图像取得部，取得所述被摄体的图像；
16.第一算法运算部，根据对所述被摄体的特征点进行深度学习得到的推理运算，对由所述图像取得部取得的图像进行运算处理，检测第一组的特征点；
17.第二算法运算部，根据对所述被摄体的特征区域进行深度学习得到的推理运算，对由所述图像取得部取得的图像进行运算处理，检测特征区域；
18.第三算法运算部，利用通过所述第二算法运算部得到的所述特征区域，检测第二组的特征点；以及
19.运算部，使用所述第一算法运算部检测到的所述第一组的特征点的数据以及所述第三算法运算部检测到的所述第二组的特征点的数据中的至少一方，输出所述被摄体的特征点。
20.根据该特征点识别系统，选择性地使用所述第一算法运算部检测到的所述第一组的特征点的数据、以及在所述第二算法运算部检测到特征区域之后所述第三算法运算部利用所述特征区域检测到的所述第二组的特征点的数据中的至少一方，输出所述被摄体的特征点，由此能够从被摄体的图像稳定且更正确地得到特征点的位置信息。
21.【2】在【1】所述的特征点识别系统中，所述特征点识别系统还具备：第二图像取得部，取得所述被摄体的第二图像；以及第二图像运算部，从由所述第二图像取得部取得的所述第二图像检测第三组的特征点，所述运算部使用所述第一算法运算部检测到的所述第一组的特征点的数据、所述第三算法运算部检测到的所述第二组的特征点的数据、以及所述第二图像运算部检测到的所述第三组的特征点的数据的中的至少两种数据，检查所述被摄体的特征点的检测结果的正常或异常。
22.在该情况下，所述运算部使用所述第一算法运算部检测到的所述第一组的特征点的数据、所述第三算法运算部检测到的所述第二组的特征点的数据、以及所述第二图像运算部检测到的所述第三组的特征点的数据中的至少两种数据，检查所述被摄体的特征点的检测结果的正常或异常，由此能够从被摄体的图像更稳定地且以更高精度得到特征点的位置信息。
23.【3】在【1】或【2】所述的特征点识别系统中，所述特征点识别系统具备第四算法运算部，所述第四算法运算部根据对正常的特征区域进行深度学习得到的推理运算，对通过第二算法运算部得到所述特征区域的数据进行计算，判断通过所述第二算法运算部得到的所述特征区域的正常性。
24.在该情况下，所述第四算法运算部根据对正常的特征区域进行深度学习得到的推理运算，对通过所述第二算法运算部得到的所述特征区域的数据进行计算，判断通过所述第二算法运算部得到的所述特征区域的正常性，由此能够从被摄体的图像更稳定地且以更高精度得到特征点的位置信息。
25.【4】在【1】至【3】所述的特征点识别系统中，所述运算部对所述第一算法运算部检测到的所述第一组的特征点的数据、所述第三算法运算部检测到的所述第二组的特征点的数据、以及所述第二图像运算部检测到的所述第三组的特征点的数据中的至少两种数据进行相互比较，选择并输出用于比较的两种特征点中的被判断为精度更高的一方作为所述被摄体的特征点。在该情况下，通过所述比较，能够从被摄体的图像更稳定地且以更高精度得到特征点的位置信息。
26.所述图像取得部可以取得x射线图像、3d图像、ct扫描图像、伽马射线图像、紫外线
图像、可见光图像、红外线图像、rgb图像以及超声波探伤图像中的至少一种。
27.【5】本发明的其它方式是一种特征点识别方法，其根据从被摄体取得的图像识别所述被摄体的特征点，所述特征点识别方法包括：
28.图像取得工序，取得所述被摄体的图像；
29.第一算法运算工序，根据对所述被摄体的特征点进行深度学习得到的推理运算，对在所述图像取得工序中取得的图像进行运算处理，检测第一组的特征点；
30.第二算法运算工序，根据对所述被摄体的特征区域进行深度学习得到的推理运算，对由所述图像取得部取得的图像进行运算处理，检测特征区域；
31.第三算法运算工序，利用通过所述第二算法运算部得到的所述特征区域，检测第二组的特征点；以及
32.运算工序，使用在所述第一算法运算工序中检测到的所述第一组的特征点的数据以及在所述第三算法运算工序中检测到的所述第二组的特征点的数据中的至少一方，输出所述被摄体的特征点。
33.根据该特征点识别方法，选择性地使用在所述第一算法运算工序中检测到的所述第一组的特征点的数据、以及在所述第二算法运算工序中检测到特征区域之后在所述第三算法运算工序中利用所述特征区域检测到的所述第二组的特征点的数据中的至少一方，输出所述被摄体的特征点，由此能够从被摄体的图像稳定且更正确地得到特征点的位置信息。
34.在【5】所述的方法中，可以设置与【2】至【4】所述的系统的动作中的各工序相同的工序。在该情况下，能够得到与【2】至【4】所述的系统相同的效果。
35.发明效果
36.根据本发明的特征点识别系统以及识别方法，选择性地使用从图像取得部取得的被摄体的图像直接检测到的第一组的特征点的数据、以及在从所述图像检测到特征区域之后利用该特征区域数据检测到的第二组的特征点的数据中的至少一方，由此能够从被摄体的图像稳定且更正确地得到特征点的位置信息。
附图说明
37.图1是示出本发明的一个实施方式的特征点识别系统的侧视图。
38.图2是示出同一实施方式的图像处理装置的框图。
39.图3是示出同一实施方式的动作的流程图。
40.图4是对同一实施方式的第一算法运算部的动作进行说明的图。
41.图5是对同一实施方式的第一算法运算部的动作进行说明的图。
42.图6是对同一实施方式的第一算法运算部的训练数据进行说明的图。
43.图7是对同一实施方式的第二算法运算部的动作进行说明的图。
44.图8是对同一实施方式的第二算法运算部的动作进行说明的图。
45.图9是对同一实施方式的第三算法运算部的动作进行说明的图。
46.图10是对同一实施方式的第三算法运算部的动作进行说明的图。
47.图11是对同一实施方式的第三算法运算部的动作进行说明的图。
48.图12是对同一实施方式的第三算法运算部的动作进行说明的图。
49.图13是对同一实施方式的针对3d数据的第二算法运算部以及第三算法运算部的动作进行说明的图。
50.图14是对同一实施方式的运算部的动作进行说明的图。
具体实施方式
51.以下，举出实施方式对本发明详细地进行说明，但是本发明的技术的范围不受这些实施方式的构成限定，应根据权利要求的记载进行最宽地解释。可以从下述的实施方式省略一部分构成、添加已知的其它的构成。
52.图1是示出本发明的一个实施方式的特征点识别系统的主视图。该特征点识别系统1处理作为被摄体p食用肉，本发明的实施方式的特征点识别系统具备：输送机2，运送被摄体p；x射线图像取得部4，取得放置在输送机2上的被摄体p的透过x射线图像；x射线发生装置(省略图示)，产生x射线，用于x射线图像取得部4；3d图像取得部6(第二图像取得部)，取得被摄体p的表面的3d图像；图像处理装置8，对来自x射线图像取得部4以及3d图像取得部6的输出信号进行处理；以及掩模构件10，用于遮蔽来自x射线发生装置的x射线。x射线图像取得部4的拍摄时序与3d图像取得部6的拍摄时序可以同时，也可以不同时。另外，被摄体p在x射线图像取得部4以及3d图像取得部6进行拍摄时的位置可以相同，也可以不同。
53.在该实施方式的特征点识别系统1中，被摄体p是猪、牛、羊以及鸡等家畜屠宰体的一部分，取得沿着被摄体p内部的骨部b外周的多个特征点的位置信息。在未图示的后处理中，使用特征点识别系统1识别出的特征点的坐标，例如通过使机械臂操作的刀动作，能够进行切断骨部b与肉部的边界并从被摄体p的肉部取出骨部b等处理。
54.但是，本发明不限于针对食用肉的应用，也可以用于寻求作为被摄体p的包括人体的各种生物的生物体、植物或人造物中的某种结构的特异点的目的，特征点的利用目的没有限定，也可以用于脱骨作业以外的任何目的。不一定使用输送被摄体p的输送机2，可以在拍摄时用某种手段将被摄体p固定，或边使被摄体p移动边取得图像。
55.另外，在该实施方式中，使用x射线图像取得部4以及3d图像取得部6作为图像取得部以及第二图像取得部，但是本发明的图像取得部不限于这些，也可以使用取得ct扫描图像、伽马射线图像、超声波探伤图像、紫外线图像、可见光图像、红外线图像、或rgb图像等的图像取得部，作为使用两种的图像的替代，也可以使用从被摄体p的不同的方向取得同一种图像得到的两个图像，也可以仅使用一个图像来识别特征点。即，也可以是不使用第二图像取得部的构成。
56.x射线图像取得部4利用x射线检测器检测从x射线发生装置的x射线管放射并透过了被摄体p的x射线，取得被摄体p的二维x射线图像。x射线图像取得部4取得的x射线图像的数据存储到设置在x射线图像取得部4的内部或外部的存储介质中，向图像处理装置8传达并进行处理。图4中的图像22是由x射线图像取得部4取得的x射线图像的一个示例。
57.3d图像取得部6用于掌握放置在输送机2上的被摄体p的立体形状。3d图像取得部6的种类没有限定，例如可以通过对被摄体p的表面扫描并照射线状的光线并且用相机测量来自被摄体p的表面的反射光，由此取得反映了被摄体p的立体形状的3d图像。3d图像取得部6取得的3d图像的数据存储在设置在3d图像取得部6的内部或外部的存储介质中，向图像处理装置8传达并进行处理。图13是3d图像取得部6取得的3d图像的一个示例。
58.图2是示出图像处理装置8的构成的框图。图像处理装置8主要由第一算法运算部12、第二算法运算部14、第三算法运算部16、第四算法运算部18以及运算部20构成。
59.图像处理装置8通过包括电路部(circuitry)的计算机等硬件执行软件程序实现。所述硬件例如是cpu(中央处理器)、lsi(大规模集成电路)、asic(专用集成电路)、fpga(现场可编程门阵列)、gpu(图形处理单元)等。上述程序存储在具备存储介质的存储装置中。所述存储介质例如是hdd(硬盘驱动器)、闪存器、rom(只读存储器)、dvd(数字通用光盘)等。此外，上述程序可以是实现图像处理装置8具有的功能的一部分的差分程序。
60.第一算法运算部12基于来自x射线图像取得部4的x射线图像数据，按照对在被摄体p内应检测的特征点进行深度学习得到的推理运算，进行运算处理，检测第一组的特征点。在该实施方式中，这些特征点与用于求后处理中的刀的移动轨迹的位置对应。
61.图4示意性地示出第一算法运算部12的运算处理，通过输入x射线图像取得部4取得的x射线图像22的二维像素数据，按照对预先应求出的特征点进行深度学习得到的推理运算，进行运算处理，输出各特征点a、b、c、
…
、c6、c7、c8的标准化后的(x,y)坐标24。
62.可以如下面所示地进行第一算法运算部12的深度学习。如图5所示，准备多个通过x射线图像取得部4预先拍摄到的x射线图像26，基于熟练者的判断，在这些x射线图像26内描绘特征点。由此，如图6所示，只要采用下述方式即可：得到x射线图像28以及在其上出现的特征点的坐标组30，将x射线图像28以及特征点的坐标组30作为训练数据32进行深度学习，在第一算法运算部12内构建第一算法。
63.第二算法运算部14基于来自x射线图像取得部4的x射线图像数据，根据对被摄体p内的特征区域进行深度学习得到的推理运算进行运算处理，检测特征区域。在该实施方式中，这些特征区域与位于被摄体p的内部的多个骨的位置对应。在该实施方式中，第二算法运算部14也用于针对3d图像的掩模图像检测(s17)，在该情况下与第二图像运算部对应。
64.图7示意性地示出第二算法运算部14的运算处理，通过输入x射线图像取得部4取得的x射线图像34的二维像素数据，按照对预先应求出的特征区域进行深度学习得到的推理运算进行运算处理，输出对各特征区域的(x,y)坐标范围以外进行掩模得到的图像数据36。
65.图8是示出第二算法运算部14应该求出的多个特征区域(背景、小腿骨、大腿骨、膝盖骨、髋骨、尾骨、踝骨、耻骨)的一个示例的掩模图像。可以如下面所示地进行第二算法运算部14的深度学习。准备多个通过x射线图像取得部4预先拍摄的x射线图像，基于熟练者的判断，在这些x射线图像内描绘与图8所示的各骨对应的特征范围。由此，由于能够得到x射线图像以及在该x射线图像中出现的特征区域的坐标范围组，所以只要将这些数据组作为训练数据进行深度学习，在第二算法运算部14内构建第二算法即可。当在针对3d图像的掩模图像检测(s17)中使用第二算法运算部14的情况下，只要针对3d图像同样地进行深度学习即可。
66.第三算法运算部16基于通过第二算法运算部14得到的特征区域的数据，按照对在被摄体p内应检测的特征点进行深度学习得到的推理运算进行运算处理，检测第二组的特征点。第三算法运算部16应检测的特征点分别是与第一算法运算部12应检测的特征点相同的点，但与第一算法运算部12从x射线图像直接求出特征点不同的是，第三算法运算部16根据第二算法运算部14求出的特征区域间接地检测特征点。在该实施方式中，第三算法运算
部16也用于从由3d图像得到的特征区域检测特征点的特征点检测(s18)，在该情况下，与第二图像运算部对应。此外，第三算法运算部16也可以基于通过第二算法运算部14得到的特征区域的数据，使用图像处理方法来检测被摄体p内的第二组特征点。
67.图9示意性地示出第三算法运算部16的运算处理，通过输入第二算法运算部14求出的特殊区域的掩模图像38的二维像素数据，按照预先对特征点进行深度学习得到的推理运算进行运算处理，输出各特征点a、b、c、
…
、c6、c7、c8的标准化后的(x,y)坐标40。
68.可以如下面所示地进行第三算法运算部16的深度学习。准备多个第二算法运算部14求出的特殊区域的掩模图像38，基于熟练者的判断，在这些掩模图像38内描绘特征点。由此，得到掩模图像38以及在该掩模图像38中出现的特征点的坐标组，只要对多个这些数据组进行深度学习，在第三算法运算部16内构建第三算法即可。在将第三算法运算部16用于针对3d图像的特征点检测(s18)的情况下，只要针对3d图像同样地进行深度学习即可。
69.图10示出了第二算法运算部14的特征区域的检测为异常的掩模图像42、以及特征点的检测因第三算法运算部16从该掩模图像42进行检测而成为异常的x射线图像44。
70.第四算法运算部18根据对正常的特征区域进行深度学习得到的推理运算，对通过第二算法运算部14得到的特征区域的数据进行计算，判断通过第二算法运算部14得到的特征区域的正常性。由此，例如，根据对正常的特征区域进行深度学习得到的推理运算，对图10所示的异常的掩模图像42进行计算，能够判断为是异常。此外，在第四算法运算部18中，也可以对通过统计的方法预先得到的特征区域的可能的范围与通过第二算法运算部14得到的特征区域的数据进行比较，来判断通过第二算法运算部14得到的特征区域的正常性。
71.可以如下面所示地进行第四算法运算部18的深度学习。只要采用下述方式即可：准备多个第二算法运算部14求出的特殊区域的掩模图像，基于熟练者的判断，对正常的掩模图像38(图9)与异常的掩模图像42进行判断，将掩模图像与正常/异常的评价作为数据组，对多个这些数据组进行深度学习，在第四算法运算部18内构建第四算法。
72.运算部20使用第一算法运算部12检测到的第一组的特征点的数据以及第三算法运算部16检测到的第二组的特征点的数据的至少一方，输出被摄体p的最终的特征点。结合下述的流程图详细说明运算部20的动作。
73.图3是示出本实施方式的特征点识别系统1的动作的流程图，按工序顺序对特征点识别系统1的动作进行说明。
74.在步骤s1中，x射线图像取得部4取得被摄体p的x射线图像(第一图像)。由此，例如拍摄图4中的x射线图像22。
75.在步骤s2中，通过图像处理装置8中的第一算法运算部12根据对被摄体p的特征点预先进行深度学习得到的推理运算(第一算法)，对x射线图像取得部4取得的x射线图像的数据进行运算处理，第一算法运算部12检测第一组的特征点。由此，例如，求出图4所示的各特征点a、b、c、
…
、c6、c7、c8的标准化后的(x,y)坐标24。
76.在步骤s3中，通过第二算法运算部14根据对被摄体p的特征区域进行深度学习得到的推理运算(第二算法)，对x射线图像取得部4取得的x射线图像的数据进行运算处理，第二算法运算部14检测特征区域。在特征区域的检测中，通过预先进行的深度学习，进行仅提取被摄体p内的骨的区域的掩模处理。由此，例如求出图7中的掩模图像36。
77.在步骤s4中，第二算法运算部14检测到的特征区域的数据传送至第三算法运算部
16，第三算法运算部16使用第三算法并使用特征区域的数据，检测第二组的特征点。由此，能够得到例如图9所示那样的第二组的特征点40。
78.在步骤s5中，第二算法运算部14检测到的特征区域的数据也传送至第四算法运算部18，第四算法运算部18根据对正常的特征区域进行深度学习得到的推理运算，对通过第二算法运算部14得到的特征区域的数据进行计算，判断特征区域的正常性，将其结果作为形状分数输出。由此，例如，对于图10所示的异常的掩模图像42，从第四算法运算部18输出低形状分数，判断为是异常。
79.在步骤s6中，运算部20接收来自第三算法运算部16的第二组的特征点的数据以及来自第四算法运算部18的形状分数，对两者进行对照，判断第三算法运算部16检测到的第二组的特征点的数据是否正常。如果是正常的，则前进至步骤s7，如果判断为异常，则前进至步骤s8。
80.在步骤s7中，运算部20对在步骤s2中得到的来自第一算法运算部12的第一组的特征点的坐标数据与、在步骤s6中判断为正常的来自第三算法运算部16的第二组的特征点的坐标数据进行比较。第一组的特征点的数据是未进行掩模处理而直接检测特征点的非掩模处理的特征点的坐标数据。例如，图14是示出以同一特征点对来自第一算法运算部12的第一组的特征点的坐标数据52与来自第三算法运算部16的第二组的特征点的坐标数据54彼此进行比较且在差分大的情况下错误检测的可能性高的示意图。
81.在步骤s7中，例如，取得通过掩模处理得到的来自第三算法运算部16的第二组的各特征点的坐标数据与通过非掩模处理得到的来自第一算法运算部12的第一组的各特征点的坐标数据的差分，如果是该差分超过了预先确定的一定的阈值的特征点，则判断为该特征点的坐标是异常的。
82.在步骤s8中，对第二组的各特征点的坐标数据与、在后述的步骤s18中从3d图像(第二图像)得到的第三组的各特征点的坐标数据进行比较。通过该比较，如果从x射线图像得到的第二组的特征点的数据与从3d图像得到的第三组的特征点的数据的差分为一定的阈值以下，则判断为该特征点的异常在x射线图像与3d图像中共同存在，发出无视该特征点的比较信息的命令。另一方面，如果比阈值大，则设置异常标志并前进至步骤s19。
83.在步骤s9中，在通过步骤s7中的比较判断为特征点是正常的情况下，前进至步骤s10，在根据第一组以及第二组的特征点的数据的比较判断为异常的情况或从步骤s8输入了比较无效信息的情况下，判断为异常并前进至步骤s11。
84.在步骤s10中，对判断为正常的第二组的特征点的数据与从在后述的步骤s18中得到的3d图像得到的第三组的特征点的数据进行比较。如果从x射线图像得到的第二组的特征点的数据与从3d图像得到的第三组的特征点的数据的差分为一定阈值以下，则判断为正常，如果比阈值大，则判断为异常。
85.在步骤s11中，当在步骤s9中判断为检测到的特征点不是正常的情况下，对第二组的特征点的坐标数据与在后述的步骤s18中从3d图像得到的第三组的特征点的坐标数据进行比较。通过该比较，如果从x射线图像得到的第二组的特征点的坐标数据与从3d图像得到的第三组的特征点的坐标数据的差分为一定阈值以下，则判断为该特征点的异常在x射线图像与3d图像中共同存在，发出无视该特征点的比较信息的命令，如果比阈值大，则设置异常标志并前进至步骤s19。
86.在步骤s12中，在通过步骤s10中的比较判断为特征点是正常的情况下，前进至步骤s14，在从第一组以及第二组的特征点的数据的比较判断为异常的情况或从步骤s11输出了比较无效信息的情况下，判断为异常并前进至步骤s13前进。
87.在步骤s13中，判断从x射线图像得到的第二组的特征点的坐标数据与从3d图像得到的第三组的特征点的坐标数据的差分是否小，如果差分比一定的阈值小，则判断为能够使用两者共同的特征点的数据。在判断为能够使用的情况下，前进至步骤s14，在判断为不能使用两者共同的特征点的数据的情况下，前进至步骤s19。
88.在步骤s14中，将从x射线图像得到的第二组的特征点的数据与从3d图像得到的第三组的特征点的数据合成，最终确定应发送的坐标。作为合成方法的一个示例，可以计算两者的中间点的坐标，并将该中间点的坐标作为最终的特征点的数据的坐标。作为其它示例，可以将在步骤13中从x射线图像得到的第一组以及第二组的特征点的数据以及从3d图像得到的第三组的特征点的数据的合计三种坐标的平均作为最终的特征点的数据。这样，通过将正常的2组或3组的特征点数据组平均来求出最终坐标，能够进一步提高最终求出的特征点的坐标的精度。
89.在步骤s15中，从图像处理装置8输出在步骤s14中合成的特征点的数据，完成流程图的一个循环。
90.另一方面，在步骤16中，通过3d图像取得部6拍摄被摄体p，3d图像取得部6取得3d图像(第二图像)的数据。步骤16可以与步骤s1同时进行，也可以以与步骤s1不同的时序进行。
91.在步骤17中，通过第二算法运算部14(第二图像运算部的一部分)根据对被摄体p的特征区域进行深度学习得到的推理运算(第二算法)，对3d图像取得部6取得的3d图像的数据进行运算处理，第二算法运算部14检测特征区域。在特征区域的检测中，通过预先进行的深度学习，进行仅提取被摄体p内的骨的区域的掩模处理。深度学习的方法只要与之前描述的与x射线图像有关的特征点的深度学习同样地进行即可。
92.在步骤18中，将第二算法运算部14检测到的特征区域的数据传送至第三算法运算部16(第二图像运算部的一部分)，第三算法运算部16利用第三算法使用特征区域的数据来检测第三组的特征点。将检测到的第三组的特征点的数据向步骤s8以及步骤s10发送。
93.在步骤19中，当在步骤s8、s11、s14中设置了异常标志的情况下，返回步骤s1再次基于已拍摄的x射线图像以及3d图像，从步骤s1开始重新进行。另外，使初始值为t＝0的重试次数成为t＝1。在反复进行了步骤s1～s19的情况下，将重试次数t每次加1，在变成了t＝n(n为预先决定的正的整数且为2以上)的情况下，初始化为t＝0，并且停止针对本次的被摄体p的特征点识别作业，向操作员发出警报，将针对该被摄体p的特征点识别设为失败，委托给人工进行的操作，或从特征点识别系统1排出被摄体p。操作员从特征点识别系统1去除被摄体p，或由人工进行之后的工序。
94.根据以上的特征点识别系统1，通过基于所述流程图的动作，对第一算法运算部12通过非掩模处理求出的第一组的特征点的数据与经由第二算法运算部14的掩模处理且第三算法运算部16检测到的第二组的特征点的数据进行比较，如果为一定的阈值以上，则判断为异常，由此能够比以往更正确且稳定地识别被摄体p的特征点。
95.由此，例如，如图11所示，即使在通过第二算法运算部14得到的掩模图像46乍一看
好像正常的情况下，将基于该掩模图像46得到的第二组的特征点(图12)的各坐标数据与从第一算法运算部12得到的特征点的各坐标数据进行比较，由此能够检测如图12所示的特征点f、g、h那样地显示异常的特征点，如果再次从步骤s1开始重新进行得到正确的数据、重新进行规定次数也无法得到正常的数据，则能够进行停止针对该被摄体p的处理等应对方式。
96.此外，在该实施方式中，通过3d图像取得部6取得如图13所示的3d图像作为第二图像，也与从该3d图像得到的第三组的特征点的坐标数据进行比较，因此能够得到更高的精度。也可以将第一图像作为3d图像，将第二图像作为x射线图像，与前述的其它种类的图像交换使用。
97.另外，所述实施方式的与3d图像相关的步骤也可以省略。
98.另外，作为通过统计的方法预先得到的统计的特征点的数据，可以针对多个样本只统计性地求出特征点彼此的距离的最小值到最大值的范围，判断这些统计的特征点的数据、以及从第三算法运算部16得到的第二组的特征点的各坐标数据和/或从第一算法运算部12得到的特征点的各坐标数据的正常或异常。
99.工业实用性
100.根据本发明的特征点识别系统及识别方法，通过使用通过两种方法得到的第一组以及第二组的特征点，能够从被摄体的图像稳定且更正确地得到特征点的位置信息。
101.附图标记说明
102.1 特征点识别系统
103.2 输送机
104.4 x射线图像取得部(第一图像取得部)
105.6 3d图像取得部(第二图像取得部)
106.8 图像处理装置
107.10 掩模构件
108.12 第一算法运算部
109.14 第二算法运算部
110.16 第三算法运算部
111.18 第四算法运算部
112.20 运算部
113.22 x射线图像(第一图像的示例)
114.24 第一组的特征点数据
115.32 训练数据
116.36 掩模图像
117.50 3d图像(第二图像的示例)