检查对象分类系统、检查对象分类方法以及记录介质与流程

1.本发明涉及检查对象分类系统、检查对象分类方法以及记录介质。


背景技术：

2.以往，已知有将前眼部、前眼部的周围作为检查对象而对检查对象进行评价的技术。例如，在专利文献1、2中，公开了进行干眼症的类型评价、泪液层的动态的评价的技术。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2018
‑
47083号公报
6.专利文献2：国际公开wo2018/203515号公报


技术实现要素：

7.发明所要解决的问题
8.在现有技术中，需要构建在评价时根据人为决定的评价基准自动进行判断的系统，由于评价基准的决定伴随着主观，因此难以提高评价的可靠性。
9.本发明是鉴于上述问题而完成的，其目的在于提供一种能够客观地进行分类的技术。
10.用于解决问题的手段
11.为了实现上述目的，检查对象分类系统具备：检查对象图像获取部，其获取作为前眼部或前眼部周围的检查部的图像的检查对象图像；分类部，其向基于检查部的图像而对检查部的状态进行分类的机器学习模型输入检查对象图像，并获取分类结果；以及显示部，其显示分类结果。
12.即，在检查对象分类系统中，基于前眼部或者前眼部周围的检查部的图像，预先生成对检查部的状态进行分类的机器学习模型。因而，只要获取到前眼部或者前眼部周围的检查部的图像，就能够基于机器学习模型自动地对检查对象进行分类。机器学习模型是通过为了学习而准备将图像与分类结果建立对应的教师数据并进行机器学习而得到的。因而，根据机器学习模型，能够不依赖于主观地进行分类。
附图说明
13.图1是示意性地表示检查对象分类系统所具备的光学系统的图。
14.图2是对头部以及主体部的内部结构进行说明的框图。
15.图3a是对机器学习系统的结构进行说明的框图，图3b是机器学习处理的流程图。
16.图4是表示机器学习的模型的图。
17.图5a是表示光调整构件的组合的例子的图，图5b是表示拍摄图像的图，图5c是表示检查对象图像的图。
18.图6a是检查对象分类处理的流程图，图6b是表示分类结果的显示方式的例子的
图。
19.图7a、图7b是表示分类结果的显示例的图。
20.附图标记说明
21.10：第一投光光学系统；10a：第一光源；10b：透镜；10c：光调整构件；10d：透镜；11a：光源；11b：光源；20：第二投光光学系统；20a：第二光源；20b：透镜；20c：光调整构件；20d：透镜；21a：光源；21b：光源；30：受光光学系统；30a：摄像元件；30b：透镜；30c：光调整构件；30d：透镜；32c：受光调整单元；40：x
‑
y对准光学系统；40a：x
‑
y对准用光源；40b：透镜；40c：半透半反镜；50：z对准光学系统；50a：z对准用光源；50b：透镜；50c：透镜；50d：位置检测传感器；60：固视光学系统；60a：固视用光源；60b：固视标；60c：透镜；60d：半透半反镜；70：显示部；80：触摸面板；90：控制部；90a：检查对象图像获取部；90b：分类部；91：xyz驱动控制部；92：操纵杆；93：存储器；93a：机器学习模型；95：调整单元驱动部；100：机器学习系统；200：控制部；210：机器学习程序；210a：机器学习部；300：记录介质；300a：教师数据；400：用户i/f部。
具体实施方式
22.在此，按照下述顺序对本发明的实施方式进行说明。
23.(1)眼科装置的结构
24.(2)机器学习模型的生成
25.(3)检查对象分类处理
26.(4)其他实施方式
27.(1)眼科装置的结构
28.本发明的一个实施方式所涉及的检查对象分类系统包含在眼科装置中。眼科装置可以以各种方式构成，例如，能够设想具备具有光学系统的头部和主体部的结构。在该情况下，例如，主体部设置于桌子等设置部位，头部能够相对于主体部相对地移动。主体部包括对眼科装置的各部进行控制并且对检查部的状态进行分类的控制部。头部能够相对于眼科装置相对地移动，通过头部的移动而相对于受检眼进行对准。当然，该眼科装置的方式是一个例子，也可以是其他各种方式。
29.光学系统只要能够对检查对象的检查部进行拍摄即可，在该范围内，其配置、光学部件等没有限定。图1是示意性地表示本实施方式所涉及的眼科装置1的光学系统的图。此外，在本实施方式中，如图1的右上所示，基于从具有受检眼e的受检者进行观察的方向来表述上下左右前后。附图的近前侧为上方，进深侧为下方。此外，在本实施方式所涉及的眼科装置1中，使x方向、y方向、z方向与上述方向对应。在本实施方式中，前后方向是z轴方向，后方是 z方向，上下方向是y轴方向，上方是 y方向，左右方向是x轴方向，左方是 x方向。当然，各方向与轴的对应关系、正负的方向也可以不同。
30.在本实施方式中，能够对受检眼e实施多个检查，作为检查的一部分，能够执行根据受检眼e或受检眼e周围的检查部的图像对检查对象进行分类的功能。作为该分类，例如可列举为受检眼e的充血的重症度的分类等。眼科装置1具有为了进行各种检查而拍摄受检眼的图像的功能。在本实施方式中，利用从不是受检者的正面的位置起沿斜线方向投射的光来进行拍摄。而且，为了使来自斜线方向的光不被受检者的鼻子妨碍，构成为从右侧对受
检眼的右眼进行投光，从左侧对左眼进行投光。即，设置有两个投光光学系统。
31.图2是着眼于对光学系统等的控制来表示眼科装置1的结构的框图。如图2所示，眼科装置1的主体部b具备使头部h沿xyz方向移动的xyz驱动控制部91、对头部h的空间位置的调整等进行指示的操纵杆92以及在控制部90的控制处理中利用的存储器93。
32.另外，头部h具备用于对左眼进行投光的第一投光光学系统10、用于对右眼进行投光的第二投光光学系统20、用于进行拍摄的受光光学系统30、用于进行x
‑
y方向的对准的x
‑
y对准光学系统40、用于进行z方向的对准的z对准光学系统50、用于实现固视状态的固视光学系统60、对所拍摄的受检眼的图像、用于选择检查模式的用户界面等进行显示的显示部70以及接受检查项目等的指示的触摸面板80。
33.(第一投光光学系统)
34.在图1中，以从受检眼e对前方进行观察的情况下的方向与在头部h的内部沿前后方向延伸的受光光学系统30的光轴oc一致的方式示出了各光学系统的位置。第一投光光学系统10相对于光轴oc配置在左侧，包括多个第一光源10a、透镜10b、10d以及光调整构件10c。如图1所示，在从各个第一光源10a延伸的各个光轴上具备透镜10b、光调整构件10c以及透镜10d。
35.在本实施方式中，第一光源10a是白色led，能够输出包含遍及可见光的整个范围的波长的光在内的第一测定光。第一光源10a朝向斜后方，构成为通过透镜10b、10d的光轴ol与光轴oc相交。此外，光轴ol是各第一光源10a与受检眼e之间的各光轴的总称。
36.在透镜10b、10d之间配置有光调整构件10c。光调整构件10c是用于调整从第一光源10a输出的光的构件。在本实施方式中，光调整构件10c是扩散器、波长选择滤波器以及狭缝光生成构件。扩散器是使从第一光源10a输出的光扩散的滤波器，是用于防止对受检眼e投射点状的第一测定光、防止从受检眼e反射的反射光局部变强的光调整构件。
37.在本实施方式中，波长选择滤波器是蓝色带通滤波器。即，波长选择滤波器是使从第一光源10a输出的第一测定光中除蓝色以外的光衰减并使蓝色的光透过的光调整构件。狭缝光生成构件是具有狭缝的光调整构件。狭缝光生成构件通过配置在第一光源10a的光轴上，使从第一光源10a输出的第一测定光的一部分通过，转换为与光轴垂直的方向的截面的形状为大致矩形的狭缝光。此外，本实施方式的狭缝光生成构件存在狭缝的宽度不同的两种构件。
38.如上所述，光调整构件10c由多个光调整构件构成。在本实施方式中，通过点亮第一光源10a中的任一个，从各第一光源10a输出的光通过光轴到达受检眼e。在本实施方式中，将像这样光所通过的光轴称为有效的光轴。在本实施方式中，点亮第一光源10a中的任一个。在该情况下，处于点亮的光源与受检眼e之间的光调整构件10c成为配置在有效的光轴上的状态。位于未点亮的光源与受检眼e之间的光调整构件10c未配置在有效的光轴上。
39.此外，在本实施方式中，第一投光光学系统10包含第一光源10a以外的光源11a、11b。从上述光源11a、11b输出的光被投射到受检眼e，对受检眼e进行照明。在本实施方式中，由于不调整从光源11a、11b输出的光，因此不经由光调整构件10c而将从光源11a、11b输出的光投射到受检眼e。因而，在本实施方式中，光源11a、11b配置在比光调整构件10c靠受检眼e侧的位置。如果需要利用光调整构件进行调整，则也可以构成为将光源11a、11b配置在从受检眼e进行观察时比光调整构件10c靠后侧的位置，进行利用光调整构件进行的调
整。另外，光源11a、11b的种类没有限定，例如可列举为输出红外线的led等。
40.(第二投光光学系统)
41.第二投光光学系统20相对于光轴oc配置在右侧，包括第二光源20a、透镜20b、20d以及光调整构件20c。构成第二投光光学系统20的各要素、光源21a、21b的结构与第一投光光学系统10相同。在本实施方式中，第一投光光学系统10和第二投光光学系统20配置在隔着光轴oc的相反侧。在本实施方式中，光轴ol、oc、or存在于同一面上(水平面上)，光轴ol和光轴or相对于光轴oc对称。而且，第一投光光学系统10和第二投光光学系统20在相对于光轴oc线对称的位置配置有各构件。此外，在本实施方式中，光调整构件10c以及光调整构件20c所具备的光调整构件为相同的构件，但各光调整构件的配置也可以不是线对称的。
42.(受光光学系统)
43.受光光学系统30在沿前后方向延伸的光轴oc上具备摄像元件30a、透镜30b、30d以及受光调整单元32c。光轴oc是通过摄像元件30a以及透镜30b、30d的中央的直线状的轴，设想在受检眼e与既定的位置对准的情况下通过角膜顶点。
44.在由第一投光光学系统10向受检眼e投射了第一测定光的情况下、由第二投光光学系统20向受检眼e投射了第二测定光的情况下，所投射的光被受检眼e反射。反射光沿着光轴oc行进，通过透镜30d、受光调整单元32c、透镜30b而被摄像元件30a接收。在本实施方式中，摄像元件30a是按每个像素检测rgb(r：红，g：绿，b：蓝)的各色的强度而生成彩色图像的摄像元件。
45.在透镜30b、30d之间配置有受光调整单元32c。在本实施方式中，受光调整单元32c具备作为光调整构件30c的多个波长选择滤波器。在本实施方式中，波长选择滤波器是绿色带通滤波器以及长通滤波器。绿色带通滤波器是使从受检眼e反射的反射光中除绿色以外的光衰减并使绿色的光透过的光调整构件。长通滤波器是使从受检眼e反射的反射光中的短波长侧的光衰减并使长波长侧的光透过的光调整构件。在长通滤波器中衰减或透过的波长区域可以是各种波长区域，例如可以是使红色的颜色透过的滤波器、使红外线透过的滤波器等。
46.如上所述，受光调整单元32c具有多个光调整构件30c，具有切换将任一个光调整构件配置在光轴oc上的状态和在光轴oc上不配置光调整构件的状态(光通过不存在光调整构件的部分的状态)的机构。因而，从受检眼e反射的反射光作为绿色光、或者短波长侧的光衰减后的光、或者未被调整的反射光而被摄像元件30a接收。
47.此外，在向受检眼e投射光的情况下，来自受检眼e的反射光通过光轴oc，因此光轴oc成为有效的状态。因此，通过受光调整单元32c将波长选择滤波器中的任一个配置在光轴oc上，从而成为在有效的光轴上配置有光调整构件30c的状态。在受光调整单元32c中，可以通过各种机构来选择光调整构件30c。例如，能够采用通过马达的驱动力使光调整构件30c移动而能够选择配置在光轴oc上的构件的结构。
48.如上所述，在本实施方式中，光调整构件10c与光调整构件20c相同。即，第一投光光学系统10以及第二投光光学系统20分别具备相同的扩散器、蓝色带通滤波器以及狭缝光生成构件。另一方面，光调整构件30c与光调整构件10c以及光调整构件20c不同。即，受光调整单元32c具备绿色带通滤波器和长通滤波器。上述滤波器在光调整构件10c以及光调整构件20c中都不具备。
49.这样，在本实施方式中，对所投射的光进行调整的光调整构件10c、20c与对被受检眼e反射的光进行调整的光调整构件30c不同。因此，不会对所投射的光和被反射的光进行相同的调整，能够进行不同的调整。因而，能够在头部h内高效地配置光调整构件。进一步地，光调整构件10c以及光调整构件20c和光调整构件30c分别包括多个光调整构件。因而，通过选择光调整构件，能够对所投射的光和被反射的光进行多种调整。
50.在图1中，透镜30b以示意性的方式示出。本实施方式中的透镜30b由实现自动对焦功能的未图示的自动对焦机构构成。即，透镜30b具备能够沿光轴oc方向移动的一个以上的透镜，控制部90通过向受光光学系统30输出控制信号，能够使受检眼e的像在成像的光轴oc方向上的位置发生变化。在本实施方式中，拍摄使透镜30b的位置发生变化的多个图像，获取画质最好的图像，由此实现自动对焦。此外，关于画质，只要能够以画质越好则对焦状态越好的方式进行评价即可，例如，能够采用对比度、亮度越大则评价为画质越好的结构等。
51.图2所示的控制部90在拍摄开始时，对受光光学系统30的包含透镜30b在内的自动对焦机构进行控制，一边使透镜30b从既定的移动开始位置移动到移动结束位置，一边以规定周期进行基于摄像元件30a的拍摄。然后，控制部90进行用于使包含受检眼e的检查部在内的既定区域(例如，矩形的区域)中的焦点对准的控制。在本实施方式中，为了根据画质来判定对焦状态，控制部90在图像之间对包含检查部在内的区域内的画质进行比较，获取画质最好的图像并记录在存储器93中。其结果是，能够记录与检查部对焦的图像。
52.当然，关于自动对焦的方式，可以采用各种方式。在图1中，通过在透镜30b的上部标注箭头来表示能够执行自动对焦。这样，根据能够执行自动对焦的结构，能够自动地拍摄清晰的图像，使检查变得容易。另外，检查者不用意识到应该根据检查部的差异而对图像内的不同位置进行对焦，就能够利用清晰地拍摄到检查部的图像。
53.根据以上的结构，在受光光学系统30中，能够基于由第一投光光学系统10、第二投光光学系统20(或者后述的其他光学系统)投射的光的、来自受检眼e的反射光，对受检眼e进行拍摄。所拍摄的图像被记录在存储器93中。
54.(x
‑
y对准光学系统)
55.x
‑
y对准光学系统40具备x
‑
y对准用光源40a、透镜40b以及半透半反镜40c。在x
‑
y对准光学系统40中，在与光轴oc垂直的方向上，从远方侧起依次配置有x
‑
y对准用光源40a、透镜40b以及半透半反镜40c。x
‑
y对准用光源40a朝向为其光轴与光轴oc垂直。
56.半透半反镜40c被取向为使得通过透镜40b后的x
‑
y对准用光源40a的输出光向光轴oc方向反射。因而，从x
‑
y对准用光源40a输出的输出光通过透镜40b，被半透半反镜40c反射，到达受检眼e并被反射。被受检眼e反射后的反射光沿着光轴oc前进，通过半透半反镜40c，通过透镜30d、半透半反镜60d、受光调整单元32c、透镜30b而被摄像元件30a接收。
57.在本实施方式中，以如下方式对x
‑
y对准光学系统40进行设计：在x
‑
y平面内(上下左右方向的平面内)，在受检眼e的角膜顶点存在于光轴oc上的情况下，x
‑
y对准用光源40a的输出光处于摄像元件30a的基准位置(例如中央)。因而，如果确定了由摄像元件30a检测出的亮点的位置与基准位置的关系，则能够确定为了使头部h以受检眼e的角膜顶点位于光轴oc上的方式进行移动的x
‑
y平面内的方向以及移动量。
58.因此，控制部90在进行x
‑
y对准时，对x
‑
y对准光学系统40进行控制而使x
‑
y对准用光源40a点亮。在该状态下，控制部90通过受光光学系统30所具备的摄像元件30a对x
‑
y对准
用光源40a所输出的对准光进行检测。然后，控制部90参照该对准光的检测结果，来确定头部h的移动方向以及移动量。xyz驱动控制部91具备使头部h与光学系统一起沿xyz方向进行移动的机构。因此，控制部90对xyz驱动控制部91指示头部h的移动方向以及移动量。其结果是，头部h及其内部的光学系统一体地进行移动，相对于受检眼e而沿x
‑
y方向对准。
59.(z对准光学系统)
60.z对准光学系统50具备z对准用光源50a、透镜50b、50c以及位置检测传感器50d。在z对准光学系统50中，以使光轴朝向相对于光轴oc在水平面内成角度γ的方向的方式将z对准用光源50a安装于头部h。进一步地，在z对准光学系统50中，沿着向相对于光轴oc在水平面内成角度δ的方向倾斜的光轴，从受检眼e侧起依次排列有透镜50b、50c、位置检测传感器50d。
61.在本实施方式中，以如下方式对z对准光学系统50进行设计：角度γ与角度δ相同，在受检眼e的角膜顶点位于光轴oc上、且存在于z方向的既定位置的情况下，z对准用光源50a的输出光处于位置检测传感器50d的基准位置(例如中央)。因而，如果确定了由位置检测传感器50d检测出的亮点的位置与基准位置的关系，则能够确定为了使头部h以使受检眼e的角膜顶点位于光轴oc上且存在于z方向的既定位置的方式进行移动的z轴上移动方向以及移动量。
62.因此，控制部90在进行z对准时，对z对准光学系统50进行控制而使z对准用光源50a点亮。在该状态下，控制部90通过位置检测传感器50d对z对准用光源50a所输出的对准光进行检测。然后，控制部90参照该对准光的检测结果，来确定头部h的移动方向以及移动量。xyz驱动控制部91具备将内部的光学系统等作为一体而使头部h沿xyz方向进行移动的机构。因此，控制部90对xyz驱动控制部91指示头部h的移动方向以及移动量。其结果是，头部h及其内部的光学系统一体地进行移动，相对于受检眼e而沿z方向对准。
63.(固视光学系统60)
64.固视光学系统60具备固视用光源60a、固视标60b、透镜60c以及半透半反镜60d。在固视光学系统60中，在与光轴oc垂直的方向上，从远方侧起依次配置有固视用光源60a、固视标60b、透镜60c以及半透半反镜60d。固视用光源60a朝向为其光轴与光轴oc垂直。半透半反镜60d被取向为使得通过透镜60c以及固视标60b的固视用光源60a的输出光沿光轴oc方向反射。
65.固视标60b具备针孔和扩散板(也可以省略扩散板)。在以上的结构中，从固视用光源60a输出的输出光通过固视标60b的扩散板以及针孔，通过透镜60c，被半透半反镜60d反射，到达受检眼e，在受检眼e的视网膜上成像。因此，固视标60b的针孔与受检眼e的眼底的位置共轭。此外，在图1所示的光学系统中，透镜等的配置为示意图，可以与实际的配置不同。受检眼e通过对通过固视标60b后的光进行固视而成为固视状态。
66.(2)机器学习模型的生成
67.在本实施方式所涉及的眼科装置1中，能够对受检眼e进行拍摄并对拍摄到的图像所包含的检查部进行分类。在本实施方式中，该分类基于机器学习模型来执行。因此，在本实施方式中，通过机器学习生成多个基于检查部的图像对检查部的状态进行分类的机器学习模型，并记录在眼科装置1的存储器93中(机器学习模型93a～93f)。
68.图3a是表示生成机器学习模型93a～93f的机器学习系统100的硬件结构的框图，
图3b是表示机器学习处理的流程图。机器学习系统100具备控制部200、记录介质300以及用户i/f部400。
69.控制部200具备未图示的cpu、ram、rom以及gpu，能够执行存储在记录介质300等中的各种程序。用户i/f部400具备显示器等显示部和键盘、鼠标等输入部。控制部200、记录介质300、用户i/f部400可以由一体的计算机构成，也可以是至少一部分为不同的装置并通过usb线缆等进行连接的结构。
70.在本实施方式中，控制部200能够执行机器学习程序210。机器学习程序210是使控制部200执行对将由眼科装置1拍摄到的检查对象图像所包含的检查部的状态作为检查结果而输出的模型进行机器学习的功能的程序。当执行机器学习程序210时，控制部200作为机器学习部210a而发挥功能。
71.机器学习处理在预先准备有教师数据300a的状态下执行。控制部200基于该教师数据300a对神经网络的模型进行优化，并将优化后的模型作为机器学习模型93a～93f存储在记录介质300中。
72.机器学习可以通过各种方法来进行，在此对通过机器学习来优化包含cnn(convolutionalneuralnetwork：卷积神经网络)的模型的例子进行说明。为了通过机器学习对模型进行优化，教师数据300a将应该输入至模型的图像和表示该图像中包含的检查部的分类结果的信息建立对应地进行定义。在本实施方式中，分类与检查部的症状的重症度等对应。例如，在前眼部(的眼白部分)的充血的重症度为检查对象的情况下，充血的重症度被分类为多个组。
73.图4是示意性地表示在本实施方式中利用的模型的构造的图。在该图4中，以长方体的变化来表示基于cnn的数据格式的变化，以白圈表示神经网络的节点。本实施方式的模型将检查对象图像作为向cnn的输入层l
i1
的输入数据，向经过全连接层l
n1
而输出分类结果的输出层l
o
输出推定值。输入至cnn的检查对象图像为纵向为h像素、横向为w像素的图像，各像素的颜色由r：红、g：绿、b：蓝的三通道的灰度值来进行表述。
74.因而，在图4中，输入层l
i1
的图像以纵向为h、横向为w、进深为3的长方体示意性地示出。在图4中，示出了在图像被输入至输入层之后，经过cnn、即经过基于规定的大小以及数量的滤波器的卷积运算、基于激活函数的运算以及池化层的运算而转换为h
11
×
w
11
×
d
11
个输出值的例子。在图4中，示出了此后经过多个层(省略图示)而转换为h
m1
×
w
m1
×
d
m1
个输出值的例子。在通过cnn获得h
m1
×
w
m1
×
d
m1
个输出值之后，经过全连接层l
n1
，通过输出层l
o
获得与多个组分别对应的节点n1～n4的输出值。
75.节点n1～n4的输出值指示输入的图像的检查部属于多个组中的各个组的概率。例如，按照重症度从低到高的顺序称为组1、组2、组3、组4，预先规定组1、组2、组3、组4中的各个组分别与节点n1～n4建立对应。然后，在节点n1～n4的输出为0.95、0.03、0.01和0.01的情况下，推定检查部的状态分别为组1、组2、组3、组4的概率为95％、3％、1％和1％。此外，在本实施方式中，节点n1～n4的输出值之和为1。
76.教师数据300a是这样的可输入至模型的格式的图像与节点n1～n4的输出值建立对应的数据。此外，在教师数据300a中，节点n1～n4的输出值在任一个节点中为1，其他节点为0。可输入至模型的格式是纵向为h像素、横向为w像素的三色图像，在本实施方式中，进一步地从包含检查部的图像中去除检查部以外的部分。
77.图5b表示用于检查充血的重症度的前眼部的图像的例子。充血在前眼部的眼白部分产生，因此为了对充血的重症度进行分类，不需要眼白部分以外的部分。因此，在该情况下，如图5c所示，将保留眼白部分并且去除其他部分的图像(其他部分被替换为特殊颜色(例如黑色)的图像)作为教师数据300a。
78.当机器学习处理开始时，控制部200通过机器学习部210a的功能，获取教师数据300a(步骤s100)。接着，控制部200通过机器学习部210a的功能，获取测试数据(步骤s105)。在本实施方式中，控制部200提取教师数据300a的一部分，作为用于确认是否进行了学习泛化的测试数据。此外，测试数据不用于机器学习。
79.接着，控制部200通过机器学习部210a的功能获取训练模型(步骤s110)。在本实施方式中，控制部200获取关于表示训练模型的每个层的各节点的参数(滤波器、激活函数等)。在本实施方式中，训练模型是基于与教师数据300a不同的教师数据预先进行了机器学习的模型。例如，将针对与检查对象图像不同的图像而基于与充血的重症度不同的输出建立了对应的教师数据进行了机器学习的模型作为训练模型。
80.这样的训练模型能够利用因特网等来获得，但由于基于与将检查对象图像和分类结果建立对应的教师数据300a不同的教师数据来进行机器学习，因此与图4所示的模型不同。
81.因此，控制部200通过机器学习部210a的功能来置换最终层(步骤s115)。即，控制部200将在步骤s110中获取到的训练模型的输出层置换为图4所示的节点n1～n4，使节点n1～n4与之前的层通过全连接而连接。该连接通过重新定义滤波器、激活函数等来实现。当然，在输入层的格式为与检查对象图像不同的格式的情况下，也可以进行针对输入层的置换。另外，也可以与训练模型的输入层的格式相配合地对检查对象图像的格式进行规定。
82.接着，控制部200通过机器学习部210a的功能，进行初始层的冻结(步骤s120)。即，控制部200为了进行高效的学习，将初始的层(例如，100层以上的训练模型中的10层)作为不进行基于学习的参数的更新的层。其结果是，能够使机器学习提前收敛。当然，冻结的层的数量没有限定，也可以冻结中间层、与输出侧接近的层，如果机器学习完成，则也可以不进行冻结。
83.接着，控制部200通过机器学习部210a的功能来决定初始值(步骤s125)。即，控制部200针对除了在步骤s120中冻结的层以外的层，将针对在步骤s110中获取到的训练模型的参数决定为学习对象的初始值。另外，对于最终层，设为预先规定的初始值。当然，也可以以在学习的过程中对参数进行优化的方式调整初始值。
84.接着，控制部200通过机器学习部210a的功能进行学习(步骤s130)。即，控制部200向在步骤s115中进行置换后的模型输入在步骤s100中获取到的教师数据300a的图像，并获取输出值。控制部200基于表示该输出值和与教师数据300a建立对应的分类结果的差分的损失函数来确定误差。然后，控制部200通过既定的优化算法、例如随机梯度下降法等对参数进行更新。即，控制部200基于损失函数的参数的微分，将以减小误差的方式对参数进行更新的处理反复进行既定次数。此外，在此作为变更对象的参数是在步骤s120中未冻结的参数。
85.如以上那样，若进行既定次数的参数的更新，则控制部200判定模型的泛化是否完成(步骤s135)。即，控制部200将在步骤s105中获取到的测试数据输入至模型，并获取表示
图像的分类结果的输出值。然后，控制部200获取该输出值和与测试数据建立对应的分类结果一致的数量，通过除以样本数来获取推定精度。在本实施方式中，控制部200在推定精度为阈值以上的情况下判定为泛化完成。
86.此外，在泛化性能的评价的基础上，还可以进行超参数的妥当性的验证。即，在作为成为学习对象的可变的参数以外的可变量的超参数、例如节点的数量等被调谐的结构中，控制部200也可以基于验证数据来验证超参数的妥当性。验证数据通过与步骤s110同样的处理，从教师数据300a中预先提取出验证数据并作为不用于训练的数据而确保，由此获取即可。
87.在步骤s135中，在未判定为模型的泛化已完成的情况下，控制部200反复进行步骤s130。即，进一步进行对作为学习对象的可变的参数进行更新的处理。另一方面，在步骤s135中判定为模型的泛化已完成的情况下，控制部200对机器学习模型进行记录(步骤s140)。即，控制部200将泛化完成的模型作为机器学习模型记录在记录介质300中。
88.此外，在本实施方式中，预先准备多个机器学习模型。因此，机器学习处理的至少s100～s140被实施与机器学习模型的数量相同的次数，所得到的机器学习模型被记录在记录介质300中。在本实施方式中，对六个模型进行机器学习，在图3a中，将上述模型表述为机器学习模型93a～93f。此外，机器学习模型93a～93f的作为基础的训练模型不同。即，在本实施方式中，通过修正机器学习完毕的模型的一部分的层来获取机器学习模型93a～93f，因此上述机器学习模型93a～93f保持了基础的训练模型的一部分特征。因此，通过设为利用多个机器学习模型93a～93f的结构，即使因一部分模型而使针对具有特定特征的检查对象图像的分类精度降低，通过其他模型进行补充的可能性也较高。因而，根据本实施方式，能够提高准确地进行分类的可能性。
89.当如上所述得到机器学习模型93a～93f时，通过任意的传送方法将机器学习模型93a～93f记录在眼科装置1的存储器93中。本实施方式所涉及的眼科装置1能够在将机器学习模型93a～93f记录在存储器93中的状态下执行检查部的检查。此外，在本实施方式中，为了对一种检查部进行分类而利用六个机器学习模型93a～93f。因而，如果对n种检查部进行分类，则预先生成6n个机器学习模型，并记录在存储器93中。
90.(3)检查对象分类处理
91.以下，对在眼科装置1中对受检眼e进行拍摄并对拍摄到的图像所包含的检查部进行分类的检查对象分类处理进行说明。控制部90通过执行检查对象分类程序，从而作为检查对象图像获取部90a以及分类部90b而发挥功能。检查对象图像获取部90a是进行第一光源10a、第二光源20a的点亮以及非点亮的控制、用于获取作为检查部的图像的检查对象图像的控制的功能。分类部90b是对机器学习模型输入检查对象图像并获取分类结果的功能。检查对象分类处理通过使控制部90作为检查对象图像获取部90a以及分类部90b发挥功能来执行。
92.图6a是表示检查对象分类处理的流程图。在本实施方式所涉及的眼科装置1中，对作为检查对象的检查部进行拍摄，并基于拍摄结果将检查部分类为多个组。在本实施方式中，眼科装置1具有检查对象不同的多个检查模式，控制部90通过检查对象图像获取部90a的功能，经由触摸面板80接受检查者对检查模式的选择。
93.另外，控制部90通过检查对象图像获取部90a的功能，经由触摸面板80接受检查者
所做出的检查对象分类处理的开始指示。当接受到该开始指示时，控制部90执行与每个检查模式的检查部对应的检查对象分类处理。当检查对象分类处理开始时，控制部90通过检查对象图像获取部90a的功能来拍摄图像(步骤s200)。此时，受检者将自身的头部设置于头部h的规定位置。
94.控制部90根据检查模式，对第一投光光学系统10、第二投光光学系统20指示应点亮的光源。在第一投光光学系统10、第二投光光学系统20各自中，受到指示的光源点亮，未受到指示的光源不点亮。其结果是，成为存在于被点亮的光源的光轴上的光调整构件被选择的状态。控制部90通过检查对象图像获取部90a的功能，根据检查模式，指示在受光调整单元32c中使用的光调整构件30c。在受光光学系统30中，受光调整单元32c驱动未图示的机构，使受到指示的光调整构件30c沿光轴oc进行移动。其结果是，在第一投光光学系统10、第二投光光学系统20、受光光学系统30中，分别在光轴上配置与图5a所示那样的检查模式对应的光调整构件。
95.图5a是表示每个检查模式的光调整构件的组合例的图。在本实施方式中，在检查模式中，存在前眼部狭缝拍摄、晶状体观察、前眼部拍摄、染色观察、睑板腺拍摄的各模式。例如，在选择了前眼部拍摄的情况下，控制部90在第一投光光学系统10、第二投光光学系统20中使与扩散器对应的第一光源10a、第二光源20a点亮。进一步地，控制部90在受光光学系统30中使受光调整单元32c进行动作而选择在光轴上不存在光调整构件30c的状态。其结果是，能够对左眼或右眼的前眼部进行拍摄。如上所述，控制部90根据每个检查模式的检查部而将图5a所示的光调整构件配置在光轴上。
96.此外，在图5a所示的检查模式中，前眼部狭缝拍摄是向受检眼e照射通过细狭缝后的细狭缝光并拍摄该受检眼e的角膜等被照射为线状的状态的图像的检查模式。晶状体观察是向受检眼照射通过粗狭缝后的粗狭缝光并拍摄用于观察晶状体的图像的检查模式。
97.前眼部拍摄是拍摄用白色光照明受检眼的状态的图像的检查模式。染色观察是拍摄利用荧光素染色液对受检眼e进行染色后的状态的图像的检查模式。睑板腺拍摄是向受检眼e投射红外线并拍摄存在于受检眼e的上眼睑或下眼睑的背面的睑板腺的模式。因而，第一投光光学系统10的第一光源10a和第二投光光学系统20的第二光源20a熄灭，但输出红外线的光源11a、21a点亮。如以上那样，在本实施方式中，根据检查模式而组合使用不同的光调整构件，但根据本实施方式，检查者不用意识到按每个检查模式而不同的光调整构件的组合，只要指示检查模式就能够设定为正确的组合。
98.此外，在本实施方式中，第一投光光学系统10在将受检者的左眼作为受检眼e来进行投光时使用，第二投光光学系统20在将受检者的右眼作为受检眼e来进行投光时使用。因此，各投光光学系统中的光调整构件只要至少在进行投光时配置在光轴上即可。因而，除了根据检查模式的选择来选择光调整构件的结构以外，还可以采用在各投光光学系统的光源被点亮时进行光调整构件的选择的结构等。例如，在前眼部拍摄中被点亮的光源也可以是任意一方(在左眼的情况下为第一光源10a，在右眼的情况下为第二光源20a)。
99.如上所述，在眼科装置1中，能够对多个检查对象进行检查，但在此，主要对前眼部的眼白部分为检查部、且对该检查部中的充血的重症度进行分类的例子进行说明。
100.在进行光调整构件的设定时，控制部90对x
‑
y对准光学系统40、z对准光学系统50进行控制来执行x
‑
y对准以及z对准。进一步地，控制部90利用自动对焦机构，获取与检查模
式对应的与检查部对焦的状态的图像并记录在存储器93中。其结果是，获得如图5b所示例那样的前眼部的拍摄图像。
101.在进行了图像的拍摄后，接着，控制部90提取出检查部(步骤s205)。即，检查部按每个检查模式而不同，控制部90执行从在步骤s200中拍摄到的图像中提取出与检查模式对应的检查部的图像处理。在对充血的重症度进行检查的情况下，控制部90从在步骤s200中拍摄到的图像中提取出眼白部分，并去除其他部分(将图像数据置换为特殊颜色(例如黑色))。
102.眼白部分的提取可以通过各种方法来执行，控制部90对拍摄有前眼部的检查对象图像例如进行边缘检测处理，来确定上眼睑的下端和下眼睑的上端。然后，提取出被上眼睑的下端和下眼睑的上端夹着的不是黑眼珠的部分作为检查部。所获得的图像作为检查对象图像而记录在存储器93中。当然，该提取处理是一个例子，也可以基于图像的颜色来提取检查部。图5c表示从图5b那样的图像中提取出眼白部分作为检查部而得到的检查对象图像的例子。根据以上的结构，与包含检查部以外的图像的情况相比，能够更准确地对检查部的状态进行分类。
103.此外，通过检查部的提取而得到的检查对象图像是与机器学习模型对应的格式。即，预先规定了针对机器学习模型93a～93f的输入图像的格式(纵横的像素数以及颜色数)。例如，为了检查充血的重症度而需要彩色图像，因此需要rgb的各色。另外，由于能够输入至机器学习模型93a～93f的图像的大小是预先规定的，因此以各种颜色的图像成为既定的纵像素数以及横像素数的方式获取检查对象图像。
104.接着，控制部90执行步骤s210～步骤s225来对检查部的状态进行分类。具体而言，控制部90通过分类部90b的功能，选择机器学习模型(步骤s210)。即，控制部90选择用于检查与检查模式对应的检查部的机器学习模型。然后，在所选择的机器学习模型中，选择一个未在步骤s210～步骤s225的处理中使用的模型。例如，在机器学习模型93a～93f是为了检查充血的重症度而准备的模型的情况下，控制部90从上述模型中选择一个未在步骤s210～步骤s225的处理中使用的模型。
105.接着，控制部90通过分类部90b的功能，将检查对象图像输入至机器学习模型(步骤s215)。即，控制部90将在步骤s205中获取到的检查对象图像输入至在步骤s210中选择出的机器学习模型。即，控制部90将检查对象图像作为输入，基于机器学习模型进行各层的运算，来获取输出层的节点n1～n4的输出值。
106.接着，控制部90通过分类部90b的功能，获取分类结果(步骤s220)。即，控制部90获取在步骤s215中获取到的各节点n1～n4的输出值，作为检查对象图像中包含的眼白部分的充血度是与各节点n1～n4对应的各个组的概率。例如，在节点n1～n4的输出为0.95、0.03、0.01和0.01的情况下，控制部90推定检查部的状态分别为组1、组2、组3和组4的概率是95％、3％、1％和1％。
107.接着，控制部90通过分类部90b的功能，判定是否针对全部模型结束了处理(步骤s225)。即，控制部90判定是否对为了检查与检查模式对应的检查部而准备的全部机器学习模型进行了步骤s210～步骤s225的处理。在检查充血的重症度的情况下，控制部90判定是否针对机器学习模型93a～93f的全部进行了步骤s210～步骤s225的处理。
108.在步骤s225中，在未判定为针对全部模型结束了处理的情况下，控制部90反复进
行步骤s210以后的处理。在步骤s225中，在判定为针对全部模型结束了处理的情况下，控制部90将分类结果与检查对象图像建立对应地以能够对比的方式进行显示(步骤s230)。
109.即，控制部90使显示部70显示在步骤s200中拍摄到的图像。另外，控制部90使在步骤s220中获取到的分类结果与该图像建立对应地显示于显示部70。分类结果针对一个机器学习模型而存在与组数相应的量。例如，在如上述的例子那样将充血度分类为组1、组2、组3、组4的情况下，得到作为全部组数的四个基于一个机器学习模型的输出值。而且，当针对六个机器学习模型93a～93f而得到输出值时，得到4
×
6＝24个输出值。
110.因此，控制部90按每个组以能够对比的方式显示这些输出值，另外，按多个组的每个组以能够对比的方式显示由多个机器学习模型93a～93f分别获取到的输出值(概率)。图7a是表示显示例的图。在图7a中，同时示出了左眼和右眼的拍摄图像，在左侧显示右眼的拍摄图像，在右侧显示左眼的拍摄图像。
111.另外，在各拍摄图像的下方示出了输出值。本实施方式所涉及的输出值在各节点n1～n4中的每一个中具有0～1的取值范围，因此控制部90通过将该输出值乘以100而将输出值转换为％。然后，控制部90对显示部70进行控制来描绘每个组的显示区域，在各显示区域中以柱状图显示六个机器学习模型93a～93f的输出值。
112.即，在图7a中，在各拍摄图像的下方显示由矩形包围的组1、组2、组3、组4的文字，通过各矩形示出各组的显示区域。而且，在各显示区域中，表述有与表示被分类为各组的概率的输出值(％)相当的长度的柱状图。此外，在图7a所示的例子中，还按每个组显示输出值的平均值。
113.而且，在图7a所示的例子中，与左侧所示的右眼的组2对应的输出值的平均值最大(89.2)。因而，检查者能够判断为充血的重症度为组2。右侧所示的与左眼的组1对应的输出值的平均值最大(89.2)。因而，检查者能够判断为充血的重症度为组1。
114.另外，根据以上的结构，能够对比多个机器学习模型的输出，因此检查者通过对比同一组内的输出、不同组间的输出，能够判断分类结果是否妥当等。进一步地，在本实施方式中，通过机器学习模型的运算而得到分类结果，因此在统计上可期待具有用于判断机器学习的泛化是否完成的阈值以上的正确性。因而，能够不依赖于主观而以该正确性进行分类。
115.(4)其他实施方式
116.以上的实施方式是用于实施本发明的一个例子，只要是通过机器学习模型对检查部的状态进行分类，则能够采用其他各种实施方式。例如，眼科装置并不限定于如上述那样具备头部和主体部的结构，也可以是具备其他各种要素的眼科装置。另外，光学系统的结构也是一个例子，也可以采用其他各种光学系统。
117.检查对象图像获取部只要能够获取作为前眼部或前眼部周围的检查部的图像的检查对象图像即可。即，检查对象的状态的分类是基于前眼部或检查部的外观特征而得到的。因此，检查对象图像获取部只要能够获取包含该特征的检查对象图像即可。
118.检查对象是前眼部的检查部和前眼部周围的检查部中的至少一方。前眼部的检查部可以是由朝向受检眼的照相机拍摄到的图像所包含的前眼部的全部，可以是一部分。前眼部周围的检查部只要是存在于前眼部的周围的部分即可，可以是由朝向受检眼的照相机拍摄到的图像所包含的前眼部的周围的整个区域，也可以是一部分。另外，检查部也可以是
通常被隐藏的部分，例如眼睑的背面的部分。
119.分类部只要能够对基于检查部的图像对检查部的状态进行分类的机器学习模型输入检查对象图像并获取分类结果即可。即，分类部只要能够基于预先进行了机器学习的机器学习模型来推定获取了检查对象图像的检查部的分类即可。
120.检查部的状态只要被分类为预先规定的多个组即可。即，作为教师数据的图像与该多个组中的任意一个建立对应。然后，对通过该教师数据进行了机器学习的机器学习模型输入检查对象图像，由此进行分类。
121.在对机器学习模型进行机器学习的处理中，在生成教师数据时有可能人为地对图像进行分类，但不会人为地决定单独的分类的评价基准。因而，评价基准的决定不会伴随主观，能够客观地进行分类。
122.状态只要与检查部的检查结果对应即可，如果想要如上述那样检查充血的重症度，则例如充血的重症度与状态对应。另外，如果想要获取干眼症的类型分类，则例如干眼症的类型与状态对应。在该情况下，例如在上述的眼科装置1中，从拍摄图像中提取出作为检查部的黑眼珠部分(角膜部分)的图像，并进行机器学习、基于机器学习模型的分类即可。此外，拍摄图像例如能够利用通过图5a所示的染色观察的检查模式拍摄到的图像。
123.进一步地，如果想要检查睑板腺的脱落程度，则例如睑板腺的脱落程度的重症度与状态对应。在该情况下，例如在上述的眼科装置1中，从拍摄图像中提取出作为检查部的上眼睑或者下眼睑的背侧的图像，并进行机器学习、基于机器学习模型的分类即可。此外，拍摄图像例如能够利用通过图5a所示的睑板腺的检查模式拍摄到的图像(用红外线拍摄到的图像)。
124.进一步地，如果想要检查泪液量，则例如泪液弯月面的高度、面积等与状态对应。在该情况下，例如在上述的眼科装置1中，从拍摄图像中提取出作为检查部的泪液弯月面的图像，并进行机器学习、基于机器学习模型的分类即可。此外，拍摄图像例如能够利用通过图5a所示的狭缝拍摄的检查模式拍摄到的图像。这样，状态能够根据检查部由各种要素进行定义，除了上述例子以外，还能够根据任意的检查对状态进行定义。
125.针对机器学习模型的检查对象图像的输入和分类结果的获取可以是各种方式。例如，检查对象图像可以进行放大、缩小等，以便能够输入至机器学习模型。另外，可以为了使检查部的大小一致而进行放大、缩小等。当然，也可以进行明亮度、对比度的调整等图像处理。分类结果的输出可以是各种方式。即，除了针对各个输出节点的输出值之和被标准化为1的结构以外，可以以各种方式进行输出。
126.在上述的实施方式中，采用了通过cnn进行机器学习的结构，当然，机器学习的方法也可以采用其他各种方法。另外，也可以附加各种网络构造。机器学习的方式没有限定，例如，适当选择构成模型的层的数量、节点的数量、激活函数的种类、损失函数的种类、梯度下降法的种类、梯度下降法的优化算法的种类、小批量学习的有无、批量的数量、学习率、初始值、过度学习抑制方法的种类、有无、卷积层的有无、卷积运算中的滤波器的尺寸、滤波器的种类、填充、步长的种类、池化层的种类、有无、全连接层的有无、递归构造的有无等各种要素来进行机器学习即可。当然，也可以通过其他机器学习、例如支持向量机、聚类、强化学习等来进行学习。
127.进一步地，也可以进行自动地对模型的构造(例如，层的数量、每层的节点的数量
等)进行优化的机器学习。进一步地，机器学习可以在各种装置中进行，例如，可以在服务器中进行机器学习。在该结构中，例如也可以是从多个客户端收集教师数据，并基于该教师数据在服务器中进行机器学习的结构。
128.显示部只要能够显示分类结果即可。即，只要能够将分类结果提示给检查者，则可以以各种方式显示分类结果。分类结果的显示方式并不限定于上述的实施方式，可设想各种方式。例如，也可以不是以能够对比的方式显示分类结果，而是将与分类结果的推定值中的最大值对应的分类作为分类结果显示而不显示与其他推定值对应的分类的结构等。
129.进一步地，分类结果的显示方式并不限定于显示输出值的方式。例如，在表示与分类结果的推定值中最大的值对应的分类结果时，也可以显示图像。作为更具体的例子，在上述的眼科装置1中，能够设想将作为表示属于多个组中的各个组的检查部的状态的图像而预先准备的、表示典型例的图像预先记录在存储器93中的结构。在该结构中，控制部90在显示分类结果时，显示表示该典型例的图像。
130.图7b是表示这样的显示的例子的图。在图7b中，也与图7a同样地，在左侧显示右眼的拍摄图像，在右侧显示左眼的拍摄图像。在各拍摄图像的下方，从左侧起依次排列显示有表示组1、组2、组3和组4各自的典型例的图像。控制部90基于多个机器学习模型来获取表示检查部的分类的输出值，例如，将其平均值最大的组视为检查部的充血的重症度。
131.当该重症度被确定时，控制部90从表示典型例的图像中选择表示属于与分类结果对应的组的检查部的状态的图像并进行强调显示。在图7b所示的例子中，通过用粗线强调表示典型例的图像的框，示出了与充血的重症度相应的图像。即，在图7b所示的例子中，设想左侧所示的右眼的充血的重症度为组2，从左侧起第二个图像br被强调。因而，检查者能够判断为充血的重症度为组2。另外，设想右侧所示的左眼的充血的重症度为组1，从左侧起第一个图像bl被强调。因而，检查者能够判断为充血的重症度为组1。根据以上的结构，检查者能够直观地将分类结果与充血的程度建立对应并进行识别。
132.进一步地，分类结果的显示方式并不限定于上述的方式。例如，组的数量不限于4，可以更少也可以更多。即使组的数量为预先规定的数量，也可以在分类时以重症度连续地变化的方式进行显示。例如，可以基于图7a、更多组的分类结果来获取关于重症度的代表性程度的概率，对于未得到分类结果的数值的重症度，以连续地变化的方式获取概率并进行显示。图6b示出了这样的显示的例子。
133.进一步地，通过机器学习模型对检查部的状态进行分类的方法也能够作为方法、程序的发明而应用。另外，以上那样的眼科装置、方法、程序能够设想作为单独的装置来实现的情况、作为具有多个功能的装置的一部分来实现的情况，包含各种方式。