移动辅助系统、移动辅助方法以及移动辅助程序与流程

1.本发明涉及移动辅助系统、移动辅助方法以及移动辅助程序，尤其涉及将内窥镜的插入部前端部插入到被检体的管腔内时对该插入部前端部的插入动作进行辅助的移动辅助系统、移动辅助方法以及移动辅助程序。


背景技术：

2.以往，在医疗领域和工业领域等中广泛使用内窥镜系统，该内窥镜系统具有对被检体的内部的被摄体进行拍摄的内窥镜、和生成由内窥镜拍摄到的被摄体的观察图像的视频处理器等。
3.这里，在使用内窥镜将插入部前端部插入到被检体内的管腔内时，会发生对于手术医生来说难以判断插入部的行进方向的情况。例如，在大肠内窥镜的插入操作中，有时因大肠屈曲而成为管腔被折叠的状态或被压扁的状态(以下，将这样的管腔的状态统称为“折叠管腔”)。在这样的情况下，手术医生需要使内窥镜的插入部前端部钻入折叠管腔，但在手术医生不习惯内窥镜操作的情况下，有时难以判断沿哪个方向钻入折叠管腔较好。
4.即，在如上述那样出现了“折叠管腔”的情况下，之后使插入部前端部钻入该折叠管腔的操作例如设想如下情况作为一例：在内窥镜的操作上如插入部前端部的推(push)操作
→
角度操作那样，需要在时间上不同的多个操作。但是，在不习惯内窥镜操作的手术医生的情况下，认为难以准确地设想并执行往后能够采取的多个操作。
5.在日本特开2007
‑
282857号公报中，示出了如下的插入方向的检测装置，该检测装置根据特征量对场景进行分类，即使在存在多个特征量的情况下，也计算主要的特征量的类别并进行与该特征量对应的插入方向计算，由此显示精度良好的插入方向。
6.另外，在wo2008/155828号公报中，示出了如下技术：通过位置检测单元检测并记录插入部的位置信息，在迷失了管腔的情况下，根据记录的位置信息来计算插入方向。
7.在上述日本特开2007
‑
282857号公报所示的技术中，向手术医生呈现内窥镜的插入部前端部应该前进的1个方向。但是，对于如“折叠管腔”那样在时间上需要多个操作的场景，无法呈现充分的信息。即，对于手术医生之后如何使插入部前端部钻入为好，并不呈现。
8.另外，在wo2008/155828号公报中，位置检测单元检测插入部的位置，根据所记录的信息计算迷失的管腔的方向，但能够呈现给手术医生的信息仅是由此使插入部前端部应该前进的1个方向，仍然与上述同样地，对于在时间上需要多个操作的场景，无法呈现充分的信息。
9.本发明是鉴于上述情况而完成的，提供一种移动辅助系统，在将内窥镜的插入部前端部插入到被检体的管腔内时，针对在时间上需要多个往后能够采取的操作的场景，呈现准确的信息。


技术实现要素：

10.用于解决课题的手段
11.本发明的一个方式的移动辅助系统具有：多个操作信息计算部，其根据配设于插入部的摄像部获取到的摄像图像，计算与需要时间上不同的多个操作的场景即多个操作对象场景对应的、表示时间上不同的多个操作的多个操作信息；以及呈现信息生成部，其根据在所述多个操作信息计算部中计算出的所述多个操作信息，生成针对所述插入部的呈现信息。
12.本发明的一个方式的移动辅助方法具有如下步骤：多个操作信息计算步骤，根据配设于插入部的摄像部获取到的摄像图像，计算与需要时间上不同的多个操作的场景即多个操作对象场景对应的、表示时间上不同的多个操作的多个操作信息；以及呈现信息生成步骤，根据在所述多个操作信息计算步骤中计算出的所述多个操作信息，生成针对所述插入部的呈现信息。
13.本发明的一个方式的移动辅助程序使计算机执行如下步骤：多个操作信息计算步骤，根据配设于插入部的摄像部获取到的摄像图像，计算与需要时间上不同的多个操作的场景即多个操作对象场景对应的、表示时间上不同的多个操作的多个操作信息；以及呈现信息生成步骤，根据在所述多个操作信息计算步骤中计算出的所述多个操作信息，生成针对所述插入部的呈现信息。
附图说明
14.图1是示出包含本发明的第1实施方式的移动辅助系统的内窥镜系统的结构的框图。
15.图2是对在第1实施方式的移动辅助系统中采用的机器学习的方法进行说明的图。
16.图3是示出包含第1实施方式的移动辅助系统的内窥镜系统的变形例的框图。
17.图4是示出包含本发明的第2实施方式的移动辅助系统的内窥镜系统的结构的框图。
18.图5是对在第2实施方式的移动辅助系统中采用的机器学习的方法进行说明的图。
19.图6是示出第2实施方式的移动辅助系统中的场景检测部和呈现信息生成部的作用的流程图。
20.图7是示出在第1、第2实施方式的移动辅助系统中，在面对折叠管腔的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
21.图8是示出在第2实施方式的移动辅助系统中，在面对折叠管腔的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的其他呈现例的说明图。
22.图9是示出在第2实施方式的移动辅助系统中，在面对折叠管腔的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的其他呈现例的说明图。
23.图10是示出在第2实施方式的移动辅助系统中，在面对折叠管腔的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的呈现信息的准确度低的情况下的附带信息的一个呈现例的说明图。
24.图11是示出在第2实施方式的移动辅助系统中，在面对折叠管腔的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的呈现信息上附加的信息的一例的说明图。
25.图12是示出在第2实施方式的移动辅助系统中，在面对折叠管腔的状态下呈现给
手术医生的、与插入部相关的“在时间上不同的多个操作引导”的呈现信息上附加的信息的一例的说明图。
26.图13是示出在第2实施方式的移动辅助系统中，在插入部前端部被压入肠壁的状态下呈现给手术医生的“与插入部相关的操作引导”的一个呈现例的说明图。
27.图14是示出在第2实施方式的移动辅助系统中，在插入部前端部被压入肠壁的状态下呈现给手术医生的“与插入部相关的操作引导”的呈现信息的准确度低的情况下的附带信息的一个呈现例的说明图。
28.图15是示出在第2实施方式的移动辅助系统中，在发现了支囊时呈现给手术医生的“与插入部相关的操作引导”的一个呈现例的说明图。
29.图16是示出在第2实施方式的移动辅助系统中，在发现了支囊时呈现给手术医生的“与插入部相关的操作引导”的呈现信息的准确度低的情况下的附带信息的一个呈现例的说明图。
30.图17是示出包含本发明的第3实施方式的移动辅助系统的内窥镜系统的结构的框图。
31.图18是示出第3实施方式的移动辅助系统中的场景检测部、呈现信息生成部以及记录部的作用的流程图。
32.图19是示出在第3实施方式的移动辅助系统中，在迷失了插入部前端部应该前进的管腔方向的状态下呈现给手术医生的“与插入部相关的操作引导”的一个呈现例的说明图。
33.图20是示出在第3实施方式的移动辅助系统中，在迷失了插入部前端部应该前进的管腔方向的状态下呈现给手术医生的“与插入部相关的操作引导”的其他呈现例的说明图。
34.图21是示出在第2、第3实施方式的移动辅助系统中，在折叠管腔处于前方的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
35.图22是示出在第2、第3实施方式的移动辅助系统中，在折叠管腔处于前方的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的其他呈现例的说明图。
36.图23是示出在第2、第3实施方式的移动辅助系统中，在插入部前端部被压入肠壁的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
37.图24是示出在第2、第3实施方式的移动辅助系统中，在发现了支囊时呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
38.图25是示出在第3实施方式的移动辅助系统中，在迷失了插入部前端部应该前进的管腔方向的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
39.图26是示出在第3实施方式的移动辅助系统中，在迷失了插入部前端部应该前进的管腔方向的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的其他呈现例的说明图。
40.图27a是示出在第2、第3实施方式的移动辅助系统中，在折叠管腔处于前方的状态下呈现给手术医生的、以动画显示与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
41.图27b是示出在第2、第3实施方式的移动辅助系统中，在折叠管腔处于前方的状态下呈现给手术医生的、以动画显示与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
42.图28a是示出在第2、第3实施方式的移动辅助系统中，在插入部前端部被压入肠壁的状态下呈现给手术医生的、以动画显示与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
43.图28b是示出在第2、第3实施方式的移动辅助系统中，在插入部前端部被压入肠壁的状态下呈现给手术医生的、以动画显示与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
44.图29a是示出在第2、第3实施方式的移动辅助系统中，在发现了支囊时呈现给手术医生的、以动画显示与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
45.图29b是示出在第2、第3实施方式的移动辅助系统中，在发现了支囊时呈现给手术医生的、以动画显示与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
46.图29c是示出在第2、第3实施方式的移动辅助系统中，在发现了支囊时呈现给手术医生的、以动画显示与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
47.图30a是示出在第3实施方式的移动辅助系统中，在迷失了插入部前端部应该前进的管腔方向的状态下呈现给手术医生的、以动画显示与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
48.图30b是示出在第3实施方式的移动辅助系统中，在迷失了插入部前端部应该前进的管腔方向的状态下呈现给手术医生的、以动画显示与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
49.图30c是示出在第3实施方式的移动辅助系统中，在迷失了插入部前端部应该前进的管腔方向的状态下呈现给手术医生的、以动画显示与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
50.图31是示出包含本发明的第4实施方式的移动辅助系统的内窥镜系统的结构的框图。
51.图32是示出包含本发明的第5实施方式的移动辅助系统和自动插入装置的内窥镜系统的结构的框图。
具体实施方式
52.以下，使用附图对本发明的实施方式进行说明。
53.＜第1实施方式＞
54.图1是示出包含本发明的第1实施方式的移动辅助系统的内窥镜系统的结构的框
图，图2是对在第1实施方式的移动辅助系统中采用的机器学习的方法进行说明的图。
55.如图1所示，本实施方式的内窥镜系统1构成为主要具有内窥镜2、未图示的光源装置、视频处理器3、插入形状检测装置4以及监视器5。
56.内窥镜2构成为具有：插入部6，其插入到被检体内；操作部10，其设置于插入部6的基端侧；以及通用线缆8，其从操作部10延伸设置。另外，内窥镜2构成为：经由设置于通用线缆8的端部的镜体连接器与未图示的光源装置装卸自如地连接。
57.并且，内窥镜2构成为：经由电连接器与视频处理器3装卸自如地连接，该电连接器设置于从内窥镜连接器延伸出的电缆的端部。另外，在插入部6、操作部10以及通用线缆8的内部设置有用于传送从光源装置提供的照明光的光导(未图示)。
58.插入部6构成为具有挠性和细长形状。另外，插入部6从前端侧起依次设置硬质的前端部7、形成为弯曲自如的弯曲部、具有挠性的长条的挠性管部而构成。
59.在前端部7上设置有照明窗(未图示)，该照明窗用于向被摄体射出由设置于插入部6的内部的光导传送的照明光。另外，在前端部7上设置有摄像部21，该摄像部21构成为进行与从视频处理器3提供的摄像控制信号对应的动作，并且对被经由照明窗射出的照明光照明的被摄体进行拍摄而输出摄像信号。摄像部21例如构成为具有cmos图像传感器、ccd图像传感器等图像传感器。
60.操作部10构成为具有能够供操作者(手术医生)把持来进行操作的形状。另外，在操作部10上设置有角度旋钮，该角度旋钮构成为能够进行用于使弯曲部向与插入部6的长度轴交叉的上下左右(udlr)这4个方向弯曲的操作。并且，在操作部10上设置有1个以上的镜体开关，该镜体开关能够进行与操作者(手术医生)的输入操作、例如释放操作等对应的指示。
61.虽然未图示，但上述光源装置例如构成为具有1个以上的led或1个以上的灯作为光源。另外，光源装置构成为能够产生用于对插入有插入部6的被检体内进行照明的照明光，并且将该照明光向内窥镜2提供。另外，光源装置构成为能够根据从视频处理器3提供的系统控制信号使照明光的光量变化。
62.插入形状检测装置4构成为经由线缆与视频处理器3装卸自如地连接。在本实施方式中，插入形状检测装置4构成为检测从设置于插入部6的例如源线圈组发出的磁场，并且根据该检测出的磁场的强度来获取源线圈组所包含的多个源线圈各自的位置。
63.另外，插入形状检测装置4构成为：根据如上述那样获取的多个源线圈各自的位置来计算插入部6的插入形状，并且生成表示该计算出的插入形状的插入形状信息并向视频处理器3输出。
64.监视器5经由线缆与视频处理器3装卸自如地连接，例如构成为具有液晶监视器等。另外，监视器5构成为：除了从视频处理器3输出的内窥镜图像之外，还能够在视频处理器3的控制下，在画面上显示呈现给操作者(手术医生)的、与插入部相关的“在时间上不同的多个操作引导”等。
65.视频处理器3具有负责该视频处理器3内的各电路的控制的控制部，并且具有图像处理部31、多个操作信息计算部32、操作信息计算部33以及呈现信息生成部34。
66.图像处理部31获取从内窥镜2输出的摄像信号，实施规定的图像处理而生成时间序列的内窥镜图像。另外，视频处理器3构成为进行用于使监视器5显示在图像处理部31中
生成的内窥镜图像的规定的动作。
67.多个操作信息计算部32根据配设于内窥镜2中的插入部6的摄像部21获取到的摄像图像，计算与需要“在时间上不同的多个操作”的场景即多个操作对象场景对应的、表示在时间上不同的多个操作的多个操作信息。
68.＜需要“在时间上不同的多个操作”的场景＞
69.这里，在对多个操作信息计算部32的具体特征进行说明之前，对需要“在时间上不同的多个操作”的场景即多个操作对象场景的具体例及其问题点进行说明。
70.作为该需要“在时间上不同的多个操作”的场景的例子，例如，在插入部6所插入的被检体的管腔为大肠时，由于该大肠屈曲而处于管腔被折叠的状态或者被压扁的状态的“折叠管腔”是代表性的例子。
71.另外，作为“在时间上不同的多个操作”的例子，例如能够举出使上述插入部相对于上述折叠管腔行进而钻入时的多个操作、即扭转插入部的操作、使插入部行进的操作、或者它们的组合操作等。
72.在管腔为“折叠管腔”的状态下，现在将插入部6的前端部7插入到管腔内，其前端面到达至与该“折叠管腔”对置的位置。此时，该“折叠管腔”处于管腔封闭的状态、即肠未打开的状态，因此无法目视其前方的管腔的状态，认为手术医生难以准确地判断之后能够采取的插入部前端部的行进操作。
73.在这样的状况的情况下，例如，设想需要使插入部前端部朝向封闭的管腔直行，在插入到该部位之后，向与肠的形状相符的方向进行弯曲操作(即，需要如上所述的多个操作(插入部的行进操作、插入部的扭转操作等))。此时，如果是充分积累了经验的手术医生，则认为即使在这样的状况下也能够准确地进行应对，但在对内窥镜操作不习惯的经验浅的手术医生的情况下，认为难以准确地设想往后能够采取的多个操作。
74.这里，例如，在面对上述的“折叠管腔”的状况下，在将插入部前端部沿不适当的方向插入的情况下，也有可能对作为被检体的患者强加不必要的负担，所以认为对经验少的手术医生呈现准确的操作引导信息、即之后能够采用的时间序列上时间不同的多个操作引导信息是极其有用的。
75.本发明的申请人鉴于上述情况，提供一种移动辅助系统，在进行内窥镜操作的手术医生面对折叠管腔等需要“在时间上不同的多个操作”的场景时，准确地呈现之后能够采用的插入部前端部的行进操作的引导信息。
76.返回到图1，继续说明多个操作信息计算部32的具体结构。
77.在本第1实施方式中，多个操作信息计算部32针对从图像处理部31输入的图像，根据使用基于机器学习的方法等得到的学习模型、或者使用检测特征量的方法，针对无法直接观察折叠的部位的进深方向的场面，加入肠的形状的特征信息，计算与该多个操作对象场景对应的表示在时间上不同的多个操作的多个操作信息。
78.所述多个操作信息计算部32还计算多个操作信息的似然度。另外，预先设定针对多个操作信息的似然度的阈值，在似然度为阈值以上的情况下，将针对多个操作对象场景的多个操作信息输出到呈现信息生成部。另一方面，在似然度为阈值以下的情况下，判断为从图像处理部31输入的图像不是多个操作对象场景、或者虽然是多个操作对象场景但多个操作信息的准确度低，从而不将多个操作信息输出到呈现信息生成部。
79.＜本第1实施方式的多个操作信息计算部中的机器学习＞
80.这里，对在本第1实施方式中的多个操作信息计算部32中采用的机器学习的方法进行说明。
81.图2是对在第1实施方式的移动辅助系统中采用的机器学习的方法进行说明的图。
82.本第1实施方式的移动辅助系统中的多个操作信息计算部32例如根据与被检体的大肠等管腔相关的多个内窥镜图像信息中的、与需要时间序列上时间不同的多个操作的场景相关的多个图像(例如，与上述折叠管腔相关的图像)，而生成机器学习用的示教数据。
83.具体而言，本第1实施方式的多个操作信息计算部32首先收集实际的内窥镜检查的动态图像。接着，从实际的内窥镜检查的动态图像中，通过生成示教数据的作业者(以下称为注释者)的判断来提取如“折叠管腔”那样需要在时间上不同的多个操作的场景的图像。期望注释者具有能够判断相对于折叠管腔的插入方向的经验和知识。而且，注释者根据在内窥镜动态图像中映出的肠壁等的运动，来判断继上述场景之后进行的“内窥镜操作(在时间上不同的多个操作)”的信息和“该内窥镜操作后内窥镜是否顺利地前进”的信息并进行分类。
84.具体而言，例如在能够根据内窥镜图像等推测为内窥镜插入部适当地行进的情况下，注释者判断为“内窥镜操作(在时间上不同的多个操作)”正确。然后，注释者将对于如“折叠管腔”那样需要在时间上不同的多个操作的场景的图像而言成为正解的“内窥镜操作(在时间上不同的多个操作)”的信息关联起来而作为示教数据。
85.然后，接受到该移动辅助系统的开发者的指示的规定的装置(计算机)根据所生成的该示教数据，使用深度学习等机器学习的方法来预先生成学习模型，并组装到多个操作信息计算部32中。多个操作信息计算部32根据该学习模型，计算与多个操作对象场景对应的、表示在时间上不同的多个操作的多个操作信息。
86.在本实施方式中，操作信息运算部33获取从插入形状检测装置4输出的插入部的插入形状信息，根据该信息计算检测与插入到被检体的管腔(例如大肠)的插入部6相关的与以往相同的操作信息。操作信息例如是在迷失了管腔的情况下根据内窥镜图像和插入形状检测装置4的形状信息计算出的管腔的方向信息。
87.例如，操作信息计算部33根据内窥镜图像上的迷失了管腔的位置和从插入形状检测装置4输出的插入形状信息等，掌握该插入部6的状态，例如，检测插入部6前端的运动，计算管腔方向相对于该插入部6的前端的位置。即，检测作为应操作的方向的操作方向信息。
88.另外，在本实施方式中，操作信息计算部33根据内窥镜图像和插入形状检测装置4的形状信息来运算操作方向信息，但不限于此，也可以仅根据内窥镜图像来运算。例如，操作方向检测部33也可以在如图3所示的变形例那样省略了插入形状检测装置4的结构中，计算迷失了内窥镜图像上的管腔的位置，将迷失的方向作为操作方向信息进行呈现。并且，也可以检测内窥镜图像的特征点的移动，检测迷失的管腔的方向上的该插入部6的前端的运动，呈现精度更高的管腔方向。
89.呈现信息生成部34根据在所述多个操作信息计算部32中计算出的所述多个操作信息，生成针对插入部6的(即，针对手术医生的)呈现信息、例如与插入部6相关的“在时间上不同的多个操作”的呈现信息，并输出到监视器5。另外，生成基于操作信息运算部33输出的操作方向信息的呈现信息，并输出到监视器5。
90.这里，对第1实施方式中的呈现信息生成部34的“在时间上不同的多个操作”的呈现的具体例进行说明。
91.具体而言，在如图7(作为第2实施方式的显示例进行说明)所示那样显示在监视器5上的内窥镜图像中显示管腔81时，在折叠管腔82位于插入部6的前端部7所面对的位置的情况下，呈现信息生成部34根据在多个操作信息计算部32中计算出的所述多个操作信息，在监视器5的画面上呈现例如操作引导显示61。
92.该操作引导显示61是在将插入部6的前端部7相对于折叠管腔82进行行进操作时，示出时间序列上时间不同的多个操作的引导，在本第1实施方式中，成为组合第1操作引导显示61a和第2操作引导显示61b而成的箭头显示，该第1操作引导显示61a与第1阶段的大致直行方向操作对应，该第2操作引导显示61b与在该第1阶段的大致直行方向操作之后钻过折叠管腔82之后的第2阶段的弯曲方向操作对应。
93.该操作引导显示61由用户界面设计构成，观看该引导显示的手术医生通过该用户界面设计能够直观地识别期望上述的2个阶段(多个阶段)的行进操作。例如，进行了从第1操作引导显示61a的箭头根部到第2操作引导显示61b的箭头前端部分包含特征性的锥形曲线、或者设为渐变显示等的研究。
94.另外，在本实施方式中，该操作引导显示61呈箭头形状，但不限于此，只要是手术医生能够直观地识别多个阶段的行进操作的标记，则也可以是其他记号、图标，另外，箭头的方向也不限于左右方向等，也可以是多方向(例如8个方向)显示，或者也可以是无阶段方向的显示。
95.关于这些操作引导显示61的其他显示例，在后述的第2实施方式中进行例示。
96.另外，在本实施方式中，呈现信息生成部34也可以生成有关与上述多个操作相关的规定的操作量的信息作为上述呈现信息，并向监视器5输出，或者，也可以生成与上述多个操作的进展状况相关的信息作为上述呈现信息，并向监视器5输出。
97.并且，视频处理器3构成为生成并输出用于控制内窥镜2、光源装置、插入形状检测装置4等的动作的各种控制信号。
98.另外，在本实施方式中，视频处理器3的各部可以构成为各个电子电路，或者也可以构成为fpga(field programmable gate array：现场可编程门阵列)等集成电路中的电路块。另外，在本实施方式中，例如也可以是，视频处理器3构成为具有1个以上的处理器(cpu等)。
99.＜第1实施方式的效果＞
100.在本第1实施方式的移动辅助系统中，在进行内窥镜操作的手术医生面对折叠管腔等需要“在时间上不同的多个操作”的场景(例如，由于是肠未打开的状态，因此无法目视其前方的管腔的状态，手术医生难以准确地判断之后能够采取的插入部前端部的行进操作的场景等)时，能够准确地呈现之后能够采取的插入部前端部的行进操作的引导信息。因此，能够改善内窥镜操作的插入性。
101.＜第2实施方式＞
102.接着，对本发明的第2实施方式进行说明。
103.本第2实施方式的移动辅助系统与第1实施方式相比，其特征在于，在视频处理器3内具有场景检测部，从来自图像处理部31的摄像图像中检测场景并对管腔的状态进行分
类，呈现与该分类对应的插入部6的行进操作引导。
104.其他结构与第1实施方式相同，因此这里仅对与第1实施方式的差异进行说明，省略共同部分的说明。
105.图4是示出包含本发明的第2实施方式的移动辅助系统的内窥镜系统的结构的框图，图5是对在第2实施方式的移动辅助系统中采用的机器学习的方法进行说明的图。另外，图6是示出第2实施方式的移动辅助系统中的场景检测部和呈现信息生成部的作用的流程图。
106.如图4所示，本实施方式的内窥镜系统1与第1实施方式同样地主要构成为具有内窥镜2、未图示的光源装置、视频处理器3、插入形状检测装置4以及监视器5。
107.内窥镜2形成为与第1实施方式相同的结构，插入部6构成为从前端侧起依次设置硬质的前端部7、弯曲自如地形成的弯曲部以及具有挠性的长条的挠性管部。
108.另外，在前端部7上设置有摄像部21，该摄像部21构成为进行与从视频处理器3提供的摄像控制信号对应的动作，并且对被经由照明窗射出的照明光照明的被摄体进行拍摄并输出摄像信号。摄像部21例如构成为具有cmos图像传感器、ccd图像传感器等图像传感器。
109.在本第2实施方式中，视频处理器3具有负责该视频处理器3内的各电路的控制的控制部，并且除了图像处理部31、多个操作信息计算部32、操作信息计算部33、呈现信息生成部34之外，还具有场景检测部35。
110.图像处理部31与第1实施方式同样地，构成为获取从内窥镜2输出的摄像信号，实施规定的图像处理而生成时间序列的内窥镜图像，并进行用于使监视器5显示在图像处理部31中生成的内窥镜图像的规定的动作。
111.场景检测部35根据来自图像处理部31的摄像图像，使用基于机器学习的方法或检测特征量的方法，对内窥镜图像的状态进行分类。分类的种类例如是“折叠管腔”、“向肠壁压入”、“支囊”、其他(通常的管腔等不需要引导的状态)。
112.另外，在本实施方式中，将场景检测部35检测的场景的例子设为“折叠管腔”、“向肠壁压入”、“支囊”、“其他”，但也可以根据呈现信息的内容等来检测其他场景。例如，也可以检测操作(插拔、弯曲、旋转)的方向和量、打开的管腔、迷失了管腔/折叠管腔的状态、向肠壁的压入、向肠壁的接近、支囊、大肠的部位(直肠、s状结肠、降结肠、脾弯曲、横结肠、肝弯曲、升结肠、盲肠、回盲部、回盲瓣、回肠)、阻碍观察的物质或状态(残渣、泡、血液、水、光晕、光量不足)等场景。
113.＜本第2实施方式的场景检测部35中的机器学习＞
114.这里，对在本第2实施方式中的场景检测部35中采用的机器学习的方法进行说明。
115.图5是对在第2实施方式的移动辅助系统中采用的机器学习的方法进行说明的图。
116.本第2实施方式的移动辅助系统中的场景检测部35例如收集与被检体的大肠等管腔相关的多个内窥镜图像信息。接着，注释者根据该内窥镜图像信息，判断是否是如“折叠管腔”那样需要在时间上不同的多个操作的场景的图像。
117.而且，注释者针对内窥镜图像将“折叠管腔”那样的场景的分类标签与该内窥镜图像关联起来而作为示教数据。另外，通过同样的方法，还制作“向肠壁的压入”、“支囊”、其他(通常的管腔等不需要引导的状态)的示教数据。
118.并且，接受到该移动辅助系统的开发者的指示的规定的装置(计算机)根据所制作的该示教数据，使用深度学习等机器学习的方法来预先制作学习模型，并编入场景检测部35。场景检测部35根据该学习模型对管腔的场景进行分类。例如，分类为“折叠管腔”、“向肠壁压入”、“支囊”、“其他(通常的管腔等不需要引导的状态)”。
119.场景检测部35还检测是否处于向折叠管腔82(参照图7)的插入操作中。该检测例如在检测出折叠管腔82之后，利用3d
‑
cnn根据时间上的变化来检测插入部6的运动。或者通过光学流程的技术进行检测。
120.在由场景检测部35检测出的场景是“折叠管腔”的情况下，与第1实施方式同样地，多个操作信息计算部32根据配设于内窥镜2中的插入部6的摄像部21获取到的摄像图像，计算与需要“在时间上不同的多个操作”的场景即多个操作对象场景对应的、表示在时间上不同的多个操作的多个操作信息。
121.这里，本第2实施方式中的多个操作信息计算部32与第1实施方式同样地，根据使用基于机器学习的方法等得到的学习模型，或者使用检测特征量的方法，针对无法直接观察折叠的部位的进深方向的场面，加入肠的形状的特征信息，计算与该多个操作对象场景对应的、表示在时间上不同的多个操作的多个操作信息。
122.另外，在本第2实施方式中，呈现信息生成部34根据在所述多个操作信息计算部32中计算出的所述多个操作信息，生成针对插入部6的(即，针对手术医生的)呈现信息、例如与插入部6相关的“在时间上不同的多个操作”的呈现信息，并输出到监视器5。
123.＜第2实施方式的作用＞
124.接着，参照图6所示的流程图对本第2实施方式的图像记录装置的作用进行说明。
125.首先，当第2实施方式的移动辅助系统中的视频处理器3开始工作时，首先由场景检测部35检测场景。这里，场景检测部35根据从图像处理部31获取的内窥镜的摄像图像，使用基于机器学习的方法或检测特征量的方法，对内窥镜图像的场景进行分类(步骤s1)。接着，多个操作信息计算部32进行与场景检测部检测出的场景的种类对应的运算(步骤s2)。
126.这里，在场景检测部35检测到不需要呈现插入部的行进操作引导的场景(被分类为上述的“其他”的情况)的情况下，多个操作信息计算部32不进行操作方向的运算。因此，也不进行操作的呈现。由此，能够降低进行不需要的呈现的可能性。即，能够提高呈现信息的精度。另外，通过不对监视器5进行不需要的呈现，能够提高手术医生对监视器5的视觉辨认性。
127.另一方面，在步骤s2中，在场景为“折叠管腔”的情况下，通过上述的基于机器学习的方法或检测特征量的方法，检测钻入该折叠管腔的方向(步骤s3)。
128.这里，在钻入折叠管腔时，不仅需要单纯地插入，还需要从插入的中途向与肠的形状一致的方向进行弯曲操作。即，这是因为，在折叠管腔中肠未打开，因此难以识别从插入中的图像前进的方向，因此需要在插入前识别前进的方向。
129.之后，判定在上述的场景检测部35中检测出的场景的似然度以及在多个操作信息计算部32中计算出的行进操作方向的似然度是否为阈值以上(步骤s4)，在这些似然度均为阈值以上的情况下，呈现信息生成部34生成钻入的方向(即，用于对插入部6中的前端部7进行相对于折叠管腔82的行进操作的引导信息)，并将该引导信息呈现于监视器5(步骤s5；参照图7)。
130.另一方面，在步骤s4中判定为上述似然度小于阈值且呈现结果的准确度(似然度)低的情况下，呈现出呈现结果的准确度低的意思(步骤s6；参照图10)。另外，在该情况下，也可以伴随警告进行显示，呈现需要手术医生的判断的情况。另外，也可以在场景检测中检测阻碍观察的物质(残渣、气泡、血液)，在检测到阻碍观察的物质的情况下准确度低。
131.接着，对在上述步骤s2中，场景检测部35检测出的场景为“向肠壁的压入”，处于向折叠管腔的插入中的情况进行说明(步骤s8)。在向折叠管腔的插入中，有时使插入部6的前端部7与肠壁接触，或者一边以对肠危险性低的较弱的力按压肠壁一边插入，因此判断为手术医生有意地接触、压入肠壁。因此，即使是“向肠壁的压入”场景，在向折叠管腔的插入中的情况下也什么都不呈现(步骤s7)。
132.另一方面，在步骤s8中，在不是折叠管腔的插入操作中的情况下，并且在上述的场景检测部35中检测出的场景的似然度为阈值以上的情况下(步骤s9)，由于有可能将插入部6的前端部7向肠压入而对患者造成负担，因此呈现插入部6的拉动操作的引导(步骤s10；参照图13))。呈现信息不限于拉动操作的引导，例如也可以是提醒注意的呈现等。
133.另一方面，当在步骤s9中判定为上述似然度小于阈值且呈现结果的准确度(似然度)低的情况下，与上述同样地呈现出呈现结果的准确度低的意思(步骤s11；参照图14)。
134.在上述步骤s2中，在场景检测部35检测出的场景为“支囊”的情况下，且该检测出的场景的似然度为阈值以上的情况下(步骤s12)，有可能将插入部6的前端部7错误地插入到支囊，因此呈现支囊的存在、位置(步骤s13；参照图15))。
135.另一方面，当在步骤s12中判定为上述似然度小于阈值且呈现结果的准确度(似然度)低的情况下，与上述同样地呈现出呈现结果的准确度低的意思(步骤s14；参照图16)。
136.之后，进行是否停止插入方向引导功能的判定(步骤s7)，在继续的情况下反复进行处理。另外，关于该插入方向引导功能的停止，可以由手术医生通过规定的输入装置指示停止，或者，例如也可以使得场景检测部35能够根据从图像处理部31输出的摄像图像检测盲肠，如果检测到到达盲肠则判断为停止。
137.＜第2实施方式中的与插入部相关的操作引导的呈现例＞
138.接着，对第2实施方式中的与插入部相关的操作引导的呈现例进行说明。
139.图7～图12是示出在第2实施方式的移动辅助系统中，在面对折叠管腔的状态下呈现给手术医生的与插入部相关的“在时间上不同的多个操作引导”的呈现例的说明图。
140.如图7所示那样，在显示在监视器5上的内窥镜图像中显示有管腔81时，在折叠管腔82位于插入部6的前端部7所面对的位置的情况下，根据在多个操作信息计算部32中计算出的所述多个操作信息，在监视器5的画面上例如呈现操作引导显示61。
141.该操作引导显示61是在相对于折叠管腔82对插入部6的前端部7进行行进操作时，示出时间序列上时间不同的多个操作的引导，在本第1实施方式中，成为组合第1操作引导显示61a和第2操作引导显示61b而成的箭头显示，该第1操作引导显示61a与第1阶段的大致直行方向操作对应，该第2操作引导显示61b与在该第1阶段的大致直行方向操作之后钻过折叠管腔82之后的第2阶段的弯曲方向操作对应。
142.该操作引导显示61由用户界面设计构成，观看该引导显示的手术医生通过该用户界面设计能够直观地识别期望上述的2个阶段(多个阶段)的行进操作。例如，进行了从第1操作引导显示61a的箭头根部到第2操作引导显示61b的箭头前端部分包含特征性的锥形曲
线、或者设为渐变显示等的研究。
143.另外，在本第2实施方式中，该操作引导显示61在内窥镜图像的框外呈箭头形状，但不限于此，例如如图8所示，也可以显示在内窥镜图像内的折叠管腔82的附近。
144.另外，只要是手术医生能够直观地识别多个阶段的行进操作的标记，则也可以是其他记号、图标，另外，图7箭头的方向也可以显示为多方向，例如图9所示的8个方向中的任意方向。
145.并且，为了容易理解折叠管腔82的位置，可以如图11所示那样用包围线72覆盖，另外，也可以如图12所示那样用粗线73强调。这里，关于折叠管腔82的位置，在场景检测部35进行的处理中，根据使用基于机器学习的方法等得到的学习模型，或者使用检测特征量的方法，也能够检测图像中的折叠管腔82的位置，并根据其结果进行显示。
146.另一方面，在上述步骤s4中判定为上述似然度小于阈值且呈现结果的准确度(似然度)低的情况下，如图10所示，也可以呈现出呈现结果的准确度低的意思(标号71)。
147.图13～图14是示出在第2实施方式的移动辅助系统中，在插入部前端部被压入肠壁的状态下呈现给手术医生的“与插入部相关的操作引导”的呈现例的说明图。
148.在上述的步骤s2中，在场景检测部35检测出的场景为“向肠壁压入”的情况下，在不是折叠管腔的插入操作中的情况下，且在上述的场景检测部35中检测出的场景的似然度为阈值以上的情况下(步骤s9)，有可能将插入部6的前端部7向肠压入而对患者造成负担，因此如图13所示那样，在显示有管腔81a的框外呈现插入部6的拉动操作的引导62。
149.另一方面，在步骤s9中判定为上述似然度小于阈值且呈现结果的准确度(似然度)低的情况下，如图14所示，呈现出呈现结果的准确度低的意思(标号71)。
150.图15～图16是示出在第2实施方式的移动辅助系统中，在发现了支囊时呈现给手术医生的“与插入部相关的操作引导”的呈现例的说明图。
151.在上述的步骤s2中，在场景检测部35检测出的场景为“支囊”的情况下，且在该检测出的场景的似然度为阈值以上的情况下(步骤s12)，有可能将插入部6的前端部7错误地插入到支囊83中，因此如图15所示那样，在显示有管腔81b的框内用虚线75等强调支囊的存在、位置，并且在显示有管腔81b的框外提醒注意(标号74)。这里，关于支囊的位置，在场景检测部35进行的处理中，根据使用基于机器学习的方法等得到的学习模型，或者使用检测特征量的方法，也对图像中的支囊的位置进行检测，并根据其结果进行显示。
152.另一方面，在步骤s12中判定为上述似然度小于阈值且呈现结果的准确度(似然度)低的情况下，如图16所示那样，与上述同样地呈现出呈现结果的准确度低的意思(标号71)。
153.＜第2实施方式的效果＞
154.在本第2实施方式的移动辅助系统中，能够根据各种场景，对进行内窥镜操作的手术医生准确地呈现之后能够采取的插入部前端部的行进操作的引导信息。另外，通过进行与场景对应的引导信息的呈现运算，精度也提高。
155.另外，通过呈现针对进行着向肠的压入的场景或存在支囊的场景的行进操作的引导信息，插入操作的安全性提高。
156.＜第3实施方式＞
157.接着，对本发明的第3实施方式进行说明。
158.本第3实施方式的移动辅助系统与第2实施方式相比，在视频处理器3内具有记录部，记录场景检测部35检测出的场景和/或多个操作信息计算部32计算出的多个操作信息，例如在迷失了插入部前端部应该前进的管腔方向时等，能够利用记录于该记录部的过去的信息，生成与插入部6相关的操作引导的呈现信息。
159.其他结构与第1实施方式或第2实施方式相同，因此，这里仅对与第1实施方式或第2实施方式的差异进行说明，而省略共同的部分的说明。
160.图17是示出包含本发明的第3实施方式的移动辅助系统的内窥镜系统的结构的框图，图18是示出第3实施方式的移动辅助系统中的场景检测部、呈现信息生成部以及记录部的作用的流程图。
161.如图17所示，本第3实施方式的内窥镜系统1与第1实施方式同样地构成为，主要具有内窥镜2、未图示的光源装置、视频处理器3、插入形状检测装置4以及监视器5。
162.内窥镜2形成为与第1实施方式相同的结构，插入部6构成为从前端侧起依次设置硬质的前端部7、弯曲自如地形成的弯曲部以及具有挠性的长条的挠性管部。
163.另外，在前端部7设置有摄像部21，该摄像部21构成为进行与从视频处理器3提供的摄像控制信号对应的动作，并且对被经由照明窗射出的照明光照明的被摄体进行拍摄并输出摄像信号。摄像部21例如构成为具有cmos图像传感器、ccd图像传感器等图像传感器。
164.在本第3实施方式中，视频处理器3具有负责该视频处理器3内的各电路的控制的控制部，并且除了图像处理部31、多个操作信息计算部32、操作信息计算部33、呈现信息生成部34、场景检测部35之外，还具有记录部36。
165.图像处理部31与第1实施方式同样地，构成为获取从内窥镜2输出的摄像信号，实施规定的图像处理而生成时间序列的内窥镜图像，并进行用于使监视器5显示在图像处理部31中生成的内窥镜图像的规定的动作。
166.场景检测部35与第2实施方式同样地基于来自图像处理部31的摄像图像，使用基于机器学习的方法或检测特征量的方法，对内窥镜图像的状态进行分类。分类的种类例如是“折叠管腔”、“向肠壁压入”、“支囊”、其他(通常的管腔等不需要引导的状态)。
167.记录部36能够记录场景检测部35检测出的场景和/或多个操作信息计算部32计算出的多个操作信息。而且，例如在迷失了管腔时等，能够利用记录于该记录部的过去的信息，生成与插入部6相关的操作引导的呈现信息。
168.＜第3实施方式的作用＞
169.接下来，参照图18所示的流程图对本第3实施方式的图像记录装置的作用进行说明。
170.当第3实施方式的移动辅助系统中的视频处理器3开始运转时，与第2实施方式同样地，首先由场景检测部35检测场景(步骤s101)。
171.另一方面，记录部36开始记录场景检测部35检测出的场景和/或多个操作信息计算部32计算出的多个操作信息。
172.这里，在由于某种原因而发生了插入部6的前端部7向折叠管腔82的插入失败并迷失了管腔的状态的情况下，场景检测部35检测前端部7从迷失了管腔的场景起的运动，并记录于记录部36中。该运动的检测例如针对图像使用基于机器学习的方法、或者检测特征点的变化的方法(光流)。另外，如果采用具有插入形状检测装置4的结构，则也可以由插入形
状检测装置4检测插入部的前端的运动。
173.返回到步骤s102，与第2实施方式同样地，多个操作信息计算部32进行与场景检测部检测出的场景的种类对应的运算(步骤s102)。
174.这里，在场景检测部35检测到不需要呈现插入部的行进操作引导的场景(被分类为上述的“其他”的情况)的情况下，多个操作信息计算部32不进行操作方向的运算。因此，也不进行操作的呈现。由此，能够降低进行不需要的呈现的可能性。即，能够提高呈现信息的精度。另外，通过不对监视器5进行不需要的呈现，能够提高手术医生对监视器5的视觉辨认性。
175.另一方面，在步骤s102中，在场景是“折叠管腔”的情况下，通过上述的基于机器学习的方法或检测特征量的方法，检测钻入该折叠管腔的方向(步骤s103)。另外，将钻入折叠管腔的操作方向信息记录于记录部36(步骤s104)。
176.以下，在图18中，步骤s105～步骤s107的作用与第2实施方式中的步骤s4～步骤s6相同，因此省略这里的说明。
177.对在上述步骤s102中场景检测部35检测出是上述的“迷失了管腔的”场景的情况进行说明。在向折叠管腔的插入中，有时使插入部6的前端部7与肠壁接触、或者一边对肠以危险性低的较弱的力按压一边插入，在该情况下，也迷失了管腔，因此判断为手术医生有意地进行迷失管腔那样的操作。因此，即使是“迷失了管腔的”场景，只要是向折叠管腔的插入中，则什么也不呈现(步骤s108)。
178.另一方面，在步骤s108中，在不是折叠管腔的插入操作中的情况下，多个操作信息计算部32读出记录部36所记录的信息(步骤s109)，根据从迷失了管腔的场景到当前为止的运动信息，计算折叠管腔82存在的方向(步骤s110)。
179.另外，多个操作信息计算部32还在迷失了折叠管腔之前，计算向折叠管腔钻入的操作方向，根据记录于记录部(步骤103’)的信息，从迷失了折叠管腔的状态起，除了折叠管腔82存在的方向之外，还显示向迷失的折叠管腔钻入的操作(步骤s111～步骤s114)。
180.并且，在迷失了管腔的场景下，在发生了进一步向肠的压入的情况下(步骤s111)，还呈现对压入的注意(步骤s115～步骤s117)。
181.在上述步骤s102中，在场景检测部35检测出的场景是“支囊”的情况下，多个操作信息计算部32读出记录部36所记录的信息(步骤s118)，并根据操作部的检测结果来计算操作方向(步骤s119)。
182.并且，在场景检测部35检测出的场景的似然度和多个操作信息计算部32计算出的操作方向的似然度为阈值以上的情况下(步骤s120)，有可能将插入部6的前端部7错误地插入到支囊中，因此呈现支囊的存在、位置(步骤s121)，或者在判定为上述似然度小于阈值且呈现结果的准确度(似然度)低的情况下，与上述同样地呈现出呈现结果的准确度低的意思(步骤s122)。
183.之后，进行是否停止插入方向引导功能的判定(步骤s123)，在继续的情况下反复进行处理。另外，该插入方向引导功能的停止可以由手术医生通过规定的输入装置指示停止，或者，也可以使场景检测部35能够根据例如从图像处理部31输出的摄像图像而检测盲肠，如果检测到到达盲肠，则判断为停止。
184.＜第3实施方式中的与插入部相关的操作引导的呈现例＞
185.接着，对第3实施方式中的与插入部相关的操作引导的呈现例进行说明。
186.图19～图20是示出在第3实施方式的移动辅助系统中，在迷失了插入部前端部应前进的管腔方向的状态下呈现给手术医生的“与插入部相关的操作引导”的呈现例的说明图。
187.在如图19所示那样显示于监视器5的内窥镜图像中，在迷失了插入部前端部应前进的管腔方向的状态下显示有管腔81c时，呈现信息生成部34根据记录于记录部36的信息，呈现表示插入部前端部应前进的方向的操作引导显示65。
188.另外，在本第3实施方式中，该操作引导显示65在内窥镜图像的框外呈箭头形状，但不限于此，例如如图20所示，也可以显示在内窥镜图像内。
189.＜第3实施方式的效果＞
190.在本第3实施方式的移动辅助系统中，通过在记录部36中记录场景检测部35检测出的场景和/或多个操作信息计算部32计算出的多个操作信息，例如即使在迷失了插入部前端部应前进的管腔方向时等，也能够利用记录在该记录部36中的过去的信息，生成与插入部6相关的操作引导的呈现信息。
191.接着，在第2、第3实施方式的移动辅助系统中，按每个场景举出需要在时间上不同的多个操作的场景中的操作引导显示的显示例来进行说明。
192.图21～图22是示出在第2、第3实施方式的移动辅助系统中，在折叠管腔处于前方的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的呈现例的说明图。
193.在图21所示的例子中，与上述的操作引导显示61同样地，是在将插入部6的前端部7相对于折叠管腔82进行行进操作时，表示时间序列上时间不同的多个操作的引导，成为将第1操作引导显示61a和第2操作引导显示61b组合而成的箭头显示，该第1操作引导显示61a与第1阶段的大致直行方向操作对应，该第2操作引导显示61b与在该第1阶段的大致直行方向操作之后钻过折叠管腔82后的第2阶段的弯曲方向操作对应。
194.图22所示的操作引导显示64与操作引导显示61同样地，是表示时间序列上时间不同的多个操作的引导，为分别表示与第1阶段的大致直行方向操作对应的显示和与钻过折叠管腔82后的第2阶段的弯曲方向操作对应的显示的例子。另外，赋予表示操作的顺序的编号。
195.图23是示出在第2、第3实施方式的移动辅助系统中，在插入部前端部被压入肠壁的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
196.该图23所示的引导显示65在插入部前端部被压入肠壁的状态下，在显示管腔81a的框外，将时间序列上时间不同的多个操作(插入部6的拉动操作)分别表示为箭头，是在如箭头和拉动操作的图所示那样进行拉动操作之后，如向左箭头所示那样呈现在左侧存在管腔、即向左方向的方向操作的例子。
197.图24是示出在第2、第3实施方式的移动辅助系统中，在发现了支囊时呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
198.该图24所示的引导显示66与支囊的位置、提醒注意的显示一起将时间序列上时间不同的多个操作(插入部6的前端部7的行进操作方向)分别表示为箭头。在该例子中，如
(1)、(2)那样用数字表示操作的顺序。表示通过沿(1)的箭头操作方向而发现折叠管腔，通过相对于发现的折叠管腔向(2)的箭头所示的左侧钻入，能够通过折叠管腔。
199.图25是示出在第3实施方式的移动辅助系统中，在迷失了插入部前端部应前进的管腔方向的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。
200.该图25所示的引导显示67在迷失了插入部前端部应前进的管腔方向的状态下，将时间序列上时间不同的多个操作(插入部6的前端部7的行进操作方向)分别表示为箭头。表示在向上箭头的方向上发现折叠管腔，通过相对于发现的折叠管腔向左侧钻入，能够通过折叠管腔。
201.图26是示出在第3实施方式的移动辅助系统中，在迷失了插入部前端部应前进的管腔方向的状态下向手术医生呈现的、与插入部相关的“在时间上不同的多个操作引导”的其他呈现例的说明图。
202.该图26所示的引导显示68在迷失了插入部前端部应前进的管腔方向的状态下，将时间序列上时间不同的多个操作(插入部6的前端部7的行进操作方向)分别表示为箭头，并且赋予表示操作的顺序的编号。
203.图27a、图27b是示出在第2、第3实施方式的移动辅助系统中，用动画显示在面对折叠管腔的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。图27a和图27b通过依次变化地显示，表示在插入折叠管腔之后向左侧钻入。
204.图28a、图28b是示出在第2、第3实施方式的移动辅助系统中，用动画显示在插入部前端部被压入肠壁的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。是在如图28a的箭头和拉动操作的图所示那样进行拉动操作之后，如图28b的向左箭头所示那样呈现在左侧存在管腔、即向左方向的方向操作的例子。
205.图29a、图29b、图29c是示出在第2、第3实施方式的移动辅助系统中，用动画显示在发现了支囊时呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。表示通过沿图29a的箭头操作方向来发现折叠管腔，通过如图29b的箭头那样相对于发现的折叠管腔进行压入，向图29c的箭头所示的左侧钻入，能够通过折叠管腔。
206.图30a、图30b、图30c是示出在第3实施方式的移动辅助系统中，用动画显示在迷失了插入部前端部应该前进的管腔方向的状态下呈现给手术医生的、与插入部相关的“在时间上不同的多个操作引导”的一个呈现例的说明图。表示在图30a的向上箭头的方向上发现折叠管腔，通过如图30b的箭头那样相对于发现的折叠管腔进行压入，使其向图30c的左侧钻入，能够通过折叠管腔。
207.＜第4实施方式＞
208.接着，对本发明的第4实施方式进行说明。
209.本第4实施方式的移动辅助系统与第2实施方式相比，其特征在于，在视频处理器3内具有与学习用计算机连接的学习用数据处理部。
210.其他结构与第1、第2实施方式相同，因此，这里仅对与第1、第2实施方式的差异进
行说明，省略共同的部分的说明。
211.图31是示出包含本发明的第4实施方式的移动辅助系统的内窥镜系统的结构的框图。
212.如图31所示，本第4实施方式的内窥镜系统1与第1实施方式同样地，构成为主要具有内窥镜2、未图示的光源装置、视频处理器3、插入形状检测装置4、监视器5以及学习用计算机40。
213.内窥镜2形成为与第1实施方式相同的结构，插入部6构成为从前端侧起依次设置硬质的前端部7、弯曲自如地形成的弯曲部以及具有挠性的长条的挠性管部。
214.另外，在前端部7上设置有摄像部21，该摄像部21构成为进行与从视频处理器3提供的摄像控制信号对应的动作，并且对被经由照明窗射出的照明光照明的被摄体进行拍摄而输出摄像信号。摄像部21例如构成为具有cmos图像传感器、ccd图像传感器等图像传感器。
215.在本第4实施方式中，视频处理器3的特征在于，具有负责该视频处理器3内的各电路的控制的控制部，并且除了图像处理部31、多个操作信息计算部32、操作信息计算部33、呈现信息生成部34、场景检测部35之外，还具有与所述学习用计算机40连接的学习用数据处理部38。
216.图像处理部31与第1实施方式同样地，构成为获取从内窥镜2输出的摄像信号，实施规定的图像处理而生成时间序列的内窥镜图像，并进行用于使监视器5显示在图像处理部31中生成的内窥镜图像的规定的动作。
217.场景检测部35根据来自图像处理部31的摄像图像，使用基于机器学习的方法或检测特征量的方法，对内窥镜图像的状态进行分类。分类的种类例如是“折叠管腔”、“向肠壁压入”、“支囊”、其他(通常的管腔等不需要引导的状态)。
218.学习用数据处理部38与场景检测部35、操作信息计算部33以及多个操作信息计算部32连接。由场景检测部35、操作信息计算部33以及多个操作信息计算部32将通过机器学习的方法在检测中使用的图像信息及其检测结果的数据关联起来进行获取，作为检查中的数据而发送到学习用计算机40。学习用数据处理部38还可以具有从向学习用计算机40发送的信息中删除个人信息的功能。由此，能够降低个人信息泄漏到外部的可能性。
219.学习用计算机40累积从学习用数据处理部38接收到的上述检查中的数据，另外，将该数据作为示教数据进行学习。此时，注释者对示教数据进行检查，如果有错误的示教数据，则进行正确的注释来进行学习。另外，学习结果在学习用数据处理部38中被处理，通过更新场景检测部35、操作信息计算部33以及多个操作信息计算部32的基于机器学习的检测模型，有助于性能提高。
220.另外，在本第4实施方式中，学习用计算机40是内窥镜系统1内的构成要素，但不限于此，也可以经由规定的网络在外部构成。
221.＜第5实施方式＞
222.接着，对本发明的第5实施方式进行说明。
223.本第5实施方式的移动辅助系统101通过所谓的自动插入装置来执行与第1～第4实施方式呈上述同样的结构的内窥镜2中的插入部6的插入动作，其特征在于，通过来自视频处理器3中的呈现信息生成部34的输出信号来进行该自动插入装置的控制。
224.包含内窥镜2的内窥镜系统的结构与第1、第2实施方式相同，因此，这里仅对与第1、第2实施方式的差异进行说明，而省略共同的部分的说明。
225.图32是示出包含本发明的第5实施方式的移动辅助系统和自动插入装置的内窥镜系统的结构的框图。
226.如图32所示，本第5实施方式的移动辅助系统101构成为具有形成为与第1、第2实施方式相同的结构的内窥镜2、未图示的光源装置、视频处理器3、插入形状检测装置4、监视器5、以及自动或半自动地执行该内窥镜2中的插入部6的插入动作的自动插入装置105。
227.内窥镜2形成为与第1实施方式相同的结构，插入部6构成为从前端侧起依次设置硬质的前端部7、弯曲自如地形成的弯曲部以及具有挠性的长条的挠性管部。
228.另外，在前端部7上设置有摄像部21，该摄像部21构成为进行与从视频处理器3提供的摄像控制信号对应的动作，并且对被经由照明窗射出的照明光照明的被摄体进行拍摄而输出摄像信号。摄像部21例如构成为具有cmos图像传感器、ccd图像传感器等图像传感器。
229.在本第5实施方式中，视频处理器3的特征在于，具有负责该视频处理器3内的各电路的控制的控制部，并且具有图像处理部31、多个操作信息计算部32、操作信息计算部33、呈现信息生成部34以及场景检测部35。
230.图像处理部31与第1实施方式同样地，构成为获取从内窥镜2输出的摄像信号，实施规定的图像处理而生成时间序列的内窥镜图像，并进行用于使监视器5显示在图像处理部31中生成的内窥镜图像的规定的动作。
231.场景检测部35与第2实施方式同样地，根据来自图像处理部31的摄像图像，使用基于机器学习的方法或检测特征量的方法，对内窥镜图像的状态进行分类。分类的种类与上述相同，例如是“折叠管腔”、“向肠壁压入”、“支囊”、其他(通常的管腔等不需要引导的状态)。
232.在由场景检测部35检测出的场景是“折叠管腔”的情况下，与第1实施方式同样地，多个操作信息计算部32根据配设于内窥镜2中的插入部6的摄像部21所获取的摄像图像，计算与需要“在时间上不同的多个操作”的场景即多个操作对象场景对应的、表示在时间上不同的多个操作的多个操作信息。
233.在本第5实施方式中，呈现信息生成部34根据在多个操作信息计算部32中计算出的多个操作信息，生成并输出针对自动插入装置105的控制信号。该控制信号是与通过与上述的各实施方式相同的方法(基于机器学习的方法等)求出的插入部6的插入操作引导信息对应的信号。
234.自动插入装置105接收从呈现信息生成部34输出的所述控制信号，在该控制信号的控制下，进行所把持的插入部6的插入操作。
235.＜第5实施方式的效果＞
236.根据本第5实施方式的移动辅助系统101，在由自动插入装置105进行的内窥镜插入部的插入动作中，也按通过与上述各实施方式相同的方法(基于机器学习的方法等)求出的插入操作引导信息进行插入控制，由此，例如即使在自动插入装置105面对折叠管腔等需要“在时间上不同的多个操作”的场景的情况下，也能够执行准确的插入动作。
237.本发明并不限定于上述实施方式，在不改变本发明的主旨的范围内，能够进行各
种变更、改变等。