内窥镜装置、显示用图像输出方法以及程序与流程

1.本发明涉及一种内窥镜装置、显示用图像输出方法以及程序。


背景技术：

2.以往，已知有能够基于由内窥镜生成的摄像信号来生成内窥镜图像并显示于监视器的内窥镜装置。另外，作为内窥镜，已知有具备将处置器具引导到对象部位的通道(处置器具用通道)的内窥镜。在使用这样的内窥镜的情况下，手术操作者能够一边确认显示于监视器的内窥镜图像中映现出的处置器具和对象部位，一边使用处置器具来处置对象部位。处置器具进入到内窥镜图像内的方向根据内窥镜前端面上的物镜与处置器具用通道出口的位置关系来决定。此外，物镜是使被摄体像成像于在内窥镜前端部具备的摄像元件上的光学系统的一部分。
3.然而，在具备能够使监视器显示的内窥镜图像按照手术操作者的指示进行旋转的功能的内窥镜装置的情况下，处置器具进入到内窥镜图像内的方向随着内窥镜图像的旋转而不同。因此，在使用具备多个通道的内窥镜等的情况下，手术操作者即时地掌握处置器具进入到内窥镜图像内的方向并不容易。
4.另一方面，已知有不使手术操作者产生关于图像中的处置器具的进入方向的不自然感的内窥镜系统(参照专利文献1)。在该内窥镜系统中，当用户指定了处置器具进入到显示器显示的显示图像中的方向(处置器具出现方向)时，进行如同处置器具从该处置器具出现方向出现那样放大和/或缩小处理图像来制作旋转放大图像等处理。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2013-192803号公报


技术实现要素：

8.发明要解决的问题
9.鉴于上述实际情况，本发明的目的在于提供一种即使在响应于手术操作者的指示而使监视器显示的内窥镜图像旋转的情况下手术操作者也能够容易地掌握处置器具等进入到内窥镜图像内的方向的内窥镜装置、显示用图像输出方法以及程序。
10.用于解决问题的方案
11.本发明的一个方式是一种内窥镜装置，具备：内窥镜图像生成部，其基于由在插入部的前端部具备的摄像部生成的摄像信号，来生成内窥镜图像；通道信息获取部，其获取与在所述插入部中形成的通道有关的通道信息；角度信息获取部，其获取与所述内窥镜图像的显示角度有关的角度信息；以及显示用图像输出部，其输出包括显示用内窥镜图像和通道引导图像的显示用图像，所述显示用内窥镜图像是基于所述角度信息和所述内窥镜图像生成的图像，所述通道引导图像是基于所述角度信息和所述通道信息生成的图像。
12.本发明的另一方式是一种显示用图像输出方法，基于由在插入部的前端部具备的
摄像部生成的摄像信号，来生成内窥镜图像，获取与在所述插入部中形成的通道有关的通道信息，获取与所述内窥镜图像的显示角度有关的角度信息，输出包括显示用内窥镜图像和通道引导图像的显示用图像，所述显示用内窥镜图像是基于所述角度信息和所述内窥镜图像生成的图像，所述通道引导图像是基于所述角度信息和所述通道信息生成的图像。
13.本发明的又一方式是一种程序，使计算机执行以下处理：基于由在插入部的前端部具备的摄像部生成的摄像信号，来生成内窥镜图像；获取与在所述插入部中形成的通道有关的通道信息；获取与所述内窥镜图像的显示角度有关的角度信息；以及输出包括显示用内窥镜图像和通道引导图像的显示用图像，所述显示用内窥镜图像是基于所述角度信息和所述内窥镜图像生成的图像，所述通道引导图像是基于所述角度信息和所述通道信息生成的图像。
14.发明的效果
15.根据本发明，即使在响应于手术操作者的指示而使监视器显示的内窥镜图像旋转的情况下，手术操作者也能够容易地掌握处置器具等进入到内窥镜图像内的方向。
附图说明
16.图1是例示包括一个实施方式所涉及的内窥镜装置的内窥镜系统的结构的图。
17.图2是例示内窥镜系统中的与显示用图像的显示有关的功能结构的图。
18.图3是例示通道信息中包含的通道引导图像的图。
19.图4是例示在一个实施方式所涉及的内窥镜装置中执行的显示用图像输出处理的流程图。
20.图5是例示通过图4所例示的显示用图像输出处理输出并由显示装置显示的内窥镜图像旋转指示前后的显示用图像的图。
21.图6是例示计算机的硬件结构的图。
具体实施方式
22.下面，参照附图来对本发明的实施方式进行说明。
23.图1是例示包括一个实施方式所涉及的内窥镜装置的内窥镜系统的结构的图。
24.图1所例示的内窥镜系统1具备内窥镜10、内窥镜装置20以及显示装置30，内窥镜10及显示装置30与内窥镜装置20连接。在本实施方式中，设为内窥镜10与内窥镜装置20、以及内窥镜装置20与显示装置30以有线方式进行信号(数据、信息)的交换，但也可以以无线方式进行信号(数据、信息)的交换。
25.内窥镜10是软性内窥镜，具有由手术操作者操作的操作部101和被插入到患者的体内的插入部102。
26.操作部101具有用于向上、下、左、右地控制插入部102的弯曲的角度旋钮、用于控制送气送水的送气送水按钮、以及用于控制抽吸的抽吸按钮等用于手术操作者控制内窥镜10的操作构件。另外，操作部101还具备供处置器具插入的通道入口(例如钳子口)、用于对内窥镜装置20进行指示的操作构件等。
27.插入部102在其内部形成有多个通道(管路)。多个通道是处置器具用通道、送气送水用通道以及抽吸用通道等。另外，插入部102在其前端部102a具备包括摄像元件的摄像部
(后述的摄像部103)、使被摄体像成像于摄像元件的光学系统等。另外，插入部102在其前端面102b具有多个通道出口、物镜等。此外，物镜是使被摄体像成像于摄像元件的光学系统的一部分。
28.内窥镜装置20基于由内窥镜10的摄像部生成的摄像信号来生成内窥镜图像。另外，内窥镜装置20还进行响应于手术操作者等的内窥镜图像旋转指示而使内窥镜图像旋转后的显示用内窥镜图像的生成、用于引导通道的出口位置(出口方向)的通道引导图像的生成、包括显示用内窥镜图像和通道引导图像的显示用图像的生成、显示用图像的输出等。此外，手术操作者等的内窥镜图像旋转指示是使显示装置30显示的内窥镜图像以期望的角度旋转并显示的指示，能够通过对内窥镜10的操作部101的操作、对内窥镜装置20的操作部(后述的操作部202)的操作来进行。此时的角度可以设为能够由手术操作者等自由地指定，也可以设为能够由手术操作者等从不同的多个角度中进行选择来指定。
29.显示装置30是液晶显示装置等，进行从内窥镜装置20输出的显示用图像等的显示。
30.图2是例示内窥镜系统1中的与显示用图像的显示有关的功能结构的图。
31.在图2所例示的内窥镜系统1中，内窥镜10具备操作部101、摄像部103以及存储部104。
32.操作部101如上述那样，例如，在被进行了用于进行对内窥镜装置20的指示的操作的情况下，将与该操作相应的信号(操作信号)输出到内窥镜装置20。
33.摄像部103具备摄像元件和信号处理部。摄像元件例如是ccd(charge coupled device：电荷耦合器件)，将由包括物镜的光学系统成像出的被摄体像转换为电信号。信号处理部针对由摄像元件转换得到的电信号进行增益调整处理、ad(analog-to-digital：模拟数字)转换处理等规定的信号处理来生成摄像信号。此外，信号处理部例如也可以通过电路来实现。在该情况下，摄像部103也可以构成为具备摄像元件和信号处理电路的摄像电路。
34.存储部104是存储有与内窥镜10有关的信息的非易失性存储器。与内窥镜10有关的信息包括内窥镜10的种类信息、与在插入部102中形成的通道有关的通道信息。通道信息包括与内窥镜图像的显示角度(旋转角度)为规定的角度时的通道的出口位置(出口方向)的角度有关的信息、或内窥镜图像的显示角度为规定的角度时的通道引导图像。在此，规定的角度是0
°
、或不同的多个角度中的各个角度。对于通道信息的具体例将在后面记述。
35.内窥镜装置20具备存储部201、操作部202以及控制部203。
36.存储部201是存储有各种信息的非易失性存储器，由控制部203根据需要而进行读取。各种信息包括与在内窥镜10的插入部102中形成的通道有关的通道信息、或内窥镜的每个种类的通道信息。
37.操作部202是操作面板、触摸面板等，受理用户的输入操作，并将与该输入操作相应的信号(操作信号)输出到控制部203。
38.控制部203控制内窥镜装置20的整体动作。控制部203具备摄像信号获取部204、通道信息获取部205、操作信号处理部206、角度信息获取部207、内窥镜图像生成部208、通道引导图像生成部209、显示用图像生成部210以及显示用图像输出部211。
39.摄像信号获取部204获取由内窥镜10的摄像部103生成的摄像信号。
40.通道信息获取部205获取与在内窥镜10的插入部102中形成的通道有关的通道信息。例如，通道信息获取部205可以从内窥镜10的存储部104获取该通道信息，也可以从存储部201获取。例如，在从存储部201获取的情况下，可以是从内窥镜10的存储部104获取内窥镜10的种类信息，从存储部201获取与该种类信息对应的通道信息。另外，例如，通道信息获取部205也可以从经由网络而与内窥镜装置20连接的服务器(未图示)获取通道信息。在该情况下，例如可以是从内窥镜10的存储部104获取内窥镜10的种类信息，通过向服务器询问来获取与该种类信息对应的通道信息。由此，例如能够解决如果将通道信息保持在内窥镜装置20中则难以支持新的内窥镜的问题、或为了低成本地实现内窥镜而不希望在内窥镜中多装功能的问题。
41.操作信号处理部206被输入从操作部202、内窥镜10的操作部101输出的操作信号，进行与该操作信号相应的处理。例如，在被输入的操作信号是与内窥镜图像旋转指示有关的操作信号的情况下，将与该指示所示的内窥镜图像的旋转角度(显示角度)有关的角度信息输出到角度信息获取部207。
42.角度信息获取部207获取从操作信号处理部206输出的角度信息。
43.内窥镜图像生成部208基于由摄像信号获取部204获取到的摄像信号来生成内窥镜图像。另外，内窥镜图像生成部208基于所生成的内窥镜图像和由角度信息获取部207获取到的角度信息，来生成显示用内窥镜图像。显示用内窥镜图像是使内窥镜图像以角度信息所表示的显示角度旋转而得到的图像。此外，在角度信息获取部207未获取到角度信息的情况下，将所生成的内窥镜图像设为显示用内窥镜图像。
44.通道引导图像生成部209基于由通道信息获取部205获取到的通道信息和由角度信息获取部207获取到的角度信息，来生成通道引导图像。通道引导图像是内窥镜图像的显示角度为角度信息所表示的显示角度时的用于引导通道的出口位置(出口方向)的图像。此外，在角度信息获取部207未获取到角度信息的情况下，设为由角度信息获取部207获取到表示显示角度为0
°
的角度信息，并生成通道引导图像。
45.显示用图像生成部210生成显示用图像，该显示用图像包括由内窥镜图像生成部208生成的显示用内窥镜图像和由通道引导图像生成部209生成的通道引导图像。
46.显示用图像输出部211将由显示用图像生成部210生成的显示用图像输出到显示装置30。
47.显示装置30具备显示部301，该显示部301进行从内窥镜装置20的显示用图像输出部211输出的显示用图像等的显示。
48.在此示出上述的通道信息的具体例。
49.其中，在该具体例中，设在内窥镜10的插入部102中形成的通道的数量为两个。另外，根据插入部102的前端面102b上的两个通道出口与物镜的位置关系，设为处置器具等从两个通道出口进入到以显示角度0
°
显示于显示装置30的内窥镜图像即显示用内窥镜图像内的方向是从90
°
的方向(右方向)和225
°
的方向(左下方向)进入的。此外，在该具体例中，将0
°
、90
°
、180
°
、270
°
的方向设为上、右、下、左的方向。
50.在该情况下，通道信息例如也可以包括与内窥镜图像的显示角度为0
°
时的两个通道出口位置的角度(90
°
、225
°
)有关的信息。或者，通道信息例如也可以包括与内窥镜图像的显示角度为0
°
时的两个通道出口位置的角度(90
°
、225
°
)有关的信息、以及与内窥镜图像
的显示角度为180
°
时的两个通道出口位置的角度(270
°
、45
°
)有关的信息。像这样，通道信息可以包括与内窥镜图像的显示角度为一个或多个规定的角度时的通道的出口位置的角度有关的信息。
51.或者，通道信息例如也可以包括内窥镜图像的显示角度为0
°
时的通道引导图像。或者，通道信息例如也可以包括内窥镜图像的显示角度为0
°
时的通道引导图像和内窥镜图像的显示角度为180
°
时的通道引导图像。像这样，通道信息可以包括内窥镜图像的显示角度为一个或多个规定的角度时的通道引导图像。
52.图3是例示通道信息中包括的通道引导图像的图。
53.在图3中，通道引导图像401是内窥镜图像的显示角度为0
°
时的通道引导图像，通道引导图像402是内窥镜图像的显示角度为180
°
时的通道引导图像。通道引导图像401内的指引(guide)401a、401b是内窥镜图像的显示角度为0
°
时的用于引导通道的出口位置的指引，通道引导图像402内的指引402a、402b是内窥镜图像的显示角度为180
°
时的用于引导通道的出口位置的指引。
54.图4是例示在内窥镜装置20中执行的显示用图像输出处理的流程图。该显示用图像输出处理也是通过图2所例示的内窥镜装置20的功能结构实现的处理。
55.在图4所例示的显示用图像输出处理中，当处理开始时，首先，通道信息获取部205从内窥镜10的存储部104、或存储部201获取与在内窥镜10的插入部102中形成的通道有关的通道信息(s11)。
56.接着，控制部203判定是否存在手术操作者等的内窥镜图像旋转指示(s12)。例如基于与内窥镜图像旋转指示有关的操作信号是否被输入到操作信号处理部206来进行该判定。
57.在s12的判定结果为“是”的情况下，操作信号处理部206向角度信息获取部207输出与所输入的操作信号的内窥镜图像旋转指示所示的内窥镜图像的旋转角度(显示角度)有关的角度信息，角度信息获取部207获取该角度信息(s13)。
58.在s13之后、或者在s12的判定结果为“否”的情况下，摄像信号获取部204获取由内窥镜10的摄像部103生成的摄像信号(s14)。
59.接着，内窥镜图像生成部208基于在s14中获取到的摄像信号来生成内窥镜图像(s15)，基于该内窥镜图像和在s13中最后获取到的角度信息(在显示用图像输出处理开始后，在s13中最后获取到的角度信息)来生成显示用内窥镜图像(s16)。但是，在显示用图像输出处理开始后一次也未进行s13的处理的情况下，将在s15中生成的内窥镜图像设为显示用内窥镜图像。
60.接着，通道引导图像生成部209基于在s11中获取到的通道信息和在s13中最后获取到的角度信息，来生成通道引导图像(s17)。但是，在显示用图像输出处理开始后一次也未进行s13的处理的情况下，视为在s13中最后获取到的角度信息为表示显示角度0
°
的角度信息，并生成通道引导图像。
61.接着，显示用图像生成部210生成显示用图像，该显示用图像包括在s16中生成的显示用内窥镜图像和在s17中生成的通道引导图像(s18)。
62.接着，显示用图像输出部211将在s18中生成的显示用图像输出到显示装置30(s19)。当显示装置30被输入在s19中从内窥镜装置20输出的显示用图像时，显示部301显示
该显示用图像。由此，显示包括显示用内窥镜图像和通道引导图像的显示用图像。
63.接着，控制部203判定是否结束处理(s20)。例如基于与内窥镜装置20的电源切断指示有关的操作信号是否被输入到操作信号处理部206来进行该判定。
64.在s20的判定结果为“否”的情况下，使处理返回到s12，在s20的判定结果为“是”的情况下，结束显示用图像输出处理。
65.图5是例示通过图4所例示的显示用图像输出处理输出并由显示装置30显示的内窥镜图像旋转指示前后的显示用图像的图。
66.在本例中，设为在内窥镜10的插入部102中形成的通道为三个。另外，作为内窥镜图像旋转指示，设为进行了使内窥镜图像进行180
°
旋转(旋转显示)的指示。
67.在图5中，上侧例示的显示用图像501a是内窥镜图像旋转指示前的显示用图像，包括显示用内窥镜图像(显示角度0
°
的内窥镜图像)502a和通道引导图像503a。通道引导图像503a内的指引504a、505a、506a是内窥镜图像旋转指示前的时间点(内窥镜图像的显示角度为0
°
时)的用于引导通道的出口位置的指引。
68.下侧例示的显示用图像501b是内窥镜图像旋转指示后的显示用图像，包括显示用内窥镜图像(显示角度180
°
的内窥镜图像)502b和通道引导图像503b。通道引导图像503b内的指引504b、505b、506b是内窥镜图像旋转指示后的时间点(内窥镜图像的显示角度为180
°
时)的用于引导通道的出口位置的指引。
69.如图5所例示的那样，响应于进行了内窥镜图像旋转指示的情形，显示用内窥镜图像502被进行180
°
旋转显示，并且通道引导图像503内的指引504、505、506的位置被变更。此外，通道引导图像503内的三个数值表示三个通道出口的直径。与该通道出口的直径有关的信息例如被包括在上述的通道信息中。
70.由此，手术操作者通过确认通道引导图像503，不仅在内窥镜图像旋转指示前，在内窥镜图像旋转指示后也能够掌握通道出口位置。例如，在直径为“3.6”的通道是处置器具a用通道的情况下，在内窥镜图像旋转指示前，能够容易地掌握处置器具a进入到显示用内窥镜图像502a内的方向是从上方进入的。另外，在内窥镜图像旋转指示后，能够容易地掌握处置器具a进入到显示用内窥镜图像502a内的方向是从下方进入的。
71.此外，由内窥镜装置20生成并显示于显示装置30的显示用图像不限于图5所例示的方式。
72.例如，显示用图像也可以还包括显示与内窥镜10有关的信息(名称、型号等)的内窥镜信息窗口，在该内窥镜信息窗口内显示通道引导图像。在该情况下，仅在内窥镜图像被进行了旋转显示的情况下，可以在内窥镜信息窗口内进一步显示用于表示内窥镜图像被进行了旋转显示的图标，或者也可以将该图标本身也与内窥镜图像的旋转角度一致地进行旋转显示。这样的内窥镜信息窗口可以显示在不与显示用内窥镜图像重叠的位置。
73.另外，例如，显示用图像也可以还包括显示通道信息的通道信息窗口，在该通道信息窗口内显示通道引导图像。在该情况下也是，仅在内窥镜图像被进行了旋转显示的情况下，可以在通道信息窗口内进一步显示用于表示内窥镜图像被进行了旋转显示的图标，或者也可以将该图标本身也与内窥镜图像的旋转角度一致地进行旋转显示。这样的通道信息窗口只要位于不妨碍观察的位置即可，也可以叠加显示在显示用内窥镜图像上。
74.另外，例如，显示用图像也可以包括这样的内窥镜信息窗口和通道信息窗口双方。
在该情况下，也可以设为如下的结构：对于通道信息窗口的显示，能够根据手术操作者等的设定指示，来从例如始终显示、显示2秒、不显示中选择任一者。
75.此外，在上述的显示用图像中，显示用内窥镜图像的形状不限于八边形，例如也可以是圆形。在该情况下，通道引导图像的形状也可以是圆形。
76.如上面那样，根据本实施方式，即使在响应于手术操作者等的指示而使显示装置30显示的内窥镜图像旋转的情况下，手术操作者等也能够容易地掌握处置器具等进入到内窥镜图像内的方向。
77.此外，在本实施方式中，内窥镜装置20的控制部203也可以通过asic(application specific integrated circuit：专用集成电路)、fpga(field programmable gate array：现场可编程门阵列)等集成电路来实现。
78.另外，内窥镜装置20的存储部201、操作部202以及控制部203等也可以通过具有图6所例示的硬件结构的计算机来实现。
79.图6是例示计算机的硬件结构的图。
80.如图6所例示的那样，计算机700具备cpu(central processing unit：中央处理单元)等处理器701、存储器702、辅助存储装置703、输入装置704、显示装置705、输入输出接口706、通信控制装置707以及介质驱动装置708。计算机700中的这些要素701～708通过总线709相互连接，能够进行要素之间的数据的交换。
81.处理器701通过执行程序来控制计算机700的整体的动作。例如，处理器701执行用于实现图2所例示的控制部203的功能的程序。基于此，例如执行图4所例示的显示用图像输出处理。
82.存储器702包括未图示的rom(read only memory：只读存储器)和ram(random access memory：随机存取存储器)。在存储器702的rom中预先存储有由处理器701执行的程序等。存储器702的rom能够用于记录用于实现图2所例示的控制部203的功能的程序。存储器702的ram被用作处理器701的工作区等。
83.辅助存储装置703例如是hdd(hard disk drive：硬盘驱动器)等磁盘、以及快闪存储器等非易失性存储器。能够使辅助存储装置703存储由处理器701执行的程序等。辅助存储装置703也能够用于记录用于实现图2所例示的控制部203的功能的程序。
84.输入装置704例如是键盘、鼠标以及触摸面板等。当计算机700的操作者对输入装置704进行规定的操作时，输入装置704向处理器701发送与该操作的内容相对应的输入信息。输入装置704能够用作操作部202。
85.显示装置705例如是液晶显示装置。显示装置705也能够用作显示装置30。
86.输入输出接口706将计算机700与电子部件或外部设备连接。输入输出接口706能够用于进行与内窥镜10或显示装置30的连接。
87.通信控制装置707将计算机700与网络连接，经由网络来控制计算机700与外部装置(服务器等)的各种通信。通信控制装置707能够将内窥镜装置20与网络连接，用于经由网络来进行内窥镜装置20与服务器的各种通信的控制。
88.介质驱动装置708进行可移动记录介质710中记录的程序或数据的读取、或者进行辅助存储装置703中存储的数据等向可移动记录介质710的写入。可移动记录介质710也能够用于记录用于实现图2所例示的控制部203的功能的程序。作为可移动记录介质710，例如
有secure digital(安全数字，sd)标准的存储卡(快闪存储器)。另外，在计算机700搭载有能够用作介质驱动装置708的光盘驱动器的情况下，能够将该光盘驱动器能够识别的各种光盘用作可移动记录介质710。能够用作可移动记录介质710的光盘例如有compact disc(激光唱片，cd)、digital versatile disc(数字多功能光盘，dvd)、blu-ray disc(蓝光光盘，其中blu-ray是注册商标)等。
89.另外，在本实施方式中，内窥镜系统1不限于图1所例示的方式，也可以如所谓的便携式软性内窥镜那样将内窥镜10、内窥镜装置20以及显示装置30一体地构成。另外，在内窥镜系统1中，也可以将内窥镜10和内窥镜装置20一体地构成，还可以将内窥镜装置20和显示装置30一体地构成。另外，在内窥镜系统1中，也可以设为如下的结构：通过与网络连接的计算机(服务器等)来实现内窥镜装置20，内窥镜10与内窥镜装置20、以及内窥镜装置20与显示装置30经由网络进行连接。
90.上面对实施方式进行了说明，但本发明并不限定于上述实施方式本身，在实施阶段能够在不脱离其主旨的范围内对构成要素进行变形来进行具体化。另外，通过上述实施方式中公开的多个构成要素的适当组合能够形成各种发明。例如，也可以删除实施方式所示的全部构成要素中的若干构成要素。
91.附图标记说明
92.1：内窥镜系统；10：内窥镜；20：内窥镜装置；30：显示装置；101：操作部；102：插入部；102a：前端部；102b：前端面；103：摄像部；104：存储部；201：存储部；202：操作部；203：控制部；204：摄像信号获取部；205：通道信息获取部；206：操作信号处理部；207：角度信息获取部；208：内窥镜图像生成部；209：通道引导图像生成部；210：显示用图像生成部；211：显示用图像输出部；301：显示部；401、402：通道引导图像；401a、401b、402a、402b：指引；501a、501b：显示用图像；502、502a、502b：显示用内窥镜图像；503、503a、503b：通道引导图像；504、504a、504b、505、505a、505b：指引；506、506a、506b：指引；700：计算机；701：处理器；702：存储器；703：辅助存储装置；704：输入装置；705：显示装置；706：输入输出接口；707：通信控制装置；708：介质驱动装置；709：总线；710：可移动记录介质。