医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序与流程

本发明涉及一种医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序，特别是涉及画面显示。

背景技术

一般的内窥镜系统从内窥镜的插入部的顶端照射照明光，使用摄像元件对观察对象进行摄像，获取观察对象的图像信息。所拍摄的图像显示在监视器上。医生等用户观察显示在监视器上的图像，并进行检查。

近年来，能够进行应用了深度学习的高度的自动识别。非专利文献1记载了与应用了深度学习的图像识别相关的技术。在内窥镜系统中，也考虑使用应用深度学习而制作的识别器，自动地进行病变等的检测以及病变等的分类。其中，已知有非专利文献2中记载的被称为SSD(Single Shot multi box Detector)的方法，能够汇总进行检测和分类等。此外，病变等的分类有时可被称为鉴别。

专利文献1记载了一种对观察图像计算特征量并基于特征量检测病变候选区域的内窥镜系统。该系统使观察图像在与病变候选区域不同的区域中显示报知图像，并向施术者报知已检测到病变候选区域这一情况。另外，该系统对观察图像附加包围病变候选区域的标记图像，并实施表示病变候选区域的位置的处理。

该系统在操作开关从关闭状态切换到接通状态时，显示静止图像，结束报知处理，报知图像成为非显示，开始强调显示，显示标记图像。由此，抑制了施术者对观察图像的注意力降低。

以往技术文献

专利文献

专利文献1：国际公开第2017/073337号

非专利文献

非专利文献1：A.Krizhevsky，I.Sutskever，and G.Hinton著、《ImageN et classification with deep convolutional neural networks.》、NIPS(Neural Information Processing Systems conference)，2012

非专利文献2：Pierre Sermanet，David Eigen，Xiang Zhang，Michael Mathieu，Rob Fergus，Yann LeCun著《OverFeat：Integrated Recognition，Localization and Detectionusing ConvolutionalNetworks》、ICLR(International Conference on Learning Representations)，2014

技术实现要素：

发明要解决的技术课题

但是，在根据内窥镜图像实施病变的自动检测和自动分类时，在使依次显示的观察图像静止来进行观察的情况下，表示检测到病变这一情况的强调显示可能会妨碍施术者的观察。

专利文献1中记载的系统在显示静止图像的情况下开始强调显示，显示标记图像，因此，在观察静止图像时，标记图像可能会妨碍观察。

本发明是鉴于这样的情况而完成的，其目的在于提供一种能够避免表示检测到病变这一情况的强调显示等妨碍施术者等的观察的医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序。

用于解决技术课题的手段

为了达成上述目的，提供以下的发明方式。

第一方式所涉及的医用图像处理装置是如下的一种医用图像处理装置，具备：识别部，其是从获取的医用图像中检测关注区域的识别部，对关注区域进行分类；显示控制部，其使对关注区域进行强调的强调显示及关注区域的分类显示在与显示医用图像中所包含的观察对象的画面相同的画面上；以及观察图像切换部，其对使用显示装置显示观察图像的连续图像还是显示观察图像的静止图像进行切换，显示控制部在使用观察图像切换部将观察图像的连续图像显示切换为静止图像显示的情况下，实施与观察图像的连续图像显示的情况相比减弱强调显示和分类中的至少任一个的可见性的变更。

根据第一方式，在用户观察观察对象的静止图像时，可抑制强调显示和分类中的至少任一个妨碍观察。

关注区域的强调可应用在视觉上强调关注区域的方式。

减弱强调显示和分类中的至少任一个的可见性的变更可包括使强调显示和分类中的至少任一个为非显示的方式。

第一方式所涉及的医用图像处理装置可包括获取医用图像的医用图像获取部。

第二方式可以构成为，在第一方式的医用图像处理装置中，显示控制部在实施与观察图像的连续图像显示的情况相比减弱强调显示和分类中的至少任一个的可见性的变更时，实施分类的显示。

根据第二方式，在使强调显示和分类中的至少任一个的显示方式变更时实施分类的显示。由此，可利用分类。

在第二方式中，可应用将强调显示设为非显示、不变更分类的显示方式的方式。

第三方式可以构成为，在第一方式或第二方式的医用图像处理装置中，显示控制部使强调显示和分类中的至少任一个的位置在显示观察图像的画面中向显示观察图像的区域之外的位置移动。

根据第三方式，使强调显示和分类中的至少任一个向显示观察图像的区域之外的位置移动。由此，可防止强调显示和分类中的至少任一个妨碍观察者观察静止图像。

第四方式可以构成为，在第一方式至第三方式中的任一方式中，具备期间设定部，其设定从变更了强调显示和分类中的至少任一个的显示方式的定时到将显示方式恢复原状的定时的期间，显示控制部在从变更了强调显示和分类中的至少任一个的显示方式的定时起经过了使用期间设定部设定的期间的情况下，将显示方式恢复原状。

根据第四方式，可变更强调显示和分类中的至少任一个的显示方式，并在经过了规定期间时，使其恢复到原来的显示方式。

第五方式可以构成为，在第一方式至第四方式中的任一方式的医用图像处理装置中，具备指令信号获取部，其获取操作部被操作时所发送的指令信号，显示控制部在指令信号获取部获取了表示将观察图像的连续图像显示切换为静止图像显示的指令信号的情况下，实施与观察图像的连续图像显示的情况相比减弱强调显示和分类中的至少任一个的可见性的变更。

根据第五方式，在使用操作部进行了将观察图像的连续图像显示切换为静止图像显示的操作的情况下，可实施关注区域的显示方式的变更和关注区域的分类的显示方式的变更中的至少任一个。

第六方式可以构成为，在第一方式至第五方式中的任一方式的医用图像处理装置中，识别部具备：多个小型化(downsizing)处理部，其实施使输入图像的尺寸阶段性地缩小的处理；以及特征图生成部，其根据多个小型化处理部的各自的输出图像来生成特征图。

第七方式可以构成为，在第六方式的医用图像处理装置中，小型化处理部具备对输入图像实施池化处理的池化处理部、和对输入图像实施卷积处理的卷积处理部中的至少任一个。

根据第七方式，在关注区域的检测及关注区域的分类中，可应用卷积神经网络。

第八方式可以构成为，在第六方式或第七方式的医用图像处理装置中，识别部具备关注区域识别部，该关注区域识别部根据使用特征图生成部生成的多个特征图，实施关注区域的确定和关注区域的分类中的至少任一个。

根据第八方式，可对关注区域的检测和关注区域的分类中的至少任一个应用表示输入图像的特征的特征图。

第九方式可以构成为，在第八方式的医用图像处理装置中，关注区域识别部基于多个特征图的重叠程度，实施关注区域的检测及关注区域的分类。

根据第九方式，可提高关注区域的检测精度及关注区域的分类精度。

第十方式可以构成为，在第一方式至第九方式中的任一方式的医用图像处理装置中，识别部具备参数存储部，该参数存储部存储对至少一个图像汇总地学习关注区域的检测及关注区域的分类而得到的参数。

根据第十方式，可使关注区域的检测处理的一部分和关注区域的分类处理的一部分共通化。

第十一方式可以构成为，在第一方式至第十方式中的任一方式的医用图像处理装置中，显示控制部在强调显示中应用包围关注区域的闭合曲线，在变更强调显示的显示方式时，变更闭合曲线的色彩、浓度以及线的种类中的至少任一个。

根据第十一方式，在强调显示中应用闭合曲线的情况下，能够有效地减弱强调显示。

第十二方式可以构成为，在第一方式至第十一方式中的任一方式的医用图像处理装置中，显示控制部在变更强调显示的显示方式时，使强调显示移动到减弱强调显示的可见性的位置。

根据第十二方式，可抑制强调显示妨碍观察。

第十三方式可以构成为，在第一方式至第十二方式中的任一方式的医用图像处理装置中，显示控制部应用表示分类内容的文字信息作为表示关注区域的分类的分类信息，在变更关注区域的分类的显示方式时，使文字信息移动到减弱文字信息的可见性的位置。

根据第十三方式，可抑制表示关注区域的分类内容的文字信息妨碍观察。

第十四方式可以构成为，在第十三方式的医用图像处理装置中，显示控制部在变更关注区域的分类的显示方式时，使文字信息的位置移动到显示表示观察对象的图像的区域之外。

根据第十四方式，文字信息与表示观察对象的图像不重叠。由此，可抑制文字信息妨碍观察。

第十五方式可以构成为，在第十四方式的医用图像处理装置中，显示控制部在检测到多个关注区域的情况下，维持多个关注区域的位置关系，使表示多个关注区域各自的分类的多个文字信息移动到显示表示观察对象的图像的区域之外。

根据第十五方式，可使用多个分类的位置关系来掌握表示观察对象的图像中的多个关注区域的位置关系。

第十六方式可以构成为，在第十三方式至第十五方式中的任一方式的医用图像处理装置中，显示控制部在变更关注区域的分类的显示方式时，作为文字信息仅显示表示分类之意的字符串的首字符。

根据第十六方式，可减弱分类的可见性，并且掌握分类的内容。

第十七方式所涉及的处理器装置是如下的一种处理器装置，具备：内窥镜控制部，其控制内窥镜；识别部，其是从使用内窥镜获取的医用图像中检测关注区域的识别部，对关注区域进行分类；显示控制部，其使对关注区域进行强调的强调显示及关注区域的分类显示在与显示医用图像中所包含的观察对象的画面相同的画面上；以及观察图像切换部，其对使用显示装置显示观察图像的连续图像还是显示观察图像的静止图像进行切换，显示控制部在使用观察图像切换部将观察图像的连续图像显示切换为静止图像显示的情况下，实施与观察图像的连续图像显示的情况相比减弱强调显示和分类中的至少任一个的可见性的变更。

根据第十七方式，能够得到与第一方式同样的效果。

在第十七方式中，可适当组合与在第二方式至第十六方式中特定的事项同样的事项。在该情况下，可将在医用图像处理装置中所确定的承担处理或功能的构成要素作为承担与其对应的处理或功能的处理器装置的构成要素来掌握。

第十八方式所涉及的内窥镜系统是如下的一种内窥镜系统，具备：内窥镜；处理器装置，其控制内窥镜；以及医用图像处理装置，其对使用内窥镜获取的内窥镜图像实施处理，其中，在所述内窥镜系统中，医用图像处理装置具备：识别部，其是从获取的医用图像中检测关注区域的识别部，对关注区域进行分类；显示控制部，其使对关注区域进行强调的强调显示及关注区域的分类显示在与显示医用图像中所包含的观察对象的画面相同的画面上；以及观察图像切换部，其对使用显示装置显示观察图像的连续图像还是显示观察图像的静止图像进行切换，显示控制部在使用观察图像切换部将观察图像的连续图像显示切换为静止图像显示的情况下，实施与观察图像的连续图像显示的情况相比减弱强调显示和分类中的至少任一个的可见性的变更。

根据第十八方式，能够得到与第一方式同样的效果。

在第十八方式中，可适当组合与在第二方式至第十六方式中确定的事项同样的事项。在该情况下，可将在图像处理装置中所确定的承担处理或功能的构成要素作为承担与其对应的处理或功能的内窥镜系统的构成要素来掌握。

第十九方式所涉及的医用图像处理方法是如下的一种医用图像处理方法，包括：识别工序，其是从获取的医用图像中检测关注区域的识别工序，对关注区域进行分类；显示工序，使对关注区域进行强调的强调显示及关注区域的分类显示在与显示医用图像中所包含的观察对象的画面相同的画面上；以及观察图像切换工序，对使用显示装置显示观察图像的连续图像还是显示观察图像的静止图像进行切换，显示工序在观察图像切换工序中将观察图像的连续图像显示切换为静止图像显示的情况下，实施与观察图像的连续图像显示的情况相比减弱强调显示和分类中的至少任一个的可见性的变更。

根据第十九方式，能够得到与第一方式同样的效果。

在第十九方式中，可适当组合与在第二方式至第十六方式中确定的事项同样的事项。在该情况下，可将在医用图像处理装置中所确定的承担处理或功能的构成要素作为承担与其对应的处理或功能的医用图像处理方法的构成要素来掌握。

第二十方式所涉及的程序是如下的一种程序，其使计算机实现：识别功能，其是从获取的医用图像中检测关注区域的识别功能，对关注区域进行分类；显示功能，使对关注区域进行强调的强调显示及关注区域的分类显示在与显示医用图像中所包含的观察对象的画面相同的画面上；以及观察图像切换功能，对使用显示装置显示观察图像的连续图像还是显示观察图像的静止图像进行切换，其中，在所述程序中，显示功能在使用观察图像切换功能将观察图像的连续图像显示切换为静止图像显示的情况下，实施与观察图像的连续图像显示的情况相比减弱强调显示和分类中的至少任一个的可见性的变更。

根据第二十方式，能够得到与第一方式同样的效果。

在第二十方式中，可适当组合与在第二方式至第十六方式中确定的事项同样的事项。在该情况下，可将在医用图像处理装置中所确定的承担处理或功能的构成要素作为承担与其对应的处理或功能的程序的构成要素来掌握。

发明效果

根据本发明，在用户观察观察对象的静止图像时，可抑制强调显示和分类中的至少任一个妨碍观察。

附图说明

图1是包括实施方式所涉及的医用图像处理装置的内窥镜系统的整体结构图。

图2是表示医用图像处理装置的硬件结构的框图。

图3是第一实施方式所涉及的医用图像处理装置的功能框图。

图4是表示第一实施方式所涉及的医用图像处理方法的步骤的流程图。

图5是关注区域的强调显示及关注区域的分类显示的说明图。

图6是实施了冻结操作时的关注区域的强调显示及关注区域的分类显示的说明图。

图7是解除了冻结操作时的关注区域的强调显示及关注区域的分类显示的说明图。

图8是第一变形例所涉及的实施了冻结操作时的关注区域的强调显示及关注区域的分类显示的说明图。

图9是第二变形例所涉及的实施了冻结操作时的关注区域的强调显示及关注区域的分类表的说明图。

图10是第三变形例所涉及的强调显示的显示方式的变更的说明图。

图11是第四变形例所涉及的强调显示的显示方式的变更的说明图。

图12是第五变形例所涉及的强调显示的显示方式的变更的说明图。

图13是第六变形例所涉及的分类的显示方式的变更的说明图。

图14是第七变形例所涉及的分类的显示方式的变更的说明图。

图15是第二实施方式所涉及的医用图像处理装置的功能框图。

图16是表示第二实施方式所涉及的医用图像处理方法的步骤的流程图。

图17是卷积神经网络的说明图。

具体实施方式

以下，根据附图详细说明本发明的优选实施方式。在本说明书中，对相同的构成要素标注相同的参照符号，适当省略重复的说明。

[内窥镜系统的整体结构]

图1是包括实施方式所涉及的医用图像处理装置的内窥镜系统的整体结构图。图1所示的内窥镜系统9具备内窥镜10、光源装置11、处理器装置12、显示装置13、医用图像处理装置14、输入装置15、以及监视器装置16。

图1所示的内窥镜10是电子内窥镜，并且是软性内窥镜。内窥镜10具备插入部20、操作部21、以及通用塞绳22。插入部20被插入受检体内。插入部20整体形成为细径且长条状。

插入部20具备软性部25、弯曲部26及顶端部27。插入部20通过连续设置软性部25、弯曲部26及顶端部27而构成。软性部25从插入部20的基端侧朝向顶端侧依次具有挠性。弯曲部26具有在操作部21被操作的情况下能够弯曲的结构。顶端部27内置有未图示的摄像光学系统和摄像元件28等。

摄像元件28应用CMOS型摄像元件或CCD型摄像元件。此外，CMOS是Complementary Metal Oxide Semiconductor的缩写。CCD是Charge Coupled Device的缩写。

顶端部27的顶端面27a配置未图示的观察窗。观察窗是形成在顶端部27的顶端面27a上的开口。观察窗安装有未图示的盖。

在观察窗的后方配置未图示的摄像光学系统。被观察部位的像光经由观察窗和摄像光学系统等入射到摄像元件28的摄像面上。摄像元件28对入射到摄像元件28的摄像面的被观察部位的像光进行摄像，并输出摄像信号。在此所说的摄像包含将来自被观察部位的反射光转换为电信号这样的意思。

操作部21连接设置在插入部20的基端侧。操作部21具备施术者进行操作的各种操作部件。具体而言，操作部21具有两种弯曲操作旋钮29。弯曲操作旋钮29在对弯曲部26进行弯曲操作时使用。此外，施术者可包括医生、操作者、观察者、以及用户等。

操作部21具有供气供水按钮30和吸引按钮31。供气供水按钮30在施术者进行供气供水操作时使用。吸引按钮31在施术者进行吸引操作时使用。

操作部21具备静止图像拍摄指示部32和处置器具导入口33。静止图像拍摄指示部32具备在拍摄被观察部位的静止图像时由施术者操作的按钮。

处置器具导入口33是将处置器具插入插通了插入部20内部的处置器具插通通路内部的开口。此外，省略处置器具插通通路和处置器具的图示。

通用塞绳22是将内窥镜10与光源装置11连接的连接塞绳。通用塞绳22内置有插通了插入部20内部的光导35、信号电缆36以及未图示的流体管。

另外，通用塞绳22的顶端部具备与光源装置11连接的连接器37a、以及从连接器37a分支且与处理器装置12连接的连接器37b。

在连接器37a与光源装置11连接时，光导35及未图示的流体管被插入光源装置11。由此，经由光导35以及未图示的流体管，从光源装置11对内窥镜10供给必要的照明光、水等液体、以及空气等气体。

其结果是，从顶端部27的顶端面27a的未图示的照明窗朝向被观察部位照射照明光。另外，根据供气供水按钮30的按下操作，从顶端部27的顶端面27a的未图示的供气供水喷嘴向顶端面27a的未图示的观察窗喷射气体或水。此外，被观察部位有时可被称为观察对象、检查对象等。

在连接器37b与处理器装置12连接时，信号电缆36与处理器装置12电连接。由此，经由信号电缆36从内窥镜10的摄像元件28向处理器装置12输出被观察部位的摄像信号，并且从处理器装置12向内窥镜10输出控制信号。

在本实施方式中，作为内窥镜10列举软性内窥镜进行了说明，但作为内窥镜10也可以使用硬性内窥镜等可对被观察部位进行动态图像拍摄的各种电子内窥镜。

光源装置11经由连接器37a向内窥镜10的光导35供给照明光。照明光可应用白色光或特定波段的光。照明光可以将白色光及特定波段的光的组合。光源装置11构成为能够适当选择与观察目的对应的波段的光作为照明光。

白色光可以是白色波段的光或多个波段的光中的任一种。特定波段是比白色波段窄的波段。特定波段的光可以应用一种波段的光，也可以应用多个波段的光。特定波段有时被称为特殊光。

处理器装置12经由连接器37b和信号电缆36向内窥镜10发送指令信号，控制内窥镜10的动作。另外，处理器装置12经由连接器37b和信号电缆36从内窥镜10的摄像元件28获取摄像信号。即，处理器装置12应用规定的帧率来获取从内窥镜10输出的摄像信号。

处理器装置12基于从内窥镜10获取的摄像信号，生成作为被观察部位的观察图像的内窥镜图像38。在此所说的内窥镜图像38中包含运动图像。内窥镜图像38也可以包含静止图像39。此外，运动图像附加符号38a而图示在图3中。实施方式中所示的内窥镜图像38相当于医用图像的一例。另外，实施方式中所示的运动图像38a相当于连续图像的一例。

在操作部21的静止图像拍摄指示部32被操作的情况下，处理器装置12与运动图像的生成并行地基于从摄像元件28获取的摄像信号生成被观察部位的静止图像39。也可以针对运动图像的分辨率以高分辨率生成静止图像39。

在生成内窥镜图像38时，处理器装置12进行应用了白平衡调整以及阴影校正等数字信号处理的画质校正。处理器装置12也可以将由DICOM标准规定的附带信息附加于内窥镜图像38。此外，DICOM是Digital Imaging and Communications in Medicine的缩写。实施方式中所示的处理器装置相当于具备控制内窥镜的内窥镜控制部的处理器装置的一例。

处理器装置12将内窥镜图像38分别输出到显示装置13和医用图像处理装置14。处理器装置12也可以按照依据DICOM标准的通信协议，经由未图示的通信网络向未图示的存储装置输出内窥镜图像38。此外，通信网络可应用图2所示的通信网络140。

显示装置13连接到处理器装置12。显示装置13显示从处理器装置12发送来的内窥镜图像38。施术者可一边确认显示装置13所显示的内窥镜图像38，一边进行插入部20的插拔操作等。在被观察部位检测到病变等的情况下，施术者可操作静止图像拍摄指示部32来拍摄被观察部位的静止图像。

医用图像处理装置14可应用计算机。输入装置15使用可与计算机连接的键盘及鼠标等。输入装置15与计算机之间的连接可以是有线连接或无线连接中的任一种。监视器装置16使用可与计算机连接的各种监视器。

作为医用图像处理装置14，可以应用工作站及服务器装置等诊断辅助装置。在该情况下，输入装置15和监视器装置16分别设置在与工作站等连接的多个终端的每一个上。而且，作为医用图像处理装置14，也可以使用进行医疗报告等的制作辅助的诊疗业务辅助装置。

医用图像处理装置14进行内窥镜图像38的获取以及内窥镜图像38的存储。医用图像处理装置14进行监视器装置16的再现控制。此外，本说明书中的所谓图像这一用语包含表示图像的电信号以及表示图像的信息等图像数据这样的意思。本说明书中的所谓图像这一用语是指图像本身和/或图像数据中的至少任一个。

另外，图像的存储这一用语可以换称为图像的保存以及图像的存储等。在此所说的图像的存储是指图像的非暂时性存储。医用图像处理装置14也可以具备暂时存储图像的暂时存储用的存储器。

输入装置15用于输入针对医用图像处理装置14的操作指示。监视器装置16在医用图像处理装置14的控制下进行内窥镜图像38的显示。监视器装置16也可以作为医用图像处理装置14中的各种信息的显示部发挥功能。

医用图像处理装置14可经由图1中未图示的通信网络与未图示的存储装置连接。图像的存储形式、以及经由通信网络的各装置间的通信可应用DICOM标准、以及依据DICOM标准的协议等。

未图示的存储装置可应用非暂时性存储数据的存储器等。也可以使用未图示的服务器装置来管理存储装置。服务器装置可应用存储并管理各种数据的计算机。

[医用图像处理装置的硬件结构]

图2是表示医用图像处理装置的硬件结构的框图。图2所示的医用图像处理装置14具备处理器120、存储器122、存储装置124、网络控制器126、电源装置128、显示控制器130、输入输出接口132、以及输入控制器134。此外，图2所示的I/O表示输入输出接口。

处理器120、存储器122、存储装置124、网络控制器126、显示控制器130和输入输出接口132经由总线136可数据通信地连接。

〔处理器〕

处理器120作为医用图像处理装置14的整体控制部、各种运算部以及存储控制部发挥功能。处理器120执行存储在存储器122所具备的ROM(read only memory)中的程序。

处理器120也可以经由网络控制器126从未图示的外部存储装置下载程序，并执行下载的程序。外部存储装置也可以经由通信网络140与医用图像处理装置14可通信地连接。

处理器120将存储器122所具备的RAM(random access memory)作为运算区域，与各种程序协作来执行各种处理。由此，实现医用图像处理装置14的各种功能。

处理器120控制从存储装置124读出数据以及向存储装置124写入数据。处理器120可以经由网络控制器126从外部存储装置获取各种数据。处理器120可使用所获取的各种数据执行运算等各种处理。

处理器120可以包括一个或两个以上的器件。作为器件的一例，可举出FPGA(Field Programmable Gate Array)以及PLD(Programmable Logic Device)等。FPGA和PLD是可在制造后变更电路结构的器件。

作为器件的另一示例，可举出ASIC(Application Specific Integrated Circuit)。ASIC具备专门用于执行特定处理而设计的电路结构。

处理器120可应用相同种类的两个以上的器件。例如，处理器120可以使用两个以上的FPGA，也可以使用两个PLD。处理器120可应用不同种类的两种以上的器件。例如，处理器120可应用一个以上的FPGA和一个以上的ASIC。

在具备多个处理器120的情况下，多个处理器120也可以使用一个器件构成。作为使用一个器件构成多个处理器120的一例，有使用一个以上的CPU(Central Processing Unit)与软件的组合构成一个器件，并将该器件作为多个处理器120发挥功能的形态。此外，本说明书中的软件与程序同义。

作为由一个器件构成多个处理器120的另一例，可举出使用由一个IC芯片实现包括多个处理器120的系统整体的功能的器件的形态。作为由一个IC芯片实现包括多个处理器120的系统整体的功能的器件的代表例，可举出SoC(System On Chip)。此外，IC是Integrated Circuit的缩写。像这样，可使用一个以上的各种器件作为硬件结构来构成处理器120。

〔存储器〕

存储器122包括未图示的ROM和未图示的RAM。ROM存储在医用图像处理装置14中执行的各种程序。ROM存储用于执行各种程序的参数和文件等。RAM作为数据的临时存储区域和处理器120的工作区域等发挥功能。

〔存储装置〕

存储装置124临时存储各种数据。存储装置124也可以外置于医用图像处理装置14的外部。也可以代替存储装置124、或与其并用地应用大容量半导体存储器装置。存储装置124例如是HDD(Hard Disk Drive)、SSD(Solid State Drive)等存储设备。存储装置备124可以存储例如OS(Operation System)、应用程序及各种数据等。

〔网络控制器〕

网络控制器126控制与外部装置之间的数据通信。数据通信的控制可以包括对数据通信的业务(traffic)的管理。经由网络控制器126连接的通信网络140可应用LAN等公知的通信网络。

〔电源装置〕

电源装置128应用UPS(Uninterruptible Power Supply)等大容量型电源装置。电源装置128在由于停电等而切断商用电源时，向医用图像处理装置14的各部供给电源。

〔显示控制器〕

显示控制器130作为基于从处理器120发送的指令信号来控制监视器装置16的显示驱动器发挥功能。

〔输入输出接口〕

输入输出接口132可通信地连接医用图像处理装置14和外部设备。输入输出接口132可应用USB(Universal Serial Bus)等通信标准。

〔输入控制器〕

输入控制器134将使用输入装置15输入的信号的形式转换为适于医用图像处理装置14的处理的形式。经由输入控制器134从输入装置15输入的信息经由处理器120向各部发送。

此外，图2所示的医用图像处理装置14的硬件结构只是一例，可以适当地进行追加、删除以及变更。另外，图2所示的硬件结构也可应用于图1所示的处理器装置12。

[医用图像处理装置的功能块]

图3是实施方式所涉及的医用图像处理装置的功能框图。医用图像处理装置14具备图像获取部40、识别部42、显示控制部44、存储部46以及显示切换部48。

〔图像获取部〕

图像获取部40从处理器装置12获取使用内窥镜10拍摄到的内窥镜图像38。图像获取部40将内窥镜图像38存储到内窥镜图像存储部46a中。

图像获取部40也可以经由存储卡等信息存储介质从处理器装置12获取内窥镜图像38。图像获取部40也可以经由图2所示的通信网络140获取内窥镜图像38。

图像获取部40可获取由时间序列的帧图像38b构成的运动图像38a。图像获取部40在运动图像38a的拍摄途中实施了静止图像拍摄的情况下，可获取静止图像39。

〔识别部〕

识别部42具备关注区域检测部42a、强调显示设定部42b、以及分类部42c。识别部42应用CNN(Convolutional Neural Network)等学习器，从内窥镜图像38中检测关注区域。识别部42设定对关注区域进行强调的强调显示。识别部42应用学习，对关注区域进行分类。

关注区域检测部42a从使用图像获取部40获取的内窥镜图像38中检测关注区域。关注区域检测部42a将内窥镜图像38与内窥镜图像38中的关注区域的对(pair)作为正解数据，应用实施了学习的已学习的学习器。关注区域检测部42a将从内窥镜图像38检测到的关注区域存储到关注区域存储部46b。

强调显示设定部42b设定对从内窥镜图像38检测到的关注区域进行强调的强调显示。强调显示设定部42b确定关注区域的位置和关注区域的尺寸，根据关注区域的位置和关注区域的尺寸，确定强调显示的位置和强调显示的尺寸。强调显示设定部42b将包含强调显示的位置和强调显示的尺寸的强调显示的信息与关注区域相关联地进行存储。

强调显示设定部42b可将包围关注区域的闭合曲线应用于强调显示。包围关注区域的闭合曲线可应用包围关注区域的四边形等多边形、圆、以及任意形状的闭合曲线。包围关注区域的闭合曲线是关注区域内接的多边形和圆、与关注区域重叠的多边形和圆、以及内部包含关注区域的多边形和圆，可应用与关注区域非接触的多边形和圆等。

分类部42c对关注区域进行分类。例如，分类部42c对关注区域是病变还是非病变进行分类。分类部42c也可以确定作为病变的关注区域的疾病名。分类部42c可应用UICC(Union for International Cancer Control)以及TNM分类等标准化的分类。分类部42c将每个关注区域的分类与关注区域的信息相对应地存储到分类存储部46c中。

此外，TNM中的T是tumor的首字符。TNM中的N是nodes的首字符。TNM中的M是metastasis的首字符。

此外，在实施方式中记载的识别部42相当于指令信号获取部的一例，该指令信号获取部获取在操作部被操作时所发送的指令信号。

〔显示控制部〕

显示控制部44向监视器装置16发送表示使内窥镜图像38显示于监视器装置16的图像等的显示信号。显示控制部44向监视器装置16发送表示关注区域和关注区域的分类的显示信号。显示控制部44向监视器装置16发送监视器装置16的控制信号。

监视器装置16显示内窥镜图像38、关注区域、以及关注区域的分类。监视器装置16可将关注区域和关注区域的分类重叠显示在内窥镜图像38上。监视器装置16可在显示内窥镜图像38的区域和所划分的区域中显示关注区域和关注区域的分类。显示控制部44应用规定的更新间隔来更新内窥镜图像38的显示、关注区域的显示、以及关注区域的分类的显示。

〔存储部〕

存储部46具备内窥镜图像存储部46a、关注区域存储部46b、以及分类存储部46c。内窥镜图像存储部46a存储使用图像获取部40获取的内窥镜图像38。

关注区域存储部46b存储关注区域的信息。关注区域存储部46b可存储与检测到关注区域的内窥镜图像38相关联的关注区域的信息。关注区域的信息可应用内窥镜图像38中的关注区域的坐标值和关注区域的形状。

关注区域的坐标值可应用于设定强调显示时所应用的强调显示的坐标值。关注区域的形状可包括关注区域的形态和关注区域的面积。

分类存储部46c将每个关注区域的分类与关注区域的信息相关联地进行存储。关注区域的信息应用可确定关注区域的编号和符号等。

存储部46可应用一个以上的存储元件。即，存储部46可具备与内窥镜图像存储部46a、关注区域存储部46b、以及分类存储部46c分别对应的三个存储元件。另外，内窥镜图像存储部46a、关注区域存储部46b、以及分类存储部46c可分别应用多个存储元件。而且，可使用一个存储元件构成内窥镜图像存储部46a、关注区域存储部46b、以及分类存储部46c中的两个或全部。此外，作为存储部46，可使用图2的存储装置124。

〔显示变更部〕

显示切换部48在医用图像处理装置14获取了表示施术者操作了静止图像拍摄指示部32的指令信号的情况下，变更使用监视器装置16显示内窥镜图像38的显示方式。

具体而言，在施术者操作了静止图像拍摄指示部32的情况下，图像获取部40获取表示被观察部位的静止图像39的拍摄数据，显示切换部48实施从被观察部位的运动图像显示向静止图像显示的显示画面的切换。

显示切换部48在对观察图像实施从运动图像显示向静止图像显示的切换时，将关注区域的强调显示和关注区域的分类中的至少任一个切换为相对减弱的显示方式。

显示切换部48在满足了规定的恢复条件的情况下，将变更了显示方式的关注区域的强调显示和关注区域的分类中的至少任一个切换到原来的显示方式。作为规定的恢复条件的一例，可举出实施从静止图像显示向运动图像显示的切换。

作为强调显示的显示方式的变更的例子，可举出降低强调显示的浓度而使其变淡、将强调显示的色彩变更为较淡的色彩、在应用实线的闭合曲线的情况下将实线变更为虚线等、以及使强调显示移动、将强调显示设为非显示等。

作为关注区域的分类的显示方式的变更例，可举出降低表示分类的文字的浓度、将表示分类的文字的色彩变更为较淡的色彩、减小表示分类的文字的尺寸、以及使表示分类的文字移动、将表示分类的文字设为非显示等。作为关注区域的分类的显示方式的变更的其他例子，可举出省略表示分类的字符串的一部分、将字符串变更为图画和图标等等。作为省略字符串的一部分的例子，可举出应用表示字符串的缩写以及应用字符串的首字符等。

此外，实施方式中记载的显示切换部48相当于观察图像切换部的一例，该观察图像切换部对使用显示装置显示观察图像的运动图像还是显示观察图像的静止图像进行切换。

[医用图像处理方法的步骤]

图4是表示实施方式所涉及的医用图像处理方法的步骤的流程图。以下说明的医用图像处理方法可以应用于在使用了内窥镜10的检查时获取的内窥镜图像38，也可以应用于从医用图像服务器等获取的内窥镜图像38。

在内窥镜图像获取工序S10中，图3所示的图像获取部40从图1所示的处理器装置12获取内窥镜图像38。在内窥镜图像获取工序S10中，图像获取部40向内窥镜图像存储部46a存储内窥镜图像38。在内窥镜图像获取工序S10之后前进到关注区域检测工序S12。

在关注区域检测工序S12中，关注区域检测部42a从构成内窥镜图像38的运动图像38a的任意帧图像38b中检测关注区域。关注区域检测部42a也可以从一幅帧图像38b中检测多个关注区域。

在关注区域检测工序S12中，关注区域检测部42a可以从运动图像38a的所有帧图像38b中检测关注区域，也可以从每隔规定期间的帧图像38b中检测关注区域。

在关注区域检测工序S12中，关注区域检测部42a将关注区域与帧图像38b的信息相关联地存储到关注区域存储部46b中。在关注区域检测工序S12之后前进到分类工序S14。此外，关注区域检测工序S12相当于检测关注区域的识别工序的一例。

在分类工序S14中，分类部42c对每个关注区域实施分类。在分类工序S14中，分类部42c将每个关注区域的分类与关注区域相关联地存储到分类存储部46c中。在分类工序S14之后前进到显示工序S16。此外，分类工序S14相当于对关注区域进行分类的识别工序的一例。

在显示工序S16中，强调显示设定部42b对每个关注区域设定强调显示，并向显示控制部44发送强调显示的信息。显示控制部44在显示内窥镜图像38的画面上显示强调显示。

在显示工序S16中，分类部42c向显示控制部44发送每个关注区域的分类的信息。显示控制部44在显示内窥镜图像38的画面上显示每个关注区域的分类。在显示工序S16之后前进到静止图像显示开始判定工序S18。

在静止图像显示开始判定工序S18中，显示切换部48判定是否施术者操作了静止图像拍摄指示部32。在静止图像显示开始判定工序S18中，在显示切换部48判定为未操作静止图像拍摄指示部32的情况下，判定为No，持续运动图像显示，前进到最终帧图像判定工序S34。

另一方面，在静止图像显示开始判定工序S18中，在显示切换部48判定为操作了静止图像拍摄指示部32的情况下，判定为Yes，前进到静止图像显示工序S19。

在静止图像显示工序S19中，显示切换部48对观察图像实施从运动图像显示向静止图像显示的切换。在静止图像显示工序S19之后，前进到第一变更判定工序S20。此外，实施方式中记载的静止图像显示工序S19相当于将观察图像的运动图像显示切换为静止图像显示的观察图像切换工序的一例。

在第一变更判定工序S20中，显示切换部48判定是否变更强调显示和分类的显示方式。在第一变更判定工序S20中，在显示切换部48判定为变更强调显示或分类中的任一个的显示方式的情况下，判定为No，前进到第二变更判定工序S22。

另一方面，在第一变更判定工序S20中，在显示切换部48判定为变更强调显示和分类的显示方式的情况下，判定为Yes，前进到第一显示方式变更工序S24。在第一显示方式变更工序S24中，显示切换部48向显示控制部44发送表示变更强调显示和分类的显示方式的指令信号。

显示控制部44向监视器装置16发送静止图像以及变更了强调显示和分类的显示方式的显示控制信号。监视器装置16显示静止图像39，并将强调显示和分类变更为相对减弱的显示方式。在第一显示方式变更工序S24之后前进到静止图像显示结束判定工序S30。

在第二变更判定工序S22中，显示切换部48判定仅变更强调显示的显示方式还是仅变更分类的显示方式。在第二变更判定工序S22中，在显示切换部48判定为仅变更强调显示的显示方式的情况下，判定为Yes，前进到第二显示方式变更判定工序S26。

在第二显示方式变更判定工序S26中，显示切换部48向显示控制部44发送表示变更强调显示的显示方式的指令信号。显示控制部44向监视器装置16发送静止图像及变更了强调显示的显示方式的显示控制信号。监视器装置16显示静止图像39，并将强调显示变更为相对减弱的显示方式。在第二显示方式变更判定工序S26之后前进到静止图像显示结束判定工序S30。

另一方面，在第二变更判定工序S22中，在显示切换部48判定为仅变更分类的显示方式的情况下，判定为No，前进到第三显示方式变更判定工序S28。在第三显示方式变更判定工序S28中，显示切换部48向显示控制部44发送表示变更分类的显示方式的指令信号。显示控制部44向监视器装置16发送静止图像及变更了分类的显示方式的显示控制信号。监视器装置16显示静止图像39，并将分类变更为相对减弱的显示方式。在第三显示方式变更判定工序S28之后前进到静止图像显示结束判定工序S30。

在静止图像显示结束判定工序S30中，显示切换部48判定是否获取了表示使静止图像显示结束的指令信号。在静止图像显示结束判定工序S30中，在显示切换部48未获取表示使静止图像显示结束的指令信号的情况下，判定为No，实施静止图像显示结束判定工序S30，直至在静止图像显示结束判定工序S30中判定为Yes为止。

另一方面，在静止图像显示结束判定工序S30中，在显示切换部48获取了表示使静止图像显示结束的指令信号的情况下，判定为Yes，前进到显示恢复工序S32。

在显示恢复工序S32中，显示切换部48向显示控制部44发送表示将在第一显示方式变更工序S24、第二显示方式变更判定工序S26、及第三显示方式变更判定工序S28中进行了切换的强调显示和分类中的至少任一个恢复原状的指令信号。

显示控制部44向监视器装置16发送表示运动图像的显示信号及表示与运动图像对应的强调显示和分类的显示信号。监视器装置16显示运动图像及与运动图像对应的强调显示和分类。在显示恢复工序S32之后前进到最终帧图像判定工序S34。

在最终帧图像判定工序S34中，医用图像处理装置14判定所显示的内窥镜图像38是否是最终帧图像。在最终帧图像判定工序S34中，在医用图像处理装置14判定为所显示的内窥镜图像38不是最终帧图像的情况下，判定为No，前进到内窥镜图像获取工序S10。以后，实施从内窥镜图像获取工序S10到最终帧图像判定工序S34的各工序，直到在最终帧图像判定工序S34中判定为Yes为止。

另一方面，在最终帧图像判定工序S34中，在医用图像处理装置14判定为所显示的内窥镜图像38是最终帧图像的情况下，判定为Yes，医用图像处理装置14结束医用图像处理方法。

[强调显示的显示方式的变更以及分类的显示方式的变更的具体例]

接着，对强调显示的显示方式的变更以及分类的显示方式的变更的具体例进行说明。在以下的说明中，例示使用图1所示的内窥镜10观察大肠而得到的运动图像38a中的任意帧图像38b。此外，观察对象不限于大肠，也可以将食道、胃、以及小肠等作为观察对象。

[强调显示及分类的显示方式变更的具体例]

图5是关注区域的强调显示及关注区域的分类显示的说明图。图5所示的内窥镜图像38是运动图像38a，作为病变200的强调显示的边界框210及病变200的分类220重叠显示。分类220应用文字信息。

此外，图5所示的分类220相当于作为表示关注区域的分类的分类信息应用了表示分类的内容的文字信息的分类的一例。

图6是实施了冻结操作时的关注区域的强调显示及关注区域的分类显示的说明图。图6所示的静止图像39是与图5所示的运动图像38a对应的静止图像。

在图6所示的静止图像39中，图5所示的边界框210的显示方式变更为非显示。另外，在图6所示的静止图像39中，分类220的显示位置移动到显示表示观察对象的图像的区域之外的位置。

图7是解除了冻结操作时的关注区域的强调显示及关注区域的分类显示的说明图。图7所示的内窥镜图像38是运动图像38a，边界框210和分类220相对于病变200重叠显示。

此外，图7所示的内窥镜图像38是相对于图5所示的内窥镜图像38的帧图像38b为一帧以上之后的帧图像38b。此外，在图5和图7中省略表示帧图像的符号38b的图示。

[第一实施方式所涉及的医用图像处理装置及医用图像处理方法的作用效果]

根据第一实施方式所涉及的医用图像处理装置及医用图像处理方法，能够获得以下的作用效果。

〔1〕

在内窥镜图像38的运动图像38a的观察中，显示强调病变200即关注区域的边界框210和关注区域的分类220。在操作了静止图像拍摄指示部32的情况下，将观察图像从运动图像38a切换为静止图像39。静止图像39实施与显示运动图像的情况相比相对减弱边界框210和分类220中的至少任一个的可见性的显示方式的变更。由此，可避免边界框210和分类220中的至少任一个妨碍观察者观察静止图像。

〔2〕

与显示运动图像的情况相比相对减弱边界框210及分类220的可见性的显示方式的变更可应用使边界框210非显示的变更、及分类220的显示位置的变更。由此，在静止图像观察中可利用分类220。

[强调显示及分类的显示方式变更的变形例]

〔第一变形例〕

图8是第一变形例所涉及的实施了冻结操作时的关注区域的强调显示及关注区域的分类显示的说明图。在图8所示的静止图像39中，图5所示的分类220的显示方式被变更为非显示。另一方面，在图8所示的静止图像39中，未变更边界框210的显示方式。

根据第一变形例，能够防止分类的显示妨碍观察者的观察，并且利用强调显示。此外，在第一变形例中，可以并用边界框210的显示方式的变更。

〔第二变形例〕

图9是第二变形例所涉及的实施了冻结操作时的关注区域的强调显示及关注区域的分类表的说明图。在图9所示的静止图像39中，将图5所示的边界框210的显示方式变更为非显示。另一方面，在图9所示的静止图像39中，未变更分类220的显示方式。

根据第二变形例，能够防止强调显示妨碍观察者的观察，并且利用分类。此外，在第二变形例中，可以并用分类220的显示方式的变更。

〔第三变形例〕

图10是第三变形例所涉及的强调显示的显示方式的变更的说明图。在该图所示的静止图像39中，第一边界框210a及第一分类220a相对于与第一病变200a对应的第一关注区域201a重叠显示。

同样地，第二边界框212a及第二分类222a相对于与第二病变202a对应的第二关注区域203a重叠显示。而且第三边界框214a及第三分类224a相对于与第三病变204a对应的第三关注区域205a重叠显示。

第一边界框210a、第二边界框212a、及第三边界框214a与图5所示的边界框210相比，浓度降低而变淡。另一方面，第一分类220a、第二分类222a、及第三分类224a与图5所示的第一分类220a相比浓度没有变更。

根据第三变形例，作为减弱强调显示的强度的程度的方式，可应用降低强调显示的浓度的方式。由此，可减弱强调显示的可见性，避免强调显示妨碍观察者的观察。另外，可利用强调显示及分类这两者。

〔第四变形例〕

图11是第四变形例所涉及的强调显示的显示方式的变更的说明图。在该图所示的静止图像39中，第四边界框210b及第一分类220a相对于与第一病变200a对应的第一关注区域201a重叠显示。

同样地，第五边界框212b及第二分类222a相对于与第二病变202a对应的第二关注区域203a重叠显示。而且第六边界框214b及第三分类224a相对于与第三病变204a对应的第三关注区域205a重叠显示。

第四边界框210b、第五边界框212b、及第六边界框214b与图5所示的边界框210相比，线的种类被变更而应用点线。另一方面，第一分类220a、第二分类222a、及第三分类224a未从图5所示的第一分类220a进行变更。

根据第四变形例，作为减弱强调显示的强度的程度的方式，可应用将构成强调显示的线的种类进行变更的方式。由此，可减弱强调显示的可见性，避免强调显示妨碍观察者的观察。另外，可利用强调显示及分类这两者。

〔第五变形例〕

图12是第五变形例所涉及的强调显示的显示方式的变更的说明图。在该图所示的静止图像39中，第七边界框210c及第一分类220a相对于与第一病变200a对应的第一关注区域201a重叠显示。

同样地，第八边界框212c及第二分类222a相对于与第二病变202a对应的第二关注区域203a重叠显示。而且第九边界框214c及第三分类224a相对于与第三病变204a对应的第三关注区域205a重叠显示。

第七边界框210c配置在不包围第一关注区域201a的位置。另外，第八边界框212c配置在不包围第二关注区域203a的位置。而且，第九边界框214c配置在不包围第三关注区域205a的位置。

根据第五变形例，作为减弱强调显示的强度的程度的方式，可应用将强调显示的位置变更到不包围特征区域的位置的方式。由此，可减弱强调显示的可见性，避免强调显示妨碍观察者的观察。另外，可利用强调显示及分类这两者。此外，将强调显示的位置变更到不包围特征区域的位置的方式可包括将强调区域变更到包围特征区域的一部分的位置。

〔第六变更例〕

图13是第六变形例所涉及的分类的显示方式的变更的说明图。在该图所示的静止图像39中，表示与第一病变200a对应的第一病变200a的分类的第四分类220b、表示与第二病变202a对应的第二病变202a的分类的第五分类222b、表示与第三病变204a对应的第三病变204a的分类的第六分类224b被移动到静止图像39中的与观察图像不重叠的位置。

另外，第四分类220b、第五分类222b及第六分类224b的相互的位置关系维持了图10所示的第一分类220a、第二病变202a及第三分类224a的相互的位置关系。

而且，第四分类220b应用省略了应用于第一分类220a的字符串的一部分的缩略语。同样地，第五分类222b应用省略了应用于第二分类222a的字符串的一部分的缩略语，第六分类224b应用省略了应用于第三分类224a的字符串的一部分的缩略语。

此外，图13所示的符号210是变更图10所示的第一边界框210a的显示方式之前的边界框。符号212是变更第二边界框212a的显示方式之前的边界框。符号214是变更第三边界框214a的显示方式之前的边界框。关于图14亦为同样。

根据第六变形例，作为减弱分类的可见性的方式，可应用将表示分类的文字信息变更到与观察图像不重叠的位置的方式。由此，可减弱分类的可见性，避免分类妨碍观察者的观察。另外，可利用强调显示及分类这两者。

〔第七变形例〕

图14是第七变形例所涉及的分类的显示方式的变更的说明图。在该图所示的静止图像39中，第七分类220c应用在第一分类220a中应用的字符串HyperPlastic的首字符H。同样地，第八分类222c应用在第二分类222a中应用的字符串的首字符A，第九分类224c应用在第三分类224a中应用的字符串的首字符H。

根据第七变形例，作为减弱分类的可见性的方式，可应用将表示分类的文字信息变更为文字信息的首字符的方式。由此，可减弱分类的可见性，避免分类妨碍观察者的观察。另外，可利用强调显示及分类这两者。

〔第八变形例〕

在关注区域的显示方式的变更中，设为可关闭关注区域的显示。在分类的显示方式的变更中，设为可关闭分类的显示。可使用周期性动作的开关来切换标准的显示方式、持续减弱显示的显示方式、以及关闭显示的显示方式。

〔第九变形例〕

医用图像可应用对与任一方向正交的多个面拍摄观察对象而得的连续图像。作为该连续图像的例子，可举出CT图像及MRI图像等。

作为连续图像显示的例子，可举出使包含于CT图像中的多个断层摄像图像在任一方向连续显示的方式。此外，CT是Computed Tomography的缩写。MRI是Magnetic Resonance Imaging的缩写。此外，第一变形例至第九变形例也可应用于后述的第二实施方式。

[第二实施方式所涉及的医用图像处理装置]

图15是第二实施方式所涉及的医用图像处理装置的功能框图。该图所示的医用图像处理装置14a相对于图3所示的医用图像处理装置14，追加了期间设定部49。

期间设定部49设定从变更了强调显示及分类的显示方式的定时至将强调显示及分类的显示方式恢复到变更前的原来的显示方式的定时的期间。期间设定部49将设定的期间存储到规定的存储部。规定的存储部可设置于存储部46。

期间设定部49可基于从输入装置15输入的信号，设定从显示方式变更至显示方式恢复的期间。期间设定部49可读出预先存储的期间，并将读出的期间设定为从显示方式变更至显示方式恢复的期间。

期间设定部49可应用计时器电路或计数器电路，该计时器电路或计数器电路基于触发信号开始计数，并在经过了所设定的期间时，输出表示经过了设定期间的指令信号。

[第二实施方式所涉及的医用图像处理方法]

图16是表示第二实施方式所涉及的医用图像处理方法的步骤的流程图。该图所示的流程图相对于图4所示的流程图，追加了期间设定工序S1，且取代图4所示的静止图像显示结束判定工序S30，追加了期间经过判定工序S31。

在期间设定工序S1中，期间设定部49设定从变更了图15所示的强调显示及分类的显示方式的定时至将强调显示及分类的显示方式恢复到变更前的原来的显示方式的定时的期间。

在期间经过判定工序S31中，显示切换部48判定是否从变更了显示方式的定时经过了在期间设定工序S1中设定的期间。在期间经过判定工序S31中，在显示切换部48判定为未经过所设定的期间的情况下，判定为No，持续期间经过判定工序S31，直至在期间经过判定工序S31中判定为Yes为止。

另一方面，在期间经过判定工序S31中，在显示切换部48判定为经过了所设定的期间的情况下，判定为Yes，前进到显示恢复工序S32。在显示恢复工序S32中，显示切换部48将强调显示及分类的显示方式变更为原来的显示方式。

在图16所示的流程图中，设定为在实施了期间设定工序S1后前进到内窥镜图像获取工序S10的方式，但只要在直至变更强调显示及分类的显示方式之前实施期间设定工序S1即可。

[第二实施方式的作用效果]

根据第二实施方式所涉及的医用图像处理装置及医用图像处理方法，能够得到以下的作用效果。另外，第二实施方式所涉及的医用图像处理装置等能够得到与第一实施方式同样的作用效果。

〔1〕

从变更了强调显示及分类的显示方式的定时起经过了规定期间之后，强调显示及分类的显示方式恢复到原来的显示方式。由此，强调显示及分类的显示方式能够自动恢复。

〔2〕

可设定从变更了强调显示及分类的显示方式的定时至使强调显示及分类的显示方式恢复的规定期间。由此，可规定从显示方式的变更至显示方式的恢复的期间。

[卷积神经网络的具体例]

图17是卷积神经网络的说明图。网络300具有多个层结构，并保持多个权重参数。通过将权重参数从初始值更新为最佳值，未学习模型成为已学习模型。

网络300具备输入层310、中间层312和输出层314。中间层312具备第一卷积层320a、第一池化层322a、第二卷积层320b、第二池化层322b、第三卷积层320c和全连接层324。各层具有在边缘连接多个节点的结构。

输入层310被输入学习对象的内窥镜图像38。中间层312从内窥镜图像38中提取特征。第一卷积层320a、第二卷积层320b和第三卷积层320c对前一层的节点实施滤波处理以获得特征图。即，第一卷积层320a、第二卷积层320b和第三卷积层320c对节点实施使用了滤波器的卷积运算。

第一卷积层320a使用20个滤波器，从32×32尺寸的内窥镜图像38中生成20个28×28尺寸的特征图。第二卷积层320b从20个14×14尺寸的特征图中生成20个10×10尺寸的特征图。第三卷积层320c从20个10×10尺寸的特征图生成20个5×5尺寸的特征图。

第一池化层322a通过缩小从第一卷积层320a输出的特征图来生成新的特征图。第二池化层322b通过缩小从第二卷积层320b输出的特征图来生成新的特征图。

第一池化层322a从20个28×28尺寸的特征图中生成20个14×14尺寸的特征图。第二池化层322b从20个10×10尺寸的特征图中生成20个5×5尺寸的特征图。

第一池化层322a和第二池化层322b担负赋予鲁棒性的功能，使得所提取的特征不受平行移动等的影响。此外，中间层312不限于将卷积层和池化层设为一组的情况，也可是卷积层连续的情况、以及包含未图示的标准化层的结构。

全连接层324将前一层的所有输出耦合到下一层的所有节点。即，全连接层324将第三卷积层320c的输出耦合到输出层314的所有节点。

输出层314输出应用中间层312而从内窥镜图像38中提取的特征。图3所示的识别部42具备从内窥镜图像38中提取关注区域的网络、以及实施关注区域的分类的网络。

应用于学习前的网络300中的第一卷积层320a等中的滤波器系数、偏置值以及与全连接层324中的下一层的连接权重被设定为任意初始值。

网络300获取从输出层314输出的输出结果、针对输出结果的正解数据，并计算两者间的误差。作为误差的计算方法，可列举出软最大熵(Softmax entropy)和S型(sigmoid)等。

网络300基于计算出的误差，应用误差传播法来调整网络300的参数。网络300反复实施参数的调整，实施学习直到输出结果与正解数据的误差变小。

学习后的网络300输出针对输入图像的关注区域和关注区域的分类中的至少任一个。也可以将输出结果作为正解数据，使用输入图像和输出结果的对来再学习网络300。

在中间层312的一部分中对从内窥镜图像38中检测关注区域的网络和对关注区域进行分类的网络实施共同的处理。因此，可使从内窥镜图像38中检测关注区域的网络和对关注区域进行分类的网络共用中间层312的一部分的参数。

虽然省略了图示，但识别部42具备参数存储部，该参数存储部存储应用于从内窥镜图像38中检测关注区域的网络的参数、以及应用于对关注区域进行分类的网络的参数。

从内窥镜图像38中检测关注区域的网络和对关注区域进行分类的网络可基于特征图的重叠程度，实施关注区域的位置的确定以及关注区域的分类。

从内窥镜图像38中检测关注区域的网络和对关注区域进行分类的网络可针对一个内窥镜图像38汇总地学习关注区域的检测和关注区域的分类。

实施方式中记载的多个卷积层相当于实施使输入图像的尺寸阶段性地缩小的处理的多个小型化部的一例。实施方式中记载的多个卷积层与多个池化层的组合相当于实施使输入图像的尺寸阶段性地缩小的处理的多个小型化部的一例。

实施方式中记载的卷积层相当于根据小型化处理部的各自的输出图像来生成特征图的特征图生成部的一例。

实施方式中记载的网络300相当于根据特征图实施特征区域的确定和特征区域的分类中的至少任一个的关注区域识别部的一例。

实施方式中记载的池化层相当于对输入图像实施池化处理的池化处理部的一例。实施方式中记载的卷积层相当于卷积处理部的一例。

[内窥镜系统的变形例]

〔处理器装置的变形例〕

处理器装置12也可以具有医用图像处理装置14的功能。即，处理器装置12也可以与医用图像处理装置14一体构成。在该方式中，显示装置13可兼用作监视器装置16。处理器装置12可具备连接输入装置15的连接端子。

〔照明光的变形例〕

作为可使用本实施方式中所示的内窥镜系统9获取的医用图像的一例，可举出照射白色波段的光、或作为白色波段的光照射多个波段的光而得到的普通光图像。

作为可使用本实施方式中所示的内窥镜系统9获取的医用图像的另一例，可举出照射特定波段的光而得到的图像。特定波段可应用比白色波段窄的波段。可应用以下的变形例。

<第一变形例>

特定波段的第一例是可见区域的蓝色波段或绿色波段。第一例的波段包括390纳米以上450纳米以下、或530纳米以上550纳米以下的波段，并且第一例的光在390纳米以上450纳米以下、或530纳米以上550纳米以下的波段内具有峰波长。

<第二变形例>

特定波段的第二例是可见区域的红色波段。第二例的波段包括585纳米以上615纳米以下、或610纳米以上730纳米以下的波段，并且第二例的光在585纳米以上615纳米以下、或610纳米以上730纳米以下的波段内具有峰波长。

<第三变形例>

特定波段的第三例包括在氧合血红蛋白和还原血红蛋白中的吸光系数不同的波段，并且第三例的光在氧合血红蛋白和还原血红蛋白中的吸光系数不同的波段具有峰波长。该第三例的波段包括400±10纳米、440±10纳米、470±10纳米、或600纳米以上750纳米以下的波段，并且第三例的光在400±10纳米、440±10纳米、470±10纳米、或600纳米以上750纳米以下的波段具有峰波长。

<第四变形例>

特定波段的第四例是用于观察生物体内的荧光物质发出的荧光且激励该荧光物质的激励光的波段。例如，是390纳米以上470纳米以下的波段。此外，有时将荧光的观察称为荧光观察。

<第五变形例>

特定波段的第五例是红外光的波段。该第五例的波段包括790纳米以上820纳米以下、或905纳米以上970纳米以下的波段，并且第五例的光在790纳米以上820纳米以下、或905纳米以上970纳米以下的波段具有峰波长。

〔特殊光图像的生成例〕

处理器装置12也可以基于使用白色光拍摄而得到的普通光图像，生成具有特定波段的信息的特殊光图像。此外，在此所说的生成包括获取。在该情况下，处理器装置12作为特殊光图像获取部发挥功能。并且，处理器装置12通过进行基于普通光图像中所包含的红色、绿色和蓝色、或者青色、品红色和黄色的颜色信息的运算来获得特定波段的信号。

此外，红色、绿色和蓝色有时表示为RGB(Red，Green，Blue)。另外，青色、品红色和黄色有时表示为CMY(Cyan，Magenta，Yellow)。

〔特征量图像的生成例〕

作为医用图像，可使用基于照射白色波段的光、或作为白色波段的光照射多个波段的光而得到的普通图像、以及照射特定波段的光而得到的特殊光图像中的至少任一个的运算，生成特征量图像。

[对使计算机作为图像处理装置发挥功能的程序的应用例]

上述医用图像处理方法可构成为使用计算机来实现与医用图像处理方法中的各工序对应的功能的程序。例如，可构成如下的一种程序，其使计算机实现：识别功能，从获取的内窥镜图像38中检测关注区域，并对关注区域进行分类；显示功能，使对关注区域进行强调的强调显示及关注区域的分类显示在与内窥镜图像38相同的画面上；以及观察图像切换功能，对显示观察图像的运动图像还是显示观察对象的静止图像进行切换，其中，在所述程序中，显示功能是在使用观察图像切换功能将观察图像的运动图像显示切换为静止图像显示的情况下，实施与显示观察图像的运动图像的情况相比减弱强调显示和分类中的至少任一个的可见性的变更。

可将使计算机实现上述图像处理功能的程序存储在作为有形物的非暂时性信息存储介质的、计算机可读取的信息存储介质中，并通过信息存储介质提供程序。

另外，也可以是代替在非暂时性信息存储介质中存储并提供程序的方式，经由通信网络提供程序信号的方式。

[关于实施方式及变形例等的组合]

在上述实施方式中说明的构成要素以及在变形例中说明的构成要素可适当组合使用，另外，也可置换一部分构成要素。

以上说明的本发明的实施方式在不脱离本发明的宗旨的范围内，可适当变更、追加、删除构成要件。本发明不限于以上说明的实施方式，具有本领域普通知识的人员可在本发明的技术思想内进行多种变形。

符号说明

9 内窥镜系统

10 内窥镜

11 光源装置

12 处理器装置

13 显示装置

14 医用图像处理装置

14a 医用图像处理装置

15 输入装置

16 监视器装置

20 插入部

21 操作部

22 通用塞绳

25 软性部

26 弯曲部

27 顶端部

27a 顶端面

28 摄像元件

29 弯曲操作旋钮

30 供气供水按钮

31 吸引按钮

32 静止图像拍摄指示部

33 处置器具导入口

35 光导

36 信号电缆

37a 连接器

37b 连接器

38 内窥镜图像

38a 运动图像

38b 帧图像

39 静止图像

40 图像获取部

42 识别部

42a 关注区域检测部

42b 强调显示设定部

42c 分类部

44 显示控制部

46 存储部

46a 内窥镜图像存储部

46b 关注区域存储部

46c 分类存储部

48 显示切换部

49 期间设定部

120 处理器

122 存储器

124 存储装置

126 网络控制器

128 电源装置

130 显示控制器

132 输入输出接口

134 输入控制器

136 总线

140 通信网络

200 病变

200a 第一病变

20la 第一关注区域

202a 第二病变

203a 第二关注区域

204a 第三病变

205a 第三关注区域

210 边界框

210a 第一边界框

210b 第四边界框

210c 第七边界框

212 边界框

212a 第二边界框

212b 第五边界框

212c 第八边界框

214 边界框

214a 第三边界框

214b 第六边界框

214c 第九边界框

220 分类

220a 第一分类

220b 第四分类

220c 第七分类

222a 第二分类

222b 第五分类

222c 第八分类

224a 第三分类

224b 第六分类

224c 第九分类

300 网络

310 输入层

312 中间层

314 输出层

320a 第一卷积层

320b 第二卷积层

320c 第三卷积层

322a 第一池化层

322b 第二池化层

324 全连接层

S1至S34 医用图像处理方法的各工序