医疗图像处理装置、医疗图像处理装置的动作方法、及内窥镜系统与流程

1.本发明涉及医疗图像处理装置、医疗图像处理装置的动作方法、及内窥镜系统。


背景技术：

2.在专利文献1所记载的图像显示装置中，从内窥镜图像中检测包含解剖学界标的界标图像。进而，对与摄影对象脏器对应的虚拟模型的界标部分分配界标图像，进行利用相互的连接关系将多个内窥镜图像分别分配给虚拟模型的对应部分的映射。基于多个内窥镜图像被分配给各部的虚拟模型，生成表示摄影对象脏器的已拍摄区域及未拍摄区域的映射图像并显示在监视器上。
3.以往技术文献
4.专利文献
5.专利文献1：日本特开2018-50890号公报


技术实现要素：

6.发明要解决的技术课题
7.在诊断有无病变的筛查内窥镜中，特别是在上部内窥镜中观察部位较多，手法操作也困难，因此存在不习惯内窥镜诊断的用户(医師)发生观察遗漏这样的问题。对于该问题，可考虑“通过使用自动判定已观察部位的技术来防止忘记观察”这样的方法，但存在总是报知观察部位会妨碍诊断这样的问题。但是，专利文献1这样的以往技术虽然进行了漏拍评价，但并不是在适当的定时报知评价结果。
8.本发明是鉴于这种情况而完成的，其目的在于提供一种能够在适当的定时报知观察遗漏的医疗图像处理装置、医疗图像处理装置的动作方法、及内窥镜系统。
9.用于解决技术课题的手段
10.本发明的第一方式所涉及的医疗图像处理装置具备：存储器，其存储表示预先确定的、被摄体中的应拍摄的多个部位的部位信息；处理器；以及报知部，其中，处理器获取被摄体的医疗图像，识别医疗图像中映现的被摄体的部位，对识别到的部位和部位信息所表示的部位进行比较，判定应拍摄的多个部位中未拍摄的部位，在期待关于应拍摄的多个部位的医疗图像的获取结束了的期待结束定时，通过报知部报知判定的结果。
11.第二方式所涉及的医疗图像处理装置在第一方式中，处理器接受表示结束的用户操作，将接受了操作的定时作为期待结束定时来报知判定的结果。
12.第三方式所涉及的医疗图像处理装置在第一或第二方式中，处理器将识别的结果中作为观察对象的部位从一个脏器转变到另一脏器的定时作为期待结束定时来报知判定的结果。
13.第四方式所涉及的医疗图像处理装置在第一至第三方式中的任一项中，处理器将获取到预先确定的部位处的被摄体的医疗图像的定时作为期待结束定时来报知判定的结
果。
14.第五方式所涉及的医疗图像处理装置在第四方式中，预先确定的部位是食道胃接合部。
15.第六方式所涉及的医疗图像处理装置在第四方式中，预先确定的部位是咽喉。
16.第七方式所涉及的医疗图像处理装置在第四至第六方式中的任一项中，处理器在获取到预先确定的部位处的医疗图像的定时进行判定。
17.第八方式所涉及的医疗图像处理装置在第一至第七方式中的任一项中，处理器在进行了报知后，如果经过了预先指定的时间，则使报知的报知力降低。
18.第九方式所涉及的医疗图像处理装置在第八方式中，报知部具备对信息进行画面显示的显示器和/或输出声音的扬声器。
19.第十方式所涉及的医疗图像处理装置在第九方式中，处理器通过变更已在显示器上进行画面显示的信息的显示方式和/或已从扬声器输出的声音的输出方式来进行报知。
20.第十一方式所涉及的医疗图像处理装置在第九或第十方式中，处理器通过使在进行报知之前未进行画面显示的信息在显示器上进行新的画面显示、和/或通过使扬声器将在开始报知之前未进行输出的声音进行新的输出来进行报知。
21.第十二方式所涉及的医疗图像处理装置在第九至第十一方式中的任一项中，处理器使显示器的画面显示的报知力增大或减小。
22.第十三方式所涉及的医疗图像处理装置在第一至第十二方式中的任一项中，处理器在满足以下各项中的至少一项的情况下判断为识别到部位：被摄体在医疗图像中持续映现确定的时间以上；被摄体映现于医疗图像的确定的区域中；以及被摄体在医疗图像中处于确定的对焦程度以上。
23.本发明的第十四方式所涉及的医疗图像处理装置的动作方法是一种如下的医疗图像处理装置的动作方法，该医疗图像处理装置具备：存储器，其存储表示预先确定的、被摄体中的应拍摄的多个部位的部位信息；处理器；以及报知部，其中，处理器执行：图像获取工序，获取被摄体的医疗图像；部位识别工序，识别医疗图像中映现的被摄体的部位；判定工序，对识别到的部位和部位信息所表示的部位进行比较，判定应拍摄的多个部位中未拍摄的部位；以及报知工序，在期待关于应拍摄的多个部位的医疗图像的获取结束了的期待结束定时，通过报知部报知判定的结果。
24.此外，第十四方式所涉及的动作方法还可以具备与第二～第十三方式相同的结构。另外，作为本发明的方式，还可举出使计算机执行本发明所涉及的动作方法的程序、以及记录有该程序的计算机可读取代码的非暂时性记录介质。
25.本发明的第十五方式所涉及的内窥镜系统具备：第一至第十三方式中的任一项所涉及的医疗图像处理装置；以及内窥镜观测器，其插入作为被摄体的受检体中拍摄医疗图像，处理器获取内窥镜观测器所拍摄的医疗图像。
26.第十六方式所涉及的内窥镜系统在第十五方式中，处理器推定内窥镜观测器的移动方向，将推定的移动方向变化为后退方向的定时作为期待结束定时来报知判定的结果。
附图说明
27.图1是表示第一实施方式所涉及的内窥镜系统的结构的图。
28.图2是表示内窥镜系统的结构的另一图。
29.图3是图像处理部的功能框图。
30.图4是表示记录在记录部中的信息的图。
31.图5是表示卷积神经网络的结构例的图。
32.图6是表示基于滤光片的卷积处理的情况的图。
33.图7是表示第一实施方式所涉及的医疗图像处理方法的步骤的流程图。
34.图8是表示报知条件及报知方式的设定画面的例子的图。
35.图9是表示判定结果的报知方法的例子的图。
36.图10是表示判定结果的报知方法的例子的另一图。
37.图11是表示判定结果的报知方法的例子的又一图。
38.图12是表示第一实施方式所涉及的医疗图像处理方法的步骤的另一流程图。
39.图13是表示第一实施方式所涉及的医疗图像处理方法的步骤的又一流程图。
具体实施方式
40.以下，参照附图对本发明所涉及的医疗图像处理装置、医疗图像处理装置的动作方法、以及内窥镜系统的实施方式进行详细说明。
41.《第一实施方式》
42.《内窥镜系统的结构》
43.图1是内窥镜系统10(内窥镜系统、医疗图像处理装置)的外观图，图2是表示内窥镜系统10的主要部分结构的框图。如图1、2所示，内窥镜系统10由内窥镜观测器100(医疗图像获取部、内窥镜观测器)、处理器200(医疗图像处理装置、处理器、医疗图像获取部、部位识别部、判定部、报知部、报知控制部、操作接受部、移动方向推定部)、光源装置300(光源装置)、以及监视器400(显示装置、显示器)构成。
44.《内窥镜观测器的结构》
45.内窥镜观测器100具备手边操作部102和与该手边操作部102连接设置的插入部104。施术者(用户)把持手边操作部102进行操作，将插入部104插入受检体(生物体)的体内进行观察。另外，手边操作部102上设有供气供水按钮141、吸引按钮142、被分配有各种功能的功能按钮143、以及接受拍摄指示操作(静止图像、动态图像)的拍摄按钮144。插入部104从手边操作部102侧依次由软性部112、弯曲部114、顶端硬质部116构成。即，弯曲部114连接于顶端硬质部116的基端侧，软性部112连接于弯曲部114的基端侧。手边操作部102连接于插入部104的基端侧。用户可通过操作手边操作部102来使弯曲部114弯曲，向上下左右改变顶端硬质部116的朝向。顶端硬质部116中设有摄影光学系统130、照明部123、钳道口126等(参照图1、2)。
46.在观察、处置时，通过操作部208(参照图2)的操作，能够从照明部123的照明用透镜123a、123b照射白色光和/或窄带光(红色窄带光、绿色窄带光、蓝色窄带光、及紫色窄带光中的一个以上)。另外，可利用供气供水按钮141的操作从未图示的供水喷嘴排出清洗水，对摄影光学系统130的摄影透镜132(摄影透镜、摄影部)及照明用透镜123a、123b进行清洗。在顶端硬质部116开口的钳道口126中连通有未图示的管路，在该管路中插通用于摘除肿瘤等的未图示的处置器具，可适当地进行插拔而对受检体实施必要的处置。
47.如图1、2所示，在顶端硬质部116的顶端侧端面116a上配设有摄影透镜132(摄影部)。在摄影透镜132的里侧配设有cmos(complementary metal-oxide semiconductor)型摄像元件134(摄像元件、图像获取部)、驱动电路136、afe138(afe：analog front end、摄影部)，利用这些构成要素输出图像信号。摄像元件134是彩色摄像元件，具备由通过特定的图案排列(拜耳排列、x-trans(注册商标)排列、蜂窝排列等)呈矩阵状配置(二维排列)的多个受光元件构成的多个像素。摄像元件134的各像素包括微透镜、红(r)、绿(g)或蓝(b)的彩色滤光片及光电转换部(光电二极管等)。摄影光学系统130既能够根据红、绿、蓝三种颜色的像素信号生成彩色图像，也能够根据红、绿、蓝中任意一种颜色或两种颜色的像素信号生成图像。此外，摄像元件134也可以是ccd(charge coupled device)型。另外，摄像元件134的各像素还可以具备与紫色光源310v对应的紫色彩色滤光片和/或与红外光源对应的红外滤光片。
48.受检体的光学图像利用摄影透镜132成像于摄像元件134的受光面(摄像面)并转换为电信号，经由未图示的信号电缆输出到处理器200并转换为影像信号。由此，在与处理器200连接的监视器400上画面显示被摄体的内窥镜图像(图像、医疗图像)。
49.另外，在顶端硬质部116的顶端侧端面116a上，与摄影透镜132相邻设有照明部123的照明用透镜123a、123b。在照明用透镜123a、123b的里侧配设有后述的光导170的射出端，该光导170插通于插入部104、手边操作部102及通用电缆106，光导170的入射端配置在光导连接器108内。
50.用户一边将上述结构的内窥镜观测器100(插入部104)插入作为受检体的生物体内或从其中拔出，一边以确定的帧率进行摄影(能够通过医疗图像获取部220的控制来进行)，由此能够依次拍摄生物体内的时间序列的图像。
51.《光源装置的结构》
52.如图2所示，光源装置300由照明用的光源310、光圈330、聚光透镜340及光源控制部350等构成，使观察光向光导170入射。光源310具备分别照射红色、绿色、蓝色、紫色的窄带光的红色光源310r、绿色光源310g、蓝色光源310b、及紫色光源310v，能够照射红色、绿色、蓝色、及紫色的窄带光。光源310的观察光的照度由光源控制部350控制，可根据需要变更(提高或降低)观察光的照度以及停止照明。
53.光源310可通过任意的组合发出红色、绿色、蓝色、及紫色的窄带光。例如，既能够同时发出红色、绿色、蓝色、及紫色的窄带光而照射白色光(普通光)作为观察光，也能够通过发出任一种或两种光而照射窄带光(特殊光)。光源310还可以具备照射红外光(窄带光的一例)的红外光源。另外，也可以利用照射白色光的光源、和透射白色光及各窄带光的滤光片，照射白色光或窄带光作为观察光。
54.《光源的波段》
55.光源310可以是产生白色波段的光、或作为白色波段的光产生多个波段的光的光源，也可以是产生比白色的波段窄的特定的波段的光的光源。特定的波段可以是可见范围的蓝色波段或绿色波段、或者可见范围的红色波段。当特定的波段是可见范围的蓝色波段或绿色波段时，可以包含390nm以上450nm以下、或530nm以上550nm以下的波段，而且，在390nm以上450nm以下或530nm以上550nm以下的波段内具有峰波长。另外，当特定的波段是可见范围的红色波段时，可以包含585nm以上615nm以下、或610nm以上730nm以下的波段，而
且，特定的波段的光在585nm以上615nm以下或610nm以上730nm以下的波段内具有峰波长。
56.上述特定的波段的光也可以包含吸光系数在氧化血红蛋白和还原血红蛋白中不同的波段，而且，在吸光系数在氧化血红蛋白和还原血红蛋白中不同的波段具有峰波长。在该情况下，特定的波段可以包含400
±
10nm、440
±
10nm、470
±
10nm、或600nm以上750nm的波段，而且，在400
±
10nm、440
±
10nm、470
±
10nm、或600nm以上750nm以下的波段具有峰波长。
57.另外，光源310所产生的光也可以包含790nm以上820nm以下、或905nm以上970nm以下的波段，而且，在790nm以上820nm以下或905nm以上970nm以下的波段具有峰波长。
58.另外，光源310也可以具备照射峰值为390nm以上470nm以下的激励光的光源。在该情况下，能够获取具有受检体(生物体)内的荧光物质所发出的荧光的信息的医疗图像(医用图像、生物体内图像)。在获取荧光图像时，也可以使用荧光法用色素剂(荧光素、吖啶橙等)。
59.光源310的光源种类(激光光源、氙气光源、led光源(led：light-emitting diode)等)、波长、滤光片的有无等优选根据被摄体的种类、观察目的等来构成，另外在观察时，优选根据被摄体的种类、部位、观察目的等组合和/或切换观察光的波长。在切换波长时，例如可以通过使配置于光源的前方且设有透射或遮蔽特定波长的光的滤光片的圆板状的滤光片(旋转彩色滤光片)旋转来切换所照射的光的波长。
60.另外，实施本发明时所使用的摄像元件并不限定于像摄像元件134那样针对各像素配设有彩色滤光片的彩色摄像元件，也可以是单色摄像元件。在使用单色摄像元件时，可依次切换观察光的波长来按照面顺序(颜色顺序)进行摄像。例如可以在(紫色、蓝色、绿色、红色)之间依次切换出射的观察光的波长，也可以照射宽带光(白色光)并利用旋转彩色滤光片(红色、绿色、蓝色、紫色等)切换所出射的观察光的波长。另外，也可以照射一个或多个窄带光(绿色、蓝色、紫色等)并利用旋转彩色滤光片(绿色、蓝色、紫色等)切换所出射的观察光的波长。窄带光可以是波长不同的两种波长以上的红外光(第一窄带光、第二窄带光)。
61.通过将光导连接器108(参照图1、2)连结于光源装置300，从光源装置300照射的观察光经由光导170传递到照明用透镜123a、123b，并从照明用透镜123a、123b向观察范围照射。
62.《处理器的结构》
63.基于图2说明处理器200的结构。处理器200经由图像输入控制器202输入从内窥镜观测器100输出的图像信号，在图像处理部204(医疗图像处理部、处理器)中进行必要的图像处理，并经由视频输出部206输出。由此在监视器400(显示装置)上显示观察图像(生物体内图像)。这些处理在cpu210(cpu：central processing unit、处理器)的控制下进行。通信控制部205与未图示的医院内系统(his：hospital information system)或医院内lan(local area network)、和/或外部系统或网络之间进行关于医疗图像的获取等的通信控制。
64.《图像处理部的功能》
65.图3是图像处理部204的功能框图。图像处理部204具备医疗图像获取部220(医疗图像获取部、图像获取部)、部位识别部222(部位识别部)、判定部224(判定部)、报知控制部226(报知控制部)、操作接受部227(操作接受部)、移动方向推定部228(移动方向推定部)、记录控制部229(记录控制部)和显示控制部230(显示控制部)。稍后将描述使用这些功能的
处理的细节。
66.图像处理部204利用上述功能能够进行医疗图像的特征量的计算、强调或降低特定的波段的成分的处理、强调或使特定的对象(关注区域、期望深度的血管等)不明显的处理。图像处理部204也可以具备特殊光图像获取部，该特殊光图像获取部基于照射白色波段的光、或作为白色波段的光照射多个波段的光而得到的普通光图像，获取具有特定的波段的信息的特殊光图像。在该情况下，特定的波段的信号可利用基于普通光图像中所包含的rgb(r：红、g：绿、b：蓝)或者cmy(c：蓝绿、m：品红、y：黄)的颜色信息的运算来获得。另外，图像处理部204也可以具备特征量图像生成部，获取并显示作为医疗图像(医用图像)的特征量图像，该特征量图像生成部通过基于照射白色波段的光、或作为白色波段的光照射多个波段的光而得到的普通光图像、和照射特定的波段的光而得到的特殊光图像中的至少一方的运算来生成特征量图像。此外，上述处理在cpu210的控制下执行。
67.《各种处理器的功能的实现》
68.上述图像处理部204的各部的功能可使用各种处理器(processor)及记录介质来实现。在各种处理器中，包括例如通过执行软件(程序)来实现各种功能的通用处理器即cpu(central processing unit)。另外，在上述各种处理器中，也包括专门用于图像处理的处理器即gpu(graphics processing unit)、制造fpga(field programmable gate array)等后可改变电路结构的处理器即可编程逻辑器件(programmable logic device：pld)。在如本发明那样进行图像的学习或识别的情况下，使用了gpu的结构是有效的。而且，具有为了执行asic(application specific integrated circuit)等特定的处理而专门设计的电路结构的处理器即专用电路等也包括在上述各种处理器中。
69.各部的功能可以由一个处理器来实现，也可以由同种或异种的多个处理器(例如，多个fpga、或cpu与fpga的组合、或者cpu与gpu的组合)来实现。另外，还可以用一个处理器来实现多个功能。作为用一个处理器构成多个功能的例子，首先，有诸如以计算机为代表，使用一个以上的cpu与软件的组合构成一个处理器、并将该处理器作为多个功能来实现的形态。其次，有诸如以片上系统(system on chip：soc)等为代表，使用以一个ic(integrated circuit)芯片实现系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种功能。而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件的电路(circuitry)。这些电路也可以是使用逻辑和、逻辑积、逻辑非、异或以及将它们组合的逻辑运算来实现上述功能的电路。
70.在上述处理器或电路执行软件(程序)时，将执行的软件的计算机(例如，构成图像处理部204的各种处理器或电路、和/或它们的组合)可读代码预先存储在rom211(rom：read only memory)等非暂时性记录介质中，计算机参照该软件。预先存储在非暂时性记录介质中的软件包括用于执行本发明所涉及的医疗图像处理装置的动作方法的程序及在执行时所使用的数据(与医疗图像的获取有关的数据、用于报知条件及报知方式的特定的数据、在识别部中使用的参数等)。也可以不将代码存储于rom211，而是将其存储于各种光磁记录装置、半导体存储器等非暂时性记录介质中。在使用了软件进行处理时，例如将ram212(ram：random access memory)用作暂时性存储区域，另外例如也可参照存储于未图示的eeprom(electronically erasable and programmable read only memory)中的数据。也可以将记录部207用作“非暂时性记录介质”。
71.另外，rom211(rom：read only memory)是非易失性的存储元件(非暂时性记录介质)，存储有使cpu210和/或图像处理部204(计算机)执行各种图像处理方法(包括本发明所涉及的医疗图像处理装置的动作方法)的程序的计算机可读取代码。ram212(ram：random access memory)是各种处理时的暂时存储用的存储元件，另外也可用作图像获取时的缓冲器。声音处理部209通过cpu210和图像处理部204的控制，从扬声器209a(报知部、扬声器)输出与医疗图像处理、部位识别、报知等相关的消息(声音)。
72.《操作部》
73.操作部208可由未图示的键盘、鼠标等设备构成，用户可经由操作部208(操作接受部)进行医疗图像处理的执行指示或执行所需的条件(例如，后述的报知条件及报知方式的设定)的指定。经由操作部208的操作中包括报知条件及报知方式的设定(参照图8)、表示关于应拍摄的多个部位的医疗图像的获取结束了的操作。上述的操作接受部227接受经由操作部208的用户操作，根据所接受的操作在cpu210和图像处理部204的各部中进行处理。
74.《记录在记录部中的信息》
75.如图4所示，在记录部207(记录装置、存储器、非暂时性记录介质)中记录有内窥镜图像260(内窥镜图像、医疗图像、医用图像)、部位信息262(部位信息；表示被摄体中的应拍摄的多个部位的信息)、部位识别结果264(医疗图像中拍摄的被摄体的部位的识别结果)、判定结果266(应拍摄的多个部位中未拍摄的部位的判定结果)等。此外，部位信息262可以是图像的格式，也可以是由文字或数字构成的列表格式(例如，“胸部食道1”、“胃体中部b”、“胃角部小弯侧”)等其他格式。
76.《基于神经网络的识别部》
77.在第一实施方式中，部位识别部222可使用神经网络等已学习模型(使用由拍摄生物体而得到的图像构成的图像组进行了学习的模型)来构成。以下，对使用cnn(convolutional neural network)作为神经网络进行多类别分类(各类别对应于不同的部位)时的结构进行说明。
78.《识别部的结构例》
79.图5是表示cnn232(神经网络)的结构的图。在图5的(a)部分所示的例子中，cnn232包括输入层232a(输入部)、中间层232b及输出层232c。输入层232a输入医疗图像获取部220获取的内窥镜图像(医疗图像)并输出特征量。中间层232b包括卷积层234和池化层235，通过输入从输入层232a输出的特征量来计算其他特征量。这些层形成为通过“边缘”连接了多个“节点”的构造，应用于输入的图像的权重系数与节点及边缘相关联，并存储在未图示的权重系数存储部中。权重系数的值随着学习的进行而变化。
80.《中间层中的处理》
81.中间层232b通过卷积运算和池化处理来计算特征量。在卷积层234中进行的卷积运算是通过使用了滤光片的卷积运算来获取特征图的处理，承担从图像中提取边缘等特征提取的作用。通过使用了该滤光片的卷积运算，对1个滤光片生成1通道(1幅)的“特征图”。“特征图”的尺寸在通过卷积被缩小(downscaling)时，随着在各层进行卷积而变小。在池化层235中进行的池化处理是将通过卷积运算输出的特征图缩小(或放大)而获得新的特征图的处理，承担提供鲁棒性以防止所提取的特征受到平行移动等的影响的作用。中间层232b可由进行这些处理的一层或多层来构成。此外，cnn232也可以构成为没有池化层235。
82.cnn232也可以如图5的(b)部分所示的例子那样包含全连接层236。cnn232的层结构不限于卷积层234和池化层235一层一层地重复的情况，也可以连续包含多个任意一层(例如，卷积层234)。
83.图6是表示图5所示的cnn232的中间层232b的结构例的示意图。在中间层232b的最初(第一)卷积层中，进行由多个医疗图像构成的图像组(学习时为学习用图像组，部位识别时为部位识别用图像组)与滤光片f1的卷积运算。图像组由具有高h、宽w的图像尺寸的n幅(n通道)图像构成。在输入普通光图像的情况下，构成图像组的图像是r(红色)、g(绿色)、b(蓝色)这三个通道的图像。与该图像组进行卷积运算的滤光片f1由于图像组是n通道(n幅)，所以例如在尺寸为5(5
×
5)的滤光片的情况下，滤光片尺寸成为5
×5×
n的滤光片。利用使用了该滤光片f1的卷积运算，对1个滤光片f1生成1通道(1幅)的“特征图”。用于第二卷积层的滤光片f2例如在尺寸为3(3
×
3)的滤光片的情况下，滤光片尺寸成为3
×3×
m。
84.与第一卷积层同样地，在第二至第n卷积层，进行使用了滤光片f2～fn的卷积运算。第n卷积层中的“特征图”的尺寸比第二卷积层中的“特征图”的尺寸小，这是因为利用到前段为止的卷积层或池化层进行缩小。
85.在中间层232b的层中，在靠近输入侧的卷积层中进行低阶特征提取(边缘提取等)，随着靠近输出侧进行高阶特征提取(与识别对象的形状、结构等相关的特征提取)。
86.此外，除了卷积层234和池化层235之外，中间层232b还可以包括进行批量归一化(batch normalization)的层。批量归一化处理是在进行学习时以小批次为单位对数据的分布进行归一化的处理，并且起到使学习快速进行、降低对初始值的依赖性、抑制过度学习等作用。
87.输出层232c以符合部位识别的格式输出中间层232b计算出的特征量。输出层232c也可以包括全连接层。
88.《医疗图像处理方法的各处理》
89.图7是表示第一实施方式所涉及的医疗图像处理方法(医疗图像处理装置的动作方法)的处理的概要的流程图。此外，设为已执行使用了学习用数据的cnn232的学习。
90.《报知条件及报知方式的设定》
91.图像处理部204(报知控制部226)根据经由操作部208的用户操作来设定报知条件及报知方式(步骤s100：报知条件设定工序、报知方式设定工序)。用户可经由图8所例示的画面700(显示在监视器400上)进行设定操作。
92.画面700具有配置有单选按钮的区域702～712、配置有下拉菜单的区域714、以及配置有数值输入栏的区域716。用户可通过操作单选按钮来设定是否进行报知(开启或关闭；区域702)。另外用户可通过单选按钮的操作来设定“是否进行报知”(区域702)、“是否进行基于画面显示的报知”(区域704)、“是否在初始状态下显示报知用的画面”(区域706；参照图10、11的例子)、“是否进行基于声音输出(声音信号)的报知”(区域708)。而且，用户可通过单选按钮的操作来设定“是否在切换医疗图像中映现的被摄体的脏器的定时进行报知”(区域710)和“是否在拍摄到预先确定的部位(所谓的“界标”)处的被摄体的医疗图像的定时进行报知”(区域712)。另外，用户在区域712的单选按钮开启的情况下，可通过区域714的下拉菜单的操作来选择设为界标的部位。在图8的例子中，作为界标选择了“食道胃结合部(egj：esophaogastric junetion)”，但界标也可以是其他部位(例如，咽喉)。
93.上述的“切换医疗图像中映现的被摄体的脏器的定时”以及“拍摄到预先确定的部位处的被摄体的医疗图像的定时”是本发明中的“期待结束定时”(期待关于应拍摄的多个部位的医疗图像的获取结束了的定时)的一例。
94.而且，用户可通过在区域716输入数值来设定“从开始报知到结束为止(从报知状态到切换为非报知状态为止)的经过时间”(“预先指定的时间”)。报知控制部226在经过了输入到区域716的时间(秒数)之后，将监视器400和/或扬声器209a进行的报知从报知状态切换为非报知状态(使报知停止或结束)。在图8的例子中，从报知开始到结束为止为1.0秒。数值输入也可以是从下拉菜单中选择已确定的数值的方式。通过这种向非报知状态的切换，可根据用户的需要使辅助结束而抑制过度的辅助。此外，报知控制部226也可以在除了报知结束以外或者代替报知结束而在经过指定的时间之后使报知力降低(减小)。
95.这样，在内窥镜系统10(医疗图像处理装置、内窥镜系统)中，用户能够根据需要设定报知条件及报知方式，报知控制部226根据设定内容进行报知(辅助)，由此能够抑制过度的报知。此外，上述例子是设定的一例，也可以设定其他项目(基于光或振动的报知等)。另外，报知条件及报知方式的设定不仅可以在医疗图像处理开始时进行，也可以在处理期间在任意的定时进行。而且，也可以不通过用户的操作而由内窥镜系统10自动地进行报知条件及报知方式的设定。
96.《内窥镜图像的获取》
97.医疗图像获取部220获取时间序列的内窥镜图像(医疗图像)(步骤s110：图像获取工序)。医疗图像获取部220可以获取由内窥镜观测器100拍摄的内窥镜图像，也可以获取记录在记录部207中的内窥镜图像260。在医疗图像获取部220获取由内窥镜观测器100拍摄的内窥镜图像的情况下，记录控制部229能够将所获取的图像作为内窥镜图像260记录在记录部207中。
98.《拍摄部位的识别》
99.部位识别部222(部位识别部、处理器)使用上述的cnn232，识别在步骤s110中获取的内窥镜图像中映现的被摄体的部位(已拍摄的部位)(步骤s120：部位识别工序)。作为部位，例如在食道的情况下，可举出颈部食道、胸部食道、腹部食道。可以将胸部食道进一步分为胸部上部食道、胸部中部食道、胸部下部食道。另外，在胃的情况下，可举出贲门部、穹窿部(胃底部)、胃体部、胃角部、前庭部、幽门前部、幽门环。可以将胃体部进一步区分为上部、中部、下部。另外，也可以在周向上区分为小弯、前壁、大弯、后壁。
100.部位识别部222(处理器)也可以在满足以下情况中的至少一个的情况下判断为“识别到部位”：特定的被摄体在内窥镜图像(医疗图像)中持续映现了确定的时间以上的情况；特定的被摄体映现于内窥镜图像的确定的区域(例如中央)中的情况；特定的被摄体以确定的大小以上的大小被拍摄在内窥镜图像中的情况；以及特定的被摄体在内窥镜图像中处于确定的对焦程度以上的情况。
101.《已拍摄部位的记录》
102.记录控制部229将已拍摄部位的信息(部位识别结果)作为部位识别结果264记录在记录部207中(步骤s130：识别结果记录工序)。优选记录控制部229将部位识别结果与内窥镜图像相关联地进行记录。记录控制部229可以以上述列表格式记录部位识别结果。
103.《未拍摄部位的判定》
104.判定部224对在步骤s130中识别到的部位(部位识别结果264)和部位信息262所表示的部位进行比较，判定应拍摄的多个部位中未拍摄的部位(未拍摄部位)(步骤s140：判定工序)。判定部224例如能够判定有无未拍摄部位、和/或哪个部位未拍摄。判定部224可以在每获取一个或多个图像时进行判定，也可以在每经过指定的时间时进行判定。
105.《期待结束定时的判定结果的报知》
106.报知控制部226判断期待关于应拍摄的多个部位的内窥镜图像(医疗图像)的获取结束了的期待结束定时是否到来(步骤s150：报知工序)。例如，可将识别结果中作为观察对象的部位从一个脏器转变到另一脏器的定时(例如，从食道转变到胃的定时；在图8的例子中在区域710中设定)、获取预先确定的部位处的被摄体的医疗图像的定时(获取到界标的图像的定时；在图8的例子中在区域712、714中设定)设为期待结束定时。另外，也可以将接受了表示关于所确定的范围的拍摄结束的用户操作的定时(操作接受部227接受了经由操作部208的用户操作的定时)、即用户识别到“拍摄完成”的定时设为“期待结束定时”。另外，报知控制部226除了这些例子以外，也可以根据所确定的拍摄张数或拍摄时间的期满来判断期望结束定时的到来。此外，也可以在“期待结束定时”中只要期待内窥镜图像的获取结束(只要有可能性)即可，获取实际上并未结束。
107.此外，也可以是移动方向推定部228(移动方向推定部)例如基于被摄体的运动矢量来推定内窥镜观测器100的移动方向(插入或拔出)，将移动方向从插入(前进方向)变化为拔出(后退方向)的定时设为“期待结束定时”。另外，也可以将用户使内窥镜观测器100的顶端部分的朝向反转而进行所谓的“仰视”的定时(在内窥镜图像中映现出内窥镜观测器100的定时)设为“期待结束定时”。
108.报知控制部226在期待结束定时已到来的情况下(在步骤s150中为yes)，通过监视器400(报知部、显示器)和/或扬声器209a(报知部、扬声器)报知判定结果(步骤s160：报知工序)。报知方式遵循在步骤s100中设定的内容(参照图8的例子)。图9是表示关于胃的报知的例子的图。图9的(a)部分是表示观察开始前(所有部位均未观察)的状态的图，表示胃的简图(示意图)的图像800的整个区域都没有着色(阴影)。另一方面，该图的(b)部分是表示在期待结束定时的报知状态的图，在图像802中已观察的部位(穹窿(fornix)部、胃体部、前庭部、幽门前部、胃角部大弯侧)被着色显示，未观察的部位(胃角部小弯侧)未着色。另外，附加了包围未观察的部位的记号(圆圈804)。脏器(食道、胃等)的简图可以是三维模型，也可以是展开图。
109.此外，报知控制部226也可以在通常观察时的简图上事先进行着色且在报知时对已观察的部位不进行着色(或者使颜色变淡)。另外，也可以在已观察的部位和未观察的部位改变颜色，或者在报知的定时改变颜色，或者使未观察部位闪烁。
110.图10是表示在监视器400(显示器)上的显示例的图。图10的(a)部分表示通常观察时(期待结束定时未到来的状态)的状态，仅显示内窥镜图像810(通常的观察图像)。另一方面，该图的(b)部分表示在期待结束定时的报知状态，显示重叠显示有表示未观察部位的图像802(参照图9)的内窥镜图像812。此外，报知控制部226也可以将图像802显示在与内窥镜图像不同的画面上。
111.在图10所示的方式中，报知控制部226使在进行报知之前未进行画面显示的信息(图像802)进行新的画面显示，但也可以除了画面显示或代替画面显示，使在进行报知之前
未进行声音输出的声音从扬声器209a进行新的输出。报知控制部226例如在存在未拍摄部位的情况下，可通过在报知时输出嘟嘟声那样的警告声、或“未拍摄到胃角部小弯侧”那样的表示未拍摄部位的声音来进行报知。
112.在内窥镜系统10中，用户能够根据这样的表示未拍摄(观察遗漏)的报知来操作内窥镜观测器100，对未拍摄部位进行拍摄(观察)，因此能够防止观察遗漏。另外，由于在内窥镜系统10中在适当的定时(期待结束定时)进行报知，因此不可能妨碍观察。
113.此外，在通过步骤s152中的判定不存在未拍摄部位的情况下，报知控制部226优选以与存在未拍摄部位的情况不同的方式进行报知，例如将简图全部用相同的颜色着色、用圆圈包围简图整体等(画面显示时)、输出“没有未拍摄部位”这样的声音等。报知控制部226也可以在没有未拍摄部位的情况下与有未拍摄部位的情况相比降低报知力(例如，减小简图、降低音量等)。
114.cpu110和图像处理部204反复进行步骤s110～s160的处理，直到观察结束为止(在步骤s170中为no的期间)。
115.如以上所作说明，根据本发明所涉及的医疗图像处理装置、医疗图像处理装置的动作方法以及内窥镜系统，能够在适当的定时报知观察遗漏。
116.《报知方式的变形例》
117.在图10所示的方式中，在通常观察时未重叠显示胃的简图(图像802)(通常观察时的画面显示关闭；在图8的区域706中关闭了单选按钮的状态)，但如图11的(a)部分所示，也可以在通常观察时也重叠显示简图(例如图9所示的图像800)(通常观察时的图像显示开启)。报知控制部226如图11的(b)部分所示，在报知时(期待结束定时)使图像802在监视器400的画面上闪烁。图11所示的方式是通过变更已经在监视器400(显示器)上进行画面显示的信息(图像800)的显示方式来进行报知的方式。
118.报知控制部226也可以除了信息的画面显示以外或者代替信息的画面显示，通过变更已经从扬声器209a输出的声音的输出方式来进行报知。报知控制部226例如可通过改变通常观察时输出的声音和期待结束定时的声音的内容(消息的内容)、音量、声音的高低、模式等来增大报知力。
119.图11的(c)部分表示通常观察时的情况(有图像800的显示；在图标816上附加有叉号，没有声音输出)，该图的(d)部分表示报知时的情况(图像802的闪烁和声音输出；显示有图标818)。
120.《处理步骤的变形例》
121.在图7所示的方式中，在期待结束定时以外也继续判定未拍摄部位，但如图12所示，判定部224也可以在期待结束定时(例如，接受了用户的指示的定时、观察脏器发生了改变的定时、获取到界标的图像的定时)进行未拍摄部位的判定(步骤s152：判定工序)。此外，图12的流程图除了步骤s152以外与图7相同，因此省略对相同部分的说明。
122.另外，考虑到“使报知不妨碍观察或诊断”，也可以如图13所示，在从报知起经过了一定时间后，报知控制部226使报知力降低(包括报知的结束)(步骤s162、s164：报知工序，参照图8的区域716)。
123.《部位识别方法的变形例》
124.在上述的第一实施方式中，对部位识别部222使用cnn进行部位识别的情况进行了
说明，但部位识别不限于cnn，也可使用支持向量机(svm：support vector machine)、k-近邻法(k-nn：k-nearest neighbor)等一般的基于有监督学习的多类别分类方法。
125.(附记)
126.除了上述实施方式及变形例以外，以下记载的结构也包含在本发明的范围内。
127.(附记1)
128.一种医疗图像处理装置，其中，
129.医疗图像分析处理部基于医疗图像的像素的特征量，检测作为应关注区域的关注区域，
130.医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
131.(附记2)
132.一种医疗图像处理装置，其中，
133.医疗图像分析处理部基于医疗图像的像素的特征量，检测有无应关注对象，
134.医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
135.(附记3)
136.一种医疗图像处理装置，其中，
137.医疗图像分析结果获取部从进行记录的记录装置获取医疗图像的分析结果，
138.分析结果是医疗图像中所包含的作为应关注区域的关注区域、和有无应关注对象中的任一方或双方。
139.(附记4)
140.一种医疗图像处理装置，其中，
141.医疗图像是通过照射白色波段的光、或作为白色波段的光照射多个波段的光而得到的普通光图像。
142.(附记5)
143.一种医疗图像处理装置，其中，
144.医疗图像是通过照射特定的波段的光而得到的图像，
145.特定的波段是比白色波段窄的波段。
146.(附记6)
147.一种医疗图像处理装置，其中，
148.特定的波段是可见范围的蓝色或绿色波段。
149.(附记7)
150.一种医疗图像处理装置，其中，
151.特定的波段包括390nm以上450nm以下或530nm以上550nm以下的波段，并且，特定的波段的光在390nm以上450nm以下或530nm以上550nm以下的波段内具有峰波长。
152.(附记8)
153.一种医疗图像处理装置，其中，
154.特定的波段是可见范围的红色波段。
155.(附记9)
156.一种医疗图像处理装置，其中，
157.特定的波段包括585nm以上615nm以下或610nm以上730nm以下的波段，并且，特定
的波段的光在585nm以上615nm以下或610nm以上730nm以下的波段内具有峰波长。
158.(附记10)
159.一种医疗图像处理装置，其中，
160.特定的波段包括氧化血红蛋白与还原血红蛋白中的吸光系数不同的波段，并且，特定的波段的光在氧化血红蛋白与还原血红蛋白中的吸光系数不同的波段具有峰波长。
161.(附记11)
162.一种医疗图像处理装置，其中，
163.特定的波段包括400
±
10nm、440
±
10nm、470
±
10nm、或600nm以上750nm以下的波段，并且，特定的波段的光在400
±
10nm、440
±
10nm、470
±
10nm、或600nm以上750nm以下的波段具有峰波长。
164.(附记12)
165.一种医疗图像处理装置，其中，
166.医疗图像是拍摄了生物体内的生物体内图像，
167.生物体内图像具有生物体内的荧光物质发出的荧光的信息。
168.(附记13)
169.一种医疗图像处理装置，其中，
170.荧光是通过向生物体内照射峰值为390以上470nm以下的激励光而得到的。
171.(附记14)
172.一种医疗图像处理装置，其中，
173.医疗图像是拍摄了生物体内的生物体内图像，
174.特定的波段是红外光的波段。
175.(附记15)
176.一种医疗图像处理装置，其中，
177.特定的波段包括790nm以上820nm以下或905nm以上970nm以下的波段，并且，特定的波段的光在790nm以上820nm以下或905nm以上970nm以下的波段具有峰波长。
178.(附记16)
179.一种医疗图像处理装置，其中，
180.医疗图像获取部具备特殊光图像获取部，该特殊光图像获取部基于通过照射白色波段的光、或作为白色波段的光照射多个波段的光而得到的普通光图像，获取具有特定的波段的信息的特殊光图像，
181.医疗图像是特殊光图像。
182.(附记17)
183.一种医疗图像处理装置，其中，
184.特定的波段的信号是通过基于普通光图像中所包含的rgb或者cmy的颜色信息的运算而得到的。
185.(附记18)
186.一种医疗图像处理装置，其中，
187.具备特征量图像生成部，其通过基于照射白色波段的光、或作为白色波段的光照射多个波段的光而得到的普通光图像、和照射特定的波段的光而得到的特殊光图像中的至
少一方的运算，生成特征量图像，
188.医疗图像是特征量图像。
189.(附记19)
190.一种内窥镜装置，其中，具备：
191.附记1至18中任一项所述的医疗图像处理装置；以及
192.内窥镜，其通过照射白色波段的光、或特定的波段的光中至少任一个获取图像。
193.(附记20)
194.一种诊断辅助装置，其中，
195.具备附记1至18中任一项所述的医疗图像处理装置。
196.(附记21)
197.一种医疗业务辅助装置，其中，
198.具备附记1至18中任一项所述的医疗图像处理装置。
199.以上对本发明的实施方式及其他例进行了说明，但本发明并不限定于上述方式，可以在不脱离本发明的精神的范围内进行各种变形。
200.符号说明
201.10 内窥镜系统
202.100 内窥镜观测器
203.102 手边操作部
204.104 插入部
205.106 通用电缆
206.108 光导连接器
207.112 软性部
208.114 弯曲部
209.116 顶端硬质部
210.116a 顶端侧端面
211.123 照明部
212.123a 照明用透镜
213.123b 照明用透镜
214.126 钳道口
215.130 摄影光学系统
216.132 摄影透镜
217.134 摄像元件
218.136 驱动电路
219.138 afe
220.141 供气供水按钮
221.142 吸引按钮
222.143 功能按钮
223.144 拍摄按钮
224.170 光导
225.200 处理器
226.202 图像输入控制器
227.204 图像处理部
228.205 通信控制部
229.206 视频输出部
230.207 记录部
231.208 操作部
232.209 声音处理部
233.209a 扬声器
234.210 cpu
235.211 rom
236.212 ram
237.220 医疗图像获取部
238.222 部位识别部
239.224 判定部
240.226 报知控制部
241.227 操作接受部
242.228 移动方向推定部
243.229 记录控制部
244.230 显示控制部
245.232a 输入层
246.232b 中间层
247.232c 输出层
248.234 卷积层
249.235 池化层
250.236 全连接层
251.260 内窥镜图像
252.262 部位信息
253.264 部位识别结果
254.266 判定结果
255.300 光源装置
256.310 光源
257.310b 蓝色光源
258.310g 绿色光源
259.310r 红色光源
260.310v 紫色光源
261.330 光圈
262.340 聚光透镜
263.350 光源控制部
264.400 监视器
265.700 画面
266.702 区域
267.704 区域
268.706 区域
269.708 区域
270.710 区域
271.712 区域
272.714 区域
273.716 区域
274.800 图像
275.802 图像
276.804 圆圈
277.810 内窥镜图像
278.812 内窥镜图像
279.816 图标
280.818 图标
281.f1 滤光片
282.f2 滤光片
283.s100～s170 医疗图像处理装置的动作方法的各步骤