计算机程序、学习模型的生成方法、图像处理装置、以及手术辅助系统与流程

1.本发明涉及计算机程序、学习模型的生成方法、图像处理装置、以及手术辅助系统。


背景技术：

2.进行如下内窥镜外科手术：在身体打3mm～10mm左右的多个小孔，以到达腹腔，胸腔，并且在不切开身体下从其孔插入内窥镜、手术器械进行手术。作为执行内窥镜外科手术的技术，提出如下手术系统：在显示器中观察由内窥镜获取的图像的同时，能够用医疗机械手操作手术器械进行外科处置(例如，参照专利文献1。)。
3.现有技术文献
4.专利文献
5.专利文献1：特表2013-531538公报


技术实现要素：

6.发明要解决的问题
7.在外科手术中，在进行处置方面，重要的是将对象脏器展开为适合其处置的状态。然而，在内窥镜手术中，由于很难把握脏器的整体像，另外，缺乏触觉，因此难以判断将脏器向哪个方向牵拉到什么程度，才达到处置最佳的状态。
8.本发明是鉴于这种背景而做的，其目的在于提供能够容易把握手术对象的状态的技术。
9.用于解决问题的方案
10.在用于解决上述问题的本发明的主要发明中，使计算机执行如下处理：获取拍摄内窥镜手术的术野得到的术野图像，并且对以在输入术野图像的情况下，输出有关保留脏器与切除脏器之间的结缔组织的信息的方式进行学习的学习模型，输入所获取的术野图像，获取有关该术野图像所包含的结缔组织的信息，基于从所述学习模型获取的信息，输出在处理保留脏器与切除脏器之间的结缔组织时的导航信息。
11.发明效果
12.根据本发明，能够容易把握手术对象的状态。
附图说明
13.图1是对利用本实施方式的手术辅助系统的手术进行说明的图。
14.图2是对本实施方式的手术辅助系统的概略进行说明的概念图。
15.图3是示出图像处理装置的硬件结构例的图。
16.图4是示出图像处理装置的软件结构例的图。
17.图5是对本实施方式的手术辅助系统中的学习处理流程进行说明的图。
18.图6是对本实施方式的手术辅助系统中的分数的输出处理流程进行说明的图。
19.图7是示出疏松结缔组织的展开处置的分数的显示例的图。
20.图8是示出疏松结缔组织的展开处置的分数的显示例的图。
21.图9是示出疏松结缔组织的展开处置的分数的显示例的图。
22.图10是示出血管的牵拉的分数的显示例的图。
23.图11是示出血管的牵拉的分数的显示例的图。
24.图12是示出血管的牵拉的分数的显示例的图。
25.图13是示出实施方式2中的术野图像的一个例子的示意图。
26.图14是示出学习模型的结构例的示意图。
27.图15是示出来自学习模型的识别结果的示意图。
28.图16是对学习模型的生成过程进行说明的流程图。
29.图17是对由实施方式2中的图像处理装置在运用阶段中执行处理的步骤进行说明的流程图。
30.图18是示出实施方式2中的显示例的示意图。
31.图19是示出需要展开操作的术野图像的一个例子的示意图。
32.图20是示出有关展开操作的导航信息的输出例的图。
33.图21是示出有关切断操作的导航信息的输出例的图。
34.图22是对由实施方式3中的图像处理装置在运用阶段中执行处理的步骤进行说明的流程图。
35.图23是对实施方式4中的学习模型的结构进行说明的示意图。
36.图24是对由实施方式4中的图像处理装置在运用阶段中执行处理的步骤进行说明的流程图。
37.图25是对实施方式5中的学习模型的结构进行说明的示意图。
38.图26是对正确答案数据的创建步骤进行说明的说明图。
39.图27是对由实施方式5中的图像处理装置在运用阶段中执行处理的步骤进行说明的流程图。
40.图28是示出切断部位的显示例的示意图。
41.图29是对实施方式6中的学习模型的结构进行说明的示意图。
42.图30是对由实施方式6中的图像处理装置执行处理的步骤进行说明的流程图。
43.图31是对处理对象区域的状态进行说明的说明图。
44.图32是对处理对象区域的状态进行说明的说明图。
45.图33是对处理对象区域的状态进行说明的说明图。
46.图34是对实施方式8中的学习模型进行说明的说明图。
47.图35是对由实施方式8中的图像处理装置执行处理的步骤进行说明的流程图。
具体实施方式
48.＜发明的概要＞
49.对本发明的实施方式的内容进行列举说明。本发明例如具备如下结构。
50.[项目1]
[0051]
一种手术辅助系统，其是辅助手术的系统，具备：
[0052]
解剖状态获取部，其获取示出所述手术中的解剖状态的信息；
[0053]
分数计算部，其基于所述信息，决定所述解剖状态的分数；以及
[0054]
分数输出部，其输出基于所述分数的信息。
[0055]
[项目2]
[0056]
在项目1所述的手术辅助系统中，
[0057]
所述解剖状态包含多个脏器的相关性。
[0058]
[项目3]
[0059]
在项目1或2所述的手术辅助系统中，
[0060]
所述解剖状态示出适合针对手术对象的处置的状态即程度。
[0061]
[项目4]
[0062]
在项目1至3中任一项所述的手术辅助系统中，
[0063]
所述信息至少包含拍摄术野的图像。
[0064]
[项目5]
[0065]
在项目4所述的手术辅助系统中，
[0066]
所述图像包含可见图像、红外线图像、以及深度图中的至少任一个。
[0067]
[项目6]
[0068]
在项目1至5中任一项所述的手术辅助系统中，
[0069]
所述分数计算部根据手术对象的面积的大小决定所述分数。
[0070]
[项目7]
[0071]
在项目1至5中任一项所述的手术辅助系统中，
[0072]
所述分数计算部根据手术对象的变形程度决定所述分数。
[0073]
[项目8]
[0074]
在项目1至5中任一项所述的手术辅助系统中，
[0075]
所述分数计算部根据包含手术对象的色彩的信息决定所述分数。
[0076]
[项目9]
[0077]
在项目1至8中任一项所述的手术辅助系统中，
[0078]
所述分数输出部将所述分数显示于手术监视器上。
[0079]
[项目10]
[0080]
在项目3所述的手术辅助系统中，
[0081]
所述分数输出部根据所述分数显示是否适合所述处置。
[0082]
[项目11]
[0083]
在项目1至10中任一项所述的手术辅助系统中，
[0084]
所述分数输出部在所述分数的变化量变为规定值以上的情况下输出所述分数。
[0085]
[项目12]
[0086]
项目1至11中任一项所述的手术辅助系统，
[0087]
还具备可处置区域显示部，其将表示手术对象的可处置区域的标识重叠并显示于手术监视器上。
[0088]
[项目13]
[0089]
在项目12所述的手术辅助系统中，
[0090]
所述可处置区域显示部利用所述标识显示所述分数。
[0091]
[项目14]
[0092]
在项目12或13所述的手术辅助系统中，
[0093]
所述标识显示所述可处置区域的大致外边缘。
[0094]
[项目15]
[0095]
在项目1至14中任一项所述的手术辅助系统中，
[0096]
针对手术对象的处置，至少包含切除、剥离、缝合、结扎或者吻合中任一项。
[0097]
[项目16]
[0098]
在项目3、6、7、8、12、13、14或者15所述的手术辅助系统中，
[0099]
所述手术对象是疏松结缔组织。
[0100]
(实施方式1)
[0101]
＜概要＞
[0102]
以下，对本发明的一个实施方式的手术辅助系统1进行说明。本实施方式的手术辅助系统1，例如辅助如内窥镜手术、机器人手术那样通过远程操作进行的手术。
[0103]
图1是对本实施方式的手术辅助系统1的手术进行说明的图。如图1所示，在本实施方式中，设想对保留脏器2保留，并且对切除脏器3切除。
[0104]
如图1所示，由于固有脉管6穿过切除脏器3，固有脉管6存在于结缔组织4内，因此为了进行固有脉管6的处置，需要切开结缔组织4。但是，为了不使保留脏器2、切除脏器3、固有脉管6其他活体组织受到损伤，最好是在使结缔组织4伸长的状态下切开，但若过度伸长，则也会在连接结缔组织4的保留脏器2其他活体组织发生裂伤。于是，在本实施方式的手术辅助系统1中，预先，通过接收医生等的判断的输入并学习，所述判断是关于结缔组织4的拉伸状态对于执行切口等处置的适合程度的判断，从而能够根据图像计算出示出结缔组织4的状态适合处置的程度(能够对结缔组织4安全地进行切除等工作的程度)的分数。另外，在手术过程中，根据术野的图像，计算出分数并显示于监视器，从而辅助进行结缔组织4的处置的医生110(以下，也称为操作人员110)。此外，在本实施方式中，作为处置，主要设想为切除，但处置除了切除以外，也可以是剥离、缝合、夹闭等结扎、或者吻合等。
[0105]
作为切除脏器3，具有例如胃、大肠、食道，胰腺、肺、前列腺、卵巢等。切除脏器3是胃的情况下，作为保留脏器2，为例如胰腺、横结肠系膜等。切除脏器3是大肠的情况下，作为保留脏器2，为例如输尿管、细动静脉、精囊、盆腔神经丛等。切除脏器3是食道的情况下，作为保留脏器2，为例如气管、喉返神经等。切除脏器3是胰腺的情况下，作为保留脏器2，为例如左肾静脉等。切除脏器3是肺的情况下，作为保留脏器2，为例如喉返神经、主动脉、食道等。切除脏器3是前列腺的情况下，作为保留脏器2，为例如直肠。
[0106]
在保留脏器2与切除脏器3之间存在结缔组织4(疏松结缔组织)。血液从主要脉管5经由固有脉管6流到切除脏器3，在对切除脏器3进行切除时，需要进行固有脉管6的处置，首先切除结缔组织4，使固有脉管6暴露，使得固有脉管6的处置容易进行。在此，保留脏器2是胃的情况下，主要脉管5中有例如肝动脉、腹腔动脉等，固有脉管6中具有例如左胃动脉等。保留脏器2是大肠的情况下，主要脉管5中有例如门静脉、主动脉等，固有脉管6中有例如回结肠动静脉、肠系膜下动脉等。保留脏器2是食道的情况下，主要脉管5中有例如主动脉。保
留脏器2是胰腺的情况下，主要脉管5中有例如门静脉、肠系膜上动脉等，固有脉管6中有ipda等。保留脏器2是肺的情况下，主要脉管5中有例如气管、肺动脉、肺静脉等，固有脉管6例如是主要脉管5固有分支。
[0107]
在本实施方式的手术辅助系统1中，获取示出解剖状态的信息，决定其解剖状态适合处置的程度(分数)，并输出分数。解剖状态中例如包含多个脏器之间的关系(例如，保留脏器2与切除脏器3之间的距离等)、脏器的状态(例如，保留脏器2和/或切除脏器3的状态)、连接多个组织的疏松结缔组织4的状态(伸缩的状态、拉伸状态等)等。在本实施方式中，作为一个例子，对切除脏器3进行切除时，切除脏器3被牵拉以从保留脏器2分离，拉伸到不裂伤的程度，从而判定是否适合切除。解剖状态的分数是能够预先由经验丰富的医生根据手术视频图像判断出解剖状态的分数，并根据机器学习的方法，学习由医生判断出的结果。
[0108]
＜系统结构＞
[0109]
图2是对本实施方式的手术辅助系统1的概略进行说明的概念图。此外，图的结构是一个例子，也可以包含这些以外的要素。
[0110]
在手术辅助系统1中，手术对象(患者100)放置于手术单元10，患者100的术野被摄像头21(例如，插入腹部。)拍摄。由摄像头21拍摄的图像被传送到控制单元22，从控制单元22输出的图像显示于主监视器23。在本实施方式的手术辅助系统1中，图像处理装置30从控制单元22获取术野的图像，解析该图像并将解剖状态的分数输出到副监视器31。
[0111]
＜硬件＞
[0112]
图像处理装置30既可以是例如工作站、个人计算机那样的通用计算机，或者也可以通过云计算在逻辑上实现。另外，图像处理装置30也可以是fpga(field programmable gate array)等逻辑电路。图3是示出图像处理装置30的硬件结构例的图。图像处理装置30具备cpu301、存储器302，存储装置303、通信接口304、输入装置305、输出装置306。存储装置303是存储各种数据、程序的、例如硬盘驱动器、固态驱动器、闪存器等。通信接口304是用于与通信网络连接的接口，例如是用于与以太网(注册商标)连接的适配器、用于与公用电话网连接的调制解调器、用于进行无线电通信的无线电通信设备、用于串行通信的usb(universal serial bus)连接器、rs232c连接器等。输入装置305是输入数据的、例如键盘、鼠标、触摸面板、非接触式面板、按键、麦克风等。输出装置306是输出数据的、例如显示器、打印机、扬声器等。
[0113]
＜软件＞
[0114]
图4是示出图像处理装置30的软件结构例的图。图像处理装置30具备影像获取部311、解剖状态获取部312、可处置区域显示部313、学习处理部314、分数计算部315、分数输出部316、模型存储部331。
[0115]
此外，在图像处理装置30中，影像获取部311、解剖状态获取部312、可处置区域显示部313、学习处理部314、分数计算部315、分数输出部316，能够通过将图像处理装置30所具备的cpu301存储于存储装置303的程序向存储器302读出并执行而实现，模型存储部331能够作为图像处理装置30所具备的存储器302以及存储装置303所具备的存储区域的一部分而实现。
[0116]
影像获取部311获取由摄像头21拍摄的术野的图像。在本实施方式中，影像获取部311获取从控制单元22输出的由摄像头21拍摄的视频图像。
[0117]
解剖状态获取部312获取术野的解剖状态。在本实施方式中，解剖状态获取部312能够对由影像获取部311获取的图像进行解析，并识别脏器、结缔组织、血管等活体组织，例如能够获取每个活体组织的特征量。
[0118]
可处置区域显示部313输出示出预先设定的处置的对象组织(在本实施方式中设想为结缔组织)的图形。可处置区域显示部313例如变更由解剖状态获取部312识别的活体组织中预设的处置对象组织(例如，结缔组织)的色彩，或者提取轮廓并重叠显示于图像。另外，可处置区域显示部313也能够仅在由下述的分数计算部315计算出的分数为阈值以上的情况下，输出处置对象组织。
[0119]
学习处理部314学习与解剖状态相应的分数。在学习处理部314中，例如接收从观看由影像获取部311获取的图像的医生，对处置对象组织的状态适合处置的程度的分数(例如，能够设定5分满分、10分满分、100分满分等任意的幅度。)的输入，将所输入的分数作为教师信号，将根据该图像解析的解剖状态(活体组织的特征量)作为输入信号，例如能够利用神经网络等机器学习方法进行学习。此外，作为输入信号所提供的特征量，不限于处置对象组织，例如，也可以采用保留脏器2、切除脏器3、主要脉管5、以及固有脉管6等。即，例如，能够包含保留脏器2与切除脏器3的位置关系等，学习分数。学习处理部314将学习的模型登记于模型存储部331。模型存储部331以公知的形式存储模型，在此省略详细的说明。
[0120]
分数计算部315基于由影像获取部311获取的图像，计算出示出处置对象区域适合处置的程度的分数。分数计算部315通过将由解剖状态获取部312获取的每个活体组织的信息(特征量)，向存储于模型存储部331的模型提供，从而能够计算出分数。
[0121]
分数输出部316输出由分数计算部315计算出的分数。在本实施方式中，分数输出部316在副监视器31中使与由摄像头21拍摄的术野的图像重叠并显示分数。分数输出部316既可以将分数作为数字等文字信息输出于副监视器31，也可以在副监视器31中将表示分数的计量器输出于处置对象的附近，也可以根据分数变更由可处置区域显示部313显示的图形的色彩。另外，分数输出部316也可以从扬声器输出示出分数的声音(例如，既可以是通过语音合成读取分数的语音，也可以是与分数相应的音响。)。
[0122]
＜学习处理＞
[0123]
图5是说明本实施方式的手术辅助系统1的学习处理的步骤的图。图5所示的学习处理，例如，既可以利用预先拍摄的术野的图像进行，也可以利用拍摄中的图像进行。
[0124]
影像获取部3119获取由摄像头21拍摄的术野的图像(既可以是实时拍摄的图像，也可以是已记录的图像。)(s401)。解剖状态获取部312从图像识别保留脏器2、切除脏器3、结缔组织4等的活体组织(s402)，学习处理部314接收从医生等对示出处置对象组织(在本实施方式中为结缔组织4)的处置适合度的分数的输入(s403)，将示出由解剖状态获取部312获取的解剖状态的信息(特征量等)作为输入信号，将所接收的分数作为教师信号进行学习(s404)，将学习完成的模型登记于模型存储部331(s405)。
[0125]
如上所述，能够基于拍摄术野的图像，从显示于图像的保留脏器2、切除脏器3、结缔组织4等的每个活体组织的状态，学习结缔组织4的处置适合度(分数)。
[0126]
＜学习处理＞
[0127]
图6是说明本实施方式的手术辅助系统1中的分数的输出处理的步骤的图。图6所示的分数的输出处理，设想基于在手术中拍摄的图像进行。
[0128]
影像获取部311从控制单元22获取由摄像头21拍摄的术野的图像(s421)。解剖状态获取部312从图像识别保留脏器2、切除脏器3、结缔组织4等的活体组织(s422)，分数计算部315将所识别的组织的特征量，向存储于模型存储部331的模型提供并计算出分数(s423)。分数输出部316在副监视器31中使计算出的分数重叠并显示于术野的图像(s424)。
[0129]
如上所述，能够基于在手术中拍摄的术野的图像，将处置对象(结缔组织4)的处置适合度输出于副监视器31。
[0130]
图7至图9是示出疏松结缔组织的展开处置的分数的显示例的图。在图7至图9中，示出了将疏松结缔组织作为结缔组织4的情况的例子。在副监视器31中显示保留脏器2、切除脏器3、保留脏器2与切除脏器3之间的结缔组织4(未隐藏于保留脏器2以及切除脏器3的情况)。另外，在副监视器31中，示出结缔组织4适合处置的程度的分数，在作为处置对象的结缔组织4的附近以计量器51以及文字显示52的形式被显示。
[0131]
在图7至图9的例子中，示出操作人员110远程操作手术器械50并把持切除脏器3并向屏幕上部拉起的姿态。切除脏器3以图7、图8、图9的顺序被拉起，可知在这些之中，图9的状态最适合处置。如图7所示，切除脏器3从保留脏器2分离不远的状态下，则示出分数(处置适合度)为10％，在图8中，切除脏器3被拉起则示出分数为55％。在图9的状态下，切除脏器3被进一步拉起则表示处置的适合度的分数示出为98％。参考该分数，手术的操作人员110(医生)能够进行切除脏器3的拉起工作、结缔组织4的切除工作等的处置。若是切除脏器3与保留脏器2被分离，疏松结缔组织暴露并且完全伸展而拉伸的状态，则可知能够安全切除疏松结缔组织，由于能够利用计量器51以及文字显示52视觉识别这种切除的安全性，因此能够安全处置结缔组织4。
[0132]
另外，如图8以及图9所示，可处置区域显示部313能够将表示结缔组织4的图形在显示于副监视器31的图像上重叠显示。从而，手术的操作人员110能够立刻且容易地识别处置对象。
[0133]
此外，分数既可以仅以计量器51或者文字显示52中的任意一方显示，也可以利用示出由可处置区域显示部313显示的结缔组织4的图形的颜色表现。例如，能够在分数为第一阈值以上的情况下，呈蓝色或者绿色，在分数为第二阈值(小于第一阈值)以下的情况下呈红色，在分数为第一阈值未满且大于第二阈值的情况下呈黄色。另外，也可以形成与分数相应的颜色渐变。
[0134]
在图7至图9中，示出了将疏松结缔组织作为结缔组织4的例子，但结缔组织4不限于疏松结缔组织，只要是将两个脏器结合的组织即可。例如，致密结缔组织也是结缔组织4，血管也能够作为结缔组织4把握。另外，在上述实施方式中是设想切除结缔组织4，但针对结缔组织4的处置，则不限于切除。例如，对于血管4，能够设想夹闭、切除、缝合等处置。
[0135]
图10至图12是示出血管的牵拉的分数显示例的图。在副监视器31显示有保留脏器2、切除脏器3、以及贯穿保留脏器2与切除脏器3之间的血管4，示出血管4适合处置的程度的分数，以计量器51以及文字显示52的形式显示于血管(或保留脏器2或者切除脏器3)的附近。另外，在图10至图12的例子中，利用手术器械50拉伸结缔组织4(血管)而不是切除脏器3。可知血管4以图10、图11、图12的顺序被拉伸。能够把握其中图12的状态是最适合处置的状态。这样，即使是血管4，也能够通过显示其处置适合度，进行安全的处置。
[0136]
如上所述，根据本实施方式的手术辅助系统1，能够基于拍摄术野的图像，利用分
数显示处置对象的脏器等是否为适合处置的状态、即能够进行安全的处置的状态。从而，能够安全进行处置对象的手术。
[0137]
以下，对利用学习模型，获取有关保留脏器2与切除脏器3之间的结缔组织4的信息，基于所获取的信息，输出在处理保留脏器2与切除脏器3之间的结缔组织4时的导航信息的结构进行说明书。在以下实施方式中，主要将疏松结缔组织作为结缔组织4举例说明，但结缔组织4也可以包含存在于保留脏器2与切除脏器3之间的膜、层、脂肪组织等。
[0138]
(实施方式2)
[0139]
在实施方式2中，利用学习模型识别保留脏器2与切除脏器3之间的疏松结缔组织，基于识别结果，对如下结构进行说明，即将疏松结缔组织的切断时间点作为导航信息输出。
[0140]
图13是示出实施方式2中的术野图像的一个例子的示意图。在图13所示的术野中包含构成保留脏器2的组织org、构成切除脏器3的组织ng、以及结合这些组织的疏松结缔组织lct。疏松结缔组织lct是结缔组织4的一个例子。在图13的例子中，用虚线示出疏松结缔组织lct。
[0141]
在腹腔镜手术中，例如进行去除形成于患者体内的恶性肿瘤等病变部的手术。此时，手术人员通过利用钳子50a把持包含病变部的组织ng，并使沿适当的方向展开，从而使存在于包含病变部的组织ng与待留下的组织org之间的疏松结缔组织lct暴露。手术人员通过利用能量处置工具50b切除所暴露的疏松结缔组织lct，从而使包含病变部的组织ng从待留下的组织org剥离。钳子50a、能量处置工具50b是手术器械50的一个例子。
[0142]
此外，从疏松结缔组织lct的切除容易性的观点出发，切除对象的疏松结缔组织lct优选具有伸缩性。另外，优选在切除对象的疏松结缔组织lct的内侧，存在使钳子50a、能量处置工具50b移动的空间。并且，优选切除对象的疏松结缔组织lct保持拉伸的状态。图13的例子示出如下姿态：在疏松结缔组织lct的内侧存在空间sp，并且至少一部分保持拉伸的状态。
[0143]
由于在构成疏松结缔组织lct的纤维的周围存在液体基质、多种细胞，因此手术人员从术野图像发现疏松结缔组织lct并不容易。于是，本实施方式的图像处理装置30，利用学习模型410(参照图14)从术野图像识别疏松结缔组织部分，基于识别结果，输出有关腹腔镜手术的辅助信息。
[0144]
下面，对在图像处理装置30中所利用的学习模型410的结构例进行说明。
[0145]
图14是示出学习模型410的结构例的示意图。学习模型410是用于进行图像分割的学习模型，例如利用具备segnet等卷积层的神经网络进行构建。在图14中示出segnet的结构例，但不限于segnet，利用fcn(fully convolutional network)、u-net(u-shaped network)、pspnet(pyramid scene parsing network)等、能够进行图像分割的任意的神经网络，构建学习模型410即可。另外，也可以利用yolo(you only look once)、ssd(single shot multi-box detector)等物体检测用的神经网络，以替代图像分割用的神经网络，构建学习模型410。
[0146]
在本实施方式中，向学习模型410输入的输入图像，是从摄像头21得到的术野图像。术野图像不限于视频，也可以是静止图像。另外，向学习模型410输入的术野图像，不需要是从摄像头21得到的原始图像，也可以是增加了适当的图像处理的图像、示出图像的频率成分的数据等。学习模型410以如下方式学习：针对输入术野图像，输出示出术野图像所
包含的疏松结缔组织部分的识别结果的图像。
[0147]
本实施方式的学习模型410具备例如编码器411、解码器421、以及softmax层。编码器411以交替配置卷积层和池化层的方式构成。卷积层被分成2～3层的多层。在图14的例子中，在卷积层中以不带剖面线的方式示出，在池化层中以带剖面线的方式示出。
[0148]
在卷积层中，进行如下卷积运算，即输入的数据与对每个被定义的尺寸(例如，3
×
3、5
×
5等)的过滤器的卷积运算。即，对于每个要素，将输入在过滤器的每个要素相对应的位置输入的输入值，乘以在过滤器上预设的权重系数，计算出这些每个要素的乘积的线性和。通过将所设定的偏差与计算出的线性和相加，得到卷积层中的输出。此外，卷积运算的结果也可以利用激活函数进行转换。作为激活函数，能够利用例如relu(rectified linear unit)。卷积层的输出表示提取输入数据特征的特征图。
[0149]
在池化层中，计算出从卷积层输出的特征图的局部的统计量，该卷积层是与输入侧连接的上层。具体而言，设定与上层的位置对应的预定尺寸(例如，2
×
2、3
×
3)的窗口，根据窗口内的输入值计算出局部的统计量。作为统计量，能够采用例如最大值。从池化层输出的特征图的尺寸，根据窗口的尺寸缩小(下采样)。图14的例子示出：通过在编码器411中依次反复进行卷积层的运算和池化层的运算，从而将224像素
×
224像素的输入图像，依次下采样为112
×
112、56
×
56、28
×
28、
…
、1
×
1的特征图。
[0150]
编码器411的输出(在图14的例子中1
×
1的特征图)，输入解码器412。解码器412交替配置反卷积层和反向池化层构成。反卷积层被分成2～3层的多层。在图14的例子中，在反卷积层以不带剖面线的方式示出，在反向池化层以带剖面线的方式示出。
[0151]
在反卷积层中，针对所输入的特征图，进行反卷积运算。所谓反卷积运算是如下运算：推定为是所输入的特征图利用特定的过滤器被卷积运算的结果之后，恢复被卷积运算之前的特征图。在该运算中，将特定的过滤器用矩阵示出时，计算出针对该矩阵的转置矩阵与所输入的特征图的乘积，从而生成用于输出的特征图。此外，反卷积层的运算结果也可以利用上述的relu等的激活函数进行转换。
[0152]
解码器412所具备的反向池化层，以1对1个别地与编码器411所具备的池化层相对应，相对应的一对实质上具有相同的尺寸。反向池化层在编码器411的池化层中再次放大被下采样的特征图的尺寸(上采样)。图14的例子示出：通过在解码器412中依次反复进行卷积层的运算与池化层的运算，从而依次上采样为1
×
1、7
×
7、14
×
14、
…
、224
×
224的特征图。
[0153]
解码器412的输出(在图14的例子中为224
×
224的特征图)被输入到softmax层413。softmax层413通过将softmax函数适用于来自与输入侧连接的反卷积层的输入值，从而输出识别每个位置(像素)的部位的标签的概率。在本实施方式中，设定识别疏松结缔组织的标签，以像素单位识别是否属于疏松结缔组织即可。通过提取从softmax层413输出的标签的概率为阈值以上(例如50％以上)的像素，从而得到示出疏松结缔组织部分的识别结果的图像(以下，称为识别图像)。
[0154]
此外，在图14的例子中，将224像素
×
224像素的图像作为向学习模型410输入的图像，但输入图像的尺寸不限于上述，而是能够根据图像处理装置30的处理能力、从摄像头21得到的术野图像的尺寸等，适当设定。另外，向学习模型410输入的输入图像，不需要是从摄像头21得到的整体术野图像，也可以是切出术野图像的关注区域并生成的部分图像。由于包含处置对象的关注区域较多位于术野图像的中央附近，因此例如也可以利用以约为原始
尺寸的一半尺寸的方式将术野图像的中央附近切出矩形的部分图像。通过减小输入至学习模型410的图像的尺寸，从而能够提高处理速度，同时提高识别精度。
[0155]
图15是示出来自学习模型410的识别结果的示意图。在图15的例子中，用粗实线示出利用学习模型410识别的疏松结缔组织部分，将之外的脏器、组织的部分作为参考用虚线示出。图像处理装置30的cpu301，为了以能够判别的方式显示所识别的疏松结缔组织部分，生成疏松结缔组织的识别图像。识别图像是与术野图像同一尺寸的图像，并且是将特定的颜色分配于作为疏松结缔组织识别的像素的图像。分配于疏松结缔组织的像素的颜色，优选是不存在于人体内部的颜色，以便其与脏器、血管等区分。不存在于人体内部的颜色是例如蓝色、浅蓝色等冷色系(蓝色系)的颜色。另外，在构成识别图像的每个像素中添加示出透过率的信息，在作为疏松结缔组织识别的像素中设定不透过的值，在其以外的像素设定透过的值。通过将这样生成的识别图像重叠并显示于术野图像上，从而能够将疏松结缔组织部分作为具有特定颜色的结构显示于术野图像上。
[0156]
图像处理装置30例如在操作开始之前的学习阶段中生成学习模型410。作为生成学习模型410的准备阶段，在本实施方式中，通过针对从摄像头21得到的术野图像，手动分割疏松结缔组织部分，从而实施标注。此外，在标注中，利用存储于存储装置303等的术野图像即可。
[0157]
进行标注时，操作人员(医生等专家)，使术野图像时序地显示于副监视器31，同时找出存在于保留脏器与切除脏器之间，处于容易切除状况的疏松结缔组织。具体而言，包含病变部的组织被展开，找出暴露状态的疏松结缔组织。所暴露的疏松结缔组织具有伸缩性，优选保持拉伸的状态。另外，在疏松结缔组织的内侧存在空间，优选存在使手术器械50移动的空间。在操作人员发现处于容易切除状況的疏松结缔组织的情况下，在其术野图像中，通过利用输入装置305所具备的鼠标、触控笔等以像素单位选择与疏松结缔组织相当的部分，进行标注。另外，也可以选择适合于学习的疏松结缔组织的移动模式，通过透视转换、反射等的处理，而增加数据数量。并且，若学习进展，则也可以用来自学习模型410的识别结果增加数据数量。
[0158]
通过针对多个术野图像进行标注，从而准备由术野图像、与示出该术野图像的疏松结缔组织部分的正确数据的组构成的训练数据。训练数据存储于存储装置(例如图像处理装置30的存储装置303)。
[0159]
图16是说明学习模型410的生成过程的流程图。通过图像处理装置30的cpu301从存储装置303读出预先准备的学习程序，并且执行以下步骤，从而生成学习模型410。此外，在开始学习之前的阶段中，在记述学习模型410的定义信息中，赋予初始值。
[0160]
cpu301访问存储装置303，并且选择用于学习的一组的训练数据(步骤s201)。cpu301向学习模型410输入术野图像，所选择的训练数据包含所述术野图像(步骤s202)，执行来自学习模型410的运算(步骤s203)。即，cpu301执行下列运算：从所输入的术野图像生成特征图，依次下采样所生成的特征图的编码器411的运算；依次上采样从编码器411输入的特征图的解码器412的运算；以及识别从解码器412最终得到的特征图的每个像素的softmax层413的运算。
[0161]
cpu301从学习模型410获取运算结果，并且评价所获取的运算结果(步骤s204)。例如，cpu301通过计算出作为运算结果得到的疏松结缔组织部分的图像数据、与包含于训练
数据的正确数据的类似度，从而评价运算结果即可。类似度被例如jaccard系数计算出。jaccard系数在将由学习模型410提取的疏松结缔组织部分设为a，将包含于正确数据的疏松结缔组织部分设为b时，通过a∩b/a∪b
×
100(％)给出。代替jaccard系数，既可以计算出dice系数、simpson系数，也可以利用其他现有的方法，计算出类似度。
[0162]
cpu301基于运算结果的评价，判断学习是否结束(步骤s205)。cpu301在得到预先设定的阈值以上的类似度的情况下，能够判断为学习结束。
[0163]
在判断为学习未结束的情况下(s205：否)，cpu301根据误差反向传播法，从学习模型410的输出侧朝向输入侧依次更新学习模型410的每个层中的权重系数以及偏差(步骤s206)。cpu301更新每个层的权重系数以及偏差之后，使处理返回至步骤s201，在此执行从步骤s201开始至步骤s205为止的处理。
[0164]
在步骤s205中判断为学习结束的情况下(s205：是)，由于得到了学习完成的学习模型410，因此cpu301使所得到的学习模型410存储于模型存储部331，结束本流程图的处理。
[0165]
在本实施方式中，形成用图像处理装置30生成学习模型410的结构，但也可以用服务器装置等外部计算机生成学习模型410。图像处理装置30利用通信等方法获取由外部计算机生成的学习模型410，并且使所获取的学习模型410存储于模型存储部331即可。
[0166]
图像处理装置30在得到学习完成的学习模型410之后的运用阶段中，执行以下处理。图17是对由实施方式2中的图像处理装置30在运用阶段中执行处理的步骤进行说明的流程图。图像处理装置30的cpu301，通过将预先准备的识别处理程序从存储装置303读出并执行，从而执行以下的步骤。若腹腔镜手术开始，则拍摄术野所得到的术野图像，随时从摄像头21向控制单元22输出。图像处理装置30的cpu301，通过影像获取部311，获取从控制单元22输出的术野图像(步骤s221)。cpu301每次获取术野图像，执行以下处理。
[0167]
cpu301将所获取的术野图像输入学习模型410，利用学习模型410执行运算(步骤s222)，识别术野图像所包含的疏松结缔组织部分(步骤s223)。即，cpu301执行如下运算：从所输入的术野图像生成特征图，将所生成的特征图依次进行下采样的编码器411的运算、将从编码器411输入的特征图依次进行上采样的解码器412的运算、以及识别从解码器412最终得到的特征图的每个像素的softmax层413的运算。另外，cpu301将从softmax层413输出的标签的概率为阈值以上(例如50％以上)的像素识别作为疏松结缔组织部分。
[0168]
接着，cpu301基于学习模型410的识别结果，计算出疏松结缔组织部分的暴露面积(步骤s224)。cpu301将识别为疏松结缔组织的像素的数量、或者在术野图像的全像素中识别为疏松结缔组织的像素的比率作为暴露面积计算即可。另外，cpu301为了使每1像素的大小(面积)标准化，例如也可以参照摄像头21的焦距等导出至合焦点为止的距离信息，基于所导出的距离信息修正暴露面积。
[0169]
接着，cpu301基于计算出的暴露面积，判断是否为疏松结缔组织的切断时间点(步骤s225)。具体而言，cpu301判断计算出的暴露面积与预设的阈值的大小关系，若暴露面积大于阈值，则判断为是切断时间点即可。判断为不是切断时间点的情况下(s225：否)，cpu301结束本流程图的处理。
[0170]
在判断为是切断时间点的情况下(s225：是)，cpu301通知是疏松结缔组织的切断时间点(步骤s226)。例如，cpu301能够将作为疏松结缔组织的切断时间点的文字信息，重叠
并显示于术野图像。也可以代替显示文字信息的结构，将示出疏松结缔组织的切断时间点的图标、标记重叠显示于术野图像。并且，cpu301既可以通过输出装置306所具备的麦克风，将切断时间点作为语音输出，也可以在振动器搭载于腹腔镜、手术器械的情况下，通过使该振动器进行振动，从而通知切断时间点。
[0171]
另外，由于cpu301在步骤s223中识别疏松结缔组织，因此也可以生成该识别图像，并将所生成的识别图像重叠并显示于术野图像上。例如，cpu301通过对作为疏松结缔组织所识别的像素，分配不存在于人体内部的颜色(例如蓝色、浅蓝色等冷色系(蓝色系)的颜色)，并且在疏松结缔组织以外的像素设定背景透过的透过率，从而能够生成识别图像。并且，由于cpu301在步骤s224中计算出疏松结缔组织的暴露面积，因此也可以生成示出该暴露面积的多少的指示器的图像，并将所生成的指示器的图像重叠并显示于术野图像上。
[0172]
图18是示出实施方式2中的显示例的示意图。图18示出如下例子，其针对图13所示的术野图像，重叠并显示疏松结缔组织的识别图像53、示出疏松结缔组织的切断时间点的文字信息54、以及示出疏松结缔组织的暴露面积的多少的指示器55。图像处理装置30也可以是如下结构：不需要时常显示这些信息，通过输入装置305、未图示的脚踏开关，仅在来自手术人员的显示指示发出的情况下显示。
[0173]
如上所述，在实施方式2中，利用学习模型410识别术野图像所包含的疏松结缔组织部分，基于识别结果，输出示出疏松结缔组织的切断时间点的信息。图像处理装置30通过输出这种导航信息，从而对所涉及的处理，能够进行针对手术人员的视觉辅助，该处理为切断构成保留脏器2的组织org、与构成切除脏器3的组织ng之间的疏松结缔组织。
[0174]
在实施方式2中，根据疏松结缔组织的暴露面积，判断是否为切断时间点，但也可以利用学习模型410识别处于拉伸状态的疏松结缔组织，根据识别结果判断切断是否适当。例如，通过以像素单位选择处于拉伸状态的疏松结缔组织部分，从而进行标注，通过利用在这种标注中得到的训练数据，从而能够生成识别处于拉伸状态的疏松结缔组织的学习模型410。图像处理装置30的cpu301，通过将由摄像头21拍摄的术野图像输入学习模型410，并且利用学习模型410执行运算，从而能够识别处于拉伸状态的疏松结缔组织。cpu301在利用学习模型410识别出处于拉伸状态的疏松结缔组织的情况下，通知示出切断时间点的文字信息等即可。
[0175]
实施方式2中的图像处理装置30的结构为具备学习模型410，但也可以是还具备下述的学习模型420～450的结构。即，图像处理装置30也可以是组合利用多个学习模型，生成导航信息的结构。
[0176]
(实施方式3)
[0177]
在实施方式3中，利用学习模型410识别保留脏器2与切除脏器3之间的疏松结缔组织，基于识别结果，对将与在处理疏松结缔组织时的操作相关的信息作为导航信息输出的结构进行说明。
[0178]
图像处理装置30通过将术野图像输入学习模型410，并且利用学习模型410执行运算，从而能够识别术野图像所包含的疏松结缔组织部分。实施方式3中的图像处理装置30，参照来自学习模型410的识别结果，确定在展开或切断疏松结缔组织时的手术器械50的操作方向，输出与所确定的操作方向相关的信息。
[0179]
图19是示出展开操作所需的术野图像的一个例子的示意图。图19示出疏松结缔组
织未完全展开的状态的术野图像。图像处理装置30通过将该术野图像输入学习模型410，并且通过执行来自学习模型410运算，从而能够识别从切除脏器3的边缘部开始暴露的疏松结缔组织lct的存在。然而，如指示器55所示，由于疏松结缔组织lct不具有充分的暴露面积，因此可知在切断时需要进一步展开疏松结缔组织lct。
[0180]
图像处理装置30根据疏松结缔组织lct延伸的方向，判断疏松结缔组织lct的展开方向。例如，在图19的例子中，图像处理装置30能够根据学习模型410的识别结果，推定疏松结缔组织lct沿图的上下方向延伸。由于在该疏松结缔组织lct的上侧存在切除脏器3，在下侧存在保留脏器2，因此若利用钳子50a将切除脏器3向上方牵拉，则或者利用钳子50a将保留脏器2向下方牵拉，则能够展开疏松结缔组织lct。图像处理装置30将疏松结缔组织lct的展开方向作为导航信息输出。图20是示出有关展开操作的导航信息的输出例的图。图20利用箭头的标记m1，示出疏松结缔组织lct的展开方向(即，钳子50a的操作方向)。
[0181]
另一方面，在疏松结缔组织lct充分展开的情况下，图像处理装置30将疏松结缔组织lct的切断方向作为导航信息输出。例如，在图13、图18所示的例子中，由于图像处理装置30能够根据学习模型410的识别结果，推定疏松结缔组织lct沿上下方向充分展开，因此判断切断疏松结缔组织lct的方向是图的左右方向。图像处理装置30将疏松结缔组织lct的切断方向作为导航信息输出。图21是示出有关切断操作的导航信息的输出例的图。图21利用箭头的标记m2，示出疏松结缔组织lct的切断方向(即，能量处置工具50b的操作方向)。
[0182]
在图20以及图21中，为了强调展开方向以及切断方向，显示标记m1、m2较大。然而，由于在这些标记m1、m2隐藏了术野的一部分的情况下，有时难以进行手术，因此标记m1、m2的显示形式(大小、颜色、显示时间等)，以手术人员能够确保视野的方式设定即可。另外，不限于箭头的标记m1、m2，也可以利用实线或者虚线等，示出展开方向以及切断方向。另外，在本实施方式中，是与术野图像重叠并显示标记m1、m2的结构，但既可以作为其他图像显示，也可以显示于其他监视器。并且，cpu301既可以通过输出装置306所具备的麦克风，利用语音通知展开方向以及切断方向，也可以在振动器搭载于手术器械的情况下，通过使该振动器振动，从而通知切断时间点。
[0183]
图22是说明由实施方式3中的图像处理装置30在运用阶段中执行处理的步骤的流程图。图像处理装置30的cpu301，每次获取术野图像，都执行以下处理。cpu301通过与实施方式2相同的步骤，将所获取的术野图像输入学习模型410，并执行来自学习模型410的运算，从而识别疏松结缔组织部分，计算出所识别的疏松结缔组织部分的暴露面积(步骤s301～s304)。
[0184]
cpu301基于来自学习模型410的识别结果，判断是否需要疏松结缔组织的展开(步骤s305)。例如，cpu301将在步骤s304中计算出的暴露面积与第一阈值进行比较，若计算出的暴露面积不足第一阈值，则判断需要疏松结缔组织的展开。在此，第一阈值预先被设定，存储于存储装置303。另外，cpu301在输入术野图像的情况下，也可以利用以输入有关疏松结缔组织的展开的需要与否的信息的方式进行学习的学习模型，判断是否需要疏松结缔组织的展开。
[0185]
在判断为需要疏松结缔组织的展开的情况下(s305：是)，cpu301特定疏松结缔组织的展开方向(步骤s306)。例如，cpu301推定保留脏器2与切除脏器3之间的疏松结缔组织延伸的方向，并将所推定的方向作为疏松结缔组织的展开方向而特定即可。
[0186]
在判断为不需要疏松结缔组织的展开的情况下(s305：否)，cpu301判断是否能够切断疏松结缔组织(步骤s307)。例如，cpu301将在步骤s304中计算出的暴露面积与第二阈值进行比较，若计算出的暴露面积为第二阈值以上，则判断为能够切断疏松结缔组织。在此，第二阈值设定为大于第一阈值的值，并存储于存储装置303。在判断为不能切断疏松结缔组织的情况下(s307：否)，cpu301结束本流程图的处理。
[0187]
在判断为能够切断疏松结缔组织的情况下(s307：是)，cpu301特定疏松结缔组织的切断方向(步骤s308)。例如，cpu301推定保留脏器2与切除脏器3之间的疏松结缔组织延伸的方向，并将与所推定的方向交叉的方向作为疏松结缔组织的切断方向而特定即可。
[0188]
接着，cpu301输出在处理保留脏器2与切除脏器3之间的结缔组织时的导航信息(步骤s309)。例如，cpu301在步骤s306中特定疏松结缔组织的展开方向的情况下，通过将示出展开方向的标记m1重叠并显示于术野图像，从而输出导航信息。另外，cpu301在步骤s308中特定疏松结缔组织的切断方向的情况下，通过将示出切断方向的标记m2重叠并显示于术野图像，从而输出导航信息。
[0189]
如上所述，在实施方式3中，能够将疏松结缔组织的展开方向、切断方向作为导航信息向手术人员提示。
[0190]
(实施方式4)
[0191]
在实施方式4中，对学习疏松结缔组织的切断时间点的结构进行说明。
[0192]
图23是说明实施方式4的学习模型420的结构的示意图。学习模型420是cnn(convolutional neural networks)、r-cnn(region-based cnn)等的学习模型，具备输入层421、中间层422、以及输出层423。学习模型420以如下方式进行学习：针对输入术野图像，输出有关疏松结缔组织的切断时间点的信息。学习模型420利用图像处理装置30或者能够与图像处理装置30通信的方式连接的外部服务器生成，并存储于图像处理装置30的模型存储部331。
[0193]
此外，输入学习模型420的术野图像不限于视频，也可以是静止图像。另外，输入学习模型420的术野图像，不需要是从摄像头21得到的原始图像，也可以是增加了适当图像处理的图像、示出图像的频率成分的数据等。
[0194]
在输入层421中输入术野图像。中间层422具备卷积层、池化层、以及全连接层等。卷积层以及池化层也可以交替设置多个。卷积层以及池化层通过利用每个层的节点的运算，提取术野图像的特征部分。全连接层将利用卷积层以及池化层提取的特征部分的数据在一个节点结合，输出通过激活函数转换的特征变量。特征变量通过全连接层向输出层输出。
[0195]
输出层423具备一个或者多个节点。输出层423基于从中间层422的全连接层输入的特征变量，利用softmax函数转换为概率，将转换后的概率从每个节点输出。在本实施方式中，从输出层423的节点，输出示出当前是否为疏松结缔组织的切断时间点的概率即可。
[0196]
学习模型420通过如下方式生成：将术野图像与示出该术野图像所包含的疏松结缔组织是否为切断时间点的数据的组用于训练数据，执行利用cnn、r-cnn等适当学习算法的学习。
[0197]
图24是说明由实施方式4中的图像处理装置30在运用阶段中执行处理的步骤的流程图。图像处理装置30的cpu301获取由摄像头21拍摄的术野图像的情况下(步骤s451)，将
所获取的术野图像输入学习模型420，执行学习模型420的运算(步骤s452)。执行来自学习模型420的运算，从而从输出层423得到示出当前是否为疏松结缔组织的切断时间点的概率。
[0198]
cpu301基于从学习模型420的输出层423得到的概率，判定当前是否为疏松结缔组织的切断时间点(步骤s453)。例如，cpu301在由学习模型420的输出层423输出的概率超过阈值(例如50％)的情况下，判断为当前是疏松结缔组织的切断时间点，是阈值以下的情况下，判断为不是切断时间点。判断为不是切断时间点的情况下(s453：否)，cpu301结束本流程图的处理。
[0199]
在判断为是切断时间点的情况下(s453：是)，cpu301通知疏松结缔组织的切断时间点(步骤s454)。通知切断时间点的方法与实施方式2相同，既可以将文字信息、图标、标记等重叠并显示于术野图像，也可以通过语音、振动通知。
[0200]
如上所述，在实施方式4中，通过利用学习模型420判断疏松结缔组织的切断时间点，并输出导航信息，从而有关切断构成保留脏器2的组织org、与构成切除脏器3的组织ng之间的疏松结缔组织的处理，能够进行针对手术人员的视觉辅助。
[0201]
(实施方式5)
[0202]
在实施方式5中，对输出有关疏松结缔组织的切断部位的信息的结构进行说明。
[0203]
图25是说明实施方式5中的学习模型430的结构的示意图。学习模型430是segnet、fcn、u-net、pspnet、yolo、ssd等的图像分割用或物体检测用的神经网络的学习模型，具备例如编码器431、解码器432、以及softmax层433。由于学习模型430的结构与实施方式2的学习模型410的结构相同，因此省略其说明。
[0204]
在本实施方式中，向学习模型430输入的输入图像，是从摄像头21得到的术野图像。输入学习模型430的术野图像不限于视频，也可以是静止图像。另外，输入学习模型430的术野图像，不需要是从摄像头21得到的原始图像，也可以是增加了适当图像处理的图像、示出图像的频率成分的数据等。学习模型430以如下方式进行学习：针对输入术野图像，输出示出术野图像所包含的疏松结缔组织部分的切除部位的图像。
[0205]
在生成学习模型430时，准备好训练数据，该训练数据是术野图像、与示出该术野图像所包含的疏松结缔组织的切断部位的正确数据构成的组。
[0206]
图26是说明正确数据的创建步骤的说明图。操作人员(医生等专家)针对包含疏松结缔组织lct的术野图像进行标注。例如，操作人员在术野图像中，以像素单位指定与疏松结缔组织相当的部分，并且通过带状的区域cr指定疏松结缔组织lct的切断部位。图像处理装置30在该区域cr内将作为疏松结缔组织lct所指定的像素，作为疏松结缔组织lct的切断部位(正确数据)，存储于存储装置303。
[0207]
另外，在已得到用于识别疏松结缔组织的学习模型410的情况下，也可以使由学习模型410生成的识别图像与术野图像一起显示于副监视器31，并且在所显示的识别图像中接收示出切断部位的区域cr的指定。
[0208]
并且，图像处理装置30也可以是如下结构：通过解析由医生切断疏松结缔组织的视频，并且特定电手术刀等手术器械50的轨迹，从而指定该术野图像的疏松结缔组织的切断部位。
[0209]
图像处理装置30利用训练数据，生成学习模型430，该训练数据是术野图像与在该
术野图像所包含的疏松结缔组织中示出切断部位的正确数据构成的组。由于学习过程与实施方式2相同，因此省略说明。
[0210]
图像处理装置30在得到学习结束的学习模型430之后的运用阶段中，执行以下处理。图27是说明由实施方式5的图像处理装置30在运用阶段中执行处理的步骤的流程图。图像处理装置30的cpu301每次获取术野图像，都执行以下处理。cpu301通过根据与实施方式2相同的程序，将所获取的术野图像输入学习模型430，执行源于学习模型430的运算，从而识别疏松结缔组织的切断部位(步骤s501～s503)。即，cpu301参照从学习模型430的softmax层433输出的概率，判断每个像素是否相当于切断部位即可。
[0211]
cpu301生成示出所识别的切断部位的识别结果的识别图像(步骤s504)。cpu301通过提取从softmax层433输出的标签的概率为阈值以上(例如50％以上)的像素，从而能够生成示出切断部位的识别结果的识别图像。cpu301对作为切断部位所识别的像素，分配不存在于人体内部的颜色(例如蓝色、浅蓝色等冷色系(蓝色系)的颜色)，对其以外的像素设定背景透过的透过率即可。
[0212]
cpu301将所生成的识别图像重叠并显示于术野图像(步骤s505)。由此，利用学习模型430识别的切断部位，作为具有特定颜色的区域，显示于术野图像上。另外，cpu301也可以将示出特定的颜色所示的区域是应该切除的部位的信息，显示于术野图像上。
[0213]
图28是示出切断部位的显示例的示意图。为了方便做图，在图28的显示例中，利用粗实线示出利用学习模型430识别的切断部位53a。实际上，由于与切断部位相当的部分，以像素单位被涂上蓝色、浅蓝色等不存在于人体内部的颜色，因此手术人员通过观察副监视器31的显示画面，从而能够明确地把握疏松结缔组织的切断部位。
[0214]
如上所述，在实施方式5中，通过将疏松结缔组织的切断部位向手术人员提示，从而能够进行手术辅助。
[0215]
此外，在本实施方式中，是利用学习模型430，识别疏松结缔组织的切断部位的结构，但也可以以区分手术人员图像所包含的疏松结缔组织、与该疏松结缔组织的切断部位进行识别，并且以不同颜色的显示形式进行显示，例如使识别为疏松结缔组织的部分显示例如绿色，使在该疏松结缔组织中识别为切断部位的部分显示例如蓝色。另外，也可以根据识别结果的确信度(从softmax层433输出的概率)，变更浓度、透过率，用浅颜色(透过率较高的颜色)显示确信度较低的部分，用深颜色(透过率较低的颜色)显示确信度较高的部分。
[0216]
另外，还可以是组合实施方式2(或者实施方式4)与实施方式5，识别出切断时间点的情况下，重叠显示切断部位的识别图像的结构。
[0217]
并且，在本实施方式中，是将识别为切断部位的部位以像素单位着色并显示的结构，但也可以生成包含识别为切断部位的像素的区域或者线，并将所生成的区域或者线作为切断部位的识别图像重叠显示于术野图像。
[0218]
(实施方式6)
[0219]
在实施方式6中，对基于术野图像对解剖状态打分的结构进行说明。
[0220]
所谓解剖状态的打分，指的是利用数值示出解剖状态的好坏。在本实施方式中，以如下方式定义分数的高低：若解剖状态较好，则分数变高，若解剖状态较差，则分数变低。图像处理装置30通过在获取由摄像头21拍摄的术野图像的情况下，在下述的学习模型440中输入术野图像，从而计算出解剖状态的分数。
[0221]
此外，实施方式1的分数以及实施方式6(以及下述的实施方式7-8)的分数，一同示出有关解剖状态的分数，但在实施方式1的分数中，针对表示结缔组织的状态适合处置的程度，实施方式6-8的分数表示解剖结果的好坏。
[0222]
图29是说明实施方式6的学习模型440的结构的示意图。学习模型440是cnn、r-cnn等的学习模型，具备输入层441、中间层442、以及输出层443。学习模型440针对输入术野图像，以输入与解剖状态的分数有关的信息的方式进行学习。学习模型440利用图像处理装置30或者能够与图像处理装置30通信的方式连接的外部服务器生成，并存储于图像处理装置30的模型存储部331。
[0223]
此外，输入学习模型440的术野图像不限于视频，也可以是静止图像。另外，输入学习模型440的术野图像，不需要是从摄像头21得到的原始图像，也可以是增加了适当图像处理的图像、示出图像的频率成分的数据等。
[0224]
在输入层441中输入术野图像。中间层442具备卷积层、池化层、以及全连接层等。卷积层以及池化层也可以交替设置多个。卷积层以及池化层通过利用每一次层的节点的运算，提取术野图像的特征部分。全连接层将利用卷积层以及池化层提取的特征部分的数据与一个节点结合，通过激活函数输出所转换的特征变量。特征变量通过全连接层向输出层输出。
[0225]
输出层443具备一个或多个节点。输出层443基于从中间层442的全连接层输入的特征变量，利用softmax函数转换为概率，将转换后的概率从每个节点输出。例如，使输出层443由从第一节点开始至第n节点为止的n个节点构成，从第一节点输出分数为s1的概率p1，从第二节点输出分数为s2(＞s1)的概率p2，从第三节点输出分数为s3(＞s2)的概率p3，
…
，从第n节点输出分数为sn(＞sn-1)的概率pn。
[0226]
在实施方式6中所示的学习模型440是具备输出每个分数的概率的输出层443的结构，但在输入术野图像的情况下，也可以利用以计算出解剖状态的分数的方式进行学习的回归模型，来代替这种学习模型440。
[0227]
学习模型440通过如下方式生成：将术野图像、与对该术野图像的解剖状态确定的分数(正确数据)的组用于训练数据，并基于适当的学习算法进行学习。用于训练数据的解剖状态的分数，由例如医生确定。医生根据术野图像确认解剖状态，并根据结缔组织的暴露面积、结缔组织的拉伸状态、存在于结缔组织的周围的血管、脂肪等的构造物的多少(依附程度)、以及保留脏器的损伤程度等观点，确定分数即可。另外，用于训练数据的解剖状态的分数，也可以利用图像处理装置30确定。例如，图像处理装置30利用上述的学习模型410识别术野图像所包含的疏松结缔组织，根据该识别结果，对疏松结缔组织的暴露面积、拉伸状态、存在于周围的构造物的多少等进行评价，根据评价结果确定分数即可。另外，图像处理装置30也可以通过识别保留脏器，并且对与正常不同的颜色(烧痕)、形状等进行评价，从而确定分数。
[0228]
图像处理装置30利用所生成的学习模型440，对术野图像所示的解剖状态打分。图30是说明由实施方式6中的图像处理装置30执行处理的步骤的流程图。图像处理装置30的cpu301，获取由摄像头21拍摄的术野图像的情况下(步骤s601)，将所获取的术野图像输入学习模型440，执行学习模型440的运算(步骤s602)。通过执行来自学习模型440的运算，从而从构成输出层443的每个节点，得到针对每个分数的概率。
[0229]
cpu301参照学习模型440的输出，特定解剖状态的分数(步骤s603)。由于从输出层443的每个节点，得到针对每个分数的概率，因此通过cpu301选择概率最高的分数，从而特定解剖状态的分数即可。
[0230]
cpu301与所特定的分数相关联并将术野图像存储于存储装置303(步骤s604)。此时，cpu301也可以将所有的术野图像与分数相关联并存储于存储装置303。另外，cpu301也可以仅提取分数大于规定值(或者小于规定值)的术野图像，并存储于存储装置303。
[0231]
如上所述，在实施方式6中，能够对术野图像所包含的解剖状态打分，并且使术野图像与分数相关联并存储于存储装置303。与分数相关联并存储的术野图像，能够用于手术的评价、进修医生等的教育辅助等。
[0232]
(实施方式7)
[0233]
在实施方式7中，对向辅助内窥镜手术的補助人员(助手)进行指示的结构进行说明。
[0234]
实施方式7的学习模型440以如下方式进行学习：在输入术野图像的情况下，输出与处理对象区域的状态相关的分数。分数的高低以如下方式定义：例如，若处理对象区域为适合切除的状态，则分数变高，若是不适合切除的状态，则分数变低。在此，适合切除的状态是指处理对象区域在3个点被牵拉，创建形成三角形的平面部的状态。相反地，不适合切除的状态是指处理对象区域不充分展开，并产生松弛的状态。
[0235]
学习模型440的内部结构与实施方式6相同，具备输入层441、中间层442、以及输出层443。学习模型440通过如下方式生成：将术野图像、与对该术野图像的处理对象区域的状态进行确定的分数(正确数据)的组用于训练数据，并基于适当的学习算法进行学习。此外，用于训练数据的处理对象区域的状态的分数，由例如医生确定。医生根据术野图像确认处理对象区域的状态，例如根据是否为适合切除的状态的观点，确定分数即可。
[0236]
图31～图33是说明处理对象区域的状态的说明图。图31示出将脂肪组织fat的不同的两个部位分别用钳子50a把持，并稍微提起脂肪组织fat的状态。在该例子中，由于处理对象区域未被充分展开，并产生松弛，因此呈难以切除的状态。由于在将如图31所示的术野图像输入学习模型440的情况下得到的分数较低，因此图像处理装置30以改善分数的方式向辅助人员进行操作辅助。图像处理装置30例如通过以展开处理对象区域，并消除松弛的方式向辅助人员进行指示，从而进行操作辅助。向辅助人员的指示，通过向副监视器31的显示、语音输出等进行。
[0237]
图32示出将脂肪组织fat的不同的两个部位分别利用钳子50a把持，并将脂肪组织fat被充分提起的状态。然而，两个钳子50a、50a的间隔窄，在两者之间产生松弛。在将如图32所示的术野图像输入学习模型440的情况下，虽然改善了分数，但由于切除不充分，因此图像处理装置30以进一步改善分数的方式向辅助人员进行操作辅助。图像处理装置30例如通过以展开处理对象区域，并消除松弛的方式向辅助人员指示，从而进行操作辅助。向辅助人员的指示，通过向副监视器31的显示、语音输出等进行。
[0238]
另外，图像处理装置30也可以评价处理对象区域的状态，并基于评价结果向辅助人员进行指示。图像处理装置30例如将脂肪组织fat在两个部位把持的情况下，评价所形成的棱线即可。在图31以及图32中，棱线用虚线示出。由于图31所示的棱线形成直线状，因此左右方向的松弛较少，但由于向上方的提升量不够(棱线与脏器的距离较短)，因此沿上下
方向产生松弛。于是，图像处理装置30也可以以利用钳子50a提升脂肪组织fat的方式向辅助人员指示。在图32中向上方提升的量足够，但由于棱线为圆弧形，因此沿左右方向产生松弛。于是，图像处理装置30也可以以利用钳子50a向左右方向展开脂肪组织fat的方式向辅助人员指示。
[0239]
图33示出如下状态，该状态为将脂肪组织fat的不同的两个部位分别利用钳子50a把持，并且充分提升脂肪组织fat，而且沿左右方向展开。由于在将这种术野图像输入学习模型440的情况下，分数得到充分改善，是适合切除的状态，因此图像处理装置30向手术人员进行操作辅助。图像处理装置30通过以切除处理对象区域的方式向手术人员指示，从而进行操作辅助。向手术人员的指示，通过向副监视器31的显示、语音输出等进行。
[0240]
如上所述，在实施方式7中，能够利用学习模型440把握处理对象区域的状态，并基于所把握的处理对象区域的状态，向手术人员以及辅助人员进行操作辅助。
[0241]
(实施方式8)
[0242]
在实施方式8中，对如下结构进行说明，该结构为生成术野图像的预测图像，并将所生成的预测图像作为导航信息输出。
[0243]
图34是说明实施方式8的学习模型的说明图。在实施方式8中，针对输入术野图像，利用生成稍微改善分数的术野图像(预测图像)的图像生成模型。
[0244]
学习模型450是以如下方式进行学习的图像生成模型：例如在输入打分范围为0-10(0分以上不足10分)的术野图像的情况下，输出打分范围为10-20的预测图像。作为图像生成模型，能够利用gan(generative adversarial network)、vae(variational autoencoder)、自动编码器、基于流的生成模型等。这种学习模型450通过如下方式生成：例如能够将打分范围为0-10的术野图像(输入数据)、与打分范围为10-20的术野图像(正确数据)从存储装置303读出，并且将这些组用于训练数据进行学习。
[0245]
同样地，预先准备图像生成模型，该图像生成模型举出以如下方式生成针对输入术野图像稍微改善分数的术野图像：在输入打分范围为10-20的术野图像的情况下，是以输出打分范围为20-30的预测图像的方式进行学习的学习模型，在输入打分范围为20-30的术野图像的情况下，是以输出打分范围为30-40的预测图像的方式进行学习的学习模型。
[0246]
此外，输入图像生成模型的术野图像不限于视频，也可以是静止图像。另外，输入图像生成模型的术野图像，不需要是从摄像头21得到的原始图像，也可以是增加了适当图像处理的图像、示出图像的频率成分的数据等。另外，输入图像生成模型的术野图像的打分范围、从图像生成模型输出的术野图像的打分范围，不限于上述的范围，能够适当进行设定。另外，在本实施方式是将实际拍摄的术野图像用于正确数据进行学习的结构，但也可以利用通过3d图形绘制的虚拟的术野图像作为正确数据。
[0247]
图像处理装置30在图像生成模型生成之后的运用阶段中，利用图像生成模型生成预测图像，对手术人员进行提示。图35是说明由实施方式8的图像处理装置30执行处理的步骤的流程图。图像处理装置30的cpu301，在获取由摄像头21拍摄的术野图像的情况下(步骤s801)，将所获取的术野图像输入在实施方式6中所说明的学习模型440，执行来自学习模型440的运算(步骤s802)。通过执行来自学习模型440的运算，从而从构成输出层443的每个节点，得到针对每个分数的概率。
[0248]
cpu301参照输出学习模型440，特定解剖状态的分数(步骤s803)。由于能够从输出
层443的每个节点，得到针对每个分数的概率，因此通过cpu301选择概率最高的分数，从而特定解剖状态的分数即可。
[0249]
cpu301根据特定的分数选择图像生成模型(步骤s804)。例如，若在步骤s803中所特定的分数为0-10的打分范围，则cpu301选择学习模型450。在步骤s803中所特定的分数为其他打分范围的情况下也相同，cpu30选择对每个打分范围准备的学习模型即可。
[0250]
cpu301通过对所选择的图像生成模型输入术野图像，并执行来自图像生成模型的运算，从而生成预测图像(步骤s805)。cpu301将所生成的预测图像显示于副监视器31(步骤s806)。此时，cpu301与术野图像分开显示预测图像即可。
[0251]
如上所述，在实施方式8中，由于能够显示解剖状态的预测图像，因此能够针对手术人员进行操作辅助。
[0252]
以上，对本实施方式进行说明，上述实施方式用于使本发明更易于理解，并不是用于本发明的限制性解释。本发明不脱离其目的，能够进行变更、改良，并且在本发明中还包含其等价物。
[0253]
附图标记说明：
[0254]
311：影像获取部
[0255]
312：解剖状态获取部
[0256]
313：可处置区域显示部
[0257]
314：学习处理部
[0258]
315：分数计算部
[0259]
316：分数输出部
[0260]
331：模型存储部