手术系统以及控制方法与流程

手术系统以及控制方法
1.相关申请的交叉引用
2.本技术主张在2019年11月7日在日本专利局申请的特愿2019-202762号的优先权，通过参照引用其整体并视为本技术的一部分。
技术领域
3.本公开涉及手术系统以及控制方法。


背景技术：

4.以往，为了辅助外科手术而使用机器人。例如，专利文献1公开了一种具备将手术器具设置于器具机械手臂的远端的器具机械手的外科手术系统。该外科手术系统与受理外科医生的指令的操作工具所受理的手术器具的平移量以及旋转量乘以规定的倍率值而得的实际平移量以及实际旋转量对应地，使手术器具动作。平移量的倍率值与旋转量的倍率值不同。
5.专利文献1：日本特开2019-188038号公报
6.如专利文献1所示那样，以往辅助外科手术的机器人构成为进行与由外科医生等手术实施者输入到操作工具的操作对应的动作。因此，实施手术的结果很大程度上取决于机器人的手术实施者的施术能力或操作机器人的能力。


技术实现要素：

7.本公开的目的在于提供一种能够进行使用机器人的高效的手术的手术系统以及控制方法。
8.为了实现上述目的，本公开的一个形态所涉及的手术系统具备：机器人，其具有供手术器具设置的器具机械手；控制装置，其控制上述机器人；以及操作输入装置，其受理指令的输入，并将该指令向上述控制装置输出，上述控制装置包括动作处理部，该动作处理部生成用于使上述机器人自动进行手术动作的自动动作指令，并根据上述自动动作指令来控制上述机器人的手术动作。
9.根据本公开的技术，能够进行使用机器人的高效的手术。
附图说明
10.图1是表示实施方式所涉及的手术系统的结构的一个例子的图。
11.图2是表示实施方式所涉及的控制装置的功能上的结构的一个例子的框图。
12.图3是表示执行实施方式所涉及的手术系统的手动运转模式的动作的一个例子的流程图。
13.图4是表示执行实施方式所涉及的手术系统的第一自动运转模式的动作的一个例子的流程图。
14.图5是表示执行实施方式所涉及的手术系统的第二自动运转模式的动作的一个例
子的流程图。
15.图6是表示执行实施方式所涉及的手术系统的第三自动运转模式的动作的一个例子的流程图。
16.图7是表示执行使用实施方式所涉及的手术系统的第一自动运转模式的自动运转的修正自动运转模式的动作的一个例子的流程图。
17.图8是表示执行使用实施方式所涉及的手术系统的第二自动运转模式的自动运转的修正自动运转模式的动作的一个例子的流程图。
18.图9是表示执行使用实施方式所涉及的手术系统的第二自动运转模式的自动运转的修正自动运转模式的动作的一个例子的流程图。
19.图10是表示执行使用实施方式所涉及的手术系统的第三自动运转模式的自动运转的修正自动运转模式的动作的一个例子的流程图。
20.图11是表示执行使用实施方式所涉及的手术系统的第三自动运转模式的自动运转的修正自动运转模式的动作的一个例子的流程图。
具体实施方式
21.首先，对本公开的各形态例进行说明。本公开的一个形态所涉及的手术系统具备：机器人，其具有供手术器具设置的器具机械手；控制装置，其控制上述机器人；以及操作输入装置，其受理指令的输入，并将该指令向上述控制装置输出，上述控制装置包括动作处理部，该动作处理部生成用于使上述机器人自动进行手术动作的自动动作指令，并根据上述自动动作指令来控制上述机器人的手术动作。根据上述形态，由于能够使机器人的手术动作自动化，所以能够进行使用机器人的高效的手术。
22.也可以为，在本公开的一个形态所涉及的手术系统中，上述控制装置还包括存储部，该存储部存储用于使上述机器人自动进行规定的手术动作的信息亦即自动运转信息，上述动作处理部根据上述自动运转信息来生成上述自动动作指令。根据上述形态，通过使机器人进行根据预先存储于存储部的自动运转信息的动作亦即自动动作，从而能够使机器人的手术动作自动化。
23.也可以为，在本公开的一个形态所涉及的手术系统中，上述动作处理部从上述操作输入装置受理用于对正根据上述自动动作指令自动进行手术动作的上述机器人的动作进行修正的操作信息亦即修正操作信息，控制上述机器人以进行从根据上述自动动作指令执行的动作修正后的动作亦即修正动作，将用于供上述机器人进行上述修正动作的信息作为上述自动运转信息存储于上述存储部。根据上述形态，通过手术实施者的操作，修正根据预先存储于存储部的自动运转信息执行的自动动作，由此能够生成反映了手术实施者的手术技术的更适当的自动运转信息。因此，能够向手术系统传承手术者的技能。
24.也可以为，在本公开的一个形态所涉及的手术系统中，上述动作处理部根据使用存储于上述存储部的最新的上述自动运转信息而生成的上述自动动作指令，控制上述机器人的手术动作。根据上述形态，手术实施者不易反复进行根据自动运转信息的机器人的自动动作的修正，能够使机器人的自动动作接近作为手术实施者的目标的手术动作。
25.也可以为，在本公开的一个形态所涉及的手术系统中，在上述存储部存储有多个上述自动运转信息，上述动作处理部从存储于上述存储部的上述多个自动运转信息中，决
定用于上述自动动作指令的生成的上述自动运转信息。根据上述形态，由于能够与手术动作对应地选择适当的自动运转信息，所以能够使机器人执行适当的自动动作。
26.也可以为，在本公开的一个形态所涉及的手术系统中，在上述存储部存储有多个上述自动运转信息，上述动作处理部使用存储于上述存储部的上述多个自动运转信息，生成新的自动运转信息。根据上述形态，例如，能够生成强调多个自动运转信息的优点且补充多个自动运转信息的缺点的新的自动运转信息。因此，能够生成更接近作为目标的手术动作的实现的自动运转信息。
27.也可以为，在本公开的一个形态所涉及的手术系统中，上述控制装置还包括：第一机器学习模型；和存储部，其存储上述机器人的动作信息、和表示对上述机器人的手动动作或上述机器人的自动动作进行的修正动作的第一信息，上述第一机器学习模型使用上述动作信息、和与上述动作信息对应的上述第一信息来进行机器学习，学习后的上述第一机器学习模型将上述动作信息作为输入数据，且将与上述动作信息对应的对应动作指令作为输出数据，上述动作处理部基于上述第一机器学习模型的上述对应动作指令，生成上述自动动作指令。
28.根据上述形态，第一机器学习模型当接受机器人的动作信息的输入时，为了生成对该动作信息的机器人的接下来的自动动作指令，而输出对应动作指令。因此，手术系统基于机器人的动作信息，决定该动作信息的机器人接下来执行的动作，使机器人自动动作。通过推进第一机器学习模型的机器学习，从而提高第一机器学习模型的输出数据的精度、即机器人接下来执行的动作的精度。另外，第一信息表示由手术实施者操作的机器人的动作。因此，第一机器学习模型通过进行使用了第一信息的机器学习来学习手术实施者的手术技术，学习后的第一机器学习模型能够输出基于学习后的各种手术技术的最佳的输出数据。因此，能够向手术系统传承手术实施者的技能。
29.也可以为，在本公开的一个形态所涉及的手术系统中，上述控制装置还包括：第二机器学习模型；和存储部，其存储上述机器人的手术动作中的处理的对象部分的图像数据、和表示上述机器人相对于上述图像数据的上述对象部分的动作的第二信息，上述第二机器学习模型使用上述对象部分的图像数据、和与上述图像数据的上述对象部分相对的上述第二信息来进行机器学习，学习后的上述第二机器学习模型将上述图像数据作为输入数据且将与上述图像数据对应的对应动作指令作为输出数据，上述动作处理部基于上述第二机器学习模型的上述对应动作指令，生成上述自动动作指令。
30.根据上述形态，第二机器学习模型当接受对象部分的图像数据的输入时，为了生成针对机器人的相对于该图像数据的对象部分的接下来的自动动作指令，而输出对应动作指令。因此，手术系统基于对象部分的图像数据，决定机器人相对于该图像数据的状态的对象部分，接来下要执行的动作，使机器人自动动作。通过推进第二机器学习模型的机器学习，从而提高第二机器学习模型的输出数据的精度、即机器人接下来执行的动作的精度。另外，第二信息表示由手术实施者操作的机器人的动作。因此，第二机器学习模型通过进行使用了第二信息的机器学习来学习手术实施者的手术技术以及图像的识别技术，学习后的第二机器学习模型能够输出基于学习后的各种手术技术以及图像的识别技术的最佳的输出数据。因此，向手术系统传承手术实施者的技能。
31.也可以为，本公开的一个形态所涉及的手术系统在上述机器人还装备有供内视镜
照相机设置的内视镜机械手，上述第二机器学习模型将由上述内视镜照相机拍摄到的图像数据用作上述对象部分的图像数据。根据上述形态，由于能够在机器人的手术动作中的处理的对象部分的图像数据的取得中利用内视镜照相机，所以不需要设置新的照相机。
32.也可以为，在本公开的一个形态所涉及的手术系统中，上述动作处理部从上述操作输入装置受理用于指定上述机器人自动进行手术动作的起点以及终点的指令的输入，使上述机器人在上述起点与上述终点之间的部位自动进行手术动作。根据上述形态，由于起点以及终点由手术实施者指定，所以起点以及终点的决定处理是简易的，且所决定的起点以及终点的位置的精度高。
33.也可以为，本公开的一个形态所涉及的手术系统还具备照相机，该照相机拍摄手术对象区域，上述控制装置包括：图像处理部，其通过处理由上述照相机拍摄到的上述手术对象区域的图像，来确定上述手术对象区域；和决定部，其决定由上述图像处理部确定的上述手术对象区域中的手术动作的起点以及终点，上述动作处理部使上述机器人在上述起点与上述终点之间的部位自动进行手术动作。根据上述形态，能够使起点以及终点的决定的顺序自动化。
34.也可以为，在本公开的一个形态所涉及的手术系统中，上述动作处理部从上述操作输入装置受理用于通过手动操作使上述机器人进行手术动作的操作信息亦即手动操作信息，根据上述手动操作信息来生成用于使上述机器人动作的手动动作指令，并根据上述手动动作指令来控制上述机器人的手术动作，在根据上述自动动作指令的上述机器人的控制之前以及之后的至少一方，受理上述手动操作信息，进行根据上述手动动作指令的上述机器人的控制。根据上述形态，能够对一个手术对象部分，实施根据手动动作指令的机器人的动作亦即手动动作中的处置、和机器人的自动动作中的处置。例如，能够对手术对象部分实施分别适合于机器人的手动动作以及自动动作的处置。
35.也可以为，本公开的一个形态所涉及的手术系统具备多个上述操作输入装置，上述动作处理部从上述多个操作输入装置中的被选出的一个上述操作输入装置受理用于通过手动操作使上述机器人进行手术动作的操作信息亦即手动操作信息，根据上述手动操作信息来生成用于使上述机器人动作的手动动作指令，并根据上述手动动作指令来控制上述机器人的手术动作。根据上述形态，执行使用了多个操作输入装置中的被选出的一个的机器人的手动动作。
36.也可以为，本公开的一个形态所涉及的手术系统具备：多个上述机器人；和多个上述操作输入装置，上述控制装置还包括：连接控制部，其选择并连接上述多个机器人之一和上述多个操作输入装置之一；和存储部，其存储手术中的上述机器人与上述操作输入装置的组合、和上述组合的执行顺序，上述连接控制部根据存储于上述存储部的上述组合以及上述组合的执行顺序，将上述多个机器人中的被选出的一个与上述多个操作输入装置中的被选出的一个连接。根据上述形态，能够对一个手术对象部分，使用机器人以及操作输入装置的多个组合，且根据组合的执行顺序，进行手术动作。因此，能够使各组合自动地承担适合于该组合的手术动作，由此能够执行适当的手术。
37.也可以为，本公开的一个形态所涉及的手术系统具备多个上述机器人；和多个上述操作输入装置，上述控制装置还包括连接控制部，该连接控制部选择并连接上述多个机器人之一上述多个操作输入装置之一，上述连接控制部从上述多个操作输入装置的至少一
个受理手术中的上述机器人与上述操作输入装置的组合、和用于指定上述组合的执行顺序的指令的输入，将上述多个机器人中的被选出的一个与上述多个操作输入装置中的被选出的一个连接。根据上述形态，能够对一个手术对象部分，使用机器人以及操作输入装置的多个组合，且根据组合的执行顺序，进行手术动作。能够决定使用了操作输入装置的组合以及执行顺序。因此，能够由手术实施者进行组合以及执行顺序的决定以及变更。
38.本公开的一个形态所涉及的控制方法是进行手术动作的机器人的控制方法，生成用于使上述机器人自动进行手术动作的自动动作指令，根据上述自动动作指令使上述机器人进行手术动作。根据上述形态，可得到与本公开的一个形态所涉及的手术系统同样的效果。
39.也可以为，在本公开的一个形态所涉及的控制方法中，根据存储于存储部且用于使上述机器人自动进行规定的手术动作的信息亦即自动运转信息，生成上述自动动作指令。
40.也可以为，在本公开的一个形态所涉及的控制方法中，从操作输入装置受理用于对正根据上述自动动作指令自动进行手术动作的上述机器人的动作进行修正的操作信息亦即修正操作信息，基于所受理的上述修正操作信息，使上述机器人动作以进行从根据上述自动动作指令执行的动作修正后的动作亦即修正动作，将用于上述机器人进行上述修正动作的信息作为上述自动运转信息存储于上述存储部。
41.也可以为，在本公开的一个形态所涉及的控制方法中，使第一机器学习模型将上述机器人的动作信息作为输入数据输入、将上述机器人的对应动作指令作为输出数据输出，基于上述对应动作指令，生成上述自动动作指令，使上述第一机器学习模型运用表示使用操作输入装置对上述机器人的手动动作或上述机器人的自动动作进行的修正动作的第一信息、和与上述第一信息对应的上述动作信息来进行机器学习，由上述第一机器学习模型输出的上述对应动作指令是与上述机器人的动作信息对应的指令。
42.也可以为，在本公开的一个形态所涉及的控制方法中，使第二机器学习模型将上述机器人的手术动作中的处理的对象部分的图像数据作为输入数据输入、将上述机器人的对应动作指令作为输出数据输出，基于上述对应动作指令，生成上述自动动作指令，使上述第二机器学习模型使用上述对象部分的图像数据、和表示上述机器人对上述图像数据的上述对象部分的动作的第二信息来进行机器学习，由上述第二机器学习模型输出的上述对应动作指令是与上述机器人的动作信息对应的指令。
43.以下，参照附图对本公开的实施方式进行说明。此外，以下说明的实施方式均表示总括性或具体的例子。另外，对于以下实施方式中的构成要素中的表示最上位概念的独立权利要求中未记载的构成要素，作为任意的构成要素进行说明。另外，所附的附图中的各图是示意性的图，不一定是严格图示的。并且，在各图中，对实质上相同的构成要素标注相同的附图标记，有时省略或简化重复的说明。另外，在本说明书以及权利要求书中，所谓“装置”，不仅可以指一个装置，可以指由多个装置构成的系统。
44.[手术系统的结构]
[0045]
对实施方式所涉及的手术系统100的结构进行说明。图1是表示实施方式所涉及的手术系统100的结构的一个例子的图。如图1所示，手术系统100具备机器人1、控制台7以及控制装置3。控制装置3包含第一控制装置31以及第二控制装置32。在本实施方式中，机器人
1是进行腹腔镜下手术的机器人，但也可以是进行任何手术的机器人，例如，也可以是具备分别具有手术器具的多个臂的机型等任何机型的机器人。
[0046]
在本实施方式中，手术系统100是利用主从方式的机器人1的系统。控制台7构成主机，机器人1构成从机。在手术系统100中，外科医生等手术实施者s操作控制台7的操作输入装置71而使其动作，向操作输入装置71输入指令，机器人1进行与该指令对应的动作，能够进行手术动作。另外，在手术系统100中，机器人1也能够在不接受由手术实施者s进行的使用操作输入装置71的操作的情况下，自动进行规定的手术动作。
[0047]
在本实施方式中，手术系统100能够使机器人1执行“手动运转模式”、“自动运转模式”以及“修正自动运转模式”下的手术动作。“手动运转模式”、“自动运转模式”以及“修正自动运转模式”不包含教导机器人1手术动作的教示(也称为“示教”)动作。
[0048]
手动运转模式是根据经由操作输入装置71输入的指令，使机器人1动作的运转模式。例如，机器人1执行根据由手术实施者s输入到操作输入装置71的操作亦即手动操作的动作，即，追踪该手动操作的动作。机器人1通过手术实施者s进行手动运转。
[0049]
自动运转模式是根据预先设定的任务程序使机器人1动作的运转模式。机器人1根据该任务程序进行自动执行规定的手术动作的自动运转。规定的手术动作的例子是切开、缝合、切削、切除以及组织片的采集等。自动运转模式在机器人1的自动运转中，操作输入装置71的操作不反映到机器人1的动作这一点上，区别于后述的修正自动运转模式。
[0050]
并且，自动运转模式包含3个运转模式。第一自动运转模式是根据教示信息等预先设定的信息亦即自动运转信息，使机器人1自动进行手术动作的运转模式。自动运转信息存在通过修正自动运转模式的执行，更新为新的自动运转信息的情况。即，生成最新的自动运转信息。
[0051]
第二自动运转模式是根据第一机器学习模型输出的指令亦即对应动作指令，使机器人1自动进行手术动作的运转模式。第一机器学习模型使用第一信息、和与第一信息对应的机器人1的动作信息来进行机器学习，该第一信息表示对使用操作输入装置71进行的手动运转下的机器人1的手动动作或机器人1的自动运转中的动作，使用操作输入装置71进行了修正的动作。并且，学习后的第一机器学习模型将机器人1的动作信息作为输入数据，且将与该动作信息对应的对应动作指令作为输出数据。
[0052]
第三自动运转模式是根据第二机器学习模型输出的对应动作指令，使机器人1自动进行手术动作的运转模式。第二机器学习模型使用机器人1的手术动作中的处理的对象部分的图像数据、和机器人1对该图像数据的对象部分的动作信息来进行机器学习。并且，学习后的第二机器学习模型将对象部分的图像数据作为输入数据，将对应动作指令作为输出数据。
[0053]
修正自动运转模式是在机器人1自动进行手术动作的途中，使输出到操作输入装置71的操作反映到机器人1的自动动作中，修正自动进行了的动作的运转模式。即，机器人1在能够反映经由操作输入装置71输入的指令的状态下，进行自动运转。因此，在修正自动运转模式中，能够修正正在自动进行手术动作的机器人1的动作。修正自动运转模式包含使用第一自动运转模式的自动运转的事例、使用第二自动运转模式的自动运转的事例、以及使用第三自动运转模式的自动运转的事例，来作为修正对象的自动运转。
[0054]
此外，手术系统100也可以构成为能够执行全部上述运转模式，也可以构成为能够
执行仅一部分。例如，在后者的情况下，手术系统100也可以构成为能够执行手动运转模式、第一～第三自动运转模式之一、以及使用了该自动运转模式的修正自动运转模式。
[0055]
[机器人的结构]
[0056]
对机器人1的结构的一个例子进行说明。此外，机器人1的结构并不限定于以下说明的结构，只要是能够进行手术动作的结构即可。如图1所示，机器人1构成手术系统100与患者p的接口。例如，机器人1配置在作为灭菌区的手术室内，患者p躺卧的手术台的旁边。机器人1具备机器人主体2和第一控制装置31。机器人主体2包含多个手术机械手20、单一的入口导向件9、以及将手术机械手20以及入口导向件9相对于患者p进行定位的定位器10。
[0057]
入口导向件9安装于留置在患者p的体表的插管(省略图示)。入口导向件9是引导多个手术机械手20的部件，多个手术机械手20穿过入口导向件9的孔。定位器1包含水平多关节型机械手12、支承部件12b、垂直多关节型机械手13、以及支承架14。水平多关节型机械手12支承于台车11。支承部件12b设置于以台车11为起点的水平多关节型机械手12的远端部。垂直多关节型机械手13经由支承部件12b被水平多关节型机械手12支承。支承架14设置于以支承部件12b为起点的垂直多关节型机械手13的远端部。此外，定位器10的结构并不限定于上述结构，只要是能够将入口导向件9高精度地定位到目标位置(包含姿势)的结构即可。
[0058]
支承架14包含隔开间隔地相互对置的对置部14a以及14b。入口导向件9配置并支承于对置部14b。集中支承多个手术机械手20的支承块15配置并支承于对置部14a。多个手术机械手20位于对置部14a以及14b之间。多个手术机械手20包含具有手术器具(省略图示)的器具机械手20a(参照图2)、和具有内视镜照相机(省略图示)的内视镜机械手20b(参照图2)。
[0059]
手术器具是指插入到患者p的腹腔中的手术部位，并且为了执行手术部位中的目标组织的所希望的处理或医疗功能，而能够从腹腔的外侧驱动的实际的被操作部。例如，手术器具具备一对钳口。手术器具也可以是钳子、把持器、剪刀、缝合器、针保持器、以及电动手术刀等外科器具。另外，手术器具也可以是电子外科电极、换能器、传感器等被电驱动的设备。另外，手术器具也可以是供给用于吸入、气体注入、清洗、处理流体、附件导入、活检摘除等的流体的喷嘴。另外，例如，内视镜照相机的结构也可以是包含对物透镜以及光导等在内的结构。
[0060]
[第一控制装置的结构]
[0061]
第一控制装置31控制机器人主体2整体的动作。例如，第一控制装置31为计算机装置。如图1所示，第一控制装置31与控制台7可通信地连接。第一控制装置31响应控制台7所受理的指令，使机器人主体2在各运转模式下动作。第一控制装置31为了在控制台7显示内视镜照相机的内视镜图像、以及使控制台7进行与机器人主体2的动作对应的动作等，而向控制台7发送信息。
[0062]
第一控制装置31具有以将入口导向件9定位在规定的位置以及姿势的方式控制定位器10的动作的定位器控制功能。定位器10的水平多关节型机械手12以及垂直多关节型机械手13在各关节具备驱动装置。各驱动装置包含如下部件(均省略图示)，但并非全部都是必须的，即：作为驱动关节的电动马达的一个例子的伺服马达；检测关节的旋转量的编码器等旋转传感器；检测伺服马达的驱动电流的电流传感器；以及将伺服马达的驱动力向关节
传递的减速器等动力传递机构。
[0063]
第一控制装置31具有控制各器具机械手20a的动作的手术器具控制功能。第一控制装置31具有控制手术器具的动作的功能、和以使手术器具成为与指令对应的位置以及姿势的方式控制器具机械手20a的动作的功能。各器具机械手20a包含多个关节，各关节具备驱动装置。各驱动装置包含如下部件(均省略图示)，但并非全部都是必须的，即：作为驱动关节的电动马达的一个例子的伺服马达；检测关节的旋转量的编码器等旋转传感器；检测伺服马达的驱动电流的电流传感器；以及将伺服马达的驱动力向关节传递的减速器等动力传递机构。
[0064]
第一控制装置31具有控制内视镜机械手20b的动作的内视镜控制功能。第一控制装置31具有控制内视镜照相机的动作的功能、和以使内视镜照相机成为与指令对应的位置以及姿势的方式控制内视镜机械手20b的动作的功能。内视镜机械手20b包含多个关节，各关节具备驱动装置。各驱动装置包含如下部件(均省略图示)，但并非全部都是必须的，即：驱动关节的伺服马达等电动马达；检测关节的旋转量的编码器等旋转传感器；检测伺服马达的驱动电流的电流传感器；以及将伺服马达的驱动力向关节传递的减速器等动力传递机构。
[0065]
第一控制装置31由具有处理器以及存储器等的运算器构成。运算器进行与包含控制台7在内的其他装置的信息、数据以及指令等的收发。运算器进行来自各种传感器的检测信号的输入以及向各控制对象的控制信号的输出。存储器由易失性存储器以及非易失性存储器等半导体存储器、硬盘以及ssd(solid state drive：固态硬盘)等存储装置构成。例如，存储器存储运算器执行的程序、以及各种固定数据等。
[0066]
运算器的功能也可以通过由cpu(central processing unit：中央处理单元)等处理器、ram(random access memory：随机存取存储器)等易失性存储器以及rom(read-only memory：只读存储器)等非易失性存储器等构成的计算机系统(省略图示)来实现。运算器的功能的一部分或全部也可以通过cpu将ram用作工作区域，执行记录在rom的程序来实现。此外，运算器的功能的一部分或全部也可以通过上述计算机系统实现，也可以通过电子电路或集成电路等专用的硬件电路来实现，也可以通过上述计算机系统以及硬件电路的组合来实现。此外，第一控制装置31也可以通过基于单一的计算机装置进行的集中控制来执行各处理，也可以通过基于多个计算机装置的配合进行的分散控制来执行各处理。
[0067]
另外，第一控制装置31例如由微控制器、mpu(micro processing unit：微处理单元)、lsi(large scale integration：大规模集成电路)、系统lsi、plc(programmable logic controller：可编程逻辑控制器)、逻辑电路等构成。第一控制装置31的多个功能也可以由单独地进行单芯化来实现，也可以通过以包含一部分或全部的方式进行单芯化来实现。另外，电路可以分别为通用的电路，也可以分别为专用的电路。作为lsi，也可以利用在lsi制造后编程的fpga(field programmable gate array：现场可编程门阵列)、能够重构lsi内部的电路单元的连接以及/或设定的可重构处理器、或面向特定用途将多个功能的电路集中为一个的asic(application specific integrated circuit：专用集成电路)等。
[0068]
[控制台的结构]
[0069]
对控制台7的结构进行说明。如图1所示，控制台7是构成手术系统100与手术实施者s的接口，且用于操作机器人主体2的装置。控制台7设置于手术室内手术台的旁边或远离
手术台，或者设置于手术室外。
[0070]
控制台7包含：操作输入装置7，其用于受理来自手术实施者s的指令的输入；显示器装置73，其显示由内视镜照相机拍摄到的图像；以及第二控制装置32。操作输入装置71包含左右一对操作机械手72l以及72r。和操作用踏板75。操作机械手72l以及72r是用于手动操作机器人主体2的装置。第二控制装置32也可以与第一控制装置31同样地，由计算机装置等构成。
[0071]
操作机械手72l以及72r分别构成为在远端部具有操作部(省略图示)，并在操作部接受来自手术实施者s的操作力。在本实施方式中，操作机械手72l以及72r是受理内视镜照相机以及手术器具的位置以及姿势的移动指令等的操作工具。操作用踏板75例如是受理内视镜照相机的变焦、控制模式的切换、运转模式的切换、与操作机械手72l以及72r相对应的器具机械手的切换等指令的操作工具。操作输入装置71还包含受理手术器具的体腔插入指令的输入的操作工具、和受理机械手复位指令的输入的操作工具等。这些操作工具也可以由操作机械手72l以及72r与操作用踏板75中的一个兼用，也可以通过设置杆、按钮、触摸面板、操纵杆、动作捕捉等公知的追加的操作工具来实现。操作输入装置71也可以具有驱动机构(省略图示)，该驱动机构用于对操作部施加相对于手术实施者s的操作力的反作用力。
[0072]
在机器人主体2的手动操作时，手术实施者s边通过显示于显示器装置73的内视镜图像来确认患部，边直接移动操作机械手72l以及72r的操作部，由此指示机器人主体2的机械手的末端执行器的移动。机器人主体2的上述机械手例如是通过操作用踏板75的操作而与操作机械手72l以及72r相对应的器具机械手20a或内视镜机械手20b，末端执行器为手术器具或内视镜照相机。
[0073]
[第二控制装置的结构]
[0074]
第二控制装置32控制控制台7整体的动作。例如，第二控制装置32与第一控制装置31同样为计算机装置。如图1所示，第二控制装置32与第一控制装置31可通信地连接。例如，第二控制装置32将在操作输入装置71中受理的信息以及指令等向第一控制装置31发送。另外，第二控制装置32基于从第一控制装置31接收到的信息、数据以及指令等，控制使操作机械手72l以及72r等进行的动作、以及显示器装置73的图像显示动作等。第二控制装置32的功能的一部分或全部也可以通过由cpu、ram以及rom等构成的计算机系统(省略图示)来实现，也可以通过电子电路或集成电路等专用的硬件电路来实现，也可以通过上述计算机系统以及硬件电路的组合来实现。此外，第二控制装置32也可以通过基于单一的计算机装置进行的集中控制来执行各处理，也可以通过基于多个计算机装置的配合进行的分散控制来执行各处理。第二控制装置32以及第一控制装置31也可以包含在单一的计算机装置中。
[0075]
对第二控制装置32的功能性结构进行说明。图2是表示实施方式所涉及的控制装置3的功能性的结构的一个例子的框图。如图2所示，第二控制装置32包含图像处理部321、输入处理部322、动作指令生成部323、位置指令生成部324以及动作控制部325，来作为功能性构成要素。上述功能性构成要素的功能由处理器等实现。此外，上述功能性构成要素并非全部都是必须的。
[0076]
图像处理部321从第一控制装置31接收由内视镜照相机拍摄到的图像数据，将该图像数据输出并显示于显示器装置73。图像处理部321也可以对图像数据施加转换处理等，并输出到显示器装置73。
[0077]
输入处理部322根据设置于操作机械手72l以及72r的各关节的旋转传感器的检测值来检测各关节的旋转量，根据各关节的旋转量来检测操作部的位置以及速度(移动速度)。动作指令生成部323基于由输入处理部322检测到的操作部的位置以及速度，生成对机器人主体2相对于机械手的位置以及速度等进行指示的移动指令。此外，也可以设置检测施加到操作机械手72l以及72r的力的力传感器，输入处理部322根据力传感器的检测值来检测力的大小以及方向等力的检测值，动作指令生成部323基于力的检测值，生成对机器人主体2的机械手施加到对象物的力的大小以及方向等进行指示的力指令。动作指令生成部323也可以使用与力的检测值对应的加速度来生成移动指令。动作指令生成部323将包含上述移动指令以及上述力指令等在内的操作动作指令向第一控制装置31发送。
[0078]
位置指令生成部324从第一控制装置31接收位置指令。位置指令包含机器人主体2的机械手的位置以及姿势等指令，例如包含械手的各关节的位置以及姿势等指令。位置指令生成部324基于接收到的位置指令和移动指令，生成对操作机械手72l以及72r的操作部的位置以及姿势等进行指示的操作位置指令，使得操作机械手72l以及72r的操作部的位置以及姿势与机器人主体2的机械手的末端执行器对应。操作位置指令也可以包含对操作机械手72l以及72r的操作部施加的反作用力。位置指令生成部324根据设置于操作机械手72l以及72r的各关节的旋转传感器的检测值来检测各关节的位置。动作控制部325根据操作位置指令和操作机械手72l以及72r的各关节的位置来决定各关节的驱动转矩，向所对应的关节的伺服马达供给与驱动转矩对应的电流。其结果，操作机械手72l以及72r的操作部的位置以及姿势与机器人主体2的机械手的末端执行器的位置以及姿势对应地移动。
[0079]
[第一控制装置的功能的结构]
[0080]
对第一控制装置31的功能性结构进行说明。如图2所示，第一控制装置31包含图像取得部311、信息处理部312、动作指令生成部313、动作控制部314以及存储部315，来作为功能性构成要素。除了存储部315以外的功能性构成要素的功能由处理器等实现，存储部315的功能由存储器实现。此外，上述功能性构成要素并非全部都是必须的。图像取得部311、信息处理部312、动作指令生成部313以及动作控制部314是动作处理部的一个例子。
[0081]
存储部315能够进行各种信息的储存，即进行存储，且能够读出所储存的信息。例如，存储部315能够存储教示信息等自动运转信息。存储部315能够存储第一机器学习模型、和为了第一机器学习模型在学习中使用而积累的学习数据亦即第一学习数据。存储部315能够存储第二机器学习模型、和为了第二机器学习模型在学习中使用而积累的学习数据亦即第二学习数据。
[0082]
这里，第一机器学习模型以及第二机器学习模型是进行机器学习的模型，通过使用学习数据来进行学习，提高输出数据相对于输入数据的精度。第一机器学习模型以及第二机器学习模型由神经网络(neural network)、random forest、genetic programming、回归模型、树模型、贝叶斯模型、时间序列模型、聚类模型、以及总体学习模型等学习模型构成。在本实施方式中，第一机器学习模型以及第二机器学习模型由神经网络构成。
[0083]
神经网络由包含输入层以及输出层的多个节点层构成。节点层包含一个以上的节点。在神经网络由输入层、中间层以及输出层构成的情况下，神经网络针对输入到输入层的节点的信息，依次进行从输入层向中间层的输出处理、从中间层向输出层的输出处理，输出适合于输入信息的输出结果。此外，一层的各节点与下一层的各节点连接，对节点间的连接
进行加权。一层的节点的信息被赋予节点间的连接的加权，并被输出到下一层的节点。
[0084]
另外，神经网络也可以为递归神经网络(recurrent neural network)(也称为“回归型神经网络”)。递归神经网络处理时间序列信息。递归神经网络的输入数据包含当前时刻的数据、和在当前时刻之前的过去时刻的递归神经网络中的中间层的输出数据。递归神经网络具有考虑了时间序列信息的网络构造。这样的递归神经网络进行考虑了输入数据的随时间变化的行为的输出，因此能够提高输出数据的精度。第一机器学习模型以及第二机器学习模型处理时间序列数据，因此优选为递归神经网络。
[0085]
图像取得部311取得由内视镜照相机拍摄到的图像数据，向第二控制装置32发送。另外，图像取得部311存在将上述图像数据输出到信息处理部312的情况。
[0086]
信息处理部312从第二控制装置32接收移动指令以及力指令等，向动作指令生成部313输出。信息处理部312也存在对移动指令以及力指令等实施处理并输出到动作指令生成部313的情况。信息处理部312基于从第二控制装置32接收到的运转模式的指令等，从存储部315读出自动运转信息，输出到动作指令生成部313。信息处理部312也存在对自动运转信息实施处理并输出到动作指令生成部313的情况。
[0087]
信息处理部312从动作指令生成部313接收机器人主体2的机械手的动作信息，将该动作信息输入到第一机器学习模型，将作为第一机器学习模型的输出数据的对应动作指令输出到动作指令生成部313。
[0088]
信息处理部312从图像取得部311接收由内视镜照相机拍摄到的图像数据，将该图像数据输入到第二机器学习模型，将作为第二机器学习模型的输出数据的对应动作指令输出到动作指令生成部313。信息处理部312也可以构成为对图像数据实施图像处理并输出到第二机器学习模型。
[0089]
这里，机器人主体2的机械手的动作信息包含动作数据。动作数据包含表示动作时的机械手以及末端执行器的位置的位置数据、和表示末端执行器施加到对象物的力的力数据中的至少一个。位置数据也可以包含三维空间内的位置和三维空间内的姿势。力数据也可以包含力的大小和三维空间内的力的方向。位置数据以及力数据也可以是与各位置以及各力的产生时刻相关联的时间序列数据。
[0090]
另外，动作信息也可以包含机器人主体2的机械手的末端执行器施加作用的对象物的拍摄数据、在末端执行器产生的振动数据、冲击数据、光数据、声音数据、温度数据、湿度数据、以及气压等压力数据等，来作为动作数据以外的信息。在本实施方式中处理的动作信息至少包含动作数据。
[0091]
另外，信息处理部312从动作指令生成部313接收位置指令，并将该位置指令向第二控制装置32发送。
[0092]
动作指令生成部313根据从信息处理部312接收的移动指令、力指令、自动运转信息或对应动作指令，生成动作指令。动作指令包含位置指令，并且也可以包含力指令。也可以在位置指令中应用预先设定的移动范围的限制以及移动速度的限制等。
[0093]
这里，位置指令可包含对机器人主体2的机械手的末端执行器以及/或各关节等的位置、姿势、及位置和姿势的速度的目标值或修正值(修正值)进行指示的指令。上述位置及其速度也可以表示三维空间内的位置以及速度，上述姿势及其速度也可以表示三维空间内的姿势以及速度。在本说明书以及权利要求书中，所谓“位置”是指包含三维空间内的位置、
位置的速度、姿势以及姿势的速度中的至少三维空间内的位置。力指令包含对机器人主体2的机械手的末端执行器施加到对象物的力的大小以及方向的目标值、或修正值(修正值)进行指示的指令。力的方向也可以表示三维空间内的方向。
[0094]
动作控制部314向驱动机器人主体2的机械手的各关节的伺服马达供给电流。具体而言，动作控制部314从设置于机器人主体2的机械手的各关节的伺服马达的旋转传感器以及电流传感器接收旋转量以及电流的检测值，来作为反馈信息。此外，动作控制部314也可以使用伺服马达的驱动电路向该伺服马达供给的电流的指令值来作为反馈信息。并且，在机器人主体2的机械手的末端执行器设置有力传感器的情况下，动作控制部314从该力传感器接收力的检测值来作为反馈信息。动作控制部314根据机器人主体2的机械手的各关节的旋转量的检测值来检测各关节的位置，并根据动作指令的位置指令和各关节的位置来决定各关节的驱动量以及驱动速度。另外，动作控制部314根据机器人主体2的机械手的末端执行器的力的检测值和动作指令的力指令，决定各关节的驱动转矩。动作控制部314基于电流的检测值，与上述驱动量、驱动速度以及驱动转矩对应地，决定用于使各伺服马达驱动的电流值，将该电流值的电流向各伺服马达供给。由此，例如，机器人主体2的机械手在根据移动指令进行动作的情况下，与操作机械手72l以及72r的操作部的动作对应地进行动作。
[0095]
[手术系统的动作]
[0096]
[手动运转模式]
[0097]
说明对患者进行手术时的实施方式所涉及的手术系统100的手动运转模式下的动作。图3是表示执行实施方式所涉及的手术系统100的手动运转模式的动作的一个例子的流程图。如图3所示，手术实施者s在对患者进行手术时，使用操作输入装置71的操作用踏板75输入手动运转模式的执行的指令。第二控制装置32受理手动运转模式的执行指令，并将该指令向第一控制装置31发送(步骤s101)。
[0098]
接着，第一控制装置31根据手术实施者s对操作输入装置71的操作机械手72l以及72r施加的操作，执行使机器人主体2动作的控制(步骤s102)。
[0099]
接着，第二控制装置32生成与手术实施者s施加到操作机械手72l以及72r的操作对应的操作动作指令，向第一控制装置31发送(步骤s103)。接着，第一控制装置31生成基于操作动作指令的动作指令亦即手动动作指令(步骤s104)。并且，第一控制装置31从机器人主体2取得动作信息(步骤s105)。并且，第一控制装置31使用动作信息来作为反馈信息，生成用于使机器人主体2执行与手动动作指令对应的动作的动作控制指令，并输出到机器人主体2(步骤s106)。由此，机器人主体2根据动作控制指令进行动作。
[0100]
并且，第一控制装置31从机器人主体2取得动作信息，向第二控制装置32发送(步骤s107)。接着，第二控制装置32基于上述动作信息、和发送到第一控制装置31的操作动作指令，生成操作位置指令，并根据该操作位置指令，使操作机械手72l以及72r动作。即，第二控制装置32将来自机器人主体2动作信息的反馈赋予操作机械手72l以及72r(步骤s108)。
[0101]
接着，第二控制装置32判定手动运转模式下的机器人主体2的操作是否完成(步骤s109)，在已完成的情况下(在步骤s109中为是)，结束一系列的处理，在未完成的情况下(在步骤s109中为否)，返回到步骤s103。
[0102]
[自动运转模式]
[0103]
说明对患者进行手术时的实施方式所涉及的手术系统100的自动运转模式下的动
作。首先，对第一自动运转模式下的动作进行说明。图4是表示执行实施方式所涉及的手术系统100的第一自动运转模式的动作的一个例子的流程图。如图4所示，手术实施者s在对患者进行手术时，使用操作输入装置71的操作用踏板75等，输入第一自动运转模式的执行指令和对象手术的信息。第二控制装置32受理第一自动运转模式的执行指令以及对象手术的信息，并将该指令以及信息向第一控制装置31发送(步骤s201)。对象手术的信息也可以包含手术的对象部位的种类、手术的内容、以及机器人主体2进行的手术动作的内容等信息。
[0104]
接着，第一控制装置31搜索存储于存储部315的自动运转信息，读出并取得与对象手术的信息对应的自动运转信息(步骤s202)。
[0105]
手术实施者s对操作输入装置71的操作机械手72l以及72r进行操作，使机器人主体2的机械手动作，由此进行指定手术对象区域的输入。手术对象区域是机器人主体2进行手术动作的对象的区域。第一控制装置31基于该输入来决定手术对象区域的位置以及范围(步骤s203)。例如，在机器人主体2的机械手的末端执行器分别位于手术对象区域的起点以及终点的位置时，若手术实施者s进行向操作输入装置71的输入，则第一控制装置31也可以将该末端执行器的各个位置决定为手术对象区域的起点以及终点。例如，在手术动作为切开或缝合等的情况下，上述起点以及终点为切开或缝合等的起点以及终点。
[0106]
此外，手术实施者s也可以对操作输入装置71的操作机械手72l以及72r进行操作，使机器人主体2的内视镜机械手20b的内视镜照相机拍摄手术对象区域，使用操作输入装置71来进行在显示于显示器装置73的图像上指定手术对象区域、起点以及终点的输入。或者，也可以通过第一控制装置31对上述图像进行图像处理，来确定手术对象区域、起点以及终点。手术对象区域的指定方法并不限定于上述方法，也可以为任何方法，例如也可以预先设定手术对象区域，并存储于存储部315等。
[0107]
接着，第一控制装置31使用自动运转信息，生成自动动作指令(步骤s204)。并且，第一控制装置31从机器人主体2取得动作信息(步骤s205)，将动作信息用作反馈信息，生成与自动动作指令对应的动作控制指令，输出到机器人主体2(步骤s206)。
[0108]
接着，第一控制装置31判定根据自动运转信息的机器人主体2的所有的动作是否完成(步骤s207)，在已完成的情况下(在步骤s207中为是)，结束一系列的处理，在未完成的情况下(在步骤s207为否)，返回到步骤s204。
[0109]
接着，对第二自动运转模式下的动作进行说明。图5是表示执行实施方式所涉及的手术系统100的第二自动运转模式的动作的一个例子的流程图。如图5所示，手术实施者s在对患者进行手术时，使用操作输入装置71的操作用踏板75等，输入第二自动运转模式的执行指令、和对象手术的信息。第二控制装置32受理第二自动运转模式的执行指令以及对象手术的信息，将该指令以及信息发送到第一控制装置31(步骤s301)。
[0110]
接着，第一控制装置31搜索存储于存储部315的第一机器学习模型，读出并取得与对象手术的信息对应的第一机器学习模型(步骤s302)。
[0111]
接着，第一控制装置31基于由手术实施者s进行的向操作输入装置71的输入，决定手术对象区域的位置以及范围(步骤s303)。接着，手术实施者s对操作输入装置71的操作机械手72l以及72r进行操作，使机器人主体2的机械手的末端执行器移动至手术对象区域的起点(步骤s304)。在向起点的移动完成后，手术实施者s向操作输入装置71输入手术动作的执行的指令，第一控制装置31接收该指令。
[0112]
接着，第一控制装置31从机器人主体2取得动作信息(步骤s305)。并且，第一控制装置31向第一机器学习模型输入包含手术对象区域的位置以及范围等在内的手术对象区域的信息、和机器人主体2的动作信息(步骤s306)。第一机器学习模型输出与该动作信息对应的对应动作指令。对应动作指令是表示使该动作信息的状态的机器人主体2执行的手术动作的指令。例如，步骤s306的处理由第一控制装置31的信息处理部312执行。
[0113]
接着，第一控制装置31基于对应动作指令，生成自动动作指令(步骤s307)。并且，第一控制装置31将在步骤s305取得的动作信息用作反馈信息，生成与自动动作指令对应的动作控制指令，输出到机器人主体2(步骤s308)。
[0114]
接着，第一控制装置31判定机器人主体2对手术对象区域的手术动作是否全部完成(步骤s309)，在已完成的情况下(在步骤s309为是)，结束一系列的处理，在未完成的情况下(在步骤s309为否)，返回到步骤s305。例如，第一控制装置31也可以每隔规定的时间周期反复进行步骤s305～s309的一系列的处理。由此，第一控制装置31能够基于与每个规定的时间周期的机器人主体2的动作信息对应的第一机器学习模型的输出数据，使机器人主体2执行与机器人主体2的动作状态对应的手术动作。
[0115]
接着，对第三自动运转模式下的动作进行说明。图6是表示执行实施方式所涉及的手术系统100的第三自动运转模式的动作的一个例子的流程图。如图6所示，手术实施者s在对患者进行手术时，使用操作输入装置71的操作用踏板75等，输入第三自动运转模式的执行指令、和对象手术的信息。第二控制装置32受理第三自动运转模式的执行指令以及对象手术的信息，将该指令以及信息向第一控制装置31发送(步骤s401)。
[0116]
接着，第一控制装置31搜索存储于存储部315的第二机器学习模型，读出并取得与对象手术的信息对应的第二机器学习模型(步骤s402)。
[0117]
接着，第一控制装置31基于由手术实施者s进行的对操作输入装置71的输入，来决定手术对象区域的位置以及范围(步骤s403)。接着，手术实施者s对操作输入装置71的操作机械手72l以及72r进行操作，使机器人主体2的机械手的末端执行器移动至手术对象区域的起点(步骤s404)。向起点的移动完成后，手术实施者s向操作输入装置71输入手术动作的执行的指令，第一控制装置31接收该指令。
[0118]
接着，第一控制装置31使机器人主体2的内视镜机械手20b的内视镜照相机拍摄手术对象区域(步骤s405)。并且，第一控制装置31对由内视镜照相机拍摄到的图像进行图像处理(步骤s406)。图像处理的内容并没有特别限定，也可以根据手术对象区域、手术对象区域的患部的状态、以及所应用的手术动作等来设定。例如，图像处理也可以是检测在图像的各像素中描绘的被拍摄体的三维位置的处理。另外，图像处理也可以是对图像的滤波处理。滤波处理也可以是去除像素值的噪声的处理、以及强调像素值的差异的处理等。另外，图像处理也可以是通过变更像素值来变更图像的色调的处理。通过这样的图像处理，能够实现手术对象区域的三维化、以及患部的强调等。第一控制装置31也可以进行一个以上的图像处理，按照每个图像处理生成处理完毕的图像数据。例如，步骤s406的处理由信息处理部312执行。
[0119]
接着，第一控制装置31将步骤s406下的处理完毕的图像数据输入到第二机器学习模型(步骤s407)。第二机器学习模型输出与处理完毕的图像数据对应的对应动作指令。对应动作指令是表示使机器人主体2对处理完毕的图像数据的状态的手术对象区域执行手术
动作的指令。例如，步骤s407的处理由第一控制装置31的信息处理部312执行。
[0120]
接着，第一控制装置31基于对应动作指令，生成自动动作指令(步骤s408)。并且，第一控制装置31从机器人主体2取得动作信息(步骤s409)。并且，第一控制装置31将上述动作信息用作反馈信息，生成与自动动作指令对应的动作控制指令，输出到机器人主体2(步骤s410)。
[0121]
接着，第一控制装置31判定机器人主体2对手术对象区域的手术动作是否全部完成(步骤s411)，在已完成的情况下(在步骤s411为是)，结束一系列的处理，在未完成的情况下(在步骤s411为否)，返回到步骤s405。例如，第一控制装置31也可以每隔规定的时间周期反复进行步骤s405～s411的一系列的处理。由此，第一控制装置31能够基于与每个规定的时间周期的手术对象区域的状态对应的第二机器学习模型的输出数据，使机器人主体2执行与手术对象区域的状态对应的手术动作。
[0122]
[修正自动模式]
[0123]
[第一自动运转模式下的修正自动运转模式]
[0124]
关于对患者进行手术时的实施方式所涉及的手术系统100的修正自动运转模式下的动作，对使用第一自动运转模式的自动运转的修正自动运转模式下的动作进行说明。图7是表示执行使用了实施方式所涉及的手术系统100的第一自动运转模式的自动运转的修正自动运转模式的动作的一个例子的流程图。
[0125]
如图7所示，手术实施者s在对患者进行手术时，使用操作输入装置71的操作用踏板75等，输入第一自动运转模式下的修正自动运转模式的执行指令、和对象手术的信息。第一自动运转模式下的修正自动运转模式的执行是使用了第一自动运转模式的自动运转的修正自动运转模式的执行。第二控制装置32受理该指令以及信息，向第一控制装置31发送(步骤s501)。
[0126]
接着，第一控制装置31搜索存储于存储部315的自动运转信息，读出并取得与对象手术的信息对应的自动运转信息(步骤s502)。
[0127]
接着，第一控制装置31基于由手术实施者s进行的向操作输入装置71的输入，来决定手术对象区域的位置以及范围(步骤s503)。
[0128]
接着，第一控制装置31判定是否由手术实施者s向操作输入装置71输入了操作(步骤s504)。具体而言，第一控制装置31判定是否从第二控制装置32接收到与手术实施者s的操作对应的操作动作指令。第一控制装置31在存在操作的输入的情况下，即，接收到操作动作指令的情况下(在步骤s504为是)，进入到步骤s505。第一控制装置31在不存在操作的输入的情况下，即，未接收到操作动作指令的情况下(在步骤s504为否)，进入到步骤s506。
[0129]
在步骤s505中，第一控制装置31基于操作动作指令生成手动动作指令，进入到步骤s507。即，第一控制装置31通过将基于自动运转信息的自动动作指令置换为基于操作动作指令的手动动作指令来进行修正，并生成修正动作指令。
[0130]
在步骤s506中，第一控制装置31使用自动运转信息，生成自动动作指令，进入到步骤s507。
[0131]
接着，第一控制装置31从机器人主体2取得动作信息(步骤s507)，将动作信息用作反馈信息，生成与动作指令对应的动作控制指令，输出到机器人主体2(步骤s508)。
[0132]
接着，第一控制装置31判定动作控制指令是否为使用修正动作指令而生成的指令
(步骤s509)。第一控制装置31在使用了修正动作指令的情况下(在步骤s509为是)，进入到步骤s510，在未使用修正动作指令的情况下(在步骤s509为否)，进入到步骤s511。
[0133]
在步骤s510中，第一控制装置31使用在步骤s507取得的动作信息，修正第一控制装置31所使用的自动运转信息，由此生成新的自动运转信息。具体而言，第一控制装置31修正自动运转信息中的与上述动作信息对应的信息。此外，第一控制装置31也可以代替上述动作信息，使用修正动作指令来修正自动运转信息。例如，步骤s510的处理由信息处理部312执行。
[0134]
接着，第一控制装置31判定根据自动运转信息的机器人主体2的所有的动作是否完成(步骤s511)，在已完成的情况下(在步骤s511为是)，进入到步骤s512，在未完成的情况下(在步骤s511为否)，进入到步骤s504。
[0135]
在步骤s512中，第一控制装置31使修正完毕的新的自动运转信息存储于存储部315。例如，步骤s512的处理由信息处理部312执行。通过反复进行步骤s504～s511的处理，存在进行一次以上自动运转信息的修正的情况。修正完毕的新的自动运转信息是反映了这样的一次以上的修正的信息。而且，第一控制装置31也可以用新的自动运转信息置换、即更新存储于存储部315的自动运转信息。此外，在未进行自动运转信息的修正的情况下，第一控制装置31不执行向存储部315的存储。在步骤s512的完成后，第一控制装置31结束一系列的处理。
[0136]
此外，第一控制装置31也可以使用修正完毕的自动运转信息和修正前的自动运转信息来生成新的自动运转信息，例如将修正完毕的自动运转信息与修正前的自动运转信息组合来生成新的自动运转信息。
[0137]
[第二自动运转模式下的修正自动运转模式]
[0138]
对使用第二自动运转模式的自动运转的修正自动运转模式下的手术系统100的动作进行说明。图8以及图9是表示执行使用实施方式所涉及的手术系统100的第二自动运转模式的自动运转的修正自动运转模式的动作的一个例子的流程图。
[0139]
如图8以及图9所示，手术实施者s在对患者进行手术时，使用操作输入装置71的操作用踏板75等，输入第二自动运转模式下的修正自动运转模式的执行指令、和对象手术的信息。第二控制装置32受理该指令以及信息，向第一控制装置31发送(步骤s601)。
[0140]
接着，第一控制装置31搜索存储于存储部315的第一机器学习模型，读出并取得与对象手术的信息对应的第一机器学习模型(步骤s602)。
[0141]
接着，第一控制装置31与第二自动运转模式下的步骤s303～s306的处理同样地，执行步骤s603～s606的处理。
[0142]
接着，第一控制装置31判定是否由手术实施者s向操作输入装置71输入操作，并从第二控制装置32是否接收到操作动作指令(步骤s607)。第一控制装置31在存在操作的输入的情况下(在步骤s607为是)进入到步骤s608，在不存在操作的输入的情况下(在步骤s607为否)进入到步骤s609。
[0143]
在步骤s608中，第一控制装置31基于操作动作指令，生成手动动作指令，将基于对应动作指令的自动动作指令置换为手动动作指令，由此生成修正动作指令，进入到步骤s610。
[0144]
在步骤s609中，第一控制装置31基于对应动作指令，生成自动动作指令，进入到步
骤s610。
[0145]
在步骤s610中，第一控制装置31将在步骤s605中取得的动作信息用作反馈信息，生成与动作指令对应的动作控制指令，输出到机器人主体2。
[0146]
接着，第一控制装置31判定动作控制指令是否为使用修正动作指令而生成的指令(步骤s611)。第一控制装置31在使用了修正动作指令的情况下(在步骤s611为是)，进入到步骤s612，在未使用修正动作指令的情况下(在步骤s611为否)，进入到步骤s613。
[0147]
在步骤s612中，第一控制装置31将在步骤s605取得的动作信息与在步骤s608生成的修正动作指令相关联，作为第一机器学习模型的学习数据，存储于存储部315。例如，步骤s612的处理由信息处理部312执行。
[0148]
接着，在步骤s613中，第一控制装置31判定修正自动运转模式下的机器人主体2的动作是否全部完成，在已完成的情况下(在步骤s613为是)，进入到步骤s614，在未完成的情况下(在步骤s613为否)，进入到步骤s605。
[0149]
在步骤s614中，第一控制装置31使用在步骤s612中存储于存储部315的学习数据，使第一机器学习模型执行机器学习。例如，步骤s614的处理由信息处理部312执行。第一机器学习模型将动作信息作为输入数据，将与该动作信息相关联的修正动作指令作为教导数据，进行机器学习。此外，第一控制装置31也可以将修正动作指令转换为与对应动作指令相同的形式的指令，将转换后的指令作为教导数据。通过反复进行步骤s605～s613的处理，存在生成动作信息与修正动作指令的多个组合的情况。第一机器学习模型使用多个组合进行机器学习。在步骤s614的完成后，第一控制装置31结束一系列的处理。
[0150]
此外，第一控制装置31也可以如上述例子那样，每当修正自动运转模式下的自动运转结束时执行机器学习，也可以当多次修正自动运转模式下的自动运转结束时执行机器学习。另外，第一控制装置31也可以按照规定的时间、规定的日数、规定的周数、以及规定的月数等规定的时间的定时，执行机器学习。通过在每次修正自动运转模式下的自动运转结束时执行机器学习，能够使第一机器学习模型的输出精度在每次修正自动运转模式下的自动运转结束时提高。这在使用了以下说明的第三自动运转模式的自动运转的修正自动运转模式中也同样。
[0151]
另外，在步骤s605～s613的处理中，存在向操作输入装置71的操作的输入的情况下，第一控制装置31以及第二控制装置32也可以执行与手动运转模式的步骤s107～s108的处理同样的处理，将来自机器人主体2的动作信息的反馈赋予操作机械手72l以及72r。
[0152]
[第三自动运转模式下的修正自动运转模式]
[0153]
对使用第三自动运转模式的自动运转的修正自动运转模式下的手术系统100的动作进行说明。图10以及图11是表示执行使用实施方式所涉及的手术系统100的第三自动运转模式的自动运转的修正自动运转模式的动作的一个例子的流程图。
[0154]
如图10以及图11所示，手术实施者s在对患者进行手术时，使用操作输入装置71的操作用踏板75等，输入第三自动运转模式下的修正自动运转模式的执行指令、和对象手术的信息。第二控制装置32受理该指令以及信息，向第一控制装置31发送(步骤s701)。
[0155]
接着，第一控制装置31搜索存储于存储部315的第二机器学习模型，读出并取得与对象手术的信息对应的第二机器学习模型(步骤s702)。
[0156]
接着，第一控制装置31与第三自动运转模式下的步骤s403～s407的处理同样地执
行步骤s703～s707的处理。
[0157]
接着，第一控制装置31判定是否由手术实施者s向操作输入装置71输入操作，并从第二控制装置32接收到操作动作指令(步骤s708)。第一控制装置31在存在操作的输入的情况下(在步骤s708为是)进入到步骤s709，在不存在操作的输入的情况下(在步骤s708为否)进入到步骤s710。
[0158]
在步骤s708中，第一控制装置31基于操作动作指令，生成手动动作指令来作为修正动作指令，进入到步骤s711。
[0159]
在步骤s709中，第一控制装置31基于对应动作指令生成自动动作指令，进入到步骤s711。
[0160]
在步骤s711中，第一控制装置31从机器人主体2取得动作信息。并且，在步骤s712中，第一控制装置31将动作信息用作反馈信息，生成与动作指令对应的动作控制指令，输出到机器人主体2。
[0161]
接着，第一控制装置31判定动作控制指令是否为使用修正动作指令而生成的指令(步骤s713)。第一控制装置31在使用了修正动作指令的情况下(在步骤s713为是)，进入到步骤s714，在未使用修正动作指令的情况下(在步骤s713为否)，进入到步骤s715。
[0162]
在步骤s714中，第一控制装置31将在步骤s706生成的图像处理完毕的图像数据与在步骤s709生成的修正动作指令相关联，作为第二机器学习模型的学习数据存储于存储部315。例如，步骤s714的处理由信息处理部312执行。
[0163]
接着，在步骤s715中，第一控制装置31判定修正自动运转模式下的机器人主体2的动作是否全部完成，在已完成的情况下(在步骤s715为是)，进入到步骤s716，在未完成的情况下(在步骤s715为否)，返回到步骤s705。
[0164]
在步骤s716中，第一控制装置31使用在步骤s714中存储于存储部315的学习数据，使第二机器学习模型执行机器学习。例如，步骤s716的处理由信息处理部312执行。第二机器学习模型将图像处理完毕的图像数据作为输入数据，将与该图像数据相关联的修正动作指令作为教导数据来进行机器学习。此外，第一控制装置31也可以将修正动作指令转换为与对应动作指令同样的形式的指令，将转换后的指令作为教导数据。通过反复进行步骤s705～s715的处理，而存在生成图像处理完毕的图像数据与修正动作指令的多个组合的情况。第二机器学习模型使用多个组合来进行机器学习。在步骤s716的完成后，第一控制装置31结束一系列的处理。
[0165]
另外，在步骤s705～s715的处理中，在存在向操作输入装置71的操作的输入的情况下，第一控制装置31以及第二控制装置32也可以执行与手动运转模式的步骤s107～s108的处理相同的处理，将来自机器人主体2的动作信息的反馈赋予操作机械手72l以及72r。
[0166]
[第一机器学习模型的机器学习]
[0167]
本实施方式所涉及的第一机器学习模型由神经网络构成。第一机器学习模型将机器人主体2的动作信息作为输入数据，将表示使该动作信息的状态的机器人主体2执行的手术动作的对应动作指令作为输出数据输出。另外，在机器学习中，第一机器学习模型将机器人主体2的动作信息作为学习用输入数据，将为了使该动作信息的状态的机器人主体2动作而生成的信息亦即动作对应信息作为教导数据。并且，通过后向运算调节神经网络的节点间的权重，以便在将学习用输入数据输入到第一机器学习模型时的输出数据与教导数据之
间，使它们一致或误差最小化等。由此，实现第一机器学习模型的最佳化。
[0168]
第一机器学习模型所使用的学习数据可以是各种数据。例如，学习数据是与使用操作输入装置71操作的机器人主体2的动作相关的数据。例如，学习数据之一是在手动运转模式下的机器人主体2的手动运转中取得的机器人主体2的动作信息以及动作对应信息。另外，学习数据之一是在使用了第一自动运转模式的修正自动运转模式中，与施加到机器人主体2的修正动作对应的机器人主体2的动作信息以及动作对应信息。另外，学习数据之一是在使用第二自动运转模式的修正自动运转模式中，与施加到机器人主体2的修正动作对应的机器人主体2的动作信息以及动作对应信息。另外，学习数据也可以是在其他机器人的运转中取得的上述动作信息以及动作对应信息。
[0169]
上述那样的动作对应信息也可以是第一控制装置31以及第二控制装置32与向操作输入装置71的操作的输入对应地生成的信息以及指令，例如也可以是操作动作指令、手动动作指令以及修正动作指令等。
[0170]
上述那样的第一机器学习模型能够使用过去取得的学习数据来进行机器学习。并且，第一机器学习模型能够使用在其他机器人中取得的学习数据来进行机器学习。并且，第一机器学习模型能够使用学习数据，进行机器学习，该学习数据是机器人主体2为了实际的手术等运行从而取得的学习数据。
[0171]
[第二机器学习模型的机器学习]
[0172]
本实施方式所涉及的第二机器学习模型由神经网络构成。第二机器学习模型将手术对象区域的图像数据作为输入数据，将表示使机器人主体2对该图像数据的状态的手术对象区域执行的手术动作的对应动作指令作为输出数据输出。另外，在机器学习中，第二机器学习模型将手术对象区域的图像数据作为学习用输入数据，将为了使机器人主体2对该图像数据的手术对象区域动作而生成的图像数据对应信息作为教导数据。并且，通过后向运算调节神经网络的节点间的权重，以便在将学习用输入数据输入到第二机器学习模型时的输出数据与教导数据之间，使它们一致或误差最小化等。由此，实现第二机器学习模型的最佳化。
[0173]
在本实施方式中，作为输入数据的图像数据是第一控制装置31下的图像处理后的图像数据。然而，通过以包含图像处理的处理层的方式构建神经网络，从而能够省略第一控制装置31下的图像处理。
[0174]
第二机器学习模型所使用的学习数据可以是各种数据。例如，学习数据是与使用操作输入装置71被操作的机器人主体2的动作相关的数据。例如，学习数据之一是在手动运转模式下的机器人主体2的手动运转中取得的手术对象区域的图像数据以及图像数据对应信息。另外，学习数据之一是在使用了第三自动运转模式的修正自动运转模式中，对机器人主体2施加了修正动作时的手术对象区域的图像数据以及图像数据对应信息。另外，学习数据也可以是在其他机器人的运转中取得的上述图像数据以及图像数据对应信息。
[0175]
上述那样的图像数据对应信息可以是第一控制装置31以及第二控制装置32与向操作输入装置71的操作的输入对应地生成的信息以及指令，也可以是与向操作输入装置71的操作的输入对应地动作的机器人主体2的动作信息。例如，上述信息以及指令也可以是操作动作指令、手动动作指令以及修正动作指令等。
[0176]
上述那样的第二机器学习模型能够使用过去取得的学习数据来进行机器学习。并
且，第二机器学习模型能够使用在其他机器人中取得的学习数据来进行机器学习。并且，第二机器学习模型能够使用学习数据来进行机器学习，该学习数据是机器人主体2为了实际的手术等运行从而取得的学习数据。
[0177]
＜其他实施方式＞
[0178]
以上，虽然对本公开的实施方式的例子进行了说明，但本公开并不限定于上述实施方式。即，能够在本公开的范围内进行各种变形以及改进。例如，对实施方式施加了各种变形、以及组合不同的实施方式中的构成要素而构建的方式也包含在本公开的范围内。
[0179]
例如，在实施方式中，记载了单独地执行机器人1的运转模式的情况，但并不限定于此。例如，第一控制装置31也可以对一个手术对象部分依次执行多个运转模式。例如，第一控制装置31也可以构成为在根据自动动作指令控制机器人1的自动运转模式之前以及之后的至少一方，执行根据手动动作指令控制机器人1的手动运转模式。或者，第一控制装置31也可以在修正自动运转模式之前以及之后的至少一方，执行手动运转模式。
[0180]
另外，实施方式所涉及的手术系统100构成为包含一个机器人1和一个控制台7，但并不限定于此。手术系统100也可以构成为包含一个以上的机器人1和一个以上的控制台7。
[0181]
例如，手术系统100也可以构成为具备多个机器人1和多个控制台7，控制装置3选择并连接多个机器人1之一和多个控制台7之一。并且，也可以在存储部315中存储手术中的机器人1与控制台7的组合、和组合的执行顺序。控制装置3也可以构成为根据存储于存储部315的组合以及组合的执行顺序，将多个机器人1的被选出的一个与多个控制台7的被选出的一个连接。
[0182]
或者，控制装置3也可以构成为，从多个控制台7的至少一个受理用于指定手术中的机器人1与控制台7的组合、和组合的执行顺序的指令的输入。而且，控制装置3也可以根据上述输入，将多个机器人1的被选出的一个与多个控制台7的被选出的一个连接。
[0183]
另外，在手术系统100具备多个机器人1和多个控制台7的情况下，也可以对每个机器人1设定执行的运转模式。例如，也可以对一个手术对象部分，设定执行手动运转模式的机器人1、和执行使用第一～第三自动运转模式中的一个或第一～第三自动运转模式中的一个修正自动运转模式的机器人1。并且，各机器人1也可以设定为对一个手术对象部分，进行适合于自身的运转模式下的动作以及/或手动操作的手术实施者s的能力等的手术动作。
[0184]
另外，在实施方式所涉及的手术系统100中，控制装置3也可以在存储部315储存在手术对象区域中手术器具无法侵入的区域亦即不可侵入区域的信息。而且，控制装置3也可以在任一个运转模式中，控制机器人主体2，使得手术器具不侵入不可侵入区域。此外，不可侵入区域的三维位置也可以预先存储于存储部315。或，控制装置3也可以通过对由内视镜照相机拍摄到的手术对象区域的图像进行图像处理，从而检测不可侵入区域，并且检测不可侵入区域的三维位置。
[0185]
另外，本公开的技术也可以为控制方法。例如，本公开所涉及的控制方法为进行手术动作的机器人的控制方法，生成用于使上述机器人自动进行手术动作的自动动作指令，根据上述自动动作指令使上述机器人进行手术动作。根据该控制方法，可得到与上述手术系统100同样的效果。这样的控制方法也可以通过cpu、lsi等电路、ic卡或单体的模块等来实现。
[0186]
另外，本公开的技术也可以是用于执行上述控制方法的程序，也可以是记录有上
述程序的非暂时性的计算机可读取的记录介质。另外，上述程序当然能够经由网络等传送介质流通。
[0187]
另外，上述使用的序数、数量等数字全部是为了具体说明本公开的技术而例示的，本公开并不限于例示的数字。另外，构成要素间的连接关系是为了具体说明本公开的技术而例示的，实现本公开的功能的连接关系并不限定于此。
[0188]
另外，功能框图中的块的分割是一个例子，也可以将多个块作为一个块来实现，将一个块分割成多个以及/或将一部分的功能转移到其他块。另外，也可以单一的硬件或软件并行或分时地处理具有类似的功能的多个块的功能。
[0189]
附图标记说明
[0190]
1...机器人；2...机器人主体；3...控制装置；7...控制台；31...第一控制装置；32...第二控制装置；71...操作输入装置；100...手术系统；315...存储部。