使用器具推断装置、方法以及手术辅助机器人与流程

1.本发明涉及对在外科手术中适合于手术的状况的手术器具进行推断的技术。


背景技术：

2.在外科手术的现场，外科医生使用的手术器具从手术室护士(手术助理护士)向外科医生交接。手术中的护士在从外科医生通过语言传达要求之前，根据自己的经验并根据手术的进行状况、外科医生的举动预测接下来使用的手术器具，并以能够将其迅速地交接给外科医生的方式进行准备。这样的护士的手术助理作业基于外科医生的习惯、手术类型等之类的隐性知识。
3.近年来，利用从传感器设备等得到的传感器数据自动识别人类的行动的技术受到关注。例如，专利文献1公开一种动态识别装置，获取来自安装于作业者等被验体的动态传感器(可穿戴传感器)的信息，对表示被验体进行的动态内容的各个状态的动态项目进行识别。该动态识别装置使用来自动态传感器的信息检测被验体的动态，从检测出的动态缩小动态项目，针对缩小的动态项目执行识别处理。另外，专利文献2公开一种识别装置，从相机获取反映人的行动的影像数据，推断行动识别结果(脉络)。该识别装置具有选择引擎和多个不同的识别引擎，通过选择引擎，根据输入数据自动地选择最佳的一个以上的识别引擎，并将通过选择出的识别引擎而导出的行动识别结果输出。
4.专利文献1：日本特开2010-148604号公报
5.专利文献2：日本特开2019-139479号公报
6.上述那样的手术室护士的手术助理作业的好坏很大程度上依赖于护士的技能、熟练度。另外，进行手术助理作业的护士由于持续长时间紧张状态或者站着不动，所以肉体上和精神上疲劳程度都较大。


技术实现要素：

7.因此，本技术的发明人想到利用计算机进行以往手术室护士进行的手术助理作业的至少一部分即适合于手术的状况的手术器具的选择。由此，能够不依赖于护士的技能、熟练度地向外科医生提供适合于手术的状况的手术器具。而且，由此，能够使机器人进行将手术器具向外科医生交接的作业，能够有助于手术室护士的疲劳的减少。
8.本发明的一方式所涉及的使用器具推断装置的特征在于，具备：行动检测装置，其检测外科手术中的外科医生的举动；运算部，其具有学习完成模型，并使用该学习完成模型将与应该识别的输入数据对应的输出数据导出，其中，上述学习完成模型通过使包括由上述行动检测装置得到的行动检测数据的输入数据与包括推断为上述外科医生接下来使用的至少一种手术器具的输出数据对应建立的多个教导数据学习而成；以及输出装置，其输出上述输出数据。
9.另外，本发明的一方式所涉及的使用器具推断方法的特征在于，包括：对检测出外科手术中的外科医生的举动的行动检测数据进行获取；使用学习完成模型，将与应该识别
的输入数据对应的输出数据导出，其中，上述学习完成模型通过使包括上述行动检测数据的输入数据与包括推断为上述外科医生接下来使用的至少一种手术器具的输出数据对应建立的多个教导数据学习而成；以及输出上述输出数据。
10.本发明的一方式所涉及的使用器具推断装置的特征在于，具备：行动识别部，其基于检测出外科医生的举动的行动检测数据来识别外科手术中的外科医生的行动；状况识别部，其基于上述行动识别部的行动识别结果来识别手术的状况；以及推断部，其基于上述状况识别部的状况识别结果从预先给出的多种手术器具中推断上述外科医生接下来使用的至少一种。
11.另外，本发明的一方式所涉及的使用器具推断方法的特征在于，包括：对检测出外科手术中的外科医生的举动的行动检测数据进行获取；基于上述行动检测数据来识别上述外科医生的行动；基于识别出的上述外科医生的行动来识别手术的状况；以及基于识别出的上述手术的状况从预先给出的多种手术器具中推断上述外科医生接下来使用的至少一种。
12.另外，本发明的一方式所涉及的手术辅助机器人的特征在于，具备：至少一个机械臂；上述使用器具推断装置；机器人控制装置，其控制上述机械臂的动作；以及器具库，其收容多种手术器具，上述机器人控制装置以将由上述使用器具推断装置推断出的外科医生接下来使用的至少一种手术器具从上述器具库取出并搬运至预定的交接位置的方式使上述机械臂动作。也可以是，预定的交接位置是根据手术内容而决定的一定的位置、根据手术的进行状况而预先决定的位置或者外科医生的希望的交接位置。
13.上述行动识别部基于行动检测数据来识别外科医生的行动。也可以是，行动检测数据例如是由安装于外科医生的动态传感器检测出的数据、由拍摄外科医生的行动的相机得到的拍摄数据等中的至少一个。另外，也可以是，行动检测数据包括：识别外科医生的外科医生识别信息。行动识别部具有第1学习完成模型，上述第1学习完成模型通过积累的使行动检测数据与外科医生的行动对应建立的多个第1教导数据学习而成。行动识别部使用第1学习完成模型，将与应该识别的行动检测数据对应的外科医生的行动导出。
14.上述状况识别部基于包括行动识别部的识别结果(即外科医生的行动)的状况检测数据来识别手术的状况。也可以是，状况检测数据包括手术的内容、手术的经过时间等。状况识别部具有第2学习完成模型，上述第2学习完成模型通过积累的使状况检测数据与手术的状况对应建立的多个第2教导数据学习而成。状况识别部使用第2学习完成模型，将与应该识别的状况检测数据对应的手术的状况导出。需要说明的是，手术的状况可包括手术的进行(切开、切除、缝合等手术工序)。
15.推断部基于包括状况识别部的状况识别结果(即，手术的状况)的器具推断数据来推断外科医生接下来使用的至少一种手术器具。也可以是，器具推断数据包括识别外科医生的外科医生识别信息。能够基于外科医生识别信息，确定出外科医生的惯用手、希望的手术器具、希望的交接位置等。推断部具有第3学习完成模型，上述第3学习完成模型通过积累的使器具推断数据与手术器具的种类对应建立的多个第3教导数据学习而成。推断部使用第3学习完成模型，将与应该识别的器具推断数据对应的手术器具的种类导出。也可以是，第3学习完成模型按照手术器具的种类导出交接位置。需要说明的是，外科手术通常使用的手术器具的种类大致分为持针器、镊子、针线、钳子、钩形物以及牵开器等。这些手术器具的
大类别根据末端的形状、大小、用途而更细地分类。
16.根据本发明，能够不依赖于护士的技能、熟练度地自动地进行以往手术室护士进行的适合于手术的状况的手术器具的推断。
附图说明
17.图1是表示本发明的一实施方式所涉及的手术辅助机器人的整体结构的图。
18.图2是机器人控制装置的概略结构图。
19.图3是使用器具推断装置的概略结构图。
20.图4是使用器具推断装置的功能框图。
21.图5是表示行动识别部的处理的流程的图。
22.图6是表示状况识别部的处理的流程的图。
23.图7是表示推断部的处理的流程的图。
24.图8是使用器具推断装置的处理的流程图。
25.图9是使用器具推断装置的处理的流程图。
26.图10是变形例1所涉及的使用器具推断装置的功能框图。
27.图11是表示变形例1所涉及的使用器具推断装置的处理的流程的图。
具体实施方式
28.接下来，参照附图对本发明的实施方式进行说明。图1是表示本发明的一实施方式所涉及的手术辅助机器人1的整体结构的图。图1所示的手术辅助机器人1具备至少一个机械臂2、机器人控制装置3、使用器具推断装置4、器具库5。手术可使用的多种手术器具以灭菌状态储存于器具库5。
29.〔机械臂2〕
30.机械臂2是具有多个关节的多关节型机器人臂。在机械臂2的远位端部装配有作为末端执行器的手部21。手部21能够把持手术器具。在本实施方式中，采用水平多关节型机器人臂作为机械臂2，但机械臂2只要是多关节型机器人臂则可以是任意方式。另外，机械臂2也可以设置于手术台的附近，也可以从手术室的顶棚悬挂。
31.〔机器人控制装置3〕
32.机器人控制装置3具备计算机，通过由处理器执行程序、从使用器具推断装置4输入的各种信号的解读、运算处理，从而进行机械臂2的动作控制、手部21的动作控制、来自各种输出端口的信号输出等。
33.如图2所示，机械臂2具备：与各关节对应的关节驱动部d31～dn。关节驱动部d31～dn例如由伺服马达、将伺服马达的动力向关节交接的动力传递机构、调整伺服马达的输出扭矩并向动力传递机构传递的减速机以及检测伺服马达的旋转位置的旋转位置传感器(均省略图示)构成。机器人控制装置3针对各关节驱动部d31～dn，获取旋转位置传感器的检测信号，并基于该检测信号调整伺服马达的输出，由此，控制机械臂2的控制点(例如手部21上的点)的位置。另外，手部21包括至少一个促动器22。机器人控制装置3通过使该促动器22动作来控制手部21的动作。
34.〔使用器具推断装置4〕
35.使用器具推断装置4具备运算控制器400。使用器具推断装置4的后述的各功能部也可以由至少一个运算控制器400构成，多个功能部中的两个以上也可以由一个运算控制器400构成。如图3所示，使用器具推断装置4的各运算控制器400具备处理器401、rom以及ram等存储器402以及i/o部403。运算控制器400经由接口404而连接有存储装置405、麦克风406、显示器407以及行动检测装置408。行动检测装置408也可以是装配于外科医生的多个动态传感器、拍摄外科医生的行动、患部的相机等中的至少一个。
36.运算控制器400也可以具备进行集中控制的单独的处理器401，也可以具备进行分散控制的多个处理器401。运算控制器400例如能够由计算机、个人计算机、微控制器、微处理器、fpga(field-programmable gate array)等pld(programmable logic device)、plc(programmable logic controller)以及逻辑电路中的至少一个或者两个以上的组合构成。存储器402、存储装置405储存有供处理器401执行的基本程序、软件程序等。处理器401读出并执行程序，运算控制器400实现该软件程序所配置的功能。
37.如图4所示，使用器具推断装置4具有行动识别部41、状况识别部42、推断部43、声音识别部44以及评价部45各功能部。另外，使用器具推断装置4具有：分别与行动识别部41、状况识别部42以及推断部43对应的未图示的学习部。
38.〔行动识别部41〕
39.如图5所示，行动识别部41基于从行动检测装置408获取到的行动检测数据来识别外科医生的行动。也可以是，行动检测数据例如为由安装于外科医生的动态传感器检测出的数据、由拍摄外科医生的行动的相机得到的拍摄数据等中的至少一个。另外，行动检测数据也可以包括识别外科医生的外科医生识别信息。行动识别部41具有第1学习完成模型41a，上述第1学习完成模型41a根据积累的使行动检测数据与外科医生的行动对应建立的多个第1教导数据学习而成。行动识别部41使用第1学习完成模型41a，将与应该识别的行动检测数据对应的外科医生的行动导出。行动识别部41例如能够从行动检测数据求出外科医生的特定部位的移动量，并基于该移动量来识别外科医生的行动。需要说明的是，行动识别技术是已经公知的技术，行动识别部41能够利用这些公知的行动识别技术。
40.行动识别部41的学习部使用机器学习技术，制成第1学习完成模型41a。行动识别部41的学习部对行动检测数据进行前处理而制成第1教导数据。前处理包括数据形式的转换、异常的确认、数据的提取、变量名、文件名的变更等各种处理中的至少一个。行动识别部41的学习部通过机器学习来学习输入数据与输出数据的相关关系。在本实施方式中，输入数据是行动检测数据，输出数据是外科医生的行动。行动识别部41的学习部作为机器学习的一个例子而执行教导学习(等级分类)。通常，教导学习是如下方法：通过被预先给出大量的输入数据和与其对应的输出数据的已知的数据集(教导数据)，并使用学习算法从教导数据识别暗示输入数据与输出数据的相关性的特征，从而学习用于推断针对新的输入数据的所需的输出数据的相关性模型。该相关性模型成为第1学习完成模型41a。第1学习完成模型41a存储于存储装置405。学习初期的第1教导数据是包括在实际的外科手术中由行动检测装置408检测出的外科医生的举动和对此给出的正解的外科医生的行动的数据集积累而成的数据。
41.〔状况识别部42〕
42.如图6所示，状况识别部42基于包括行动识别部41的识别结果(即，外科医生的行
动)的状况检测数据来识别手术的状况。状况检测数据也可以包括手术的内容、手术的经过时间等。状况识别部42具有第2学习完成模型42a，上述第2学习完成模型42a根据积累的使状况检测数据与手术的状况对应建立的多个第2教导数据学习而成。状况识别部42使用第2学习完成模型42a，将与应该识别的状况检测数据对应的手术的状况导出。需要说明的是，手术的状况可包括手术的进行(切开、切除、缝合等手术工序)。
43.状况识别部42的学习部使用机器学习技术，制成第2学习完成模型42a。状况识别部42的学习部的学习方法也可以与行动识别部41的学习部相同。学习初期的第2教导数据是包括在实际的外科手术中得到的状况检测数据和对此给出的正解的手术的状况的数据集积累而成的数据。
44.〔推断部43〕
45.如图7所示，推断部43基于包括状况识别部42的状况识别结果(即，手术的状况)的器具推断数据来推断外科医生接下来使用的至少一种手术器具。器具推断数据也可以包括识别外科医生的外科医生识别信息。基于外科医生识别信息，能够确定出外科医生的惯用手、希望的手术器具、希望的交接位置等。推断部43具有第3学习完成模型43a，上述第3学习完成模型43a根据积累的使器具推断数据与手术器具的种类对应建立的多个第3教导数据学习而成。推断部43使用第3学习完成模型43a，将与应该识别的器具推断数据对应的手术器具的种类导出。需要说明的是，外科手术中通常使用的手术器具的种类大致分为持针器、镊子、针线、钳子、钩形物以及牵开器等。这些手术器具的大类别根据末端的形状、大小、用途而更细地分类。
46.第3学习完成模型43a也可以按照手术器具的种类导出交接位置。交接位置也可以是根据手术内容决定的一定的位置、根据手术的进行状况预先决定的位置或者外科医生的希望的交接位置。另外，交接位置也可以通过绝对坐标来确定，也可以确定为与手术台、机械臂2相对的位置。
47.推断部43的学习部使用机器学习技术，制成第3学习完成模型43a。推断部43的学习部的学习方法也可以与行动识别部41的学习部相同。学习初期的第3教导数据是包括在实际的外科手术中得到的器具推断数据和对此给出的正解的手术器具的种类的数据集积累而成的数据。
48.〔声音识别部44〕
49.麦克风406获取声音模拟信号(即声音)，并转换为声音数字信号。声音识别部44获取该声音数字信号，并转换为文本数据。声音识别部44例如将输入的声音转换为声波，对声波进行声学分析而确定出音素，与预先登记有音素的排列的词典进行匹配并转换为单词，将转换后的文章作为文本数据而输出。利用机器学习的声音识别技术是众所周知的，声音识别部44利用公知的声音识别技术而构成。
50.〔评价部45〕
51.评价部45判断推断部43的推断结果是否正确。针对评价部45的处理将后述。
52.〔手术辅助方法〕
53.此处，对使用了手术辅助机器人1的手术辅助方法进行说明。该手术辅助方法利用本实施方式所涉及的使用器具推断方法。
54.图8以及图9是使用器具推断装置4的处理的流程图。如图8所示，使用器具推断装
置4从行动检测装置408对检测出外科手术中的外科医生的举动的行动检测数据进行获取(步骤s1)。
55.接下来，使用器具推断装置4的行动识别部41基于行动检测数据来识别外科医生的行动(步骤s2)。接着，使用器具推断装置4的状况识别部42基于行动识别部41的行动识别结果(即，外科医生的行动)来识别手术的状况(步骤s3)。而且，使用器具推断装置4的推断部43基于状况识别部42的状况识别结果(即，手术的状况)从预先给出的多种手术器具中推断外科医生接下来使用的至少一种手术器具(步骤s4)。
56.使用器具推断装置4将手术器具的推断结果向显示器407输出(步骤s5)。显示器407配置于手术室内的外科医生能够视认的位置。外科医生能够视认显示输出至显示器407的接下来提供的手术器具的信息。
57.另外，使用器具推断装置4将手术器具的推断结果向机器人控制装置3输出(步骤s5)。接受到手术器具的推断结果的机器人控制装置3以将推断出的外科医生接下来使用的至少一种手术器具从器具库5取出后在待机位置待机的方式使机械臂2动作。
58.外科医生为了要求接下来使用的手术器具而发出声音。例如，外科医生说出“手术刀”。该声音由麦克风406收集，并被传递至使用器具推断装置4。
59.如图9所示，使用器具推断装置4的声音识别部44从麦克风406获取声音数据(步骤s11)，进行声音识别(步骤s12)。通过声音识别，将声音数据转换为声音文本数据。
60.使用器具推断装置4的评价部45将声音文本数据(即，识别出的声音)与由推断部43推断出的手术器具的信息进行比较，判定一致/不一致(步骤s13)。使用器具推断装置4存储该判断结果，制成包括行动检测数据、基于它而推断出的手术器具以及判断结果的新的教导数据而使学习完成模型41a、42a、43a进一步进行学习(步骤s14)。
61.若步骤s13中判断为一致，则使用器具推断装置4向机器人控制装置3输出允许信号。接受到允许信号的机器人控制装置3以从待机位置向交接位置移动的方式使机械臂2动作。由此，能够迅速且正确地提供外科医生要求的手术器具。
62.另一方面，若在步骤s13中判断为不一致，则使用器具推断装置4将从声音文本数据导出的至少一个手术器具的推断结果和允许信号向机器人控制装置3输出。接受到手术器具的推断结果的机器人控制装置3以将推断出的外科医生接下来使用的至少一种手术器具从器具库5取出并向交接位置移动的方式使机械臂2动作。由此，能够正确地提供外科医生要求的手术器具。
63.如以上说明的那样，本实施方式所涉及的使用器具推断装置4具备：行动识别部41，其基于检测出外科医生的举动的行动检测数据来识别外科手术中的外科医生的行动；状况识别部42，其基于行动识别部41的行动识别结果来识别手术的状况；以及推断部43，其基于状况识别部42的状况识别结果从预先给出的多种手术器具中推断外科医生接下来使用的至少一种。
64.另外，本实施方式所涉及的使用器具推断方法包括：对检测出外科手术中的外科医生的举动的行动检测数据进行获取；基于行动检测数据来识别外科医生的行动；基于识别出的外科医生的行动来识别手术的状况；以及基于识别出的手术的状况从预先给出的多种手术器具中推断外科医生接下来使用的至少一种。
65.另外，本实施方式所涉及的手术辅助机器人1具备：使用器具推断装置4；至少一个
机械臂2；机器人控制装置3，其控制机械臂2的动作；以及器具库5，其收容多种手术器具。而且，机器人控制装置3以将由使用器具推断装置4推断出的外科医生接下来使用的至少一种手术器具从器具库5取出并搬运至预定的交接位置的方式使机械臂2动作。
66.根据上述使用器具推断装置4以及方法以及手术辅助机器人1，能够不依赖于护士的技能、熟练度地自动地进行以往手术室护士进行的适合于手术的状况的手术器具的推断。
67.在上述使用器具推断装置4中，构成为，行动识别部41具有第1学习完成模型41a，上述第1学习完成模型41a通过使行动检测数据与外科医生的行动对应建立的多个第1教导数据学习而成，并使用第1学习完成模型41a，将与应该识别的行动检测数据对应的外科医生的行动导出。
68.另外，在上述使用器具推断装置4中，构成为，状况识别部42具有第2学习完成模型42a，上述第2学习完成模型42a通过使包括行动识别结果的状况检测数据与手术的状况对应建立的多个第2教导数据学习而成，并使用第2学习完成模型42a，将与应该识别的状况检测数据对应的手术的状况导出。
69.另外，在上述使用器具推断装置4中，构成为，推断部43具有第3学习完成模型43a，上述第3学习完成模型43a根据使包括状况识别结果的器具推断数据与手术器具的种类对应建立的多个第3教导数据学习而成，并使用第3学习完成模型43a，将与应该识别的器具推断数据对应的手术器具的种类导出。
70.而且，在上述使用器具推断装置4中，构成为，推断部43将推断出的手术器具向外科医生交接的位置亦即交接位置导出。
71.根据上述结构的使用器具推断装置4，能够正确地推断外科医生接下来要求的手术器具。
72.以上对本发明的优选的实施方式进行了说明，但在不脱离本发明的思想的范围内对上述实施方式的具体构造以及/或者功能的细节进行了变更的方式也可包含于本发明。上述的使用器具推断装置4以及具备它的手术辅助机器人1的结构例如能够如以下那样变更。
73.例如，在上述实施方式中，使用器具推断装置4的运算控制器400具有第1～3学习完成模型41a、42a、43a。其中，如图10以及图11所示，也可以是，使用器具推断装置4a的运算控制器400代替具备学习完成模型41a、42a、43a的行动识别部41、状况识别部42以及推断部43，转而具备具有第4学习完成模型49a的运算部49。
74.第4学习完成模型49a从包括行动检测数据的输入数据中，将包括推断为外科医生接下来使用的至少一种手术器具的输出数据导出。在这种情况下的行动检测数据例如也可以是由安装于外科医生的动态传感器检测出的数据、由拍摄外科医生的行动的相机得到的拍摄数据等中的至少一个。另外，输入数据也可以还包括识别外科医生的外科医生识别信息、外科手术的内容以及外科手术的经过时间中的至少一个。另外，输出数据也可以还包括推断出的至少一种手术器具向外科医生交接的位置亦即交接位置。
75.运算部49包括学习部。运算部49的学习部使用机器学习技术，构建第4学习完成模型49a。使用器具推断装置4的学习部对行动检测数据进行前处理，制成第4教导数据。前处理包括数据形式的转换、异常的确认、数据的提取、变量名、文件名的变更等各种处理中的
至少一个。运算部49的学习部通过机器学习来学习输入数据与输出数据的相关关系。该机器学习例如是教导学习(等级分类)，学习算法根据输入输出数据而适当地采用。运算部49的学习部通过被预先给出大量的输入数据和与其对应的输出数据的已知的数据集(教导数据)，并使用学习算法从教导数据识别暗示输入数据与输出数据的相关性的特征，从而学习用于推断针对新的输入数据的所要的输出数据的相关性模型。该相关性模型成为第4学习完成模型49a。第4学习完成模型49a存储于存储装置405。学习初期的第4教导数据是包括在实际的外科手术中由行动检测装置408检测出的外科医生的举动和对此给出的正解的手术器具的种类的数据集积累而成的数据。
76.通过上述结构的使用器具推断装置4a的运算控制器400进行的使用器具推断方法包括：从行动检测装置408对检测出外科手术中的外科医生的举动的行动检测数据进行获取；使用学习完成模型49a，将与应该识别的输入数据对应的输出数据导出，上述学习完成模型49a通过使包括行动检测数据的输入数据与包括推断为外科医生接下来使用的至少一种手术器具的输出数据对应建立的多个教导数据学习而成；以及将输出数据向机器人控制装置3、显示器407等输出。而且，运算部49的学习部与前述的学习完成模型41a、42a、43a相同，制成包括使用器具推断处理的行动检测数据、基于它而推断出的手术器具以及判断结果的新的教导数据并使第4学习完成模型49a进一步进行学习。
77.另外，在上述实施方式中，在使用器具推断装置4推断出的至少一种手术器具与外科医生要求的手术器具不同的情况下，机械臂2重新向器具库5去取所要求的手术器具，并将其搬运至交接位置。其中，也可以是，机械臂2使手术器具返回器具库5，由护士将所要求的手术器具向外科医生交接。另外，也可以是，在交接位置与外科医生要求的位置不同的情况下，护士使机械臂2移动至正确的交接位置，机器人控制装置3获取正确的交接位置，并由使用器具推断装置4学习该交接位置。也可以在机械臂2设置有手动引导按钮，以便护士使机械臂2移动。机械臂2在手动引导按钮被按压期间成为手动引导机器人，通过从护士给出的外力，机械臂2能够自由移动，机器人控制装置3以此方式控制机械臂2的动作。
78.另外，在上述实施方式中，构成为使用器具推断装置4所具备的学习完成模型41a、42a、43a每当完成一系列的推断处理时进行学习，但也可以构成为多次推断处理完成而积累有一定程度的教导数据之后进行追加的学习。
79.附图标记说明
80.1...手术辅助机器人；2...机械臂；3...机器人控制装置；4...使用器具推断装置；5...器具库；400...运算控制器；41...行动识别部；41a、42a、43a、49a...学习完成模型；42...状况识别部；43...推断部；49...运算部。