一种基于图像识别的血管介入手术机器人柔性夹持与测力装置及方法

1.本发明涉及医疗手术机器人设计领域，具体涉及一种放置在血管介入机器人从端的导管/导丝柔性夹持与应力测量装置及方法。


背景技术：

2.《中国心血管健康与疾病报告2020》指出，心血管相关疾病发病率持续上升，已成为现代人健康的首要威胁。血管介入手术由于其创伤小、恢复快等优点，已被广泛应用于临床治疗中。但是由于手术任务复杂且耗时长，介入外科医生面临着长时间“吃线”、穿戴大重量铅衣等引发的职业疾病的困扰。血管介入外科机器人系统利用主-从协同的控制方法，保障了医生安全。在该系统中，外科医生可以坐在远离辐射的位置，利用主端操作手柄发送手部动作指令，传递给手术台旁边部署的从端机器人，机器人重复指令动作，捏持柔软细长的导管/导丝完成血管介入手术。
3.在手术过程中，增加主从两端的力传递功能可以提高外科医生的操作临场感，并提高手术安全性。其难点在于要求从端机器人能够在导管/导丝递送的过程中准确测量其内部应力的变化，并在主端及时反馈到医生的双手。传统应力检测装置需要与导管/导丝操作装置分离，这样会增加机器人的体积。另外，传统刚性力传感器缺乏运动缓冲能力，在操作导管/导丝时不能对异常情况导致的应力突变做出快速反应，增加了血管内壁损伤，甚至破裂的风险。目前有研究针对不同导管/导丝操作力范围内开展分层操作的策略，但是需要机器人装配高性能的伺服运动控制器，这无疑提高了机器人的系统设计的难度，同时也增加了外科医生的操作和学习成本。


技术实现要素：

4.本发明的技术解决问题是：克服现有技术的不足，提出一种基于图像识别的血管介入手术机器人柔性夹持与测力装置及方法，该装置基于柔性材料的运动与测量能够解决上述的模糊力控制与交互问题，能够即实现细长柔软导管/导丝稳定夹持，又具备导管/导丝应力测量功能。
5.本发明的技术解决方案是：
6.一种基于图像识别的血管介入手术机器人柔性夹持与测力装置，该柔性夹持与测力装置包括过孔导电滑环、滑环固定件、第一轴承、第二轴承’、夹持组件、锥形大齿轮、步进电机、锥形小齿轮、支撑座；
7.夹持组件包括上外壳、下外壳、左夹爪固定件、柔性左夹爪、传动件、直线导轨、直线伺服电机、右夹爪固定件、柔性右夹爪、补光灯和微型摄像头；采集柔性左夹爪和柔性右夹爪上带有标记点；
8.所述的支撑座上带有四个支架，分别为第一支架、第二支架、第三支架和第四支架，过孔导电滑环的定子部分固定安装在第一支架上，第一轴承固定在第二支架上，第二轴
承’固定在第三支架上，步进电机固定在第四支架上，过孔导电滑环的转子部分外套第一轴承后通过滑环固定件与夹持组件的下外壳通过螺丝固定连接；锥形大齿轮外套第二轴承’后与夹持组件的下外壳通过螺丝固定连接；锥形小齿轮与锥形大齿轮啮合，锥形小齿轮通过步进电机驱动；上外壳通过螺丝固定连接在下外壳上；
9.上外壳与下外壳组成壳体，直线导轨安装在壳体的底部，直线伺服电机的推杆通过伸缩带动传动件在直线导轨上左右移动，左夹爪固定件固定连接在传动件上，柔性左夹爪固定安装在左夹爪固定件上，在壳体的底端右侧有第五支架，右夹爪固定件固定连接在第五支架上，柔性右夹爪固定安装在右夹爪固定件上，补光灯和微型摄像头固定安装在壳体顶端，微型摄像头用于采集柔性左夹爪和柔性右夹爪上标记点的图像；
10.过孔导电滑环的转子与微型摄像头、补光灯通过usb线连接，过孔导电滑环的转子还与直线伺服电机通过pwm信号线连接；
11.一种基于图像识别的血管介入手术机器人柔性夹持与测力方法，步骤包括：
12.首先布置导管/导丝位置，将导管/导丝依次穿过过孔导电滑环、滑环固定件、第一轴承、夹持组件、第二轴承’后从锥形大齿轮穿出；
13.初始状态下，柔性左夹爪和柔性右夹爪呈松弛状态，保证导管/导丝可以自由滑动，此时补光灯亮起，微型摄像头实时采集柔性左夹爪和柔性右夹爪上标记点的图像，并将采集到的图像实时传输到计算机，计算机通过图像识别算法捕捉柔性左夹爪和柔性右夹爪上标记点的初始位置，此时计算机估算导管/导丝内应力为零，柔性左夹爪和柔性右夹爪夹持力也为零；
14.当需要对导管/导丝进行夹持时，伺服电机的推杆伸出，带动传动件在直线导轨上向左移动，微型摄像头实时采集柔性左夹爪和柔性右夹爪上标记点的图像，并将采集到的图像实时传输到计算机，计算机通过图像识别算法捕捉柔性左夹爪和柔性右夹爪上标记点的移动位置，此时计算机根据标记点的移动位置和初始位置估算柔性左夹爪和柔性右夹爪的夹持力；
15.当需要对导管/导丝进行平移时，整个测力装置沿导管/导丝指向方向水平移动，此时如果导管/导丝前端未触碰血管内壁产生应力，则标记点位置不发生改变；如果导管/导丝前端触碰血管内壁产生应力，则柔性夹爪发生形变，形变量受应力的大小影响，方向与运动方向相反，此时标记点位置发生改变，并估算应力的大小，同时根据血管内壁的应力承受强度，调整直线伺服电机的推杆位置，可以释放平移方向上导管/导丝内部应力，保证导管/导丝在血管内安全的行进。
16.当需要对导管/导丝进行旋转时，旋转步进电机驱动锥形小齿轮，带动与之啮合的锥形大齿轮转动，进一步带动与锥形大齿轮固连的上外壳和下外壳一同转动，然后带动内部夹持导管/导丝一同转动，在转动过程中，如果导管/导丝没有与血管内壁产生旋转方向的应力作用，则此时标记点的位置不发生变化，如果导管/导丝与血管内壁产生旋转方向的应力作用，那么通过测算柔性左夹爪和柔性右夹爪上标记点的位移改变插值即可对旋转方向的应力进行估算，此时根据血管内壁的应力承受强度，调整直线伺服电机的推杆位置，可以释放旋转方向上导管/导丝内部应力，保证导管/导丝在血管内安全的行进。
17.有益效果
18.(1)本发明设计的柔性夹持装置对于可驱动导管/导丝的尺寸有较高的宽容度，同
时不容易对导管/导丝表面造成损伤。
19.(2)本发明采用基于图像识别的测力方法，可实现在夹爪运动的同时对导管/导丝应力测量，其夹持距离可以通过直线进行调整，该结构能够对导丝/导管内的突发应力提供缓冲时间，提高导管/导丝在血管内操作的安全性。
20.(3)本发明设计的夹爪固定件支持拆卸和替换，能够适配不同形状的夹爪，其结构简单，尺寸小，方便拆卸和运输。
21.(4)本发明设计的夹持与支撑件由轴承连接，当步进电机驱动夹持组件旋转时，摄像头与夹持组件是相对静止的，所以该结构能够避免电机运动时振动对测力的影响。上外壳包含一部分突起，保证摄像头有足够的空间调整焦距，来捕获完整的夹爪标记。
附图说明
22.图1为血管介入手术机器人柔性夹持与测力装置组成框图；
23.图2为血管介入手术机器人柔性夹持组件组成框图；
24.图3为血管介入手术机器人柔性夹爪与导管/导丝配合框图；
25.图4为血管介入手术机器人柔性测力操作与方法示意图；
26.其中，1-过孔导电滑环，2-导电滑环固定件，3-轴承，4-上外壳，5-下外壳，6-旋转锥形齿轮a，7-旋转步进电机，8-旋转锥形齿轮b，9-支撑座，10-右夹爪固定件，11-柔性右夹爪，12-右夹爪传动件，13-直线导轨，14-直线伺服电机，15-左夹爪固定件，16-柔性左夹爪，17-补光灯，18-微型摄像头，19-导管/导丝，20-标记点，图4中，a代表夹爪松开导管/导丝，b代表夹爪夹紧导管/导丝，c代表导管/导丝受到直线应力作用，d代表导管/导丝受到旋转应力作用。
具体实施方式
27.下面结合附图和实施例对本发明做进一步说明。
28.一种血管介入手术机器人的柔性夹持与测力装置。该装置包括支撑座、过孔导电滑环、导管/导丝旋转运动组件和夹持组件；基于柔性材料的运动与测量能够解决上述的模糊力控制与交互问题。但是目前在已知的血管介入机器人设备中尚缺少一个。
29.所述导管/导丝旋转运动组件包括：步进电机、轴承、轴承盖、导电滑环固定件和锥形齿轮；
30.所述夹持组件包括：外壳、微型摄像头模组、补光灯、固定在组件内的直线伺服电机、柔性夹爪和夹爪固定组件，柔性夹爪通过夹爪固定件固定在下外壳上；
31.导管/导丝可以从夹持组件中间穿过，步进电机通过齿轮带动夹持组件进行旋转，从而导管/导丝旋转操作；夹持组件内部的直线伺服电机通过传动件驱动夹爪运动；当左、右夹爪间距增大时，柔性材料发生形变，导管/导丝与夹爪贴合的部分受到来自两侧夹爪的拉力作用，实现夹紧效果；当左、右夹爪间距减小时，则导管/导丝被松开；
32.柔性夹爪表面有标记点，通过上方微型摄像头采集图像；当导管/导丝运动过程中产生应力，柔性夹爪会产生形变，进而标记点的位置会发生改变，通过计算标记点的位移，从而推导导管/导丝的应力大小；
33.优选地，所述夹持组件内部摄像头与直线伺服电机通过过孔导电滑环接线，转子
线穿过滑环固定件的过线孔，通过下外壳的理线槽与直线伺服电机、微型摄像头和补光灯连接，定子线连接控制设备，实现数据传输；
34.优选地，所述夹持装置可以将导管/导丝应力分解为直线与旋转两个方向分别测量；
35.优选地，所述左、右夹爪固定件可以被更换为不同尺寸，以适应不同尺寸的导管/导丝；
36.优选地，所述导管/导丝旋转运动组件内包含的轴承盖通过永磁铁与支撑座吸附，当更换导管/导丝时，整个设备可以快速拆除；
37.优选地，所述摄像头模组固定在与夹爪不同的上外壳上，可通过垫片调整摄像头的焦距；
38.优选地，补光灯在封闭的夹持组件内能够提供充分的光源，保证摄像头采集到清晰的图像；
39.优选地，导管/导丝应力为导管/导丝在血管内所受合力的相互作用力，包含碰撞力，摩擦力与血流阻力，标记点位移与导管/导丝应力之间的计算公式通过标定曲线拟合获得。
40.一种基于图像识别的血管介入手术机器人柔性夹持与测力装置，该柔性夹持与测力装置包括过孔导电滑环1、滑环固定件2、第一轴承3、第二轴承3’、夹持组件、锥形大齿轮6、步进电机7、锥形小齿轮8、支撑座9；
41.夹持组件包括上外壳4、下外壳5、左夹爪固定件10、柔性左夹爪11、传动件12、直线导轨13、直线伺服电机14、右夹爪固定件15、柔性右夹爪16、补光灯17和微型摄像头18；采集柔性左夹爪11和柔性右夹爪16上带有标记点；
42.所述的支撑座9上带有四个支架，分别为第一支架、第二支架、第三支架和第四支架，过孔导电滑环1的定子部分固定安装在第一支架上，第一轴承3固定在第二支架上，第二轴承3’固定在第三支架上，步进电机7固定在第四支架上，过孔导电滑环1的转子部分外套第一轴承3后通过滑环固定件2与夹持组件的下外壳5通过螺丝固定连接；锥形大齿轮6外套第二轴承3’后与夹持组件的下外壳5通过螺丝固定连接；锥形小齿轮8与锥形大齿轮6啮合，锥形小齿轮8通过步进电机7驱动；上外壳4通过螺丝固定连接在下外壳5上；
43.上外壳4与下外壳5组成壳体，直线导轨13安装在壳体的底部，直线伺服电机14的推杆通过伸缩带动传动件12在直线导轨13上左右移动，左夹爪固定件10固定连接在传动件12上，柔性左夹爪11固定安装在左夹爪固定件10上，在壳体的底端右侧有第五支架，右夹爪固定件15固定连接在第五支架上，柔性右夹爪16固定安装在右夹爪固定件15上，补光灯17和微型摄像头18固定安装在壳体顶端，微型摄像头18用于采集柔性左夹爪11和柔性右夹爪16上标记点的图像；
44.过孔导电滑环1的转子与微型摄像头18、补光灯17通过usb线连接，过孔导电滑环1的转子还与直线伺服电机14通过pwm信号线连接；
45.一种基于图像识别的血管介入手术机器人柔性夹持与测力方法，步骤包括：
46.首先布置导管/导丝19位置，将导管/导丝19依次穿过过孔导电滑环1、滑环固定件2、第一轴承3、夹持组件、第二轴承3’后从锥形大齿轮6穿出；
47.初始状态下，柔性左夹爪11和柔性右夹爪16呈松弛状态，保证导管/导丝19可以自
由滑动，此时补光灯17亮起，微型摄像头18实时采集柔性左夹爪11和柔性右夹爪16上标记点的图像，并将采集到的图像实时传输到计算机，计算机通过图像识别算法捕捉柔性左夹爪11和柔性右夹爪16上标记点20的初始位置，此时计算机估算导管/导丝19内应力为零，柔性左夹爪11和柔性右夹爪16夹持力也为零；
48.当需要对导管/导丝19进行夹持时，伺服电机14的推杆伸出，带动传动件12在直线导轨13上向左移动，微型摄像头18实时采集柔性左夹爪11和柔性右夹爪16上标记点的图像，并将采集到的图像实时传输到计算机，计算机通过图像识别算法捕捉柔性左夹爪11和柔性右夹爪16上标记点20的移动位置，此时计算机根据标记点20的移动位置和初始位置估算柔性左夹爪11和柔性右夹爪16的夹持力；
49.当需要对导管/导丝19进行平移时，整个测力装置沿导管/导丝19指向方向水平移动，此时如果导管/导丝19前端未触碰血管内壁产生应力，则标记点20位置不发生改变；如果导管/导丝19前端触碰血管内壁产生应力，则柔性夹爪发生形变，形变量受应力的大小影响，方向与运动方向相反，此时标记点20位置发生改变，并估算应力的大小，同时根据血管内壁的应力承受强度，调整直线伺服电机14的推杆位置，可以释放平移方向上导管/导丝19内部应力，保证导管/导丝19在血管内安全的行进。
50.当需要对导管/导丝19进行旋转时，旋转步进电机7驱动锥形小齿轮8，带动与之啮合的锥形大齿轮6转动，进一步带动与锥形大齿轮6固连的上外壳4和下外壳5一同转动，然后带动内部夹持导管/导丝19一同转动，在转动过程中，如果导管/导丝19没有与血管内壁产生旋转方向的应力作用，则此时标记点20的位置不发生变化，如果导管/导丝19与血管内壁产生旋转方向的应力作用，那么通过测算柔性左夹爪11和柔性右夹爪16上标记点20的位移改变插值即可对旋转方向的应力进行估算，此时根据血管内壁的应力承受强度，调整直线伺服电机14的推杆位置，可以释放旋转方向上导管/导丝19内部应力，保证导管/导丝19在血管内安全的行进。
51.实施例
52.如图1-4所示，本发明提供了一种血管介入手术机器人柔性夹持与测力装置，该装置基于图像识别方法设计，使用微型摄像头捕捉柔性夹爪上标记点的位置变化，能够实现夹持导管/导丝的同时对导管/导丝内部的应力进行测量。
53.如图1所示，该装置包括过孔导电滑环1，滑环的定子部分固定在支撑座9上，转子部分与夹持装置通过滑环固定件2连接，滑环固定件2连接下外壳5，并外套轴承3固定在支撑座9上。上外壳4与下外壳5相连并同样外套轴承3固定在支撑座9上，下外壳5的另一侧与锥形大齿轮6相连，锥形大齿轮6与锥形小齿轮8啮合，并由固定在支撑座9上的步进电机7带动旋转，并带动上外壳4、下外壳5及其内部固定的所有装置一同旋转；
54.滑环固定件2中设有过线孔，能够使过孔导电滑环1的转子出线端连接至上外壳4与下外壳5所包含的装置内部；
55.如图2所示，上外壳4和下外壳5的内部还包括左夹爪固定件10和右夹爪固定件15，两者分别用于柔性左夹爪11和柔性右夹爪16的支撑和固定，其中右夹爪固定件直接固定在下外壳5的突出支撑上，左夹爪固定件与传动件12连接，传动件12一端固定在直线导轨13上，另一端与直线伺服电机14连接，这样传动件可以带动柔性左夹11做直线运动，完成导管/导丝的夹持和松开操作。
56.图2中，上外壳4顶部固定微型摄像头18和补光灯17，其用于捕捉夹爪上标记点的位置变化。
57.如图3所示，导管/导丝19被放置在左右夹爪中央，当夹爪加紧导丝时，夹爪上的标记点位置会因为柔性材料的表面牵拉作用发生变化。
58.如图4所示，图中列出四种的操作会导致标记点的变化方式，当夹爪松弛(a)时，标记点之间的间距最小，此时夹爪呈放松状态，导管/导丝可以在两夹爪中间自由滑动；夹爪夹紧(b)时，标记点之间的间距变大，并在直线伺服电机达到最远运动距离时保持稳定，此时导管/导丝被固定在夹爪中央，可以跟随整个夹持组件进行旋转和平移两种操作，满足实际血管介入手术操作需求；在手术操作过程中，在夹紧(b)状态下导管/导丝受到来自平移方向的应力(c)时，柔性夹爪会朝x与y方向同时拉伸，此时{a，b，c，d}标记点集合在x和y方向的位置为{(xa，ya)，(xb，yb)，(xc，yc)，(xd，yd)}，可见两侧夹爪的y值均发生变化，x值也发生变化；在夹紧(b)状态下导管/导丝受到来自旋转方向的应力(c)时，柔性夹爪仅朝x方向拉伸，此时{a，b，c，d}标记点集合在x和y方向的位置为{(xa’，ya’)，(xb’，yb’)，(xc’，yc’)，(xd’，yd’)}，可见两侧夹爪此时标记点的y值相同，仅x值发生变化，且变化值存在显著区别，利用上述特性可将导管/导丝内部应力拆解为旋转和平移两个方向分别估算。
59.本发明实施例的具体工作过程为：
60.首先布置导管/导丝19位置，将其穿过过孔导电滑环1，滑环连接件2，轴承3，夹持组件，并从锥形大齿轮6穿出。
61.初始状态下，左右柔性夹爪呈松弛状态，保证导管/导丝19可以自由滑动。导电滑环转子出线连接上外壳4中微型摄像头18、补光灯17和下外壳中直线伺服电机。此时补光灯亮起，微型摄像头18将采集到的图像实时传输到计算机，计算机通过图像识别算法捕捉夹爪表面的标记点20，并记录每一个标记点的位置。此时计算机估算导管/导丝19内应力为0，夹爪夹持力也为0。
62.当设备收到夹持信号时，直线伺服电机14推杆伸出到最大位置。更新标记点位置，并计算位移量，估算夹爪夹持力大小。此时导管/导丝19与夹持组件紧密结合，可以跟随夹持组件运动。
63.当收到平移信号时，整个测力装置沿导管/导丝19指向方向水平移动。此时如果导管/导丝19前端未触碰血管内壁产生应力，则标记点20位置不发生改变；如果导管/导丝19前端触碰血管内壁产生应力，则柔性夹爪发生形变，形变量受应力的大小影响，方向与运动方向相反，此时标记点20位置发生改变，并估算应力的大小，同时根据血管内壁的应力承受强度，调整直线伺服电机14的推杆位置，可以释放平移方向上导管/导丝内部应力，保证导管/导丝19在血管内安全的行进。
64.当收到旋转信号时，旋转步进电机7驱动锥形小齿轮8，带动与之啮合的锥形大齿轮6转动，进一步带动与锥形大齿轮6固连的上外壳4和下外壳5一同转动，然后带动内部夹持导丝一同转动。在转动过程中，如果导管/导丝19没有与血管内壁产生旋转方向的应力作用，则此时标记点20的位置不发生变化。如果导管/导丝19与血管内壁产生旋转方向的应力作用，那么通过测算两柔性夹爪上标记点的位移改变插值即可对旋转方向的应力进行估算。此时根据血管内壁的应力承受强度，调整直线伺服电机14的推杆位置，可以释放旋转方向上导管/导丝内部应力，保证导管/导丝19在血管内安全的行进。
65.以上的具体实施例仅描述了本发明的设计原理，该描述中的部件形状，名称可以不同，不受限制。所以，本发明领域的技术人员可以对前述实施例记载的技术方案进行修改或等同替换；而这些修改和替换未脱离本发明创造宗旨和技术方案，均应属于本发明的保护范围。