一种依靠视觉及力反馈引导的心脏彩超检查装置和方法与流程

1.本发明属于医疗器械技术领域，更具体地，涉及一种依靠视觉及力反馈引导的心脏彩超检查装置和方法。


背景技术：

2.目前，进行彩超检查均是通过医生操作彩超探头与患者接触，实现彩超检查；这种检查方式具有以下问题：1、患者和医生的接触不可避免，在为患有未知传染病的病人进行检查时，医生会有被感染的风险；2、彩超检查需要手法熟练的医生才能得到清晰的图像，对于新医生而言，彩超检查的培训需要耗费时间和经历，培训的周期长；3、彩超检查是需要机械的长时间的做规定的动作，医生会在检查的过程中耗费体力。
3.现有的彩超机械臂技术主要有主机和探头分离的彩超检查，以及机械臂夹持探头的彩超检查。目前在机械臂彩超检查这一方向并没有依靠视觉及力反馈引导的机械臂进行的无接触的彩超检查。
4.如中国专利2011204856893，公开了一种医疗超声辅助设备，该设备将超声探头安装在机械臂顶端，使用遥控的方式进行超声检查，从而降低操作人员的重复劳动；中国专利2020103361331，公开了一种用于远程操纵的虚拟超声探头跟踪方法；该发明提供了远程操纵的虚拟超声探头运动跟踪方法，通过深度摄像头捕捉虚拟超声探头的位姿，用深度学习的方法，将深度数据和位姿数据与运功模式对应起来，从而实现超声探头的远程自动扫描。上述现有的彩超工作方式都不完整，并没有针对有强传染病的情况，现有技术仍是在同一检查室中进行的，无法真正实现无接触的彩超检查。另外，机械臂的控制方式只是单一的遥控控制，缺乏视觉算法的辅助；又或者是单纯的算法控制，准确性和稳定性是有待解决的问题。同时，彩超检查需要在病人身上找到探头特定的角度和力度以获得清晰的图像，上述彩超检查都没有力反馈装置来实时反馈病人受力情况，安全性得不到保障。


技术实现要素：

5.本发明为克服上述现有技术中的缺陷，提供一种依靠视觉及力反馈引导的心脏彩超检查装置和方法，保证了医生远程遥控时的准确性，也提高了彩超检查时的安全性。
6.为解决上述技术问题，本发明采用的技术方案是：一种依靠视觉及力反馈引导的心脏彩超检查装置，包括：
7.机械臂，用于装载彩超探头；接收第一工控机的指令并完成相应的运动功能；同时将与患者之间的作用力反馈给第一工控机；
8.第一工控机，用于与机械臂连接并相互通信，以及和第二工控机交换数据；接收来自机械臂的力反馈信息，并将力反馈信息传递给第二工控机；
9.力反馈遥控器，用于遥控机械臂运动和感受来自机械臂的力反馈；
10.第二工控机，用于与力反馈遥控器进行连接并通信，并和第一工控机进行通信，接收来自第一工控机传递的力反馈信息，并将力反馈信息传递给力反馈遥控器，以使力反馈
遥控器感受来自机械臂的力反馈；同时将来自力反馈遥控器的指令发送到第一工控机以传输给机械臂；
11.监控摄像头，与第一工控机连接并通信，用于实时监控机械臂的运动情况；
12.单目摄像头，与第一工控机连接并通信，用于采集机械臂末端视角的图像，并将图像返回给第一工控机，从而能在第一工控机进行深度估计。
13.在本发明中，通过第一工控机和第二工控机之间的通信，可以将机械臂与力反馈遥控器设置在两个独立的房间，从而实现远程彩超，避免医生与患者之间接触；在使用时；医生操控力反馈遥控器，通过第二工控机和第二工控机将控制信息传递给机械臂，实现控制机械臂运动；同时，机械臂将感受到外部力的信息通过第一工控机和第二工控机传递给力反馈遥控器，医生可以在力反馈遥控器上实时感受力的作用，同时，可以通过第二工控机的显示屏实时查看监控视频，以便于进行下一步操作。
14.进一步的，所述的机械臂上间隔设有多个力传感器。通过力传感器实时采集机械臂受到的外部力信息。
15.本发明还提供一种依靠视觉及力反馈引导的心脏彩超检查方法，包括以下步骤：
16.第二工控机通过读写程序与力反馈遥控器之间建立联系，第二工控机读取力反馈遥控器上的控制操作，同时将力反馈信息传到力反馈遥控器上，使操控者能感受到反馈力；
17.第二工控机与第一工控机建立tcp通信，两台工控机之间进行视频流、遥控指令、力反馈信息的交换；其中，单目摄像头将拍摄的机械臂末端的图像传递给第一工控机，监控摄像头将拍摄的机械臂运动的实时情况传递给第一工控机；第一工控机将视频流、力反馈信息传递给第二工控机，第二工控机打开视频窗口并将来自力反馈遥控器的遥控指令传递给第一工控机；
18.第一工控机接收到来自第二工控机的遥控指令后，将指令发布到ros话题空间，rokae节点在订阅到该遥控指令的信息后进行控制机械臂在遥控运动方式下进行相应的移动，同时将机械臂感受到的力的信息发布到ros空间以便传输给第二工控机。
19.在本发明中，医生操作力反馈遥控器，将控制指令通过第二工控机和第一工控机传递给机械臂，机械臂装载彩超探头，实现对患者的彩超检查；另一方面，机械臂实时采集外部力信息，将力反馈信息通过第一工控机和第二工控机传递给力反馈遥控器，这样医生通过力反馈遥控器可以感受到力的作用，从而感知力的大小，以便于进行下一步操作；同时，单目摄像头和监控摄像头采集的图像信息回通过第一工控机传递给第二工控机，医生可以通过第二工控机的显示屏实时观看拍摄的视频，以便于清楚的知道机械臂的运动情况。
20.进一步的，机械臂的控制具体包括以下步骤：
21.建立第一工控机与机械臂通信：通过机械臂自带的rci外部接口，建立第一工控机与机械臂之间的tcp和udp通信；
22.在ros空间下接收指令：第一工控机与ros空间下建立用于控制机械臂的rokae节点，该节点会订阅话题，话题中包含来自别的节点的控制指令；rokae节点接收到订阅的消息后进入回调函数，在回调函数中调用机械臂内置的函数以达到控制机械臂的目的；
23.机械臂返回信息：机械臂在完成某种运动后将当前坐标和位姿、以及机械臂上的各个传感器感受到的外部力的情况传递给第一工控机，第一工控机接收并处理信息，以将
信息传递给第二工控机。
24.进一步的，通过tcp向机械臂传输启动运动的函数时选择笛卡尔坐标系位置控制为参数，机械臂进入位置控制模式，在这个模式中，机械臂主要是依赖阻抗对笛卡尔坐标系下的位置进行运动控制的；当阻抗系数不为0时，可以拖动机械臂，但机械臂会自行回到原位置；而当阻抗系数设置为0时，就可以自由地拖动机械臂到任意位置且不会自行回到原位，以实现机械臂自由拖动。
25.进一步的，在对机械臂进行控制时，通过以下步骤实现机械臂的自动移动：
26.rokae节点通过内置函数使机械臂进入笛卡尔坐标系下单位置运动模式；同时在另一条线程，rokae节点开始订阅ros空间下的“控制指令”话题，并实时读取和发布机械臂末端坐标；
27.运动规划节点接收到机械臂末端坐标的消息，并根据算法以及深度估计节点发布的深度信息，计算得出机械臂末端在下一个时刻应该运动的方向和速度，同时将机械臂末端坐标发布到rokae节点所订阅的“控制指令”；
28.rokae在接收到消息后进入回调函数，根据消息内容向确定的方向进行移动。
29.进一步的，在对机械臂进行控制时，通过以下步骤实现机械臂的遥控移动：
30.遥控移动是在力反馈遥控器的操控下或者键盘操控下移动；
31.rokae节点通过内置函数使机械臂进入笛卡尔坐标系下单位置运动模式；同时在另一条线程，rokae节点开始订阅ros空间下的“控制指令”话题，并实时读取和发布机械臂末端坐标，以及机械臂所受到的外部力；
32.键盘或力反馈遥控器读取节点或者远端控制节点实时读取遥控的操作指令，将指令发布到“控制指令”话题；
33.rokae在接收到消息后进入回调函数，根据消息内容向确定的方向进行移动。
34.进一步的，在进行彩超检查前，病人离机械臂末端的彩超探头比较远，而这个距离很可能会超出力反馈遥控的行程，通过基于视觉引导的运动在医生对机械臂进行实际操控前自动到达合理位置，方便医生进行遥控。
35.进一步的，基于视觉引导控制机械臂的步骤具体包括：
36.搭载在机械臂上的单目摄像头依靠机械臂末端的左右微幅运动以模拟双目视觉，当机械臂在左右两点间时往复时，单目摄像头会自动拍下多组图像以获得不同基线长度下的双目图像；双目图像会传到计算节点进行视差计算；
37.第一工控机接收到机械臂返回的左右两点的笛卡尔空间坐标，并在计算节点进行双目校准和匹配，然后进行视差计算；
38.得到视差图之后，根据公式：深度＝焦距
×
基线/视差，计算得到深度图像；使用不同基线下得到深度图像进行深度图像的融合，得到没有缺陷的，较为精确的深度图像；
39.使用目标检测算法，检测彩超检查所需目标点位置，并根据深度图像判断机械臂末端离病人目标点的距离，进行决策是要靠近目标点还是远离目标点。
40.进一步的，计算节点使用的算法是opencv库中的sgbm算法。
41.与现有技术相比，有益效果是：本发明提供的一种依靠视觉及力反馈引导的心脏彩超检查装置和方法，通过远程操作机械臂，同时采用力反馈遥控，医生与病人之间没有任何传播疾病的风险；且力反馈遥控能实时将机械臂受到的外力信息转化为医生手上感受到
的力反馈信息，保证医生远程遥控时的准确性，也提高了彩超检查时的安全性。本发明还使用视觉引导的方法简化了医生遥控的难度，视觉引导和遥控结合，大大减轻医生进行重复彩超检查的负担。
附图说明
42.图1是本发明各个结构之间的关系示意图。
43.图2是本发明控制机械臂运动的关系示意图。
44.图3是本使用发明的装置进行彩超检查时的结构示意图。
45.附图标记：1、机械臂；2、第一工控机；3、力反馈遥控器；4、第二工控机；5、单目摄像头；6、监控摄像头；7、显示屏；8、彩超探头。
具体实施方式
46.附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
47.如图1和图3所示，一种依靠视觉及力反馈引导的心脏彩超检查装置，包括：
48.机械臂1，用于装载彩超探头8；接收第一工控机的指令并完成相应的运动功能；同时将与患者之间的作用力反馈给第一工控机2；
49.第一工控机2，用于与机械臂1连接并相互通信，以及和第二工控机交换数据；接收来自机械臂1的力反馈信息，并将力反馈信息传递给第二工控机4；
50.力反馈遥控器3，用于遥控机械臂1运动和感受来自机械臂1的力反馈；
51.第二工控机4，用于与力反馈遥控器3进行连接并通信，并和第一工控机进行通信，接收来自第一工控机2传递的力反馈信息，并将力反馈信息传递给力反馈遥控器3，以使力反馈遥控器3感受来自机械臂1的力反馈；同时将来自力反馈遥控器3的指令发送到第一工控机以传输给机械臂1；
52.监控摄像头6，与第一工控机连接并通信，用于实时监控机械臂1的运动情况；
53.单目摄像头5，与第一工控机连接并通信，用于采集机械臂1末端视角的图像，并将图像返回给第一工控机2，从而能在第一工控机进行深度估计。
54.在本发明中，通过第一工控机2和第二工控机4之间的通信，可以将机械臂1与力反馈遥控器3设置在两个独立的房间，从而实现远程彩超，避免医生与患者之间接触；在使用时；医生操控力反馈遥控器3，通过第二工控机4和第二工控机4将控制信息传递给机械臂1，实现控制机械臂1运动；同时，机械臂1将感受到外部力的信息通过第一工控机2和第二工控机4传递给力反馈遥控器3，医生可以在力反馈遥控器3上实时感受力的作用，同时，可以通过第二工控机4的显示屏7实时查看监控视频，以便于进行下一步操作。
55.其中，所述的机械臂1上间隔设有多个力传感器。通过力传感器实时采集机械臂1受到的外部力信息。
56.在另一个实施例中，还提供一种依靠视觉及力反馈引导的心脏彩超检查方法，包括以下步骤：
57.第二工控机4通过读写程序与力反馈遥控器3之间建立联系，第二工控机4读取力反馈遥控器3上的控制操作，同时将力反馈信息传到力反馈遥控器3上，使操控者能感受到反馈力；
58.第二工控机4与第一工控机2建立tcp通信，两台工控机之间进行视频流、遥控指令、力反馈信息的交换；其中，单目摄像头5将拍摄的机械臂1末端的图像传递给第一工控机2，监控摄像头6将拍摄的机械臂1运动的实时情况传递给第一工控机2；第一工控机2将视频流、力反馈信息传递给第二工控机4，第二工控机4打开视频窗口并将来自力反馈遥控器3的遥控指令传递给第一工控机2；
59.第一工控机2接收到来自第二工控机4的遥控指令后，将指令发布到ros话题空间，rokae节点在订阅到该遥控指令的信息后进行控制机械臂1在遥控运动方式下进行相应的移动，同时将机械臂1感受到的力的信息发布到ros空间以便传输给第二工控机4。
60.在本发明中，医生操作力反馈遥控器3，将控制指令通过第二工控机4和第一工控机2传递给机械臂1，机械臂1装载彩超探头8，实现对患者的彩超检查；另一方面，机械臂1实时采集外部力信息，将力反馈信息通过第一工控机2和第二工控机4传递给力反馈遥控器3，这样医生通过力反馈遥控器3可以感受到力的作用，从而感知力的大小，以便于进行下一步操作；同时，单目摄像头5和监控摄像头6采集的图像信息回通过第一工控机2传递给第二工控机4，医生可以通过第二工控机4的显示屏7实时观看拍摄的视频，以便于清楚的知道机械臂1的运动情况。
61.在其中一个实施例中，机械臂1的控制具体包括以下步骤：
62.建立第一工控机2与机械臂1通信：通过机械臂1自带的rci外部接口，建立第一工控机与机械臂1之间的tcp和udp通信；
63.在ros空间下接收指令：第一工控机2与ros空间下建立用于控制机械臂1的rokae节点，该节点会订阅话题，话题中包含来自别的节点的控制指令；rokae节点接收到订阅的消息后进入回调函数，在回调函数中调用机械臂1内置的函数以达到控制机械臂1的目的；
64.机械臂1返回信息：机械臂1在完成某种运动后将当前坐标和位姿、以及机械臂1上的各个传感器感受到的外部力的情况传递给第一工控机2，第一工控机2接收并处理信息，以将信息传递给第二工控机4。
65.在其中一个实施例中，通过tcp向机械臂1传输启动运动的函数时选择笛卡尔坐标系位置控制为参数，机械臂1进入位置控制模式，在这个模式中，机械臂1主要是依赖阻抗对笛卡尔坐标系下的位置进行运动控制的；当阻抗系数不为0时，可以拖动机械臂1，但机械臂1会自行回到原位置；而当阻抗系数设置为0时，就可以自由地拖动机械臂1到任意位置且不会自行回到原位，以实现机械臂1自由拖动。
66.在其中一个实施例中，在对机械臂1进行控制时，通过以下步骤实现机械臂1的自动移动：
67.rokae节点通过内置函数使机械臂1进入笛卡尔坐标系下单位置运动模式；同时在另一条线程，rokae节点开始订阅ros空间下的“控制指令”话题，并实时读取和发布机械臂1末端坐标；
68.运动规划节点接收到机械臂1末端坐标的消息，并根据算法以及深度估计节点发布的深度信息，计算得出机械臂1末端在下一个时刻应该运动的方向和速度，同时将机械臂
1末端坐标发布到rokae节点所订阅的“控制指令”；
69.rokae在接收到消息后进入回调函数，根据消息内容向确定的方向进行移动。
70.在其中一个实施例中，在对机械臂1进行控制时，通过以下步骤实现机械臂1的遥控移动：
71.遥控移动是在力反馈遥控器3的操控下或者键盘操控下移动；
72.rokae节点通过内置函数使机械臂1进入笛卡尔坐标系下单位置运动模式；同时在另一条线程，rokae节点开始订阅ros空间下的“控制指令”话题，并实时读取和发布机械臂1末端坐标，以及机械臂1所受到的外部力；
73.键盘或力反馈遥控器3读取节点或者远端控制节点实时读取遥控的操作指令，将指令发布到“控制指令”话题；
74.rokae在接收到消息后进入回调函数，根据消息内容向确定的方向进行移动。
75.在其中一个实施例中，在进行彩超检查前，病人离机械臂1末端的彩超探头8比较远，而这个距离很可能会超出力反馈遥控的行程，通过基于视觉引导的运动在医生对机械臂1进行实际操控前自动到达合理位置，方便医生进行遥控。
76.在其中一个实施例中，基于视觉引导控制机械臂1的步骤具体包括：
77.搭载在机械臂1上的单目摄像头5依靠机械臂1末端的左右微幅运动以模拟双目视觉，当机械臂1在左右两点间时往复时，单目摄像头5会自动拍下多组图像以获得不同基线长度下的双目图像；双目图像会传到计算节点进行视差计算；
78.第一工控机接收到机械臂1返回的左右两点的笛卡尔空间坐标，并在计算节点进行双目校准和匹配，然后进行视差计算；计算节点使用的算法是opencv库中的sgbm算法。
79.得到视差图之后，根据公式：深度＝焦距
×
基线/视差，计算得到深度图像；使用不同基线下得到深度图像进行深度图像的融合，得到没有缺陷的，较为精确的深度图像；
80.使用目标检测算法，检测彩超检查所需目标点位置，并根据深度图像判断机械臂1末端离病人目标点的距离，进行决策是要靠近目标点还是远离目标点。
81.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
82.显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。