基于深度学习的超声机器人甲状腺检测系统

1.本发明涉及智能机器人技术领域，具体涉及基于深度学习的超声机器人甲状腺检测系统。


背景技术：

2.超声影像成像技术，根据超声波传播距离的长短和反射超声波物体的材质的不同，反射回来的超声波强度都会有所改变，因此只要根据返回声波的强度对其进行不同灰度的渲染就能够构造出一个表示扫描区域的灰度图。再结合医学影像的相关知识，便能够对其进行辨别，从而识别出不同的器官。
3.医学图像分割技术，医学图像分割可以将医学图像中具有特殊含义的部分分割出来，作为进一步诊断、分析或者三维重建的基础。
4.机器人运动学，主要包括正运动学和逆运动学两个部分，正运动学指的是根据机器人的各项参数，计算出笛卡尔空间下机器人末端执行器的位置和姿态，通常也被简称为位姿。机器人逆运动学则指的是从笛卡尔空间下机器人末端执行器的位姿反算出机器人各个关节角的大小，是机器人控制中的关键问题。
5.深度学习算法，深度学习以数据的原始形态作为算法输入，经过算法层层抽象将原始数据逐层抽象为自身任务所需的最终特征表示，最后以特征到任务目标的映射作为结束。其特点在于从原始数据到最终任务目标不夹杂任何人为操作。深度学习算法目前已广泛应用于数据的分类、预测、特征提取等领域。
6.基于深度学习的超声机器人甲状腺检测系统可以实现完全无需医护人员参与，由机器人自动完成的超声检查。能够很好的解决医患接触、医生劳损等问题。
7.现有技术中，公开号为cn110575203a的中国发明专利申请中，由超声机器人自主对甲状腺区域进行扫描，但需要人工确定扫描起点与终点，且扫描过程中的路径仅能由人工调整。


技术实现要素：

8.本发明实现的基于深度学习的超声机器人甲状腺检测系统能够根据检测对象体表特征粗略估计甲状腺位置并引导机器人停留在该位置，能够根据返回的超声图像分割出图像中的甲状腺区域并根据其在图像中的位置调整机器人移动路径，能够根据力传感器返回的接触力大小调整机器人位置，从而实现了完全无需医护人员参与，由机器人自动完成的超声检查，能够很好的解决医患接触、医生劳损等问题。
9.本发明的目的至少通过如下技术方案之一实现。
10.基于深度学习的超声机器人甲状腺检测系统，包括机器人装置、力传感器、超声探头、深度摄像机和上位机；力传感器和超声探头固定于机器人装置末端；上位机分别连接并控制机器人装置、力传感器、超声探头和深度摄像机；
11.上位机根据深度摄像机及超声探头获取的信息，控制机器人装置在被测对象体表
水平向的运动，进而控制超声探头进行甲状腺检测，同时上位机根据力传感器获取的超声探头与被测对象的接触力大小，控制机器人装置在被测对象体表法向的运动。
12.进一步地，机器人装置具体为机械臂，机器人装置的末端安装有力传感器和用于固定超声探头的夹具；
13.力传感器用于探测超声探头与被测对象的接触力大小。
14.进一步地，上位机中构建有机器人手眼标定模块；
15.机器人手眼标定模块接收机器人装置和深度摄像机对于标定板上同一个点序列返回的坐标，根据返回的坐标构建机器人坐标系和深度摄像机坐标系之间的转换矩阵。
16.进一步地，上位机中构建有甲状腺定位模块；
17.甲状腺定位模块中，使用神经网络构建被测对象左右肩关节坐标和甲状腺位置之间的关系；
18.甲状腺定位模块接收深度摄像机传回的被测对象肩关节三维坐标，通过训练好的神经网络粗略估计甲状腺位置。
19.进一步地，上位机中构建有位姿调整模块；
20.位姿调整模块根据给定的目标点及目标点周围一系列邻近点的坐标，构建协方差矩阵，计算协方差矩阵的特征向量作为目标点所在平面在该目标点处的法向量，具体如下：
[0021][0022]
其中，c表示构建的协方差矩阵，k表示在目标点周围选取的邻近点的数目，pi表示选取的第i个邻近点的坐标，表示这k个邻近点的三维质心；
[0023]
对协方差矩阵c求取特征值和特征向量，特征值最小时对应的特征向量即为所需的法向量。
[0024]
进一步地，上位机中构建有超声检查引导模块；
[0025]
超声检查引导模块中保存有预设的超声检测路径，包括多个检测点，从起点开始，超声检查引导模块接收超声探头返回的超声图像，使用神经网络分割出图像中的甲状腺部分，并根据甲状腺部分在超声图像中的位置调整后续检测路径，控制机器人移动直至路径终点。
[0026]
进一步地，上位机中构建有力度控制模块；
[0027]
力度控制模块接收力传感器返回的超声探头与被测对象间的接触力大小，根据接触力大小控制机器人装置的法向移动从而保证接触力大小位于设置的阈值范围内。
[0028]
进一步地，超声机器人甲状腺检测系统的完整工作流程如下：
[0029]
初始化阶段：机器人手眼标定模块建立机器人坐标系和摄像机坐标系的转换矩阵；
[0030]
定位阶段：深度摄像机将被测对象肩关节三维坐标传输给甲状腺定位模块，甲状腺定位模块计算出粗略估计的甲状腺位置坐标，将粗略估计的甲状腺位置坐标作为目标点坐标传输给位姿调整模块，位姿调整模块计算出目标点坐标的法向量，将目标点坐标和目标点坐标的法向量传输给机器人装置，通过机器人装置的sdk控制机器人装置移动到距离目标点坐标的目标点坐标的法向量方向1cm处；
[0031]
超声检查阶段：机器人装置按照预设的超声检测路径移动，超声探头实时将探测的超声图像传输给超声检查引导模块，超声检查引导模块分割出超声图像中的甲状腺部分并调整机器人位置使超声图像中的甲状腺部分始终位于超声图像中心，重复以上步骤直到机器人装置移动至超声检测路径的终点。
[0032]
进一步地，在超声检查阶段中，力度控制模块始终保持运行，根据力传感器返回的超声探头与被测对象的接触力大小，控制接触力大小位于设置的阈值范围内，进而控制机器人装置的法向移动。
[0033]
进一步地，在超声检查阶段中，当对一个检测的目标点进行调整时，将调整应用至后续所有需要检测的目标点以保证超声检测路径连续。
[0034]
与现有技术相比，本发明具有以下优势：
[0035]
(1)本发明利用深度学习技术对超声机器人进行定位和引导，不依赖医务人员的操作，解决医患接触和医生劳损等问题；
[0036]
(2)本发明利用体表关键点识别技术对患者甲状腺进行定位，无需对患者进行额外的体表定位，在提高效率的同时降低了成本。
附图说明
[0037]
图1为本发明实施例中基于深度学习的超声机器人甲状腺检测系统设备与模块构成示意图。
[0038]
图2为本发明实施例中基于深度学习的超声机器人甲状腺检测系统工作流程图。
[0039]
图3为本发明实施例中反向传播神经网络的结构示意图。
具体实施方式
[0040]
下面结合实施例和附图对本发明的具体实施做进一步的说明，但本发明的实施方式不限于此。
[0041]
实施例1：
[0042]
基于深度学习的超声机器人甲状腺检测系统，如图1所示，包括机器人装置、力传感器、超声探头、深度摄像机和上位机；力传感器和超声探头固定于机器人装置末端；上位机分别连接并控制机器人装置、力传感器、超声探头和深度摄像机；
[0043]
本实施例中，机器人装置采用ur3机器人；力传感器采用mios-y80-h45六维力传感器；超声探头采用sonostar全数字超声显像诊断仪；深度摄像机采用azure kinect深度摄像机。
[0044]
上位机根据深度摄像机获取的被测对象肩关节三维坐标，控制机器人装置的运动，进而控制超声探头进行甲状腺检测，同时上位机根据力传感器获取的超声探头与被测对象的接触力大小，控制机器人装置运动。
[0045]
机器人装置的末端安装有力传感器和用于固定超声探头的夹具；
[0046]
力传感器用于探测超声探头与被测对象的接触力大小。
[0047]
进一步地，上位机中构建有机器人手眼标定模块；
[0048]
机器人手眼标定模块接收机器人装置和深度摄像机对于标定板上同一个点序列返回的坐标，根据返回的坐标构建机器人坐标系和深度摄像机坐标系之间的转换矩阵。
[0049]
本实施例中，利用奇异值分解(singular value decomposition，svd)的方法构建转换矩阵，具体如下：
[0050]
记录同样的点序列在机器人坐标系和相机坐标系下的对应点坐标序列cor
arm
和cor
camera
；
[0051]
计算出cor
arm
和cor
camera
各自的中心点cen
arm
和cen
camera
；
[0052]
cor
arm
中的各个点减去其中心点cen
arm
，得到新的点坐标序列cor
arm
′
；
[0053]
cor
camera
中的各个点减去其中心点cen
camera
，得到新的点坐标序列cor
camera
′
；
[0054]
根据公式计算cor
arm
′
和cor
camera
′
之间的协方差矩阵h：
[0055][0056]
求矩阵h的i个左奇异向量ui，这些向量满足以下等式：
[0057]
(hh
t
)ui＝λiui[0058]
其中，λi表示矩阵h的第i个左奇异向量对应的特征值。
[0059]
求矩阵h的j个右奇异向量vj，这些向量满足以下等式：
[0060]
(h
t
h)vj＝ξjvj[0061]
其中，ξi表示矩阵h的第j个右奇异向量对应的特征值。
[0062]
由i个左奇异向量组成矩阵u，由j个右奇异向量组成矩阵v，即可对矩阵h进行奇异值分解：
[0063]
h＝uλv
t
[0064]
其中，λ为对角矩阵。
[0065]
基于矩阵u和矩阵v，计算得到cor
arm
′
和cor
camera
′
之间的旋转矩阵r：
[0066]
r＝vu
[0067]
通过公式计算得到cor
arm
′
和cor
camera
′
之间的平移矩阵t：
[0068]
t＝-r
·
cor
camera
cor
arm
[0069]
最终得到机器人坐标系和相机坐标系的转换公式：
[0070]
cor
arm
＝r
·
cor
camera
t。
[0071]
上位机中构建有甲状腺定位模块；
[0072]
甲状腺定位模块中，使用神经网络构建被测对象左右肩关节坐标和甲状腺位置之间的关系；
[0073]
甲状腺定位模块接收深度摄像机传回的被测对象肩关节三维坐标，通过训练好的神经网络粗略估计甲状腺位置。
[0074]
本实施例中，通过azure kinect深度摄像机提供的人体关键点识别sdk获得检测对象左右肩关节坐标，使用反向传播神经网络(back propagation neural network,bpnn)构建被测对象左右肩关节坐标和甲状腺位置之间的关系，神经网络具体参数设置如下：
[0075]
如图3所示，该神经网络的结构包括：包括7个输入结点的输入层、包括14个结点的
第一层隐藏层、包括8个结点的第二层隐藏层、包括6个输出结点的输出层，其中7个输入结点对应两肩三维坐标及区分甲状腺左右叶的标记，6个输出结点对应估计的甲状腺顶点和底点的三维坐标。
[0076]
该神经网络采用的激活函数为sigmoid函数。
[0077]
上位机中构建有位姿调整模块；
[0078]
位姿调整模块根据给定的目标点及目标点周围一系列邻近点的坐标，构建协方差矩阵，计算协方差矩阵的特征向量作为目标点所在平面在该目标点处的法向量，具体如下：
[0079][0080]
其中，c表示构建的协方差矩阵，k表示在目标点周围选取的邻近点的数目，pi表示选取的第i个邻近点的坐标，表示这k个邻近点的三维质心。
[0081]
对协方差矩阵c求取特征值和特征向量，特征值最小时对应的特征向量即为所需的法向量。
[0082]
上位机中构建有超声检查引导模块；
[0083]
超声检查引导模块中保存有预设的超声检测路径，包含若干检测点，从起点开始，超声检查引导模块接收超声探头返回的超声图像，使用神经网络分割出图像中的甲状腺部分，并根据甲状腺部分在超声图像中的位置调整后续检测路径，控制机器人移动直至路径终点。
[0084]
在本实施例中，采用基于注意力机制的，结合了res-net网络与u-net网络的res-unet网络完成甲状腺图像的分割，具体实现如下：
[0085]
将采集到的超声图像作为res-unet网络的输入，res-unet网络通过添加一种跨层操作构建残差学习单元，res-unet网络使用残差学习提取超声图像的特征而非传统的卷积操作；
[0086]
将经过残差学习处理的超声图像作为注意力模块的输入，首先由通道注意力模块进行处理，通道注意力模块对不同通道上的特征图像同时进行最大池化(maxpool)和平均池化(avgpool)计算，计算得到的向量被输入到一个只有一个隐藏层的多层感知机(multi-layer perceptron，mlp)中，最后经过sigmoid函数处理后求和便得到通道注意力特征图，计算公式如下：
[0087]
mc(f)＝σ(mlp(avgpool(f)) mlp(maxpool(f))
[0088]
其中，f表示输入的特征图，mc(f)表示计算得到的通道注意力特征图，σ()表示sigmoid函数；maxpool()和avgpool()分别表示最大池化(maxpool)和平均池化(avgpool)计算的特征图；
[0089]
然后由空间注意力模块进行处理，空间注意力模块沿通道轴方向对不同特征图上的相同位置进行最大池化和平均池化计算，再利用一个滤波器对生成的特征图像进行卷积，本实施例中采用的滤波器大小为7*7，最后通过sigmoid函数计算得到空间注意力特征图，计算公式如下：
[0090]ms
(f)＝σ(f
7*7
([avgpool(f)；maxpool(f)]))
[0091]
其中，ms(f)表示计算得到的空间注意力特征图，f
7*7
()表示卷积操作，maxpool()
和avgpool()分别表示最大池化(maxpool)和平均池化(avgpool)计算的特征图；
[0092]
得到通道注意力特征图和空间注意力特征图之后，最终经过注意力模块处理后的特征图可以通过如下公式计算：
[0093][0094][0095]
其中，f
″
即为求得的处理后的特征图，表示对应位置元素相乘；
[0096]
经过注意力模块处理后的特征图，便依照原本的u-net网络上卷积方式进行解码操作，实现对甲状腺的分割操作；最终便可以输出一个与原超声图像尺寸相同的，标注了甲状腺区域的图像。
[0097]
根据标注出甲状腺区域的实时图像，按照如下步骤引导超声机器人移动：
[0098]
步骤s1、判断甲状腺区域中心点是否位于图像中心，若是则停止调整，进入步骤s5；
[0099]
步骤s2、计算图像中心与甲状腺区域中心之间的向量；
[0100]
步骤s3、指示超声探头沿向量方向调整超声探头位置；
[0101]
步骤s4、重复步骤s1到步骤s3，直至甲状腺区域中心点位于图像中心；
[0102]
步骤s5、对后续路径点应用相同位置调整，超声机器人继续沿目标路径移动。
[0103]
上位机中构建有力度控制模块；
[0104]
力度控制模块接收力传感器返回的超声探头与被测对象间的接触力大小，根据接触力大小控制机器人装置的法向移动从而保证接触力大小位于设置的阈值范围内。
[0105]
实施例2：
[0106]
本实施例与实施例1的区别在于：在机器人手眼标定模块中，利用七参数模型建立机器人坐标系和摄像机坐标系的转换公式，具体如下：
[0107]
机器人坐标系与摄像机坐标系均为三维直角坐标系，因此可以视为摄像机坐标系绕自身x轴旋转再绕新的y轴旋转ψ，再绕新的z轴旋转θ，将这三个旋转操作合并可得到旋转矩阵r，再在三个方向上分别平移δx、δy、δz得到机器人坐标系。
[0108]
则对于两个坐标系上的任意两个对应点坐标(x
arm
,y
arm
,z
arm
)与(x
camera
,y
camera
,z
camera
)满足以下公式：
[0109][0110]
其中旋转矩阵
[0111][0112]
k为尺度缩放参数，由于实际场景中不涉及缩放，故k＝1。
[0113]
代入点坐标，按照最小二乘准则进行平差计算，得到ψ、θ、δx、δy、δz这6个参数即可求得转换公式。
[0114]
实施例3：
[0115]
本实施例与实施例1的区别在于：在超声检查引导模块中，用于分割甲状腺区域的神经网络激活函数采用softmax函数。
[0116]
如图2所示，超声机器人甲状腺检测系统的完整工作流程如下：
[0117]
初始化阶段：机器人手眼标定模块建立机器人坐标系和摄像机坐标系的转换矩阵；
[0118]
定位阶段：深度摄像机将被测对象肩关节三维坐标传输给甲状腺定位模块，甲状腺定位模块计算出粗略估计的甲状腺位置坐标，将粗略估计的甲状腺位置坐标作为目标点坐标传输给位姿调整模块，位姿调整模块计算出目标点坐标的法向量，将目标点坐标和目标点坐标的法向量传输给机器人装置，通过机器人装置的sdk控制机器人装置移动到距离目标点坐标的目标点坐标的法向量方向1cm处；
[0119]
超声检查阶段：机器人装置按照预设的超声检测路径移动，超声探头实时将探测的超声图像传输给超声检查引导模块，超声检查引导模块分割出超声图像中的甲状腺部分并调整机器人位置使超声图像中的甲状腺部分始终位于超声图像中心，当对一个检测的目标点进行调整时，将调整应用至后续所有需要检测的目标点以保证超声检测路径连续，重复以上步骤直到机器人装置移动至超声检测路径的终点；
[0120]
在超声检查阶段中，力度控制模块始终保持运行，根据接触力大小控制机器人装置的法向移动从而保证接触力大小位于设置的阈值范围内。
[0121]
以上所述，仅为本发明较佳的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明利的技术方案及其发明构思加以等同替换或改变，都属于本发明的保护范围。