一种基于机器视觉的背部穴道的定位方法

1.本发明涉及背部穴道定位技术领域，具体为一种基于机器视觉的背部穴道的定位方法。


背景技术：

2.背部穴道的定位是中医推拿机器人研究的难点之一。传统的中医推拿中背部穴道定位通常依赖于医生的经验以及中医“同身寸”理论，即根据人体骨节的一些表面特征来判别穴道的具体位置。但这些传统的定位方法需要现场摸骨确定坐标，依赖于医师经验和临场决策的影响。而当前具备完备中医理论知识的中医推拿师数量较少，单纯依靠人力无法满足中医推拿市场的需求。
3.在过去的十年内，有许多学者进行了穴道定位的相关研究。这些研究大体上可以分为两种：标记识别法和坐标回归法。标识识别法是通过识别人体背部的标记物来确定穴道的坐标，根据标记物的类型，又可以分为物理标记法和光学标记法。自2012年起，山东建筑大学的鲁守银等人研究了一种基于龙门结构的中医推拿机器人，该机器人实现了精准的推拿模式转换，但每次使用前都需要人工标记才能确定穴道的坐标。福州大学的林雪华等人在2014 年应用光学定位方法定位穴道坐标，其光学标记只能起辅助判断的作用，最终的穴道位置确定仍然依赖于人工判断。这些方法普遍容易受到干扰，受环境和操作者自身经验判断的影响很大。而坐标回归法在推拿操作的过程中是不需要进行人工标记的。刘召彤等人应用人的身高、体重和已知的穴道坐标作为训练参数，得到预测目标穴道坐标的定位模型，可以得到较为准确的穴道定位结果，但预测结果时仍需要已知穴位坐标作为输入。现有研究人员开发了一种基于pso-bp神经网络的人体穴道定位系统，通过人工标注方法预先得到基准穴道坐标，再进行训练得到目标穴道的坐标。在此基础上，又有研究人员采用深度学习算法预测穴道坐标，提高了穴道坐标的预测精度和准确性。然而，深度学习模型的训练需要大量的数据，穴道数据的采集依赖于人工标定，难度较大，大数据集的准备非常困难，难以满足智能推拿机器人的自动化需求。因此我们对此做出改进，提出一种基于机器视觉的背部穴道的定位方法。


技术实现要素：

4.为了解决上述技术问题，本发明提供了如下的技术方案：
5.本发明一种基于机器视觉的背部穴道的定位方法，包括以下步骤，
6.步骤1、获取包含人体的轮廓、姿态等信息的二维rgb图像数据，以及包含人体背部的深度信息的三维点云数据；
7.步骤2、通过二维rgb图像数据提取得到肩部特征点；通过三维点云数据提取得到臀部特征点；
8.步骤3、将提取得到的二维肩部特征点和臀部特征点进行融合；
9.步骤4、进行模型训练，将融合后所有特征点的坐标输入gbdt算法进行回归训练，
得到基准穴道坐标的回归模型；
10.步骤5、通过回归模型得到标准基准穴道坐标，基于标准基准穴道坐标建立了其他背部穴道坐标的计算公式，计算得到其他背部穴道坐标。
11.作为本发明的一种优选技术方案，所述的步骤2中通过二维rgb图像数据提取得到肩部特征点所采用的方法是，通过openpose人体姿态检测算法来进行特征提取，人体骨架中的左肩节点、颈背节点以及右肩节点三个关键点作为二维特征点。
12.作为本发明的一种优选技术方案，所述的步骤2通过三维点云数据提取得到臀部特征点的方法是，通过3d相机对人体背部进行拍摄三维点云数据，采用人体两侧臀部最高点的连线与后正中线的交点作为三维特征点，将3d相机拍摄时的y轴和推拿床长边方向保持平行，故可根据点云y轴两侧的点数来判断人体后正中线的位置，并对两侧点的z轴坐标进行遍历对比，分别得到两侧臀部的最高点的坐标，最终计算出三维点云特征点。
13.作为本发明的一种优选技术方案，所述的将提取得到的二维肩部特征点和臀部特征点进行融合的方法是，将刚体旋转和平移将3d相机坐标系转换为rgb相机坐标系，然后根据透视投影关系将三维坐标转化为二维坐标，将三维臀部特征点和二维肩部特征点融合到二维坐标系上。
14.作为本发明的一种优选技术方案，所述的模型训练的方法是，将融合后的臀部特征点和肩部特征点的坐标整合成向量作为输入，输入到梯度提升决策树机器学习算法中，建立基准穴道坐标的回归模型。
15.作为本发明的一种优选技术方案，所述的步骤5的具体操作是，将新采集到的特征点数据输入模型中得到基准穴道坐标，基准穴道坐标为p
大椎穴
， p
腰阳关穴
，则根据脊柱区骨椎分布规律及基准穴道坐标得到其他穴道的坐标计算公式为，
[0016][0017]
本发明的有益效果是：
[0018]
该种基于机器视觉的背部穴道的定位方法通过以下过程来对穴位进行定位，首先获取包含人体的轮廓、姿态等信息的二维rgb图像数据，以及包含人体背部的深度信息的三维点云数据；通过二维rgb图像数据提取得到肩部特征点；通过三维点云数据提取得到臀部特征点；将提取得到的二维肩部特征点和臀部特征点进行融合；进行模型训练，将融合后所有特征点的坐标输入gbdt算法进行回归训练，得到基准穴道坐标的回归模型；通过回归模型得到标准基准穴道坐标，基于标准基准穴道坐标建立了其他背部穴道坐标的计算公式，计算得到其他背部穴道坐标；模型训练完成之后不再需要人工手动标定，为后续的各式推拿操作提供了参考。
附图说明
[0019]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0020]
图1是本发明一种基于机器视觉的背部穴道的定位方法的流程示意图；
[0021]
图2是本发明一种基于机器视觉的背部穴道的定位方法的openpose 的网络框架结构图；
[0022]
图3是本发明一种基于机器视觉的背部穴道的定位方法的gbdt算法流程示意图；
[0023]
图4是本发明一种基于机器视觉的背部穴道的定位方法的大椎穴、腰阳关穴位置示意图；
[0024]
图5是本发明一种基于机器视觉的背部穴道的定位方法的足太阳膀胱经和督脉穴
道之间的相对位置关系示意图；
[0025]
图6是本发明一种基于机器视觉的背部穴道的定位方法的背部穴道定位结果示意图。
具体实施方式
[0026]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0027]
实施例：如图1、图2、图3所示，本发明一种基于机器视觉的背部穴道的定位方法，在中医经络系统理论中，位于背部的且易于自动化推拿的经脉主要有位于人体后正中线脊柱位置的督脉和脊柱旁开1.5骨度寸以及3骨度寸的膀胱经。由中华人民共和国国家质量监督检验检疫总局、中国国家标准化管理委员会出台的腧穴名称与定位标准可知，膀胱经上的穴道定位基准与督脉上的穴道在垂直与脊柱方向上相同。因此，可以通过督脉上的穴道具体坐标作为基准来定位膀胱经上的坐标，而且督脉位处脊柱线，体表特征丰富，能用于判断的二维以及三维体貌地标较多，也易于判断，能够提升自动穴道定位的准确性及稳定性。而在位于背部的12个督脉穴道中，大椎穴和腰阳关穴是两个体表标志最为明显、最容易定位的两个穴道，如图4所示。因为大椎穴和腰阳关穴分别位于背部督脉的首部和末端，穴道之间距离较远，能够作为督脉其他穴道的定位基准，因此，本发明的穴道定位方案主要分为两个步骤，第一步通过人体表面的轮廓和体表信息计算回归得到大椎穴和腰阳关穴的具体坐标，第二步再根据已知的两个基准穴道和背部腧穴之间的位置关系推理得到督脉以及膀胱经上的其他穴道坐标。
[0028]
步骤1、获取包含人体的轮廓、姿态等信息的二维rgb图像数据，以及包含人体背部的深度信息的三维点云数据；步骤2、通过二维rgb图像数据提取得到肩部特征点；通过三维点云数据提取得到臀部特征点；所述的步骤2中通过二维rgb图像数据提取得到肩部特征点所采用的方法是，通过openpose人体姿态检测算法来进行特征提取，人体骨架中的左肩节点、颈背节点以及右肩节点三个关键点作为二维特征点；二维特征点主要基于人体的外轮廓进行判断，所以本研究参考了姿态识别中的特征点提取，采用人体姿态估计网络openpose中提取的人体肩部关键点作为穴道回归的二维特征点,，openpose的网络框架结构图如图2所示，其中penpose是一种自顶而下的人体姿态检测算法，即先检测到图中的关键点再将关键点连接形成骨架，相较于自底而上，即先检测人体位置包络框再检测框内人体关键点的方法，自顶而下的检测方法不容易受背景影响，需要考虑的感受野范围较小，计算复杂度更低、检测效率更高，且在单人的姿态检测中稳定性更强。openpose在前代卷积姿态机(convolutional pose machine,cpm 的基础上增加了新的特征部分亲和域(part affinity fields,pafs)。这种特征通过计算每个像素点和关键点连线之间的线积分来判断候选区域之间的关系，不仅保存了肢体支持域的位置信息，并且保存了方向信息，结合关键点本身的检测能够更加有效地输出姿态估计的结果。
[0029]
所述的步骤2通过三维点云数据提取得到臀部特征点的方法是，其中三维数据包含人体背部的深度信息，可以体现背部的起伏状态，能够在二维图像的基础上提供额外的信息来支撑穴道坐标的判断；三维特征点主要基于点云数据所体现的背部深度信息进行判断。但由于深度采集设备的系统误差，点云中在采集的过程会受到环境的影响，从而产生离
群点以及点震荡的情况。故需要对点云进行滤波、平滑等预处理以保证后续计算得到的三维特征点的准确性。通过3d相机对人体背部进行拍摄三维点云数据，采用人体两侧臀部最高点的连线与后正中线的交点作为三维特征点，将3d 相机拍摄时的y轴和推拿床长边方向保持平行，故可根据点云y轴两侧的点数来判断人体后正中线的位置，并对两侧点的z轴坐标进行遍历对比，分别得到两侧臀部的最高点的坐标，最终计算出三维点云特征点
[0030]
步骤3、将提取得到的二维肩部特征点和臀部特征点进行融合；所述的将提取得到的二维肩部特征点和臀部特征点进行融合的方法是，将刚体旋转和平移将3d相机坐标系转换为rgb相机坐标系，然后根据透视投影关系将三维坐标转化为二维坐标，将三维臀部特征点和二维肩部特征点融合到二维坐标系上。
[0031]
步骤4、进行模型训练，将融合后所有特征点的坐标输入gbdt算法进行回归训练，得到基准穴道坐标的回归模型；
[0032]
所述的模型训练的方法是，将融合后的臀部特征点和肩部特征点的坐标整合成向量作为输入，输入到梯度提升决策树机器学习算法中，建立基准穴道坐标的回归模型。
[0033]
其中本发明为了能在充分运用二维和三维特征点的基础上得到目标穴道的坐标，本发明将所有特征点的坐标整合成向量作为输入，将目标穴道的坐标作为输出进行回归。受到所采集的数据集大小的限制，本发明中采用对小样本计算较为友好的梯度提升树(gradient boosting decision tree, gbdt)算法。作为集成学习boosting类中的一员，gbdt的本质为梯度下降法和cart回归树的结合，是一种迭代的决策树算法。如图3所示，其每轮迭代产生一个弱学习器，每个学习器在上一轮学习器的残差基础上进行训练，通过不断拟合前一个问题的残差来不断的接近目标值。用得到的训练集训练建立回归模型后，便可以将新采集到的特征点数据输入模型中预测出穴道坐标结果。
[0034]
步骤5、通过回归模型得到标准基准穴道坐标，基于标准基准穴道坐标建立了其他背部穴道坐标的计算公式，计算得到其他背部穴道坐标。
[0035]
所述的步骤5的具体操作是，将新采集到的特征点数据输入模型中得到基准穴道坐标，基准穴道坐标为p
大椎穴
，p
腰阳关穴
，
[0036]
督脉在背部共计分布着12个穴位，分别：
[0037]
(1)大椎穴：在脊柱区，第7颈椎棘突下凹陷中，后正中线上；
[0038]
(2)陶道穴：在脊柱区，第1胸椎棘突下凹陷中，后正中线上；
[0039]
(3)身柱穴：在脊柱区，第3胸椎棘突下凹陷中，后正中线上；
[0040]
(4)神道穴：在脊柱区，第5胸椎棘突下凹陷中，后正中线上；
[0041]
(5)灵台穴：在脊柱区，第6胸椎棘突下凹陷中，后正中线上；
[0042]
(6)至阳穴：在脊柱区，第7胸椎棘突下凹陷中，后正中线上；
[0043]
(7)筋缩穴：在脊柱区，第9胸椎棘突下凹陷中，后正中线上；
[0044]
(8)中枢穴：在脊柱区，第10胸椎棘突下凹陷中，后正中线上；
[0045]
(9)脊中穴：在脊柱区，第11胸椎棘突下凹陷中，后正中线上；
[0046]
(10)悬枢穴：在脊柱区，第1腰椎棘突下凹陷中，后正中线上；
[0047]
(11)命门穴：在脊柱区，第2腰椎棘突下凹陷中，后正中线上；
[0048]
(12)腰阳关：在脊柱区，第4腰椎棘突下凹陷中，后正中线上。
[0049]
可以看出，以上穴道全部分布于脊柱区棘突下凹陷中，存在一定线性关系，可根据
脊柱区骨椎分布规律及基准穴道坐标得到其他穴道的坐标计算公式，
[0050][0051]
式中，p表示具体穴道的坐标。而根据腧穴定位标准可知，膀胱经上的穴道位于人体两侧，沿后正中线对称且可以与督脉上的穴道在沿脊柱方向上存在对应关系。具体如图5对用的关系所示。
[0052]
对于个别没有对应的膀胱经穴道，同样可以采用线性插值的方法根据前后已知的膀胱经坐标进行估计。而其在垂直与脊柱的方向上有两条分支，分别在相对于督脉旁开1.5寸和3寸的位置。现行中医腧穴定位中使用的骨度折量尺寸即骨度分寸法，是以《灵枢
·
骨度》篇规定的人体各部尺寸为基础，在长期医疗实践中经过历代医家修改和补充而来，已成为腧穴定位的基本准则。其中使用较多的主要是指寸以及骨度寸，指寸主要用于取靠近骨骼两端的腧穴，如用此方法取骨骼中部的腧穴，则误差会积累变大；而骨度寸相对于指寸实用性要更加广泛，且其测量方法在身体的不同区域也有所不同，且相对于指寸，骨度寸的可靠性和精度都更高。根据中医相关资料，背腰部的骨度寸有多种测量方法。
[0053]
第七颈椎棘突下到腰椎的距离可折算为17骨度寸。根据腧穴标准可知，第七颈椎棘突下为大椎穴的临床定位体表标志，而督脉中的悬枢穴其临床定位体表标志为第1腰椎棘突下凹陷中，可代表腰椎与胸椎的分界线，故可用大椎穴到悬枢穴的距离来近似估算第七颈椎棘突下到腰椎的距离，进而得出骨度寸的近似长度。因此，可根据基准穴道坐标计算督脉上的其他穴道坐标，计算出膀胱经上的穴道坐标。所有背部目标穴道位置示意图如图6所示，图中穴道名称采用标号代替，标号与穴道的对应关系图5所示。
[0054]
为了评估训练得到的模型的定位结果，将测试集输入模型并根据模型输出结果和标定结果计算误差。我们的模型的单穴道坐标定位误差 (mpappe)。mpappe是指每个关节的
估计坐标与地面真实坐标之间的平均欧氏距离。
[0055][0056]
其中，n代表测试集的大小，是第i个的模型输出穴道坐标， p
x
(i)是第i个穴道标定坐标。
[0057]
大椎穴的定位误差为4.71mm，而腰阳关穴的定位误差为16.43mm。其中，随机森林的决策树数量也被设置为1000，其余为默认参数。结果显示，与其他几种回归算法相比，gbdt的误差更小，可以得到背部关键点到穴道的更准确映射关系。mae是指在每个关节上估计的坐标和标定坐标之间的欧式空间距离的平均值。
[0058][0059]
其中，n代表测试集的大小，是估计每个穴道平均位置误差的函数。
[0060]
督脉上的基准穴道坐标可以通过上节中的定位模型得到。由穴道定位方案可知，根据基准穴道坐标以及人体脊柱骨节之间的经验公式，可以计算出督脉上除大椎穴和腰阳关穴以外的穴道坐标。在得到督脉上的穴道坐标后，便可根据膀胱经与督脉穴道之间的相对位置关系计算出膀胱经上穴道的具体坐标。第一侧线上的穴道在垂直脊椎的方向上相对督脉旁开1.5 骨度寸，而第二侧线则相对督脉旁开3骨度寸。对于膀胱经上一些在督脉上没有直接对照的穴道，可以采用前后平均插值的计算方法，使用在经脉顺序上相邻的穴道坐标均值来近似估算其具体坐标，计算方法如下。
[0061]
p
mid
＝(p
front
p
back
)/2。
[0062]
式中，p
mid
为当前待求解穴道坐标，p
front
和p
back
分别表示与待求解穴位相邻的前、后穴道的坐标。
[0063]
该种基于机器视觉的背部穴道的定位方法通过以下过程来对穴位进行定位，首先获取包含人体的轮廓、姿态等信息的二维rgb图像数据，以及包含人体背部的深度信息的三维点云数据；通过二维rgb图像数据提取得到肩部特征点；通过三维点云数据提取得到臀部特征点；将提取得到的二维肩部特征点和臀部特征点进行融合；进行模型训练，将融合后所有特征点的坐标输入gbdt算法进行回归训练，得到基准穴道坐标的回归模型；通过回归模型得到标准基准穴道坐标，基于标准基准穴道坐标建立了其他背部穴道坐标的计算公式，计算得到其他背部穴道坐标；模型训练完成之后不再需要人工手动标定，为后续的各式推拿操作提供了参考。
[0064]
最后应说明的是：以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。