基于图像处理的针灸定位方法及系统

1.本技术涉及图像处理领域，具体涉及一种基于图像处理的针灸定位方法及系统。


背景技术：

2.针灸，指的是行医人员把针具按照一定的角度刺入患者体内，运用捻转与提插等针刺手法，对人体穴位进行刺激从而达到治疗疾病的目的。正确取穴对针灸的疗效存在影响。
3.骨度分寸法历经后人补充修改，已经成为对穴位进行定位的基本标准。同时无论男女、老少、高矮、胖瘦的患者，就算他们的“寸”各不相同，但均可按照这个标准测量，分别获得每个人对应的同身寸，进而将同身寸与穴位的规则相结合，确定出带针灸人员的具体穴位。
4.目前对于被针灸人员的穴位定位，通常根据针灸人员的目视测量结果，结合针灸人员的经验以及手进行触摸的感觉进行穴位定位，发明人在实现本发明实施例的过程中，发现背景技术中至少存在以下缺陷：通过针灸人员的经验进行穴位定位存在较强的主观性，使得穴位定位结果准确性较低且需要进行接触式辅助定位。


技术实现要素：

5.针对上述技术问题，本发明提供了一种基于图像处理的针灸定位方法及系统，通过计算机视觉方法确定出被针灸人员的同身存，从而进而将同身寸与穴位的规则相结合，能够确定出带针灸人员的具体穴位，克服了人为判断的主观性，且避免了穴位定位过程中针灸人员与被针灸人员的接触。
6.第一方面，本文发明实施例提出了一种基于图像处理的针灸定位方法，包括：
7.采集待测人员的多角度下的人体图像，对多角度下的人体图像分别进行关键点标注获得对应的热图，将热图中各关键点的相对位置关系加载到smpl三维模型中，得到待测人员的人体三维模型。
8.分别获得人体三维模型中各关节点的三维坐标，并保留与骨度分寸法中存在对应点的各关节点，将所保留的各关节点分别作为定位关节点。
9.获取骨度分寸法中同身寸的求解方法中以定位关节点为起点或终点的各预设线路，并分别获得各预设线路对应的预测同身寸。
10.将与各预设线路分别对应的各预测同身寸输入到第一神经网络中，第一神经网络输出待测人员的实际同身寸。
11.按照人体穴位的定位规则，根据待测人员的实际同身寸以及各定位关节点的位置，分别确定出待测人员各穴位的具体位置。
12.在一个可行的实施例中，将热图中各关键点的相对位置关系加载到smpl三维模型中，得到待测人员的人体三维模型，包括：
13.建立二维坐标系，根据热图中各关键点的相对位置关系，分别确定各关键点在二
维坐标系下的二维坐标。
14.通过tcn分别将热图中各关键点的二维坐标转换为三维坐标。
15.分别将各关键点的三维坐标输入到smpl三维模型中，得到待测人员的人体三维模型。
16.在一个可行的实施例中，所述方法还包括：
17.分别采集多个待测人员的各多角度下的人体图像。
18.分别对各多角度下的人体图像进行关键点标注，分别获得各待测人员对应的热图。
19.将各多角度下的人体图像作为第二神经网络的训练集，将各待测人员对应的热图作为第二神经网络的验证集，对第二神经网络进行训练。
20.将待测人员的多角度下的人体图像输入到训练完成的第二神经网络中，第二神经网络输出待测人员对应的热图。
21.在一个可行的实施例中，对多角度下的人体图像分别进行关键点标注获得对应的热图时，所述关键点包括：人体的双脚、双膝、双胯，双肩，双肘，双手和头部。
22.在一个可行的实施例中，将与各预设线路分别对应的各预测同身寸输入到第一神经网络前，所述方法还包括：
23.利用各预测同身寸的获得方法，分别获得多个待测人员对应的各预测同身寸。
24.对该多个待测人员进行实际同身寸的测量，分别获得多个待测人员的实际同身寸。
25.将多个待测人员的各预测同身寸作为第一神经网络的训练集，将各待测人员的实际同身寸作为验证集，以完成对第一神经网络的训练。
26.在一个可行的实施例中，对第一神经网络的训练过程中的损失函数为：
[0027][0028]
其中，g为对待测人员进行实际测量得到的实际同身寸，ck为该待测人员的第k个预测同身寸，fk为该待测人员的第k个预测同身寸对应的权重，k为同一待测人员的预测同身寸的数量，且同一待测人员的各预测同身寸的权重之和为1。
[0029]
在一个可行的实施例中，人体三维模型中各关节点为：骨盆、左臀部、右臀部、脊柱、左膝、右膝、脊柱、左踝骨、右踝骨、脊柱、左脚、右脚、脖子、左衣领、右衣领、头部、左肩膀、右肩膀、左肘、右肘、左腕、右腕、左手、右手。
[0030]
第二方面，本发明实施例提出了一种基于图像处理的针灸定位系统，包括：存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现本发明实施例中基于图像处理的针灸定位方法。
[0031]
本发明实施例提供了一种基于图像处理的针灸定位方法及系统，相比于现有技术，本发明实施例的有益效果在于：通过计算机视觉方法确定出被针灸人员的同身存，从而进而将同身寸与穴位的规则相结合，能够确定出带针灸人员的具体穴位，克服了人为判断的主观性，且避免了穴位定位过程中针灸人员与被针灸人员的接触。
附图说明
[0032]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0033]
图1是本发明实施例提供的一种基于图像处理的针灸定位方法的流程示意图。
[0034]
图2是本发明实施例中关节点及各关节点编号的示意图。
具体实施方式
[0035]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036]
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
[0037]
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0038]
本发明实施例提供了一种基于图像处理的针灸定位方法，如图1所示，包括：
[0039]
步骤s101、采集待测人员的多角度下的人体图像，对多角度下的人体图像分别进行关键点标注获得对应的热图，将热图中各关键点的相对位置关系加载到smpl三维模型中，得到待测人员的人体三维模型。
[0040]
步骤s102、分别获得人体三维模型中各关节点的三维坐标，并保留与骨度分寸法中存在对应点的各关节点，将所保留的各关节点分别作为定位关节点。
[0041]
步骤s103、获取骨度分寸法中同身寸的求解方法中以定位关节点为起点或终点的各预设线路，并分别获得各预设线路对应的预测同身寸。
[0042]
步骤s104、将与各预设线路分别对应的各预测同身寸输入到第一神经网络中，第一神经网络输出待测人员的实际同身寸。
[0043]
步骤s105、按照人体穴位的定位规则，根据待测人员的实际同身寸以及各定位关节点的位置，分别确定出待测人员各穴位的具体位置。
[0044]
本发明实施例所针对的情景为：在针灸治疗的过程前，通过计算机视觉技术获得待测人员的同身寸值，从而结合穴位的定位规则具体确定出待测人员的各个穴位的具体位置。
[0045]
进一步的，步骤s101、采集待测人员的多角度下的人体图像，对多角度下的人体图像分别进行关键点标注获得对应的热图，将热图中各关键点的相对位置关系加载到smpl三维模型中，得到待测人员的人体三维模型。具体包括：
[0046]
首先，通过图像采集设备采集待测人员的多角度下的人体图像。所采集到的人体图像为rgb图像，rgb是一种颜色标准，通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色，rgb即是代表红、绿、蓝三个通道的颜色。
[0047]
其次，对多角度下的人体图像分别进行关键点标注获得对应的热图，所需进行标注的关键点共有13类，具体包括待测人员的双脚、双膝、双胯、双肩、双肘、双手和头部。标注过程为：每类关键点应对应一个单通道，在该通道中，标记出关键点对应像素的位置，而后采用高斯模糊，使标记点处形成关键点热斑，最后将所有通道进行叠加，分别得到各角度下对应的热图。
[0048]
可选的，可以采用第二神经网络实现对多角度下的人体图像中人体关键点的检测以及热图的获取。作为一个示例，本发明实施例中该第二神经网络为dnn(deep neural networks，深度神经网络)，该dnn为encoder-decoder(编码器-解码器)结构，训练过程所使用的数据集采用多个待测人员的各角度下的人体图像，所用损失函数为均方差损失函数。
[0049]
具体的，分别采集多个待测人员的各多角度下的人体图像；分别对各多角度下的人体图像进行关键点标注，分别获得各待测人员对应的热图；将各多角度下的人体图像作为第二神经网络的训练集，将各待测人员对应的热图作为第二神经网络的验证集，对第二神经网络进行训练；最后，可以将待测人员的多角度下的人体图像输入到训练完成的第二神经网络中，第二神经网络输出待测人员对应的热图。
[0050]
如此，能够利用训练完成的第二神经网络，根据待测人员的多角度下的人体图像，输出该待测人员各角度下对应的包含关键点的各热图。
[0051]
然后，将热图中各关键点的相对位置关系加载到smpl(skinned multi-person linear，人体模型)三维模型中，得到待测人员的人体三维模型，包括：建立二维坐标系，根据热图中各关键点的相对位置关系，分别确定各关键点在二维坐标系下的二维坐标；通过tcn(temporal convolutional network，时间卷积网络)分别将热图中各关键点的二维坐标转换为三维坐标；最后，分别将各关键点的三维坐标输入到smpl三维模型中，得到待测人员的人体三维模型。需要说明的是，使用tcn的处理过程受历史时刻和未来时刻帧的影响，能更大程度上减小二维到三维的误差，从而避免因单帧图像得到畸变人体的情况。
[0052]
需要说明的是，smpl模型可以通过调节参数，实现模型在形态及姿态上的变化。该模型的参数包括形态参数β，姿态参数θ；θ是n＝23个关节的相对旋转运动树，每个关节均包含三个旋转方向上的角度。
[0053]
通过调整三维模型的形态参数和姿态参数，使得三维模型中的关键点和tcn得到的三维关键点的位置分别对应重合，得到待测人员所对应的人体三维模型。
[0054]
进一步的，步骤s102、分别获得人体三维模型中各关节点的三维坐标，并保留与骨度分寸法中存在对应点的各关节点，将所保留的各关节点分别作为定位关节点。具体包括：
[0055]
首先，分别获得人体三维模型中各关节点的三维坐标，如图2所示为本发明实施例中关节点及各关节点编号的示意图，这些关节点包括：1：左臀部，2：右臀部，3：脊柱1，4：左膝，5：右膝，6：脊柱2，7：左踝骨，8：右踝骨，9：脊柱3，10：左脚，11：右脚，12：脖子，13：左衣领,14：右衣领，15：头部，16：左肩膀，17：右肩膀，18：左肘，19：右肘，20：左腕，21：右腕，22：左手，23：右手。同时，将骨盆作为0号关节点。
[0056]
其次，保留与骨度分寸法中存在对应点的各关节点，将所保留的各关节点分别作
为定位关节点。同时，由于骨骼尺寸的稳定性，利用关节点的坐标位置可进行各关节点之间的距离计算。
[0057]
进一步的，步骤s103、获取骨度分寸法中同身寸的求解方法中以定位关节点为起点或终点的各预设线路，并分别获得各预设线路对应的预测同身寸。具体包括：
[0058]
首先，获取骨度分寸法中同身寸的求解方法中以定位关节点为起点或终点的各预设线路。
[0059]
在骨度分寸法中同身寸的求解方法中，存在多条对同身寸进行计算的线路，然而在本发明实施例中得到的关节点中，仅保留了部分能够对应上的定位关节点，因此，本发明实施例将结合以定位关节点为起点或终点的各预设线路，对预设线路对应的预测同身寸进行求解。
[0060]
需要说明的是，同身寸的求解方法中，针对不同的预设线路，采用存在直向度量法或横向度量法，直向度量法采用三维坐标进行两点之间的直线距离计算，横向度量法则采用横坐标之差进行距离计算。
[0061]
古代以骨节标志定出度数，测量人体各部长短、大小，称骨度。用骨度方法量取穴位则称骨度法。即不分人体高矮肥瘦，在一定部位内都能被折成相同分寸，从而厘定穴位所在。
[0062]
在本发明实施例中，预设线路共包括6条，包括：
[0063]
第一条预设线路，胸骨上窝(天突穴)
→
胸剑联合中点(歧骨)，该线路的测量采用直向度量法，折量分寸为9寸，对应人体三维模型中12号关节点到9号关节点。
[0064]
第二条预设线路，该线路包括胸剑联合中点(歧骨)
→
脐中，以及脐中
→
耻骨联合上缘(曲骨)两部分，前一部分的测量采用直向度量法，折量分寸8寸，后一部分的测量采用直向度量法，折量分寸5寸，两部分总计13寸，对应人体三维模型中9号关节点到0号关节点。
[0065]
第三条预设线路，肩峰缘
→
后正中线，该线路的测量采用横向度量法，折量分寸8寸，该线路依次经过人体三维模型中0号关节点、3号关节点、6号关节点、9号关节点、12号关节点、15号关节点以及16号关节点。
[0066]
第四条预设线路，肘横纹(平肘尖)
→
腕掌(背)侧横纹，该线路的测量采用直向度量法，折量分寸12寸，对应人体三维模型中18号点位到20号点位，或者19号点位到21号点位。
[0067]
第五条预设线路，股骨大转子
→
膝后横纹，该线路的测量采用直向度量法，折量分寸19寸。
[0068]
第六条预设线路，膝后横纹
→
外踝尖，该线路的测量采用直向度量法，折量分寸16寸，对应人体三维模型中1号点位到4号点位，或者2号点位到5号点位。
[0069]
各预设线路下均可获取对应的同身寸测量结果，示例性的，在第一条线路中，采用直向度量法，折量分寸为9寸，将在人体三维模型中所获得的该两点之间的距离除以9，即可得到该预设线路下的预测同身寸。
[0070]
进一步的，步骤s104、将与各预设线路分别对应的各预测同身寸输入到第一神经网络中，第一神经网络输出待测人员的实际同身寸。具体包括：
[0071]
利用各预测同身寸的获得方法，分别获得多个待测人员对应的各预测同身寸；对该多个待测人员进行实际同身寸的测量，分别获得多个待测人员的实际同身寸；将多个待
测人员的各预测同身寸作为第一神经网络的训练集，将各待测人员的实际同身寸作为验证集，以完成对第一神经网络的训练。
[0072]
第一神经网络训练过程中的损失函数为其中，g为对待测人员进行实际测量得到的实际同身寸，ck为该待测人员的第k个预测同身寸，fk为该待测人员的第k个预测同身寸对应的权重，k为同一待测人员的预测同身寸的数量，且同一待测人员的各预测同身寸的权重之和为1。
[0073]
进一步的，步骤s105、按照人体穴位的定位规则，根据待测人员的实际同身寸以及各定位关节点的位置，分别确定出待测人员各穴位的具体位置。具体包括：
[0074]
在十四经穴中，有一部分穴位被称为“特定穴”，这类穴位是针灸最常用的经穴。特定穴根据其不同的分布特点、含义和治疗作用，可以分为“五输穴”、“原穴”、“络穴”、“郄穴”、“下合穴”、“背俞穴”、“募穴”、“八会穴”、“八脉交会穴”和“交会穴”等十类，其中除了背俞穴、募穴和下合穴之外，其他七类穴位都分布在四肢躯干部的肘膝关节，以及腕踝关节处。
[0075]
按照人体穴位的定位规则，能够通过量取穴位定位规则中规定的距离，结合人体三维模型中各关节点的具体位置，进一步确定出各穴位的具体位置，示例性的，三阴交穴位于内脚尖上3寸且位于胫骨内侧面后缘，可以确定出该穴位的位置，同时可以按照此方法分别确定各穴位的位置。
[0076]
基于与上述方法相同的发明构思，本实施例还提供了一种基于图像处理的针灸定位系统，本实施例中基于图像处理的针灸定位系统包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如基于图像处理的针灸定位方法实施例中所描述的对待测者的穴位进行定位。
[0077]
由于基于图像处理的针灸定位方法实施例中已经对待测者的穴位进行定位的方法进行了说明，此处不再赘述。
[0078]
综上所述，本发明实施例提供了一种基于图像处理的针灸定位方法及系统，通过计算机视觉方法确定出被针灸人员的同身存，从而进而将同身寸与穴位的规则相结合，能够确定出带针灸人员的具体穴位，克服了人为判断的主观性，且避免了穴位定位过程中针灸人员与被针灸人员的接触。
[0079]
本发明中涉及诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0080]
还需要指出的是，在本发明的方法和系统中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
[0081]
上述实施例仅仅是为清楚地说明所做的举例，并不构成对本发明的保护范围的限制。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举。凡是与本发明相同或相似的设计均属于本发明的保护范围之内。