一种基于人体姿态识别的穴位定位方法和系统与流程

1.本发明涉及一种穴位定位方法和系统，特别是涉及一种基于人体姿态识别的穴位定位方法和系统。


背景技术：

2.经络穴位是中医文化中，在中医诊断、调理和治疗过程中具有重要的作用。随着智能化医疗的发展，穴位识别的自动化和智能化成为必然的发展趋势。目前穴位定位仍然高度依赖于经验丰富的医生，对人工成本要求较高。
3.现有技术中，存在通过神经网络来训练人体穴位识别的算法。所述算法接收患者的身体特征和数个基础坐标，从而预测出患者穴位的大致坐标。然而，上述神经网络算法仍然需要用户提前输入较多的信息，如患者身高、体重等身体特征，和基准穴位坐标，不够智能化，仍需要繁琐的人工步骤。


技术实现要素：

4.基于此，本发明目的在于，提供一种基于人体姿态识别的穴位定位方法和系统，其具有智能化、减少使用步骤的优点。
5.一种基于人体姿态识别的穴位定位方法，其包括如下步骤：
6.s1：对人体图片进行特征提取，生成人体特征图；
7.s2：对所述人体特征图进行卷积，生成热图和局部连通区域图；
8.s3：根据所述热图，找出骨骼关键点；
9.s4：根据骨骼关键点和局部连通区域图，组建骨架，并在所述骨架上找到参照穴位和参照寸距；
10.s5：根据所述骨架、参照穴位和参照寸距，进一步识别人体图片上的其他穴位。
11.本发明所述的基于人体姿态识别的穴位定位方法，通过利用人体姿态识别算法，再结合中医的骨度分寸法，无需用户输入冗杂的识别信息，只需人体图片，即可实现对人体的穴位识别。
12.进一步地，所述步骤s2包括第一卷积阶段和第二卷积阶段；第一卷积阶段包括对所述人体特征图分别进行的第一热图卷积计算和第一局部连通区域图卷积计算；所述第一热图卷积计算获得第一阶段热图s1；所述第一局部连通区域图卷积计算获得第一阶段局部连通区域图l1；
13.所述第二卷积阶段包括至少一个热图卷积子阶段和至少一个局部连通区域图卷积子阶段；所述至少一个热图卷积子阶段同时对第一阶段热图s1和第一阶段局部连通区域图l1进行计算，获得热图；所述至少一个局部连通区域图卷积子阶段同时对第一阶段热图s1和第一阶段局部连通区域图l1进行计算，获得局部连通区域图。
14.进一步地，所述第一热图卷积计算为：
15.s1＝ρ1(f)
16.ρ1为第一热图卷积推断函数，其由四个3x3卷积层和两个1x1卷积层组成；f为步骤s1中计算获得的人体特征图；
17.所述第一局部连通区域图卷积计算为：
[0018][0019]
为第一局部连通区域图卷积推断函数，其由四个3x3卷积层和两个1x1卷积层组成；
[0020]
第二卷积阶段包括t-1个热图卷积子阶段和t-1个局部连通区域图卷积子阶段，且t≥2；上述第二卷积阶段的公式如下：
[0021]st
＝ρ
t
(f,s
t-1
,l
t-1
),t＝2,3,...t
[0022][0023]
ρ
t
为第t热图卷积推断函数，为第t局部连通区域图卷积推断函数，ρ
t
和均由五个7x7卷积核和两个1x1卷积核组成；t从2开始递增，直至t＝t；
[0024]
具体地，第二热图卷积子阶段接收第一阶段热图s1和第一阶段局部连通区域图l1，进行一次卷积，得到第二子阶段热图s2；第二局部连通区域图卷积子阶段，接收第一阶段热图s1和第一阶段局部连通区域图l1，进行一次卷积，得到对应的第二子阶段局部连通区域图l2。在此基础上，再进一步地，还可对上一子阶段的结果进行卷积：以第t热图卷积子阶段为例，其接收第t-1子阶段热图s
t-1
和第t-1子阶段连通区域图卷积子阶段，进行一次卷积，得到对应的第t子阶段热图s
t
；类似地，对上一子阶段的结果进行卷积，直至t-1个子阶段全部完成计算。完成上述t-1次的热图卷积子阶段和t-1次的局部连通区域图卷积子阶段后，获得第t子阶段热图s
t
和第t子阶段局部连通区域图l
t
。
[0025]
所述第一卷积阶段的目的是找出所述人体特征图f的细微特征。所述第二卷积阶段的目的是扩大感受野，从人体特征图f整体辨别穴位点。
[0026]
进一步地，所述步骤s3对所述热图s
t
中的每个像素点s都与其附近上、下、左、右四个像素点进行比较，如果所述像素点s的值比其附近四个像素点都大，则将s记为一骨骼关键点。
[0027]
进一步地，所述步骤s4中，通过如下公式，对所述骨骼关键点进行两两计算，获得连接值e，其代表所述两个骨骼关键点之间存在连接的可能性：
[0028][0029]
p(u)＝(1-u)d
j1
ud
j2
[0030]
其中，d
j1
和d
j2
属于所述骨骼关键点；l是所述局部连通区域图，c代表的是人体图片代表的部位；lc代表局部连通区域图中检测的部位c的值；通过在两个检测出的所述骨骼关键点d
j1
和d
j2
中，取二者插值，获得p(u)；
[0031]
当所述连接值e大于一阈值时，则认为所检测的两个骨骼关键点d
j1
和d
j2
之间存在连接；依次检测所有所述骨骼关键点，进行骨架组建；结合所述中医骨度分寸法，获得参考寸距，并在所述骨骼关键点中选出参考穴位。
[0032]
进一步地，将所述阈值定为0.05。
[0033]
进一步地，所述步骤s1使用vgg-19(超分辨率测试序列-19)模型，过滤人体图片的干扰信息，并生成人体特征图f。
[0034]
一种基于人体姿态识别的穴位定位系统，其包括图片特征提取模块、卷积模块、骨骼关键点计算模块、参照生成模块和穴位识别模块；
[0035]
所述图片特征提取模块过滤人体图片的干扰信息，并生成人体特征图；所述卷积模块接收所述人体特征图，经过多阶段卷积计算，生成热图和局部连通区域图；所述骨骼关键点计算模块根据所述热图，找出骨骼关键点；所述参照生成模块根据所述骨骼关键点和所述局部连通区域图，进行骨架组建；并结合中医知识，计算所述骨架上的参考穴位和参考寸距；所述穴位识别模块接收所述骨架信息、参考穴位和参考寸距，进一步定位出人体图片上其余的穴位。
[0036]
进一步地，所述卷积模块包括第一卷积阶段和第二卷积阶段；第一卷积阶段包括对所述人体特征图分别进行的第一热图卷积计算和第一局部连通区域图卷积计算；所述第一热图卷积计算获得第一阶段热图s1；所述第一局部连通区域图卷积计算获得第一阶段局部连通区域图l1；
[0037]
所述第二卷积阶段包括至少一个热图卷积子阶段和至少一个局部连通区域图卷积子阶段；所述至少一个热图卷积子阶段同时对第一阶段热图s1和第一阶段局部连通区域图l1进行计算，获得热图；所述至少一个局部连通区域图卷积子阶段同时对第一阶段热图s1和第一阶段局部连通区域图l1进行计算，获得局部连通区域图。
[0038]
进一步地，所述第一热图卷积计算为：
[0039]
s1＝ρ1(f)
[0040]
ρ1为第一热图卷积推断函数，其由四个3x3卷积层和两个1x1卷积层组成；f为步骤s1中计算获得的人体特征图；
[0041]
所述第一局部连通区域图卷积计算为：
[0042][0043]
为第一局部连通区域图卷积推断函数，其由四个3x3卷积层和两个1x1卷积层组成；
[0044]
第二卷积阶段包括t-1个热图卷积子阶段和t-1个局部连通区域图卷积子阶段，且t≥2；上述第二卷积阶段的公式如下：
[0045]st
＝ρ
t
(f,s
t-1
,l
t-1
),t＝2,3,...t
[0046][0047]
ρ
t
为第t热图卷积推断函数，为第t局部连通区域图卷积推断函数，ρ
t
和均由五个7x7卷积核和两个1x1卷积核组成；t从2开始递增，直至t＝t；
[0048]
完成上述t-1次的热图卷积子阶段和t-1次的局部连通区域图卷积子阶段后，获得第t子阶段热图s
t
和第t子阶段局部连通区域图l
t
。
[0049]
进一步地，所述骨骼关键点计算模块对所述热图s
t
中的每个像素点s，都与其附近上、下、左、右四个像素点进行比较，如果所述像素点s的值比其附近四个像素点都大，则将s记为一骨骼关键点。所述参照生成模块对所述骨骼关键点进行两两计算，获得连接值e，其代表所述两个骨骼关键点之间存在连接的可能性：
[0050][0051]
p(u)＝(1-u)d
j1
ud
j2
[0052]
其中，d
j1
和d
j2
属于所述骨骼关键点；l是所述局部连通区域图，c代表的是人体图片代表的部位；lc代表局部连通区域图中检测的部位c的值；通过在两个检测出的所述骨骼关键点d
j1
和d
j2
中，获得p(u)；当所述连接值e大于一阈值时，则认为所检测的两个骨骼关键点d
j1
和d
j2
之间存在连接；所述参照生成模块依次检测所有所述骨骼关键点，进行骨架组建，再参考中医知识，获得参考寸距，并在所述骨骼关键点中选出参考穴位。
[0053]
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
[0054]
图1为本发明所述基于人体姿态识别的穴位定位方法的流程图；
[0055]
图2为本发明所述一实施例中，识别出的人体骨架与原后背图片的叠加图；
[0056]
图3为骨度分寸法示意图；
[0057]
图4为中医十四经穴分寸法示意表。
具体实施方式
[0058]
请参阅图1，其为本发明基于人体姿态识别的穴位定位方法的流程图。本发明基于人体姿态识别的穴位定位方法包括如下步骤：
[0059]
s1：对人体图片进行特征提取，生成人体特征图；
[0060]
s2：对所述人体特征图进行卷积，生成热图和局部连通区域图；
[0061]
s3：根据所述热图，找出骨骼关键点；
[0062]
s4：根据骨骼关键点和局部连通区域图，组建骨架，并在所述骨架上找到参照穴位和参照寸距；
[0063]
s5：根据所述骨架、参照穴位和参照寸距，进一步识别人体图片上的其他穴位。
[0064]
由于每个个体的人体姿态不同，步骤s1中，先将人体图片送入vgg-19(超分辨率测试序列-19)模型，过滤如图片背景等干扰因素，提取人体图片中的人体特征，并生成人体特征图f。
[0065]
接下来，在步骤s2中，进行多阶段卷积。在所述多阶段卷积中，依次进行第一阶段卷积和第二阶段卷积。
[0066]
第一卷积阶段中，对所述人体特征图分别进行第一热图卷积计算和第一局部连通区域图卷积计算。
[0067]
具体地，所述第一热图卷积计算，通过如下公式，得到对应的第一阶段热图s1：
[0068]
s1＝ρ1(f)
[0069]
ρ1为第一热图卷积推断函数，其由四个3x3卷积层和两个1x1卷积层组成，卷积步长设置为1。f为步骤s1输出的人体特征图。通过利用所述第一热图卷积推断函数的3x3卷积核，能提取所述人体特征图f上细微的特征。
[0070]
所述第一局部连通区域图卷积计算，通过如下公式，得到对应的第一阶段局部连
通区域图l1，其具体公式如下：
[0071][0072]
为第一局部连通区域图卷积推断函数，其由四个3x3卷积层和两个1x1卷积层组成，卷积步长设置为1。f为步骤s1输出的人体特征图。
[0073]
在上述第一卷积阶段中使用3x3卷积核，可提取所述人体特征图f上细微的特征。
[0074]
完成第一卷积阶段后，进行第二卷积阶段。第二卷积阶段包括t-1个热图卷积子阶段和t-1个局部连通区域图卷积子阶段，且t≥2。具体地，第二热图卷积子阶段接收第一阶段热图s1和第一阶段局部连通区域图l1，进行一次卷积，得到第二子阶段热图s2；第二局部连通区域图卷积子阶段，接收第一阶段热图s1和第一阶段局部连通区域图l1，进行一次卷积，得到对应的第二子阶段局部连通区域图l2。在此基础上，再进一步地，还可对上一子阶段的结果进行卷积：以第t热图卷积子阶段为例，其接收第t-1子阶段热图s
t-1
和第t-1子阶段连通区域图卷积子阶段，进行一次卷积，得到对应的第t子阶段热图s
t
；类似地，对上一子阶段的结果进行卷积，直至t-1个子阶段全部完成计算。上述第二卷积阶段的公式如下：
[0075]st
＝ρ
t
(f,s
t-1
,l
t-1
),t＝2,3,...t
[0076][0077]
ρ
t
为第t热图卷积推断函数，为第t局部连通区域图卷积推断函数，ρ
t
和均由五个7x7卷积核和两个1x1卷积核组成，卷积步长设置为1。所述第二卷积阶段的目的是扩大感受野，让模型能够从比较大的图片范围内辨别穴位。
[0078]
完成上述t-1次的卷积子阶段后，获得第t子阶段热图s
t
和第t子阶段局部连通区域图l
t
。在下文中，为了简化描述，将第t热图卷积子阶段s
t
简称为热图s，将第t子阶段局部连通区域图l
t
简称为局部连通区域图l。所述热图s为所述人体图的深度数据，展示的是各像素点的深度关系；所述局部连通区域图l为所述人体图的形状轮廓图。
[0079]
通过如上所述的步骤s2中获得热图s后，步骤s3进一步从热图中找出骨骼关键点，即人体图中的关节点。
[0080]
为了找出所述骨骼关键点，对所述热图s中的每个像素点s都与其附近上、下、左、右四个像素点进行比较，如果所述像素点s的值比其附近四个像素点都大，则将s记为一骨骼关键点。
[0081]
步骤s4接收所述骨骼关键点，局部连通区域图l，通过如下公式，对所述骨骼关键点进行两两计算，获得连接值e，其代表所述两个骨骼关键点之间存在连接的可能性：
[0082][0083]
p(u)＝(1-u)d
j1
ud
j2
[0084]
其中，d
j1
和d
j2
属于所述骨骼关键点；l是所述局部连通区域图，c代表的是正在被检测的人体部位；lc代表局部连通区域图中检测的人体部位c的值；通过在两个检测出的所述骨骼关键点d
j1
和d
j2
中，取二者插值，获得p(u)。
[0085]
当所述连接值e大于一阈值时，则认为所检测的两个骨骼关键点d
j1
和d
j2
之间存在连接。依次检测所有所述骨骼关键点，找出所有存在的连接，从而实现骨架组建。
[0086]
完成骨架组建后，结合中医知识，可辨认出明显的穴位，并将其定为参考穴位。同
时，结合中医的穴位分寸方法，可获得参考寸距。
[0087]
最后，在步骤s5中，在组建出的骨架上，根据参考穴位和参考寸距，再结合中医知识，进一步地定位出骨架上的其余穴位。为了更直观地展示穴位的位置，还可将定位出的穴位叠盖在人体图上，以提供清晰的对照，使用户可以直接找到各穴位在人体图上的位置，从而通过目测等方法，在真人的人体上定位出各穴位。
[0088]
请参阅图2，在本实施例中，检测的人体图片为一背部图片。在所述第一阶段卷积后，再在第二卷积阶段进行五次热图卷积和五次局部连通区域图卷积，得到热图s6和局部连通区域图l6。根据热图s6，进行骨骼关键点计算。将步骤s4中的连接值阈值定为0.05，确定各骨骼关键点间是否存在连接，并进行骨架组建。
[0089]
如图2所示的连接线段为识别出的人体骨架。点1和点2属于所述骨骼关键点，根据所述点1的位置，可获得参考穴位，其为陶道穴位。结合图3所示的中医骨度分寸法中，腰背部寸的计算方式，可知所述点1和点2之间的距离为八寸，从而可获得一寸的参考距离。在此基础上，利用如图4所示的中医十四经穴分寸方法，定位出后背中的十三个穴位。
[0090]
基于上述方法，本发明还提供一种基于人体姿态识别的穴位定位系统，其包括图片特征提取模块、卷积模块、骨骼关键点计算模块、参照生成模块和穴位识别模块。
[0091]
所述图片特征提取模块执行上述步骤s1，过滤人体图片的干扰信息，并生成人体特征图。所述卷积模块接收所述人体特征图，执行如上述步骤s2所述的多阶段卷积计算，生成热图和局部连通区域图。所述骨骼关键点计算模块根据所述热图，通过如上述步骤s3的计算，找出所述步骤骨骼关键点。所述参照生成模块根据所述骨骼关键点和所述局部连通区域图，利用步骤s4的公式，进行骨架组建；且所述参照生成模块结合中医知识，计算所述骨架上的参考穴位和参考寸距；所述穴位识别模块接收所述骨架信息、参考穴位和参考寸距，根据中医知识，进一步定位出人体图片上其余的穴位，与步骤s5类似。
[0092]
在本实施例中，用户只需输入一背部图片，便可直观地定位出背部上的十三个穴位。其大大减少了用户端的需要输入的信息，用户无需拥有丰富的中医经验，也可对人体穴位进行定位。
[0093]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。