人体经络识别方法和装置、设备及存储介质与流程

1.本技术涉及经络调理技术领域，尤其涉及一种人体经络识别方法和装置、设备及存储介质。


背景技术：

2.在中医经络调理过程中，准确地选取经络穴位是非常重要的。在相关技术中，中医的经络取穴方法通常采用以下几种：骨度分寸法、体表标志法、指寸定位法和简便取穴法。但是这几种取穴方法都需要操作者具有一定的中医经络理论知识，同时还需要对人体各部位位置、尺寸具有一定的掌握。即，对操作者的要求较高，这就使得中医经络调理具有一定的局限性。


技术实现要素：

3.有鉴于此，本技术提出了一种人体经络识别方法，打破了中医经络调理的局限性，实现了中医经络调理应用的广泛性。
4.根据本技术的一方面，提供了一种人体经络识别方法，包括：
5.获取采集到的人体图像；
6.将所述人体图像输入至目标识别网络模型中，由所述目标识别网络模型识别出所述人体图像中的关键穴位点；
7.获取与所述人体图像相对应的深度图像信息，结合所述深度图像信息，将识别出的各所述关键穴位点转换为三维数据。
8.在一种可能的实现方式中，还包括对所述目标识别网络模型进行训练的步骤；
9.其中，对所述目标识别网络模型进行训练时所使用的训练样本标注有人体经络穴位以及关键拐点穴位。
10.在一种可能的实现方式中，所述关键拐点穴位包括大肠经、三焦经、小肠经及膀胱经的关键拐点穴位中的至少一种。
11.在一种可能的实现方式中，将识别出的各所述关键穴位点转换为三维数据后，还包括：
12.将相邻两个所述关键穴位点之间进行连接，获取人体完整经络数据。
13.在一种可能的实现方式中，还包括：
14.将获取到的所述人体完整经络数据进行坐标转换，转换为人体经络调理设备的世界坐标下的数据后，发送至所述人体经络调理设备的机械臂。
15.根据本技术的一方面，提供了一种人体经络识别装置，包括图像获取模块、关键点识别模块和数据转换模块；
16.所述图像获取模块，被配置为获取采集到的人体图像；
17.所述关键点识别模块，被配置为将所述人体图像输入至目标识别网络模型中，由所述目标识别网络模型识别出所述人体图像中的关键穴位点；
18.所述数据转换模块，被配置为获取与所述人体图像相对应的深度图像信息，结合所述深度图像信息，将识别出的各所述关键穴位点转换为三维数据。
19.在一种可能的实现方式中，还包括模型训练模块；
20.所述模型训练模块，被配置为对所述目标识别网络模型进行训练；
21.其中，对所述目标识别网络模型进行训练时所使用的训练样本标注有人体经络穴位以及关键拐点穴位。
22.在一种可能的实现方式中，还包括数据处理模块；
23.所述数据处理模块，被配置为将识别出的所述关键穴位点中，每相邻两个所述关键穴位点之间进行连接，获取人体完整经络数据。
24.根据本技术的一方面，提供了一种人体经络识别设备，包括：
25.处理器；
26.用于存储处理器可执行指令的存储器；
27.其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。
28.根据本技术的一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前面任一所述的方法。
29.通过进行人体图像的采集，然后使用目标识别网络模型对人体图像进行关键穴位点的识别，在识别出人体经络中的关键穴位点之后，再结合人体图像对应的深度图像信息进行各关键穴位点的转换，实现了人体经络的自动识别。相较于相关技术中需要由专业医师进行取穴的方式，有效地提高了人体经络穴位点的识别效率，并且不需要专业医师进行，这也就打破了依靠专业医师才能进行取穴的局限性。
30.根据下面参考附图对示例性实施例的详细说明，本技术的其它特征及方面将变得清楚。
附图说明
31.包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本技术的示例性实施例、特征和方面，并且用于解释本技术的原理。
32.图1示出本技术实施例的人体经络识别方法的流程图；
33.图2示出本技术实施例的人体经络识别方法中对目标识别网络模型进行训练时所筛选出的关键拐点穴位的数据图；
34.图3示出本技术实施例的人体经络识别方法中对目标识别网络模型进行训练时的样本标注图；
35.图4示出本技术实施例的人体经络识别方法中所得到的人体完整经络数据结果示意图；
36.图5示出本技术实施例的人体经络识别装置的结构框图；
37.图6示出本技术实施例的人体经络识别设备的结构框图。
具体实施方式
38.以下将参考附图详细说明本技术的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除
非特别指出，不必按比例绘制附图。
39.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
40.另外，为了更好的说明本技术，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本技术同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本技术的主旨。
41.图1示出根据本技术一实施例的人体经络识别方法的流程图。如图1所示，该方法包括：步骤s100，获取采集到的人体图像。其中，人体图像可以通过图像采集设备进行采集得到。同时，还需要指出的是，所获取到的人体图像可以为rgb图像，也可以为其他格式的图像。优选为rgb图像。在获取到人体图像后，即可执行步骤s200，将人体图像输入至目标识别网络模型中，由目标识别网络模型识别出人体图像中的关键穴位点。此处，应当指出的是，在本技术实施例的方法中，对人体图像进行关键点识别的目标识别网络模型可以采用本领域常规的具有识别功能的神经网络。同时，本领域技术人员还可以理解的是，在将人体图像输入至目标识别网络模型中进行关键穴位点的识别时，目标识别网络模型为预先训练好的网络模型。
42.进而，再通过步骤s300，获取与人体图像相对应的深度图像信息，结合深度图像信息将识别出的各关键穴位点转换为三维数据。其中，此处需要说明的是，深度图像信息与当前获取到的人体图像相对应，从而保证在结合深度图像信息对识别出的关键穴位点进行转换后的数据的准确性。
43.由此，本技术实施例的方法，在进行人体经络识别时，通过进行人体图像的采集，然后使用目标识别网络模型对人体图像进行关键穴位点的识别，在识别出人体经络中的关键穴位点之后，再结合人体图像对应的深度图像信息进行各关键穴位点的转换，实现了人体经络的自动识别。相较于相关技术中需要由专业医师进行取穴的方式，有效地提高了人体经络穴位点的识别效率，并且不需要专业医师进行，这也就打破了依靠专业医师才能进行取穴的局限性。
44.其中，应当指出的是，在本技术实施例的方法中，获取到人体图像，将人体图像输入至目标识别网络模型之前，还可以对所获取到的人体图像进行预处理，以使输入至目标识别网络模型的人体图像符合模型的数据要求。
45.同时，在一种可能的实现方式中，在获取到人体图像后还包括对人体图像进行质量检测的操作，从而避免所采集到的人体图像不合适时仍然输入至目标识别网络中导致无效识别的情况。
46.在本技术实施例的方法中，对获取到的人体图像进行质量检测包括对人体图像的清晰度和完整度的检测。其中，对人体图像的清晰度的检测可以通过计算人体图像的平均亮度值和像素分辨率等进行。对人体图像的完整度的检测则可以通过检测人体图像中是否包含有人体的所有部位的方式进行。
47.更加具体的，对于人体图像的清晰度的检测，可以通过设置平均亮度阈值和像素分辨率阈值，对人体图像计算得到的平均亮度与平均亮度阈值进行比较，对人体图像计算得到的像素分辨率与像素分辨率阈值进行比较，在平均亮度和像素分辨率均满足清晰度要求的情况下，再将人体图像输入至目标识别网络模型中进行关键穴位点的识别。
48.对于人体图像的完整性的检测，则可以通过将获取到的人体图像与预先存储的包含有完整人体图像的标准图像进行比对，在比对结果为人体图像中包含有标准图像中所有人体部位时，则确定当前获取到的人体图像为完整图像。进一步的，对人体图像进行质量检测时，可以先进行完整性的检测，然后再进行清晰度的检测。
49.此外，还需要说明的是，在本技术实施例的方法中，使用目标识别网络模型对人体图像进行关键穴位点的识别时，目标识别网络模型为经过训练达到收敛的网络结构。
50.也就是说，在本技术实施例的方法中，还包括对目标识别网络模型进行训练的步骤。其中，应当指出的是，对目标识别网络模型进行训练时所使用的训练样本为标注有人体经络穴位以及关键拐点穴位的图像样本数据。
51.参阅图2，在本技术实施例的方法中，对于训练样本中关键拐点穴位的筛选可以根据《国家标准经络图穴位图》统计出大肠经、三焦经、小肠经及膀胱经的关键拐点穴位等作为关键拐点穴位。
52.同时，根据筛选出的关键拐点穴位进行样本标注时，则可以借助labelme标注软件将关键拐点穴位在人体二维图上进行位置标注(具体可参见图3)。其中，人体二维图可以通过图像采集设备对人体特定姿势进行拍摄采集得到。
53.更进一步地，在通过上述任一种方式获取到一定数量的训练样本后，即可使用训练样本对目标识别网络模型进行训练，以使目标识别网络模型达到收敛后，再使用训练后的目标识别网络模型对当前获取到的人体图像进行关键穴位点的识别。
54.另外，还需要指出的是，在本技术实施例的方法中，由目标识别网络模型识别出人体图像中的关键穴位点之后，还包括结合与人体图像相对应的深度图像信息，将识别出的各关键穴位点转换为三维数据。
55.其中，在一种可能的实现方式中，人体图像可以采用azure kinect相机采集得到。azure kinect相机可以同时获得rgb图像和深度图像。利用深度学习训练出来的模型，推断出人体上的关键穴位点，再结合azure kinect摄像头的深度图像，获得人体穴位的3d坐标。
56.此外，在通过上述任一种方式将识别出的各关键穴位点转换为三维数据之后，还包括将相邻两个关键穴位点之间进行连接，获取人体完整经络数据的步骤。参阅图4，其中，在进行相邻两个关键穴位点的连接时可以直接采用直线连接。
57.并且，在一种可能的实现方式中，在采用直线连接方式将相邻两个关键穴位点连接之后，还可以对连接后的两个相邻关键穴位点之间进行插值处理，以保证最终得到的人体完整径路数据的准确度。
58.其中，对连接后的相邻两个关键穴位点之间进行插值处理时，可以根据相邻两个关键穴位点之间的图像距离进行。在相邻两个关键穴位点之间的图像距离大于或等于预设距离时进行插值处理。在相邻两个关键穴位点之间的图像距离小于预设距离时则可以不进行插值处理。
59.并且，在相邻两个关键穴位点之间的图像距离大于或等于预设距离进行插值处理时，插值点的个数可以进一步根据相邻两个关键穴位点之间的图像距离进行确定。即，相邻两个关键穴位点之间的图像距离大于或等于第一数值时，插值点个数可以大于或等于8个；相邻两个关键穴位点之间的图像距离大于或等于第一数值时，插值点个数可以小于8个，如：4个。
60.举例来说，在相邻两个关键穴位点之间的图像距离大于或等于10像素点时，则进行插值处理。在相邻两个关键穴位点之间的图像距离小于10像素点时则不进行插值处理。
61.同时，在相邻两个关键穴位点之间的图像距离大于或等于10像素点进行插值处理时，对相邻两个关键穴位点之间的图像距离做进一步判断。在判断出相邻两个关键穴位点之间的图像距离大于或等于50个像素点时，则插值点可以为8个；在判断出相邻两个关键穴位点之间的图像距离小于50个像素点时，则插值点可以为4个。
62.通过对识别出的关键穴位点进行直线连接后，再进行插值处理使得最终所得到的人体完整经络数据更加准确。
63.另外，还需要说明的是，由于本技术实施例的方法可以应用到人体经络调理设备中，由人体经络调理设备根据识别出的关键穴位点控制机械臂自动进行人体经络的调理，因此在通过上述任一种方式获取得到人体完整经络数据后，还包括将获取到的人体完整经络数据进行坐标转换，转换为人体经络调理设备的世界坐标下的数据后，发送至人体经络调理设备的机械臂的步骤。
64.这是由于获取得到的人体完整经络数据中各关键穴位点的坐标数据均是在相机坐标系下的数据，将其直接发送至机械臂时机械臂不能顺利识别出各关键穴位点的位置坐标。因此还需要将其进行坐标转换。
65.在一种可能的实现方式中，对人体完整经络数据中各关键穴位点的位置坐标进行坐标系的转换时可以根据相机—机械臂之间的转换矩阵进行。
66.其中，相机—机械臂之间的转换矩阵可以通过以下方式得到。即，通过对各相机进行坐标系标定，以及对人体经络调理设备中机械臂进行坐标系标定，进而再根据所标定的各相机的坐标系以及机械臂的坐标系得到各摄像头与机械臂的转换矩阵。
67.进一步地，对相机和机械臂的坐标标定则可以通过棋盘格的方式进行。
68.具体的，通过urx和opencv两个开源库，使用棋盘格对相机和机械臂进行标定，相机获取棋盘格的中心在相机坐标下的三维坐标，机械臂获得棋盘格中心在机械臂坐标系下的三维坐标，机械臂按照一定的3*3网格进行行走，得到9组相机坐标系下的棋盘格中心坐标和机械臂坐标系下的棋盘格中心坐标，通过计算即可得出相机坐标到机械臂坐标的一个转换矩阵(即，相机—机械臂的坐标转换矩阵)。
69.由此，本技术实施例的方法，通过使用目标识别网络模型对人体图像进行关键穴位点的识别，实现了人体经络的自动识别，从而有效提高了人体经络识别的效率。同时，在识别出关键穴位点之后，还通过对相邻两个关键穴位点连接和插值处理，这也就进一步提高了最终获取到的人体经络的完整性和精确度。
70.相应的，基于前面任一所述的人体经络识别方法，本技术还提供了一种人体经络识别装置。由于本技术提供的人体经络识别装置的工作原理与本技术的人体径路识别方法的原理相同或相似，因此重复之处不再赘述。
71.参阅图5，本技术提供的人体经络识别装置100，包括图像获取模块110、关键点识别模块120和数据转换模块130。其中，图像获取模块110，被配置为获取采集到的人体图像。关键点识别模块120，被配置为将人体图像输入至目标识别网络模型中，由目标识别网络模型识别出人体图像中的关键穴位点。数据转换模块130，被配置为获取与人体图像相对应的深度图像信息，结合深度图像信息，将识别出的各关键穴位点转换为三维数据。
72.在一种可能的实现方式中，还包括模型训练模块(图中未示出)。其中，模型训练模块，被配置为对目标识别网络模型进行训练。其中，对目标识别网络模型进行训练时所使用的训练样本标注有人体经络穴位以及关键拐点穴位。
73.在一种可能的实现方式中，还包括数据处理模块(图中未示出)。其中，数据处理模块，被配置为将识别出的关键穴位点中，每相邻两个关键穴位点之间进行连接，获取人体完整经络数据。
74.更进一步地，根据本技术的另一方面，还提供了一种人体经络识别设备200。参阅图6，本技术实施例的人体经络识别设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的人体经络识别方法。
75.此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本技术实施例的人体经络识别设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
76.存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本技术实施例的人体经络识别方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行人体经络识别设备200的各种功能应用及数据处理。
77.输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。
78.根据本技术的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一所述的人体经络识别方法。
79.以上已经描述了本技术的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。