坐姿检测方法、装置、电子设备、存储介质及程序产品与流程

1.本技术涉及图像处理技术，尤其涉及一种坐姿检测方法、装置、电子设备、存储介质及程序产品。


背景技术：

2.与传统台灯仅仅作为一种照明工具相比，智能台灯因其功能多样性越来越受人们欢迎。以具备坐姿检测功能的智能台灯为例，该智能台灯上可以安装有摄像头，以采集包括用户的图像。根据该图像可以确定用户坐姿是否标准。
3.目前，常见的坐姿检测方法主要是使用深度学习模型，逐帧对包括用户的图像进行人脸关键点检测，并根据人脸关键点检测结果，判断用户坐姿是否标准。此外，在一些相关技术中，还可以在上述台灯上安装红外探测装置，用于检测用户坐姿轮廓。然后根据该用户坐姿轮廓确定用户坐姿。
4.然而，上述现有的坐姿检测方法存在检测准确性和检测效率均较低的问题。


技术实现要素：

5.本技术提供一种坐姿检测方法、装置、电子设备、存储介质及程序产品，以提高坐姿检测的准确性和效率。
6.第一方面，本技术提供一种坐姿检测方法，所述方法包括：
7.获取图像采集装置采集的目标对象的第一图像；
8.确定所述第一图像是否为关键帧；
9.根据所述第一图像是否为关键帧的结果对应的关键点检测方式，对所述第一图像进行关键点检测，得到所述第一图像中所述目标对象的关键点的坐标；
10.根据所述第一图像中所述目标对象的关键点的坐标，获取所述目标对象的坐姿检测结果；
11.若所述坐姿检测结果表征所述目标对象存在坐姿问题，则输出报警信息，所述报警信息用于提示所述目标对象调整坐姿。
12.可选的，所述根据所述第一图像是否为关键帧的结果对应的关键点检测方式，对所述第一图像进行关键点检测，得到所述第一图像中所述目标对象的关键点的坐标，包括：
13.若所述第一图像非关键帧，则获取所述第一图像与第一关键帧之间的光流变化向量，并根据所述光流变化向量，以及，所述第一关键帧中所述目标对象的关键点坐标，预测所述第一图像中所述目标对象的关键点的坐标；所述第一关键帧为关键帧缓存池中所述图像采集装置采集的、且距离所述第一图像采集时间最近的关键帧，所述光流变化向量用于表征所述目标对象的运动方向和运动速度；
14.若所述第一图像为关键帧，则采用深度学习算法对所述第一图像进行关键点检测，获取所述第一图像中所述目标对象的关键点的坐标。
15.可选的，所述获取所述第一图像与第一关键帧之间的光流变化向量，包括：
16.采用稀疏光流场算法，获取所述光流变化向量。
17.可选的，所述采用深度学习算法对所述第一图像进行关键点检测，获取所述第一图像中所述目标对象的关键点的坐标，包括：
18.采用深度学习算法对所述第一图像进行关键点检测；
19.若成功检测到所述目标对象的关键点的坐标，则将所述第一图像，以及，所述第一图像中所述目标对象的关键点的坐标缓存至所述关键帧缓存池中；
20.若未成功检测到所述目标对象的关键点的坐标，则根据所述第一图像与第一关键帧之间的光流变化向量，以及，所述第一关键帧中所述目标对象的关键点坐标，预测所述第一图像中所述目标对象的关键点的坐标。
21.可选的，所述将所述第一图像，以及，所述第一图像中所述目标对象的关键点的坐标缓存至所述关键帧缓存池中，包括：
22.采用键值对的方式，将所述第一图像，以及，所述第一图像中所述目标对象的关键点的坐标缓存至所述关键帧缓存池中；其中，所述键值对的键为关键帧的标识，所述键值对的值包括：所述第一图像，以及，所述第一图像中所述目标对象的关键点的坐标。
23.可选的，所述确定所述第一图像是否为关键帧，包括：
24.若所述关键帧缓存池为空，则确定所述第一图像为关键帧；
25.若所述关键帧缓存池中缓存有关键帧，则根据所述第一图像与所述第一关键帧之间的亮度变化，确定所述第一图像是否为关键帧。
26.可选的，所述根据所述第一图像与所述第一关键帧之间的亮度变化，确定所述第一图像是否为关键帧，包括：
27.获取所述第一图像与所述第一关键帧之间的亮度差的绝对值；
28.若所述亮度差的绝对值小于或等于预设阈值，则确定所述第一图像非关键帧；
29.或者，若所述亮度差的绝对值大于所述预设阈值，则确定所述第一图像为关键帧。
30.可选的，所述关键点的坐标为图像坐标系下的坐标，所述根据所述第一图像中所述目标对象的关键点的坐标，获取所述目标对象的坐姿检测结果，包括：
31.根据所述第一图像中所述目标对象的关键点的坐标，获取所述目标对象在三维坐标系的胸部朝向向量；所述三维坐标系的原点为所述目标对象的胸部中心点；
32.根据所述目标对象的胸部朝向向量，对所述第一图像中所述目标对象的关键点的坐标进行校准，得到校准后的所述目标对象的关键点的坐标；所述校准后的所述目标对象的关键点的坐标所在的二维坐标系与所述图像采集装置所在的二维坐标系平行；
33.使用校准后的所述目标对象的关键点的坐标，获取所述目标对象的坐姿检测结果。
34.可选的，所述关键点包括：左肩、右肩、胸部中心点，所述根据所述第一图像中所述目标对象的关键点的坐标，获取所述目标对象在三维坐标系的胸部朝向向量，包括：
35.根据所述第一图像中所述目标对象的左肩的坐标，以及，右肩的坐标，获取所述第一图像中所述目标对象的肩部向量，以及，肩部中心点的坐标；
36.根据所述第一图像中所述目标对象的肩部中心点的坐标，以及，胸部中心点的坐标，获取所述目标对象的躯干向量；
37.根据所述第一图像中所述目标对象的肩部向量，以及，躯干向量，得到所述目标对
象的胸部朝向向量。
38.可选的，所述根据所述目标对象的胸部朝向向量，对所述第一图像中所述目标对象的关键点的坐标进行校准，得到校准后的所述目标对象的关键点的坐标，包括：
39.根据所述目标对象的胸部朝向向量，获取所述胸部朝向向量在所述三维坐标系的竖直平面上的投影向量；
40.根据所述投影向量，获取所述二维坐标系的旋转矩阵；
41.使用所述旋转矩阵，对所述第一图像中所述目标对象的关键点的坐标进行校准，得到校准后的所述目标对象的关键点的坐标。
42.可选的，所述使用校准后的所述目标对象的关键点的坐标，获取所述目标对象的坐姿检测结果，包括：
43.使用校准后的所述目标对象的关键点的坐标，获取所述目标对象的检测参数，所述检测参数包括下述至少一项：头部左右倾角、上身左右倾角、肩颌差，以及，头部相对躯体的占比；
44.根据所述目标对象的检测参数，获取所述目标对象的坐姿检测结果。
45.可选的，若所述坐姿检测结果表征所述目标对象存在坐姿问题，则所述目标对象的坐姿检测结果包括：所述目标对象存在坐姿问题，以及，所述坐姿问题所属的类别；
46.所述报警信息还包括：所述坐姿问题所属的类别。
47.可选的，所述获取图像采集装置采集的目标对象的第一图像之前，所述方法还包括：
48.接收坐姿检测指令；
49.或者，根据所述图像采集装置采集的图像确定采集范围内存在所述目标对象时，开启坐姿检测功能。
50.第二方面，本技术提供一种坐姿检测装置，所述装置包括：
51.获取模块，用于获取图像采集装置采集的目标对象的第一图像；
52.处理模块，用于确定所述第一图像是否为关键帧；根据所述第一图像是否为关键帧的结果对应的关键点检测方式，对所述第一图像进行关键点检测，得到所述第一图像中所述目标对象的关键点的坐标；根据所述第一图像中所述目标对象的关键点的坐标，获取所述目标对象的坐姿检测结果；
53.输出模块，用于在所述坐姿检测结果表征所述目标对象存在坐姿问题时，输出报警信息，所述报警信息用于提示所述目标对象调整坐姿。
54.第三方面，本技术提供一种电子设备，包括：至少一个处理器、存储器；
55.所述存储器存储计算机执行指令；
56.所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行第一方面任一项所述的方法。
57.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现第一方面任一项所述的方法。
58.第五方面，本技术提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面任一项所述的方法。
59.本技术提供的坐姿检测方法、装置、电子设备、存储介质及程序产品，通过判断目标对象的第一图像是否为关键帧，确定对该第一图像进行关键点检测的方式。通过检测第一图像得到的关键点的坐标，可以获取目标对象的坐姿检测结果。通过上述方法，使得电子设备可以针对关键帧和非关键帧采取不同的关键点检测方式，进而保障关键点识别的准确性和效率，进而提高了基于该关键点的坐标判断目标对象坐姿是否存在问题的准确性。在坐姿检测结果表征目标对象存在坐姿问题时，电子设备可以输出报警信息，以提示目标对象调整坐姿，通过上述方法，提高了电子设备输出报警信息的准确性，进而提高了用户体验。
附图说明
60.为了更清楚地说明本技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
61.图1为一种智能台灯的结构示意图；
62.图2为本技术提供的一种坐姿检测方法的流程示意图；
63.图3为本技术提供的一种根据目标对象的关键点的坐标获取目标对象的坐姿检测结果方法的流程示意图；
64.图4为本技术提供的一种胸部朝向向量所在三维坐标系的示意图；
65.图5为本技术提供的一种图像采集装置采集第一图像的场景示意图；
66.图6为本技术提供的另一种坐姿检测的方法流程示意图；
67.图7为本技术提供的一种坐姿检测装置的结构示意图；
68.图8为本技术提供的一种电子设备结构示意图。
69.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
70.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
71.下面首先对本技术涉及到的部分名词概念进行解释：
72.关键帧：关键帧为目标对象运动变化中关键动作所处的那一帧。非关键帧中的目标对象通常不存在运动变化，或者说是运动变换较小。
73.光流变化向量：光流变化向量是一个二维向量。光流变化向量包括了时变图像中模式运动速度和方向。
74.键值对(key value，kv)：每一个键会对应一个值。
75.图像坐标系：以图像左上角为原点建立以像素为单位的直角坐标系。
76.rgb图像：指的是三原色光(red green blue，rgb)图像。
77.rgbd图像:指的是rgb图像，以及，与该rgb图像对应的深度(depth)图。
78.示例性的，图1为一种智能台灯的结构示意图。如图1所示，该智能台灯可以包括:照明灯、摄像头、显示屏等组件。其中，该摄像头可以用于采集包括用户身体的图像。在一些实施例中，智能台灯可以使用预先存储在智能台灯中的坐姿检测算法，对该图像进行坐姿检测，以确定用户的坐姿是否标准。
79.应理解，图1仅用于示例性说明智能台灯中与本技术相关的部分结构，本技术对该智能台灯的形状、组件分布，以及，是否还包括其他组件等均不进行限定。
80.目前，现有的坐姿检测方法主要包括：基于深度学习算法的用户坐姿检测。在使用该方法进行用户坐姿检测时，针对摄像头采集到的每一单帧图像，通过预先训练好的深度学习模型，进行人脸关键点识别，例如，左眼、右眼、鼻子等关键点。若能够识别到该帧图像中存在上述所有的关键点，说明用户没有严重低头，则确定用户坐姿标准。若未能从该帧图像中是被到上述所有的关键点，说明用户严重低头，导致关键点识别失败，则确定用户坐姿不标准。
81.也就是说，上述方法仅能够用于检测用户是否存在严重低头的坐姿不标准行为。然而，事实上，发明人通过研究发现，坐姿不标准的行为还可以包括：头部左右倾、上身左右倾、距离桌面过近、距离智能台灯的显示屏过近等。例如对于用户上身倾斜严重导致头部在图像采集范围以外，但是肩膀和胸部都还是在图像采集范围内的情况，上述方法并不能检测。因此，现在的坐姿检测方法存在准确性较差的问题。此外，该方法针对每一帧图像都需要使用深度学习模型进行图像识别，而通常深度学习模型结构较为复杂，进而可能导致坐姿检测的效率较低。
82.此外，还有一些相关技术提出了在智能台灯上安装红外装置，并使用该红外装置获取包括用户的红外图像，并从该红外图像中提取用户坐姿轮廓。然后，对获取到的多个用户坐姿轮廓进行对比判断，以确定用户坐姿是否标准。然而，红外图像中通常会因为干扰光线导致红外图像成像准确性较差，进而导致用户坐姿检测的准确性较差。此外，需要对该红外图像进行图像增强、二值化处理等一系列图像处理之后才能提取出用户坐姿轮廓，且需要根据多张用户坐姿轮廓才能判断用户坐姿是否标准。因此，该方法也存在识别效率较低的问题。
83.考虑到现有的坐姿检测方法存在上述准确性较低且效率较低的问题，因此，本技术提出了一种基于rgb图像判断该图像是否为关键帧，并对关键帧和非关键帧采用不同关键点检测方式的坐姿检测方法，以保障针对关键帧中运动变化较大的情况下对关键点检测的准确性，以及，在非关键帧(也就是目标对象运动变化小)时，提高关键点检测的效率，进而通过上述方法，在保障坐姿检测准确性的同时，提高了坐姿检测的效率。
84.应理解，本技术提供的坐姿检测方法的执行主体可以为任意一种具有处理功能的电子设备。可选的，用于采集上述rgb图像的图像采集装置与用于进行坐姿检测处理的装置可以集成在同一电子设备。示例性的，该电子设备例如可以为具有图像采集装置的智能台灯等智能家居设备，或者，具有处理功能的摄像头等图像采集装置。在一些实施例中，图像采集装置与进行坐姿检测处理的装置也可以部署在不同的电子设备中，本技术对此并不进行限定。
85.下面结合具体地实施例对本技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
86.图2为本技术提供的一种坐姿检测方法的流程示意图。如图2所示，该方法包括以下步骤：
87.s101、获取图像采集装置采集的目标对象的第一图像。
88.示例性的，该图像采集装置例如可以为摄像头。以如图1所示的智能台灯为例，该图像采集装置可以为该智能台灯上安装的摄像头。
89.该目标对象可以为该图像采集装置在采集范围内能够拍摄到的至少一个用户。在上述第一图像中包括至少一个用户时，电子设备可以将该第一图像中的各用户均作为目标对象。或者，电子设备也可以在获取上述第一图像之后，从该至少一个用户中，识别出目标对象。在该实现方式下，应理解，本技术对电子设备如何从该至少一个用户中识别出目标对象并不进行限定。
90.s102、确定第一图像是否为关键帧。
91.在一些实施例中，电子设备例如可以对每一帧第一图像进行关键帧识别，以确定该帧图像是否为关键帧。可选的，可以参照任意一种现有的关键帧识别方法以确定第一图像是否为关键帧，在此不再赘述。
92.在一些实施例中，电子设备还可以在获取第一图像之后，根据该第一图像，以及，该帧第一图像的相邻帧图像，确定该第一图像是否为关键帧。可选的，电子设备例如可以获取第一图像与目标帧之间的运动变化量，然后根据该运动变化量，确定该第一图像是否为关键帧。示例性的，上述目标帧例如可以为该第一图像的前一帧图像，或者，电子设备预先确定的关键帧等。
93.s103、根据第一图像是否为关键帧的结果对应的关键点检测方式，对第一图像进行关键点检测，得到第一图像中目标对象的关键点的坐标。
94.示例性的，上述关键点例如可以包括下述至少一项：左眼、右眼、鼻子、下巴、左肩、右肩、胸部中心点等。上述第一图像中目标对象的关键点的坐标可以为二维坐标系中的坐标，以提高基于该坐标进行坐姿检测的效率。
95.示例性的，电子设备在确定第一图像为关键帧时，例如可以生成用于表征“第一图像为关键帧”的标识，在确定第一图像非关键帧时，例如可以生成用于表征“第一图像非关键帧”的标识。电子设备中例如可以预先存储有第一图像是否为关键帧的结果的标识，与，关键点检测方式的映射关系。可选的，电子设备可以根据第一图像是否为关键帧的结果的标识，以及，该映射关系，确定第一图像是否为关键帧的结果对应的关键点检测方式。
96.可选的，上述“第一图像为关键帧”对应的关键点检测方式可以为检测结果准确性较高的关键点检测方式，以保障在关键帧中目标对象运动变化较大的情况下，对目标对象进行关键点检测的准确性。上述“第一图像非关键帧”对应的关键点检测方式可以为检测效率较高的关键点检测方式，在非关键帧中目标对象运动变化较小，关键点检测较易实现，通过上述检测效率较高的关键点检测方式，减少了计算冗余，提高了对目标对象进行关键点检测的效率。
97.s104、根据第一图像中目标对象的关键点的坐标，获取目标对象的坐姿检测结果。
98.可选的，上述目标对象的坐姿检测结果可以用于表征目标对象不存在坐姿问题，
或者，目标对象存在坐姿问题。进一步的，在一些实施例中，目标对象的坐姿检测结果还可以用于表征目标对象存在何种类别的坐姿问题。示例性的，该类别例如可以包括下述至少一项：目标对象头部向左(或向右)倾斜严重、目标对象上身向左(或向右)倾斜严重、目标对象近视桌面、目标对象近视显示屏等。
99.作为一种可能的实现方式，电子设备可以在获取目标对象的关键点的坐标之后，直接基于各关键点的坐标，确定用于判断目标对象的坐姿是否存在问题的至少一个参数，并根据该至少一个参数获取目标对象的坐姿检测结果。
100.作为另一种可能的实现方式，电子设备还可以基于目标对象的关键点的坐标确定目标对象相对前述图像采集装置的朝向，并基于该朝向对上述关键点的坐标进行校准，以提高基于各关键点坐标确定目标对象的坐姿检测结果的准确性。
101.s105、确定坐姿检测结果是否用于表征目标对象存在坐姿问题。
102.可选的，电子设备可以在获取目标对象的坐姿检测结果之后，生成用于表征坐姿检测结果的标识。不同坐姿检测结果对应的该标识不同。然后，电子设备可以基于坐姿检测结果对应的标识，确定坐姿检测结果是否用于表征目标对象存在坐姿问题。
103.若坐姿检测结果用于表征目标对象存在坐姿问题，则电子设备可以执行步骤s106，以输出报警信息。
104.若坐姿检测结果用于表征目标对象不存在坐姿问题，可选的，电子设备可以继续返回执行步骤s101-s105，以基于下一帧第一图像，持续检测目标对象的坐姿，并在该目标对象存在坐姿问题时，执行步骤s106，输出报警信息。
105.s106、输出用于提示目标对象调整坐姿的报警信息。
106.该电子设备例如可以通过显示装置显示该报警信息，或者，通过语音输出装置播报该报警信息。示例性的，以终端为如图1中所示的智能台灯为例，该智能台灯例如可以通过显示屏显示该报警信息。示例性的，该智能台灯例如可以通过显示屏显示“请注意坐姿！”。或者，以该智能台灯还包括语音输出装置为例，智能台灯例如可以还可以通过该语音输出装置报告告警信息，例如，播报语音“请注意坐姿”。
107.在一些实施例中，电子设备还可以在连续预设次数确定坐姿检测结果用于表征目标对象存在坐姿问题时，执行该步骤s106，以提高电子设备输出报警信息的准确性。其中，上述预设次数可以为用户预先存储在该电子设备中的。
108.或者，电子设备可以按照预设频率进行坐姿检测。在该实现方式下，电子设备还可以在预设时长中确定的各坐姿检测结果均用于表征目标对象存在坐姿问题时，执行该步骤s106，提高电子设备输出报警信息的准确性。其中，上述预设频率和预设时长可以为用户预先存储在该电子设备中的。示例性的，电子设备可以一秒执行一次坐姿检测，在10秒内得到的坐姿检测结果均用于表征目标对象存在坐姿问题时，输出报警信息。
109.可选的，以上述目标对象的坐姿检测结果包括：目标对象存在坐姿问题，以及，坐姿问题所属的类别为例，上述报警信息还可以包括：坐姿问题所属的类别。示例性的，以坐姿问题所属的类别为目标对象近视桌面为例，智能台灯例如可以通过显示屏或者语音输出装置输出“您当前近视桌面，请按照标准坐姿作业”。
110.在本实施例中，通过判断目标对象的第一图像是否为关键帧，确定对该第一图像进行关键点检测的方式。通过检测第一图像得到的关键点的坐标，可以获取目标对象的坐
姿检测结果。通过上述方法，使得电子设备可以针对关键帧和非关键帧采取不同的关键点检测方式，进而保障关键点识别的准确性和效率，进而提高了基于该关键点的坐标判断目标对象坐姿是否存在问题的准确性。在坐姿检测结果表征目标对象存在坐姿问题时，电子设备可以输出报警信息，以提示目标对象调整坐姿，通过上述方法，提高了电子设备输出报警信息的准确性，进而提高了用户体验。
111.下面对电子设备开始进行坐姿检测的时机进行示例性说明：作为一种可能的实现方式，电子设备可以在接收到坐姿检测指令之后，获取图像采集装置采集的目标对象的第一图像。
112.应理解，本技术对电子设备如何接收坐姿检测指令并不进行限定。可选的，以电子设备为包括触控显示屏的终端为例，该终端例如可以通过该触控显示屏接收用户输入的坐姿检测指令。或者，以该终端包括麦克风为例，该终端还可以通过该麦克风接收用户的用于指示开始进行坐姿检测的语音指令，作为坐姿检测指令。
113.作为另一种可能的实现方式，电子设备还可以自动检测是否开始进行坐姿检测，以提高用户体验。可选的，电子设备可以在根据图像采集装置采集的图像确定采集范围内存在目标对象时，开启坐姿检测功能，然后执行前述步骤s101，开始对目标对象进行坐姿检测。在该实现方式下，应理解，本技术对电子设备如何根据图像采集装置采集的图像确定采集范围内是否存在目标对象并不进行限定。可选的，可以参照任何一种现有的目标检测方法，检测是否存在目标对象，在此不再赘述。
114.作为又一种可能的实现方式，电子设备还可以接收用户输入的坐姿检测时间段，并在到达该时间段时，开始进行坐姿检测，在该时间段之后，停止进行坐姿检测。
115.或者，在一些实施例中，在开始进行坐姿检测之后，电子设备还可以接收坐姿检测终止指令，以停止进行坐姿检测。再或者，电子设备还可以在根据图像采集装置采集的图像确定采集范围内不存在目标对象时，关闭坐姿检测功能，以节约计算资源并节约用电。
116.在本实施例中，电子设备可以在接收到坐姿检测指令之后，开始对目标对象进行坐姿检测，通过用户与电子设备的交互，使得电子设备可以在用户需要时进行坐姿检测，提高了坐姿检测准确性。或者，电子设备可以自动检测是否开始进行坐姿检测，提高了坐姿检测的自动化，进而提高了坐姿检测的效率。
117.下面对电子设备如何确定第一图像是否为关键帧进行详细说明：
118.作为一种可能的实现方式，电子设备可以先根据关键帧缓存池是否为空，确定第一图像是否为关键帧。
119.可选的，若关键帧缓存池为空，说明本次坐姿检测开始，当前还未确定任何一帧图像作为关键帧，因此，电子设备可以确定该第一图像为关键帧。
120.若上述关键帧缓存池中缓存有关键帧，则电子设备可以根据该第一图像与第一关键帧之间的亮度变化，确定第一图像是否为关键帧。该第一关键帧为关键帧缓存池中图像采集装置采集的、且距离第一图像采集时间最近的关键帧。通过将距离第一图像采集时间最近的关键帧作为第一关键帧，使得第一图像与最新的关键帧进行比较，来确定亮度变化，避免了误差累计，进一步提高了坐姿检测的准确性。
121.可选的，上述第一图像与第一关键帧之间的亮度变化例如可以是指第一图像与第一关键帧之间的亮度差，或者，第一图像与第一关键帧之间的亮度差的绝对值。
122.应理解，本技术对电子设备如何获取第一图像与第一关键帧之间的亮度变化并不进行限定。示例性的，以该第一图像与第一关键帧之间的亮度变化是指第一图像与第一关键帧之间的亮度差的绝对值为例，电子设备例如可以通过帧间差分法，将该第一图像与第一关键帧作差，得到第一图像与第一关键帧之间的亮度差。然后，电子设备可以对该第一图像与第一关键帧之间的亮度差取绝对值，得到第一图像与第一关键帧之间的亮度差的绝对值。
123.仍然以上述第一图像与第一关键帧之间的亮度变化是指第一图像与第一关键帧之间的亮度差的绝对值为例，在该实现方式下，可选的，在获取第一图像与第一关键帧之间的亮度差的绝对值之后，电子设备例如可以通过下述方式确定第一图像是否为关键帧：
124.电子设备可以判断该亮度差的绝对值是否小于或等于预设阈值。其中，可选的，该预设阈值例如可以为用户预先存储在该电子设备中的。
125.若该亮度差的绝对值小于或等于预设阈值，说明第一图像中包括的目标对象相对于第一关键帧中包括的目标对象，发生的运动变化较小。也就是说，该第一图像并不是目标对象运动变化中关键动作所处的那一帧。因此，电子设备可以确定该第一图像非关键帧。
126.若该亮度差的绝对值大于预设阈值，说明第一图像中包括的目标对象相对于第一关键帧中包括的目标对象，发生的运动变化较大。也就是说，该第一图像是目标对象运动变化中关键动作所处的那一帧。因此，电子设备可以确定该第一图像为关键帧。
127.在本实施例中，在关键帧缓存池为空时，直接将该第一图像作为关键帧，提高了电子设备判断第一图像是否为关键帧的准确性。在关键帧缓存池中缓存有关键帧时，根据第一图像与第一关键帧之间的亮度变化，确定第一图像是否为关键帧。通过上述方法，可以判断第一图像与第一关键帧之间的目标对象的运动变化是否较大，进而可以确定该第一图像是否为关键帧。
128.下面对电子设备如何在第一图像非关键帧时，对第一图像进行关键点检测，得到第一图像中目标对象的关键点的坐标，进行详细说明：
129.作为一种可能的实现方式，电子设备可以获取第一图像与第一关键帧之间的光流变化向量，并根据光流变化向量，以及，第一关键帧中目标对象的关键点坐标，预测第一图像中目标对象的关键点的坐标。
130.其中，如前述所说，该第一关键帧为关键帧缓存池中图像采集装置采集的、且距离第一图像采集时间最近的关键帧。上述光流变化向量用于表征目标对象的运动方向和运动速度。
131.可选的，本技术对上述关键帧缓存池中缓存的关键帧的数量并不进行限定。以该关键帧缓存池中始终缓存“距离第一图像采集时间最近的关键帧”这一帧图像为例，可选的，电子设备可以从该缓存池中读取该帧图像，并直接将该帧图像作为第一关键帧。
132.然后，电子设备可以获取第一图像与第一关键帧之间的光流变化向量。可选的，电子设备可以采用稀疏光流场算法，获取上述光流变化向量。通过使用稀疏光流场算法，电子设备仅需基于第一图像上述的少量像素点，以及，第一关键帧上的少量像素点获取上述光流变化向量，提高了获取上述光流变化向量的效率，进而提高了坐姿检测的效率。
133.在一些实施例中，电子设备也可以采用稠密光流场算法等可以用于计算两帧图像之间的光流变化向量的算法，以获取第一图像与第一关键帧之间的光流变化向量。
134.在获取第一图像与第一关键帧之间的光流变化向量之后，电子设备可以先获取第一关键帧中目标对象的关键点坐标，然后根据光流变化向量，以及，该第一关键帧中目标对象的关键点坐标，预测第一图像中目标对象的关键点的坐标。示例性的，上述关键帧缓存池中例如还可以存储有第一关键帧中目标对象的关键点坐标。也就是说，电子设备可以从该关键帧缓存池中读取第一关键帧中目标对象的关键点坐标。
135.可选的，针对第一关键帧中目标对象的每个关键点坐标，电子设备例如可以根据该第一关键帧中关键点坐标与光流变化向量的和，获取第一图像中目标对象的关键点的坐标。示例性的，以第一关键帧中目标对象的鼻子为例，电子设备可以将第一关键帧中目标对象的鼻子的坐标与光流变化向量的和，作为第一图像中目标对象的鼻子的坐标。
136.在本实施例中，因为通常坐姿检测是在一段时间内的持续检测，因此图像采集装置采集到的相邻帧之间存在极强的时空相关性。通过第一图像与第一关键帧之间的光流变化向量，确定目标对象的关键点的坐标，可以最大化地利用好上文信息，提高了关键点坐标预测的准确性，进而提高了坐姿检测的准确性。
137.下面对电子设备如何在第一图像为关键帧时，对第一图像进行关键点检测，得到第一图像中目标对象的关键点的坐标，进行详细说明：
138.在第一图像为关键帧时，作为一种可能的实现方式，电子设备例如可以采用深度学习算法对第一图像进行关键点检测，获取第一图像中目标对象的关键点的坐标。因为关键帧通常为目标对象动作变化较大时对应的图像，因此，通过准确性较高的深度学习算法对该关键帧进行关键点检测，可以提高检测关键帧中的关键点的准确性，进而提高了基于该关键点的坐标进行坐姿检测的准确性。
139.上述深度学习算法可以是用户预先存储在该电子设备中的训练好的关键点检测模型。应理解，本技术对如何训练上述关键点检测模型，得到该深度学习算法，以及，训练上述关键点检测模型的执行主体均不进行限定。此外，本技术对上述关键点检测模型也不进行限定。可选的，可以参考任意一种现有的能够用于进行作为关键点检测模型的深度学习模型，在此不再赘述。
140.在该实现方式下，考虑到采用深度学习算法对第一图像进行关键点检测可能检测成功，也可能检测失败，因此，电子设备在采用深度学习算法对第一图像进行关键点检测之后，可以判断是否成功检测到目标对象的关键点的坐标。
141.在一些实施例中，电子设备可以在采用深度学习算法，获取到第一图像中目标对象的所有的关键点的坐标时，确定成功检测到目标对象的关键点的坐标。或者，电子设备还可以在采用深度学习算法，未获取到第一图像中目标对象的所有的关键点的坐标时，确定未成功检测到目标对象的关键点的坐标。
142.若未成功检测到目标对象的关键点的坐标，则电子设备可以通过另外的关键点检测方式，获取第一图像中目标对象的关键点的坐标。可选的，电子设备例如可以根据第一图像与第一关键帧之间的光流变化向量，以及，第一关键帧中目标对象的关键点坐标，预测第一图像中目标对象的关键点的坐标。可选的，电子设备根据上述光流变化向量，获取目标对象的关键点的坐标的方式可以参照前述实施例所述的方法，在此不再赘述。
143.在该实现方式下，在通过深度学习算法未成功检测关键点坐标时，使用光流变化向量对第一图像中的关键点进行预测，有效降低了关键点漏检出现的几率。通过上述方法，
即使目标对象的部分关键点已经超出图像采集装置的采集范围，也可以通过周围像素的光流变化进行关键点坐标的预估，提升了坐姿检测的鲁棒性。
144.若成功检测到目标对象的关键点的坐标，进一步的，电子设备可以将该第一图像，以及，第一图像中目标对象的关键点的坐标缓存至关键帧缓存池中。因为通常深度学习算法的准确性较高，因此通过将基于深度学习算法得到的关键点的坐标缓存至关键帧缓存池，保障了关键帧缓存池中关键帧的关键点的坐标的准确性，进而避免了误差累计，进一步提高了坐姿检测的准确性。
145.在该实现方式下，可选的，电子设备可以采用键值对的方式，将第一图像，以及，第一图像中目标对象的关键点的坐标缓存至关键帧缓存池中。其中，该键值对的键可以为关键帧的标识，键值对的值可以包括：该第一图像，以及，该第一图像中目标对象的关键点的坐标。示例性的，上述关键帧的标识例如可以是该关键帧对应的时间戳。通过上述方法，电子设备可以根据上述关键帧的标识，快速获取该关键帧，以及，关键帧中的目标对象的关键点的坐标，提高了电子设备进行坐姿检测的效率。
146.在一些实施例中，电子设备还可以在通过深度学习算法成功获取了该第一图像的关键点坐标之后，将该第一图像作为最新确定的关键帧，并使用该第一图像，以及，该第一图像的关键点的坐标，替换关键帧缓存池中原有的关键帧，以及，原有关键帧的关键点的坐标，实现对关键帧缓存池的更新。通过上述方法，节约了电子设备的存储资源，且提高了电子设备基于该关键帧缓存池中的关键帧进行坐姿检测的效率。
147.在本实施例中，在第一图像非关键帧时，使用光流场算法预测得到第一图像中目标对象的关键点的坐标；在第一图像为关键帧时，使用深度学习算法对第一图像进行关键点检测，得到第一图像中目标对象的关键点的坐标。其中，光流场算法进行关键点检测的效率通常高于深度学习算法进行关键点检测的效率，因此，通过上述方法，提高了电子设备进行坐姿检测的效率。况且，关键帧中的目标对象的运动变化较大，因此，通过准确性较高的深度学习算法可以保障对关键帧进行关键点检测的准确性。而因为非关键帧中目标对象的运动变化较小，因此使用光流场算法结合上文信息也能够保障关键点检测的准确性。因此，通过上述方法，在保障关键点检测的准确性的同时，提高了关键点检测的效率，进而提高了坐姿检测的准确性和效率。
148.下面对电子设备如何根据第一图像中目标对象的关键点的坐标，获取目标对象的坐姿检测结果，进行详细说明：
149.图3为本技术提供的一种根据目标对象的关键点的坐标获取目标对象的坐姿检测结果方法的流程示意图。如图3所示，作为一种可能的实现方式，前述步骤s104可以包括以下步骤：
150.s201、根据第一图像中目标对象的关键点的坐标，获取目标对象在三维坐标系的胸部朝向向量。
151.其中，该第一图像中目标对象的关键点的坐标为图像坐标系下的坐标。该三维坐标系的原点为目标对象的胸部中心点。在一些实施例中，上述胸部朝向向量的起始点可以与该三维坐标系的原点重合。示例性的，图4为本技术提供的一种胸部朝向向量所在三维坐标系的示意图。如图4所示，其中的向量c为胸部朝向向量。该三维坐标系的原点可以为目标对象的胸部中心点。
152.可选的，电子设备例如可以通过下述方式根据第一图像中目标对象的关键点的坐标，获取目标对象在三维坐标系的胸部朝向向量：
153.首先，电子设备可以根据第一图像中目标对象的左肩的坐标，以及，右肩的坐标，获取第一图像中目标对象的肩部向量，以及，肩部中心点的坐标。示例性的，图5为本技术提供的一种图像采集装置采集第一图像的场景示意图。如图5所示，该目标对象的肩部向量例如可以为如图5中的向量s所示。
154.其中，电子设备例如可以将目标对象的右肩坐标减去左肩坐标，得到目标对象的肩部向量。电子设备可以将目标对象的右肩坐标中的x轴方向上的坐标，与左肩坐标中的x轴方向上的坐标的和，除以2，得到肩部中心点的坐标的x轴方向上的坐标。以及，电子设备可以将目标对象的右肩坐标中的y轴方向上的坐标，与左肩坐标中的y轴方向上的坐标的和，除以2，得到肩部中心点的坐标的y轴方向上的坐标。
155.然后，电子设备可以根据第一图像中目标对象的肩部中心点的坐标，以及，胸部中心点的坐标，获取目标对象的躯干向量。示例性的，该躯干向量例如可以如图5中所示的向量t。可选的，电子设备例如可以将胸部中心点的坐标减去肩部中心点的坐标，得到目标对象的躯干向量。
156.在获取目标对象的肩部向量和躯干向量之后，电子设备可以根据第一图像中目标对象的肩部向量，以及，躯干向量，得到目标对象的胸部朝向向量。示例性的，电子设备例如可以通过下述公式(1)，获取目标对象的胸部朝向向量：
157.c＝t
×sꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
158.其中，t表示目标对象的躯干向量，s表示目标对象的肩部向量，c表示目标对象的胸部朝向向量。因此，公式(1)表示，电子设备可以将目标对象的躯干向量与目标对象的肩部向量叉乘，得到的目标对象的躯干向量与目标对象的肩部向量的法向量，作为目标对象的胸部朝向向量。
159.s202、根据目标对象的胸部朝向向量，对第一图像中目标对象的关键点的坐标进行校准，得到校准后的目标对象的关键点的坐标。
160.其中，该校准后的目标对象的关键点的坐标所在的二维坐标系与图像采集装置所在的二维坐标系平行。
161.可选的，电子设备例如可以通过下述方式对关键点的坐标进行校准，以获取校准后的目标对象的关键点的坐标：
162.作为一种可能的实现方式，电子设备可以基于上述胸部朝向向量，将第一图像中目标对象的关键点的坐标，转换到与图像采集装置所在的二维坐标系平行的二维坐标系中。
163.首先，电子设备可以根据目标对象的胸部朝向向量，获取胸部朝向向量在三维坐标系下竖直平面上的投影向量。示例性的，以该胸部朝向向量在为(xc，yc，zc)、且上述竖直平面为三维坐标系的xoz平面为例，电子设备可以将胸部朝向向量在x轴方向上的坐标置零，得到胸部朝向向量在三维坐标系下竖直平面上的投影向量(0，yc，zc)。
164.然后，电子设备可以根据投影向量，获取二维坐标系的旋转矩阵。可选的，电子设备可以先计算该投影向量与第一轴的夹角，并根据该夹角获取二维坐标系的旋转矩阵。其中，该第一轴为上述三维坐标系的与图像采集装置所在的二维坐标系垂直的轴，例如图4中
所示的y轴。
165.可选的，上述所说的投影向量与第一轴的夹角，可以是投影向量与第一轴的正方向上的夹角，也可以是投影向量与第一轴的负方向上的夹角，本技术对此并不进行限定。
166.以投影向量与第一轴的夹角为投影向量与第一轴的正方向上的夹角为例，电子设备例如可以通过下述公式(2)获取二维坐标系的旋转矩阵：
[0167][0168]
其中，r表示二维坐标系的旋转矩阵，θ表示投影向量与第一轴的正方向上的夹角。
[0169]
其中其中
[0170]
在获取二维坐标系的旋转矩阵之后，电子设备可以使用该旋转矩阵，对第一图像中目标对象的关键点的坐标进行校准，得到校准后的目标对象的关键点的坐标。可选的，针对第一图像中目标对象的每个关键点的坐标，电子设备可以将该关键点的坐标与上述旋转矩阵相乘，得到的结果作为校准后的目标对象的关键点的坐标。
[0171]
示例性的，假定目标对象的左眼关键点坐标为(x，z)，则通过下述公式(3)，电子设备可以获取校准后的左眼关键点坐标。
[0172][0173]
其中，为校准后的左眼关键点坐标。
[0174]
s203、使用校准后的目标对象的关键点的坐标，获取目标对象的坐姿检测结果。
[0175]
可选的，电子设备例如可以通过判断各校准后的目标对象的关键点的坐标是否均在预设坐标范围内，获取目标对象的坐姿检测结果。其中，不同关键点对应的预设坐标范围可以不同。各关键点对应的预设坐标范围可以是用户预先存储在该电子设备中的。示例性的，电子设备可以在各校准后的目标对象的关键点的坐标均在预设坐标范围内时，确定目标对象的坐姿检测结果用于表征目标对象不存在坐姿问题。若存在校准后的目标对象的关键点的坐标不在预设坐标范围内，则电子设备可以确定目标对象的坐姿检测结果用于表征目标对象存在坐姿问题。
[0176]
或者，电子设备还可以先使用校准后的目标对象的关键点的坐标，获取目标对象的检测参数，然后根据该目标对象的检测参数，获取目标对象的坐姿检测结果。其中，上述检测参数可以包括下述至少一项：头部左右倾角、上身左右倾角、肩颌差，以及，头部相对躯体的占比。
[0177]
可选的，电子设备可以基于上述检测参数，确定目标对象是否存在坐姿问题。或者，若坐姿检测结果表征目标对象存在坐姿问题，电子设备还可以基于上述检测参数，确定目标对象坐姿问题所属的类别。
[0178]
应理解，本技术对电子设备如何根据上述检测参数，获取目标对象的坐姿检测结果并不进行限定。
[0179]
示例性的，以上述检测参数包括：头部左右倾角、上身左右倾角、肩颌差，以及，头部相对躯体的占比为例，电子设备可以在目标对象的头部左右倾角在预设头部倾角范围
内、且目标对象的上身左右倾角在预设上身倾角范围内、且肩颌差大于或等于第一预设肩颌差阈值、且头部相对躯体的占比小于或等于预设占比阈值时，确定目标对象的坐姿检测结果用于表征目标对象不存在坐姿问题。
[0180]
电子设备可以在目标对象的头部左右倾角在预设头部倾角范围外时，确定目标对象坐姿问题所属的类别为目标对象的头部左右倾角严重。电子设备可以在目标对象的上身左右倾角在预设上身倾角范围外时，确定目标对象坐姿问题所属的类别为目标对象的上身左右倾角严重。电子设备可以在目标对象的肩颌差小于或等于第二预设肩颌差阈值时，确定目标对象坐姿问题所属的类别为目标对象近视桌面。电子设备可以在目标对象的头部相对躯体的占比大于预设占比阈值时，确定目标对象坐姿问题所属的类别为目标对象近视屏幕。
[0181]
可选的，上述预设头部倾角范围、预设上身倾角范围、第一预设肩颌差阈值、第二预设肩颌差阈值、预设占比阈值可以为用户预先存储在该电子设备中的。其中，第一预设肩颌差阈值大于第二预设肩颌差阈值。
[0182]
下面对电子设备如何获取上述各检测参数的取值进行示例性说明：
[0183]
以检测参数包括头部左右倾角为例，示例性的，电子设备例如可以基于前述左眼和右眼关键点坐标，确定左眼和右眼的中心点。然后根据左眼和右眼的中心点，以及，鼻子关键点的坐标，确定目标对象的头部中心线。然后，电子设备可以获取该目标对象的头部中心线向右(或者向左)偏离竖直方向的角度，作为头部左右倾角。
[0184]
以检测参数包括上身左右倾角为例，示例性的，电子设备例如可以基于前述左肩和右肩关键点坐标，确定左肩和右肩的中心点。然后根据左肩和右肩的中心点，以及，胸部中心点关键点的坐标，确定目标对象的上身中心线。然后，电子设备可以获取该目标对象的上身中心线向右(或者向左)偏离竖直方向的角度，作为上身左右倾角。
[0185]
以检测参数包括肩颌差为例，示例性的，电子设备可以根据左肩的坐标，以及，右肩的坐标确定左肩与右肩所在直线。然后，电子设备可以根据下巴关键点的坐标，以及，该左肩与右肩所在直线，获取下巴到该左肩与右肩所在直线的距离。电子设备可以将该距离作为目标对象的肩颌差。通过将肩颌差作为检测参数，对于拍摄不到人眼、桌面等情况下的近视坐姿均能进行有效检测，进而提高了坐姿检测的多样性，进一步提高了坐姿检测的准确性。
[0186]
以检测参数包括头部相对躯体的占比为例，示例性的，电子设备可以根据人脸上的各关键点确定目标对象对应的人脸坐标框，并获取该人脸坐标框的面积。其中，上述人脸坐标框可以是指人脸检测确定的检测框的各个顶点的坐标。然后，电子设备可以根据上述左肩、右肩、胸部中心点等关键点坐标确定目标对象的躯体的面积。然后，电子设备可以获取人脸坐标框的面积，与目标对象的躯体的面积的商，作为头部相对躯体的占比。
[0187]
在一些实施例中，上述检测参数例如还可以包括：头部相对显示屏的占比等，本技术对此并不进行限定。
[0188]
在本实施例中，电子设备可以根据目标对象的关键点的坐标，获取用于对关键点的坐标进行校准的胸部朝向向量，使得电子设备不需额外获取其他参数来对关键点的坐标进行校准。例如本技术不需要求第一图像为rgbd图像，也不需进行三维网格(3-dimension mesh，3d mesh)等人体重建，而是直接对关键点的坐标进行映射变换，因此减少了电子设备
进行坐标校准的计算量，进一步提高了坐姿检测的效率。
[0189]
况且，通过对关键点的坐标进行校准，使得校准后的关键点的坐标所在的二维坐标系与图像采集装置所在的二维坐标系平行，相当于摆正了人体，使得人体正对图像采集装置，减少了图像采集角度问题导致关键点坐标准确性较低的可能性，进而进一步提高了坐姿检测的准确性。此外，通过上述方法，可以不限制图像采集装置正对目标对象，提高了上述图像采集装置，或者，安装有该图像采集装置的终端设备使用的灵活性。
[0190]
以上述电子设备为智能台灯，上述图像采集装置为安装在智能台灯上的摄像头为例，图6为本技术提供的另一种坐姿检测的方法流程示意图。如图6所示，该方法可以包括以下步骤：
[0191]
步骤1、智能台灯通过显示屏接收目标对象输入的用于指示开始写作业的指令。
[0192]
步骤2、智能台灯初始化关键帧缓存池，以及，从摄像头采集目标对象的rgb第一图像。
[0193]
步骤3、判断该第一图像是否为关键帧。
[0194]
步骤3.1、在关键帧缓存池为空时，确定该第一图像为关键帧。
[0195]
步骤3.2、在关键帧缓存池不为空时，用帧间差分法对第一图像和第一关键帧作差，得到该两帧图像亮度差的绝对值。在该亮度差的绝对值大于预设阈值时，确定该第一图像为关键帧。否则。确定该第一图像非关键帧。
[0196]
若该第一图像为关键帧，则执行步骤4.1。若该第一图像非关键帧，则执行步骤4.2。
[0197]
步骤4.1、该第一图像为关键帧，则使用深度学习算法中的骨骼关键点检测算法进行关键点的检测。其中，关键点包括左眼、右眼、鼻子、下巴、左肩、右肩、胸部中心点7个关键点。
[0198]
步骤4.1.1、若骨骼关键点检测成功，则将第一图像和对应的各骨骼关键点坐标存入缓存池中。
[0199]
步骤4.1.2、若骨骼关键点检测失败，则通过稀疏光流场算法，获取第一图像与第一关键帧的光流变化向量，进而基于该光流变化向量，得到使用光流法预测的骨骼关键点坐标。
[0200]
步骤4.2、若第一图像非关键帧，则使用稀疏光流场算法，获取第一图像与第一关键帧的光流变化向量，进而基于该光流变化向量，得到使用光流法预测的骨骼关键点坐标。
[0201]
步骤5、根据目标对象的左肩关键点的坐标、右肩关键点的坐标，以及，胸部中心点的坐标，获取目标对象的胸部朝向向量，并基于该胸部朝向向量，对上述关键点的坐标，以及，人脸检测坐标框的坐标进行校准，得到校准后的关键点的坐标。
[0202]
步骤5的具体实现方式可以参照前述实施例所述的方法，在此不再赘述。
[0203]
步骤6、使用校准后的目标对象的关键点的坐标，获取目标对象的检测参数。
[0204]
步骤7、基于目标对象的检测参数，获取目标对象的坐姿检测结果。
[0205]
示例性的，目标对象的检测参数，与目标对象的坐姿检测结果的映射关系例如可以如下表1所示：
[0206]
表1
[0207]
坐姿检测结果检测参数对应判断标准
不存在坐姿问题l1∈[-15
°
，15
°
]、且l2∈[-5
°
，5
°
]、且d≥-5、且r≤0.2头部左右倾严重l1≥15
°
或l1≤-15
°
上身左右倾严重l2≥5
°
或l2≤-5
°
近视桌面d≤-8近视屏幕r≥0.2
[0208]
其中，l1表示目标对象的头部左右倾角，l2表示目标对象的上身左右倾角，d表示目标对象的肩颌差，r表示目标对象的头部相对躯体的占比。
[0209]
步骤8、判断坐姿检测结果是否表征目标对象存在坐姿问题。
[0210]
若是，则执行步骤9，以输出报警信息。
[0211]
若否，则继续进行实时监控，循环步骤1-9，对目标对象进行坐姿检测。
[0212]
步骤9、智能台灯输出报警信息，提示目标对象调整坐姿。
[0213]
在本实施例中，通过基于帧间差分法判断当前帧是否为关键帧，对关键帧利用深度学习算法进行关键点的预测；对非关键帧计算光流场，预估关键点的位置，后续结合相应判别规则进行坐姿类型判别。通过上述方法，不需要对每帧图像都进行深度学习算法的执行，能够有效减少非关键帧漏检的情况，从而提高连续帧坐姿检测的稳定性。通过上述方法，针对阅读、写作等状态下的不良坐姿可以予以反馈，督导，提示目标对象恢复正常坐姿，保护其身心健康。
[0214]
图7为本技术提供的一种坐姿检测装置的结构示意图。如图7所示，该装置包括：获取模块31、处理模块32，以及，输出模块33。其中，
[0215]
获取模块31，用于获取图像采集装置采集的目标对象的第一图像。
[0216]
处理模块32，用于确定所述第一图像是否为关键帧；根据所述第一图像是否为关键帧的结果对应的关键点检测方式，对所述第一图像进行关键点检测，得到所述第一图像中所述目标对象的关键点的坐标；根据所述第一图像中所述目标对象的关键点的坐标，获取所述目标对象的坐姿检测结果。
[0217]
输出模块33，用于在所述坐姿检测结果表征所述目标对象存在坐姿问题时，输出报警信息。其中，所述报警信息用于提示所述目标对象调整坐姿。
[0218]
可选的，处理模块32，具体用于在所述第一图像非关键帧时，获取所述第一图像与第一关键帧之间的光流变化向量，并根据所述光流变化向量，以及，所述第一关键帧中所述目标对象的关键点坐标，预测所述第一图像中所述目标对象的关键点的坐标。其中，所述第一关键帧为关键帧缓存池中所述图像采集装置采集的、且距离所述第一图像采集时间最近的关键帧，所述光流变化向量用于表征所述目标对象的运动方向和运动速度。
[0219]
或者，处理模块32，具体用于在所述第一图像为关键帧时，采用深度学习算法对所述第一图像进行关键点检测，获取所述第一图像中所述目标对象的关键点的坐标。
[0220]
可选的，处理模块32，具体用于采用稀疏光流场算法，获取所述光流变化向量。
[0221]
可选的，处理模块32，具体用于采用深度学习算法对所述第一图像进行关键点检测；在成功检测到所述目标对象的关键点的坐标时，将所述第一图像，以及，所述第一图像中所述目标对象的关键点的坐标缓存至所述关键帧缓存池中；在未成功检测到所述目标对象的关键点的坐标时，根据所述第一图像与第一关键帧之间的光流变化向量，以及，所述第一关键帧中所述目标对象的关键点坐标，预测所述第一图像中所述目标对象的关键点的坐
标。
[0222]
可选的，处理模块32，具体用于采用键值对的方式，将所述第一图像，以及，所述第一图像中所述目标对象的关键点的坐标缓存至所述关键帧缓存池中。其中，所述键值对的键为关键帧的标识，所述键值对的值包括：所述第一图像，以及，所述第一图像中所述目标对象的关键点的坐标。
[0223]
可选的，处理模块32，具体用于在所述关键帧缓存池为空时，确定所述第一图像为关键帧；在所述关键帧缓存池中缓存有关键帧时，根据所述第一图像与所述第一关键帧之间的亮度变化，确定所述第一图像是否为关键帧。
[0224]
可选的，处理模块32，具体用于获取所述第一图像与所述第一关键帧之间的亮度差的绝对值；在所述亮度差的绝对值小于或等于预设阈值时，确定所述第一图像非关键帧；或者，在所述亮度差的绝对值大于所述预设阈值时，确定所述第一图像为关键帧。
[0225]
可选的，所述关键点的坐标为图像坐标系下的坐标。可选的，处理模块32，具体用于根据所述第一图像中所述目标对象的关键点的坐标，获取所述目标对象在三维坐标系的胸部朝向向量；根据所述目标对象的胸部朝向向量，对所述第一图像中所述目标对象的关键点的坐标进行校准，得到校准后的所述目标对象的关键点的坐标；使用校准后的所述目标对象的关键点的坐标，获取所述目标对象的坐姿检测结果。其中，所述三维坐标系的原点为所述目标对象的胸部中心点；所述校准后的所述目标对象的关键点的坐标所在的二维坐标系与所述图像采集装置所在的二维坐标系平行。
[0226]
可选的，所述关键点包括：左肩、右肩、胸部中心点。可选的，处理模块32，具体用于根据所述第一图像中所述目标对象的左肩的坐标，以及，右肩的坐标，获取所述第一图像中所述目标对象的肩部向量，以及，肩部中心点的坐标；根据所述第一图像中所述目标对象的肩部中心点的坐标，以及，胸部中心点的坐标，获取所述目标对象的躯干向量；根据所述第一图像中所述目标对象的肩部向量，以及，躯干向量，得到所述目标对象的胸部朝向向量。
[0227]
可选的，处理模块32，具体用于根据所述目标对象的胸部朝向向量，获取所述胸部朝向向量在所述三维坐标系的竖直平面上的投影向量；根据所述投影向量，获取所述二维坐标系的旋转矩阵；使用所述旋转矩阵，对所述第一图像中所述目标对象的关键点的坐标进行校准，得到校准后的所述目标对象的关键点的坐标。
[0228]
可选的，处理模块32，具体用于使用校准后的所述目标对象的关键点的坐标，获取所述目标对象的检测参数；根据所述目标对象的检测参数，获取所述目标对象的坐姿检测结果。其中，所述检测参数包括下述至少一项：头部左右倾角、上身左右倾角、肩颌差，以及，头部相对躯体的占比。
[0229]
可选的，在所述坐姿检测结果表征所述目标对象存在坐姿问题时，所述目标对象的坐姿检测结果包括：所述目标对象存在坐姿问题，以及，所述坐姿问题所属的类别。在该实现方式下，所述报警信息还包括：所述坐姿问题所属的类别。
[0230]
可选的，该装置还可以包括接收模块34，用于在所述获取图像采集装置采集的目标对象的第一图像之前，接收坐姿检测指令。
[0231]
或者，处理模块32，还用于在所述获取图像采集装置采集的目标对象的第一图像之前，根据所述图像采集装置采集的图像确定采集范围内存在所述目标对象时，开启坐姿检测功能。
[0232]
本技术提供的坐姿检测装置，用于执行前述坐姿检测方法实施例，其实现原理与技术效果类似，对此不再赘述。
[0233]
图8为本技术提供的一种电子设备结构示意图。示例性的，该电子设备例如可以为智能台灯、智能摄像头等。如图8所示，该电子设备400可以包括：至少一个处理器401和存储器402。
[0234]
存储器402，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
[0235]
存储器402可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0236]
处理器401用于执行存储器402存储的计算机执行指令，以实现前述方法实施例所描述的坐姿检测方法。其中，处理器401可能是一个中央处理器(central processing unit，简称为cpu)，或者是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本技术实施例的一个或多个集成电路。
[0237]
以上述电子设备为智能台灯为例，该智能台灯还可以包括：图像采集装置。该图像采集装置可以用于采集目标对象的第一图像。可选的，该智能台灯还可以包括显示屏、语音播报装置等。
[0238]
可选的，该电子设备400还可以包括通信接口403。在具体实现上，如果通信接口403、存储器402和处理器401独立实现，则通信接口403、存储器402和处理器401可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(industry standard architecture，简称为isa)总线、外部设备互连(peripheral component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
[0239]
可选的，在具体实现上，如果通信接口403、存储器402和处理器401集成在一块芯片上实现，则通信接口403、存储器402和处理器401可以通过内部接口完成通信。
[0240]
本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序指令，程序指令用于上述实施例中的方法。
[0241]
本技术还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得电子设备实施上述的各种实施方式提供的坐姿检测方法。
[0242]
最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。