一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图标生成方法、装置、设备及存储介质与流程

2021-11-29 13:51:00 来源:中国专利 TAG:


1.本技术涉及图像处理领域,尤其涉及一种图标生成方法、装置、设备及存储介质。


背景技术:

2.随着社会的不断发展,各种各样的图标也逐渐融入人们的生活当中,比如奥运会的体育项目图标,可以清晰明了的表示出奥运会的各个比赛项目。但是,相关技术中,通常需要专业设计人员操作图标设计软件来生成图标,这样使得人体动作的图标设计的门槛较高。


技术实现要素:

3.本技术实施例提供一种图标生成技术方案。
4.本技术实施例的技术方案是这样实现的:
5.本技术实施例提供一种图标生成方法,所述方法包括:
6.获取画面内容包括人体的待检测图像;
7.在所述待检测图像中,确定所述人体的人体关键点;
8.确定所述人体关键点的属性信息;
9.基于所述属性信息,生成所述人体的动作图标。如此,基于待检测图像中的人体关键点的属性信息,确定与待检测图像中的人体对应的动作图标,能够高效且便捷地生成与待检测图像中的人体相匹配的动作图标。
10.在一些实施例中,所述在所述待检测图像中,确定所述人体的人体关键点,包括:在所述待检测图像中,确定所述人体的人体检测框;在所述人体检测框中,识别多个人体关键点;所述确定所述人体关键点的属性信息,包括:在所述人体检测框中,确定所述多个人体关键点的位置信息。如此,能够高效且便捷地给出精准度更高的人体关键点以及人体关键点的位置信息。
11.在一些实施例中,所述属性信息包括:人体关键点所属的身体部位和位置信息,所述基于所述属性信息,生成所述人体的动作图标,包括:基于所述人体关键点所属的身体部位,确定与所述人体关键点相匹配的图形;基于与所述人体关键点相匹配的图形和所述人体关键点的位置信息,生成所述人体的动作图标。如此,通过每一人体关键点对应的图形以及待检测图像中每一人体关键点的位置信息,生成与待检测图像中人体对应的动作图标,能够使得生成人体的动作图标与待检测图像中的人体所呈现的姿态信息更加匹配。
12.在一些实施例中,所述基于所述人体关键点所属的身体部位,确定与所述人体关键点相匹配的图形,包括:确定与所述人体关键点所属的身体部位相匹配的图形参数;基于所述图形参数,确定与所述人体关键点相匹配的图形。如此,通过关键点所属的身体部位确定对应的图形,能够进一步细化每一人体关键点对应的图形,进而能够提高基于与人体关键点相匹配的图形确定人体的动作图标的准确度。
13.在一些实施例中,在所述人体关键点包括头部关键点、上肢关键点以及下肢关键
点的情况下,所述基于与所述人体关键点相匹配的图形和所述人体关键点的位置信息,生成所述人体的动作图标,包括:基于与所述头部关键点相匹配的图形和所述头部关键点的位置信息,生成所述人体的头部图标;基于与所述上肢关键点相匹配的图形和所述上肢关键点的位置信息,生成所述人体的上肢图标;基于与所述下肢关键点相匹配的图形和所述下肢关键点的位置信息,生成所述人体的下肢图标;基于所述头部图标、所述上肢图标以及所述下肢图标,生成所述人体的动作图标。如此,能够高效且精准生成与待检测图像中的人体姿态信息相匹配的动作图标。
14.在一些实施例中,在所述头部关键点包括头顶关键点和脖子关键点的情况下,所述基于与所述头部关键点相匹配的图形和所述头部关键点的位置信息,生成所述人体的头部图标,包括:基于所述头顶关键点的位置信息、所述脖子关键点的位置信息以及与所述头部关键点相匹配的图形,确定标识图形;对所述标识图形进行填充,得到所述头部图标。如此,能够使得确定的头部图标与待检测图像中的人体的头部区域更加匹配。
15.在一些实施例中,在所述上肢关键点包括肩部关键点、肘部关键点以及腕部关键点的情况下,所述基于与所述上肢关键点相匹配的图形和所述上肢关键点的位置信息,生成所述人体的上肢图标,包括:基于所述肩部关键点的位置信息和与所述肩部关键点相匹配的图形,确定第一图形;基于所述肘部关键点的位置信息和与所述肘部关键点相匹配的图形,确定第二图形;基于所述腕部关键点的位置信息和与所述腕部关键点相匹配的图形,确定第三图形;对所述第一图形、所述第二图形以及所述第三图形进行拼接,生成所述上肢图标。如此,同时基于肩部关键点、肘部关键点以及腕部关键点各自对应的位置信息以及与其相匹配的图形,确定人体的上肢图标,能够使得生成的上肢图标与待检测图像中人体的上肢姿态信息更加匹配。
16.在一些实施例中,所述对所述第一图形、所述第二图形以及所述第三图形进行拼接,生成所述上肢图标,包括:按照人体上肢结构模型,确定第一连接方式;基于所述第一连接方式,连接所述第一图形、所述第二图形以及所述第三图形,得到第一多边形;对所述第一多边形进行填充,得到所述上肢图标。如此,能够使得确定的上肢图标与待检测图像中的人体的上肢体区域更加匹配。
17.在一些实施例中,在所述下肢关键点包括臀部关键点、膝盖关键点以及脚踝关键点的情况下,所述基于与所述下肢关键点相匹配的图形和所述下肢关键点的位置信息,生成所述人体的下肢图标,包括:基于所述臀部关键点的位置信息和与所述臀部关键点相匹配的图形,确定第四图形;基于所述膝盖关键点的位置信息和与所述膝盖关键点相匹配的图形,确定第五图形;基于所述脚踝关键点的位置信息和与所述脚踝关键点相匹配的图形,确定第六图形;对所述第四图形、所述第五图形以及所述第六图形进行拼接,生成所述下肢图标。如此,同时基于臀部关键点、膝盖关键点以及脚踝关键点各自对应的位置信息以及与其相匹配的图形,确定人体的下肢图标,能够使得生成的下肢图标与待检测图像中人体的下肢姿态信息更加匹配。
18.在一些实施例中,在所述臀部关键点包括左臀关键点和右臀关键点的情况下,所述基于所述臀部关键点的位置信息和与所述臀部关键点相匹配的图形,确定第四图形,包括::基于所述左臀关键点的位置信息和所述右臀关键点的位置信息,确定所述左臀关键点和所述右臀关键点的中间点;将所述中间点确定为所述人体的腰部关键点;将所述中间点
的位置信息,确定为所述人体的腰部关键点的位置信息;基于与所述左臀关键点相匹配的图形和与所述右臀关键点相匹配的图形,确定与所述腰部关键点相匹配的图形;基于所述腰部关键点的位置信息和与所述腰部关键点相匹配的图形,确定所述第四图形。如此,基于左臀关键点和右臀关键点,确定腰部关键点的相关信息,进而基于腰部关键点的相关信息,能够实现便捷式地生成与待检测图像中人体的腰部姿态相关的动作图标。
19.在一些实施例中,所述对所述第四图形、所述第五图形以及所述第六图形进行拼接,生成所述下肢图标,包括:按照人体下肢结构模型,确定第二连接方式;基于所述第二连接方式,连接所述第四图形、所述第五图形以及所述第六图形,得到第二多边形;对所述第二多边形进行填充,得到所述下肢图标。如此,能够使得确定的下肢图标与待检测图像中的人体的下肢体区域更加匹配。
20.在一些实施例中,所述基于所述头部图标、所述上肢图标以及所述下肢图标,生成所述人体的动作图标,包括:采用第一色彩参数,在所述待检测图像中,对所述头部图标、所述上肢图标以及所述下肢图标进行渲染,得到中间图像;采用第二色彩参数,对所述中间图像的背景区域进行渲染,得到所述人体的动作图标;其中,所述背景区域为所述中间图像中除所述头部图标、所述上肢图标以及所述下肢图标之外所占据的区域。如此,能够生成识别度更高的人体的动作图标。
21.在一些实施例中,在所述待检测图像为连续的至少两帧待处理图像的情况下,所述方法还包括:获取每帧待处理图像中人体的动作图标;基于所述至少两帧待处理图像的时序信息和所述每帧待处理图像中人体的动作图标,生成所述人体的人体动作动画。如此,能够基于连续的多帧图像中生成的人体的动作图标,生成与人体的动作姿态变化相匹配的人体动作动画。
22.在一些实施例中,所述方法还包括:确定所述待处理图像中人体的动作类型;基于与所述动作类型相匹配的动作名称,对所述待处理图像中人体的动作图标进行标记,得到所述待处理图像中人体的目标动作图标。如此,能够使得生成的动图图标所表达的信息更加丰富。
23.本技术实施例提供一种图标生成装置,所述装置包括:
24.获取模块,用于获取画面内容包括人体的待检测图像;
25.第一确定模块,用于在所述待检测图像中,确定所述人体的人体关键点;
26.第二确定模块,用于确定所述人体关键点的属性信息;
27.生成模块,用于基于所述属性信息,生成所述人体的动作图标。
28.本技术实施例提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时能够实现上述的图标生成方法。
29.本技术实施例提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,该计算机可执行指令被执行后,能够实现上述的图标生成方法。
30.本技术实施例提供一种图标生成方法、装置、设备及存储介质,首先,获取画面内容包括人体的待检测图像;其次,在所述待检测图像中,确定所述人体的人体关键点;确定所述人体关键点的属性信息;最后,基于所述属性信息,生成所述人体的动作图标。如此,无需专业设计人员进行图标设计,基于待检测图像中的人体关键点的属性信息,确定与待检
intelligence,ai);dl是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助;它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。
49.3)人体关键点检测(human keypoints detection,hkd)又称为人体姿态估计,是cv中一个相对基础的任务,是人体动作识别、行为分析、人机交互等的前置任务;一般情况下可以将人体关键点检测细分为单人/多人关键点检测、二维/三维关键点检测,同时有算法在完成关键点检测之后还会进行关键点的跟踪,也被称为人体姿态跟踪。
50.下面说明本技术实施例提供的计算机设备的示例性应用,本技术实施例提供的设备可以实施为具有图像采集功能的笔记本电脑,平板电脑,台式计算机,相机,移动设备(例如,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的用户终端,也可以实施为服务器。下面,将说明设备实施为终端或服务器时示例性应用。
51.该方法可以应用于计算机设备,该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该计算机设备至少包括处理器和存储介质。
52.本技术实施例提供一种图标生成方法,如图1所示,结合图1所示步骤进行说明:
53.步骤s101,获取画面内容包括人体的待检测图像。
54.在一些实施例中,待检测图像可以是图标生成装置通过内部的图像采集模块获取的,也可以是图标生成装置接收能够与其进行信息交互的装置或设备发送的待检测图像;相应地,待检测图像可以是彩色图像,也可以是灰度图像,人体可以位于待检测图像的前景区域、中景区域和背景区域中,本技术实施例中对人体在待检测图像中所处区域等不作任何限定。
55.在一些实施例中,待检测图像中的人体指代能够在待检测图像中呈现全部身体信息的人体,或呈现部分身体信息的人体;在人体在待检测图像中呈现全部身体信息的情况下,如:头部、两个手臂、一个躯干和两条腿等;也可以是呈现部分身体信息,如:头部、一个手臂和两条腿等。同时待检测图像中的人体所呈现的姿态信息可以是站立、平躺或半蹲等。
56.在一些实施例中,人体在待检测图像中呈现的姿态信息可以是:站立、行走以及坐着等。同时待检测图像的画面内容包括但不限于人体;待检测图像的画面内容可以是人体处于任一场景,比如:教室、公园、办公室或游戏场所等;同时,待检测图像中的画面内容包括人体的数量可以是一个,两个及以上;在待检测图像中的画面内容包括的人体数量为两个及以上时,画面内容中的人体之间的相对位置关系可以是:左右、前后以及上下等。
57.步骤s102,在所述待检测图像中,确定所述人体的人体关键点。
58.在一些实施例中,人体关键点可以指代人体的以下关键点中的至少部分关键点:头、颈、左右肩、左右肘、左右手(左右手腕)、左右臀、左右膝盖、左右脚(左右脚踝)等部位;相应地,可以采用人体检测算法对待检测图像进行识别,得到待检测图像中的人体信息,并基于姿态估计算法对该人体信息进行检测,得到人体关键点。
59.在一些可能的实现方式中,通过对待检测图像进行人体检测,确定待检测图像中人体检测框之后,对人体检测框进行识别,得到多个人体关键点,即上述步骤s102可以通过以下过程来实现:
60.第一步,在所述待检测图像中,确定所述人体的人体检测框。
61.在一些实施例中,人体检测框为能够包括人体在待检测图像中身体部分的检测框。示例性地,假设待检测图像中能够呈现人体的全部身体部分,人体检测框为能够包围人体的头部、两个手臂、一个躯干和两条腿等的最小矩形框;同时人体检测框内部可以包围人体的关键点,如:头、颈、肩、肘、手、臀、膝以及脚等部位。示例性地,假设待检测图像中能够呈现人体的部分身体部分,人体检测框为能够包围图像中呈现的人体的头部、一个手臂、部分躯干等的最小矩形框。
62.在一些实施例中,通过经过训练的检测模型对待检测图像中的人体进行检测,确定人体检测框。如此,能够快速且便捷地给出精度更高的人体检测框。
63.第二步,在所述人体检测框中,识别多个人体关键点。
64.在一些实施例中,采用姿态估计算法,对人体检测框内的人体信息进行识别,得到多个人体关键点;其中,人体关键点可以是21个人体关键点,即包括头顶、五官、颈部、四肢等主要关节部位的关键点;也可以是14个人体关键点,即包括头顶、颈部、四肢等主要关节部位的关键点。示例性地,人体关键点包括:头顶关键点、脖子关键点、左右肩关键点、左右手肘关键点、左右手腕关键点、左右臀部关键点、左右膝盖关键点以及左右脚踝关键点等。
65.步骤s103,确定所述人体关键点的属性信息。
66.在一些实施例中,人体关键点的属性信息包括但不限于:人体关键点所属的身体部位,人体关键点在待检测图像中的位置信息或人体关键点在人体检测框中的位置信息、人体关键点为真值点的置信度等;同时可以通过图形识别确定人体关键点所属的身体部位;通过对待检测图像中的人体关键点进行位置信息识别,确定每一人体关键点在待检测图像中的位置信息;其中,人体关键点的位置信息可以用二维坐标进行表示;该人体关键点的位置信息可以指代人体关键点在图像物理坐标系下的坐标参数,也可以指代人体关键点在图像像素坐标系下的坐标参数。
67.在一些可能的实现方式中,基于上述提到通过人体检测算法对待检测图像进行人体识别,得到人体检测框,进而在人体检测框内识别人体关键点;同理也可以在人体检测框中确定每一人体关键点的位置信息,即可以通过以下过程确定人体关键点的位置信息:
68.在所述人体检测框中,确定所述多个人体关键点的位置信息。
69.在一些实施例中,通过对人体检测框内预设部位的人体关键点进行识别,同时基于人体检测框在待检测图像中的位置信息,确定每一人体关键点的位置信息。
70.在一些实施例中,可以将人体检测框或待检测图像输入至已训练的人体关键点检测神经网络模型中,进行人体关键点的识别,以得到多个人体关键点;同时在人体检测框中对多个人体关键点进行定位,得到定位结果,进而基于定位结果在待检测图像的位置信息,确定多个人体关键点的位置信息。
71.在一些实施例中,基于待检测图像中的人体检测框,依次确定每一人体关键点以及每一人体关键点的位置信息。如此,能够高效且便捷地给出精准度更高的人体关键点以及人体关键点的位置信息。
72.步骤s104,基于所述属性信息,生成所述人体的动作图标。
73.在一些实施例中,可以同时基于与人体关键点的位置信息以及与人体关键点相匹配的图形,生成人体的动作图标。示例性地,可以基于与每一人体关键点所属的身体部位相匹配的图形,以及每一人体关键点的位置信息,生成人体的动作图标。比如:可以基于每一
人体关键点的位置,确定所属的身体部位,然后基于所属的身体部位,对每一人体关键点的位置信息以不同形状和/或不同尺寸的图形进行标记,以生成与每一人体关键点对应的标记图形,并按照人体身体模型,对标记图形进行拼接,生成该人体的动作图标。
74.在一些实施例中,人体的动作图标用于表征待检测图像中人体所呈现的姿态信息;示例性地,待检测图像中人体为站立,则人体的动作图标为站立的人体图标;待检图像中人体处于运动状态,则人体的动作图标为运动的人体图标。另外,人体的动作图标中人体的上下肢体部分、头部部分与躯体部分可以用不同色彩区进行标记。
75.本技术实施例提供的图标生成方法,首先,获取画面内容包括人体的待检测图像;其次,在所述待检测图像中,确定所述人体的人体关键点;确定所述人体关键点的属性信息;最后,基于所述属性信息,生成所述人体的动作图标。如此,基于待检测图像中的人体关键点的属性信息,确定与待检测图像中的人体对应的动作图标,从而无需借助专业设计人员和图标设计软件来生成相关动作图标,能够实时且便捷地生成与待检测图像中的人体动作相匹配的动作图标。
76.在一些实施例中,在属性信息包括人体关键点所属的身体部位和位置信息的情况下,首先,基于人体关键点的所属的身体部位,确定与人体关键点相匹配的图形,然后,基于与人体关键点相匹配的图形以及人体关键点的位置信息,生成人体的动作图标。如此,能够便捷地生成与待检测图像中的人体姿态信息相匹配的动作图标。如图2所示,图2为本技术实施例提供的图标生成方法的第二种实现流程示意图;结合图1和图2所示的步骤进行以下说明:
77.步骤s201,基于所述人体关键点所属的身体部位,确定与所述人体关键点相匹配的图形。
78.在一些实施例中,基于每一人体关键点所属的身体部位,确定与人体关键点相匹配的图形。其中,每一人体关键点所属的身体部位,可以是上肢中的左右肩部、左右肘部以及左右腕部,或下肢中的左右膝盖部位、左右脚踝部位等。同时与人体关键点相匹配的图形可以是圆形、正方形、星星图形或六边形等。
79.在一些实施例中,每两个与人体关键点相匹配的图形之间的图形尺寸、图形形状以及图形内部填充的色彩参数可以完全不同,也可以完全相同或部分相同。
80.在一些可能的实现方式中,通过与人体关键点所属的身体部位相匹配的图形参数,确定与人体关键点相匹配的图形。即上述步骤s201可以通过以下步骤s211和步骤s212来实现:
81.步骤s211,确定与所述人体关键点所属的身体部位相匹配的图形参数。
82.在一些实施例中,可以是对人体关键点所属的身体部位进行识别后,基于识别结果,按照事先设定好的映射关系表,确定与人体关键点相匹配的图形参数。其中,该映射关系表中包括每一人体关键点匹配的图形参数,如:图形尺寸、图形形状以及图形内部填充的图案或色彩参数。
83.在一些实施例中,与人体关键点所属的身体部位相匹配的图形参数包括但不限于:图形尺寸、图形形状以及图形内部填充的图案或色彩参数等。同时两个与人体关键点相匹配的图形之间可以形状相同,尺寸不同,也可以形状不同,尺寸不同,还可以形状尺寸均相同。示例性地,与肩部关键点相匹配的图形参数为:半径为第一半径的圆形、图形填充色
彩参数为第一参数,与肘部关键点相匹配的图形参数为:半径为第二半径的圆形、图形填充色彩参数为第二参数,与脚踝关键点相匹配的图形参数为:边长为第一边长的正方向,图形填充色彩参数为第三参数;其中,第一半径大于第二半径,第一边长大于第二半径且小于第一半径,第一参数和第二参数相同,与第三参数不同。示例性地,第一半径为2厘米,第二半径为1厘米且第一边长为1.5厘米,同时第一参数为白色,第二参数为红色以及第三参数为蓝色。
84.步骤s212,基于所述图形参数,确定与所述人体关键点相匹配的图形。
85.在一些实施例中,基于与人体关键点所属的身体部位相匹配的图形参数,确定与人体关键点相匹配的图形。示例性地,基于与膝盖关键点相匹配的图形参数中图形尺寸为第一尺寸、图形形状为圆形,确定与膝盖关键点相匹配的图形为半径为第一尺寸的圆形;基于与肩部关键点相匹配的图形参数中图形尺寸为第二尺寸、图形形状为正方形,确定与肩部关键点相匹配的图形为边长为第二尺寸的正方形。如此,通过关键点所属的身体部位确定对应的图形,能够细化每一人体关键点对应的图形,进而能够提高基于与人体关键点相匹配的图形确定人体的动作图标的准确度。
86.步骤s202,基于与所述人体关键点相匹配的图形和所述人体关键点的位置信息,生成所述人体的动作图标。
87.在一些实施例中,首先,可以基于与每一人体关键点相匹配的图形,对每一人体关键点的位置信息进行标记,例如以人体关键点为图形中心生成图形标记,以分别确定人体的头部图标、肩部图标、肘部图标、腕部图标、臀部图标、膝盖图标以及脚踝图标;其次,对上述多个图标进行拼接确定人体的头部图标和肢体图标,最后,基于人体的头部图标和肢体图标,生成人体的动作图标。
88.在一些实施例中,通过每一人体关键点对应的图形以及待检测图像中每一人体关键点的位置信息,生成与待检测图像中人体对应的动作图标。如此,能够使得生成人体的动作图标与待检测图像中的人体所呈现的姿态信息更加匹配。
89.在一些实施例中,在人体关键点包括头部关键点、上肢关键点以及下肢关键点的情况下,基于与头部关键点、上肢关键点以及下肢关键点相匹配的图形以及对应的位置信息,分别生成人体的头部图标、上肢图标以及下肢图标,进而基于头部图标、上肢图标以及下肢图标生成人体的动作图标。如此,能够高效且精准对生成与待检测图像中的人体姿态信息相匹配的动作图标。如图3所示,图3为本技术实施例提供的图标生成方法的第三种实现流程示意图;结合图1至图3所示的步骤进行以下说明:
90.步骤s301,基于与所述头部关键点相匹配的图形和所述头部关键点的位置信息,生成所述人体的头部图标。
91.在一些实施例中,可以是采用与头部关键点相匹配的图形,对待检测图像中的头部关键点的位置信息进行标记,以生成人体的头部图标;也可以是将与头部关键点相匹配的图形,覆盖至待检测图像中头部关键点的位置信息所对应的区域,并对与头部关键点相匹配的图形进行填充,以生成人体的头部图标。
92.在一些实施例中,可以是采用与头部关键点相匹配的图形,对一个待标记图像或待标记画布中的第一区域进行标记,从而生成一个与待检测图像中头部动作相同的图标。
93.在一些实施例中,在所述头部关键点包括头顶关键点和脖子关键点的情况下,可
以分别基于脖子关键点和头顶关键点对应的位置信息,以及与头部关键点相匹配的图形,确定头部图标,即上述步骤s301可以通过以下步骤s311和步骤s312来实现:
94.步骤s311,基于所述头顶关键点的位置信息、所述脖子关键点的位置信息以及与所述头部关键点相匹配的图形,确定标识图形。
95.在一些实施例中,可以是采用与头部关键点(此处可以指代头顶关键点和/或脖子关键点)相匹配的图形,比如可以是圆形或正方形,将头顶关键点和脖子关键点在待检测图像中的位置区域进行覆盖,同时基于头顶关键点的位置信息和脖子关键点的位置信息之间的距离,对与头部关键点相匹配的图形进行调整,以得到标识图形。
96.步骤s312,对所述标识图形进行填充,得到所述头部图标。
97.在一些实施例中,可以按照事先设定好的色彩参数对标识图形进行颜色填充或渲染,以得到头部图标;也可以是按照事先设定好的图案对标识图形内部区域进行填充,以得到头部图标。如此,能够使得确定的头部图标与待检测图像中的人体的头部区域更加匹配。
98.步骤s302,基于与所述上肢关键点相匹配的图形和所述上肢关键点的位置信息,生成所述人体的上肢图标。
99.在一些实施例中,可以是采用与上肢关键点相匹配的图形,对待检测图像中的上肢关键点的位置信息进行标记,以生成人体的上肢图标;也可以是将与上肢关键点相匹配的图形,覆盖至待检测图像中上肢关键点的位置信息所对应的区域,并对与上肢关键点相匹配的图形进行填充,以生成人体的上肢图标;其中,上肢图标可以是以多边形表示的图标。在一些实施例中,该上肢关键点包括左上肢关键点和右上肢关键点,即包括左右肩部关键点、左右肘部关键点以及左右腕部关键点;即可以采用与左右肩部关键点、左右肘部关键点以及左右腕部关键点分别相匹配的图形,对待检测图像中的每一上肢关键点对应的位置信息进行标记,然后按照人体上肢结构模型,对上述多个图形进行连接,以生成与人体的上肢相匹配的图形,最后对与人体的上肢相匹配的图形进行填充,以得到人体的上肢图标。其中,人体上肢结构模型表示人体中的肩





前臂



手依次连接的顺序,对应到人体关键点中,即表示肩部关键点

肘部关键点

腕部关键点依次连接的顺序。
100.步骤s303,基于与所述下肢关键点相匹配的图形和所述下肢关键点的位置信息以及所述腰部关键点的位置信息,生成所述人体的下肢图标。
101.在一些实施例中,可以是采用与下肢关键点相匹配的图形,对待检测图像中的下肢关键点的位置信息进行标记,以生成人体的下肢图标;也可以是将与下肢关键点相匹配的图形,覆盖至待检测图像中下肢关键点的位置信息所对应的区域,并对与下肢关键点相匹配的图形进行填充,以生成人体的下肢图标;其中,下肢图标可以是以多边形表示的图标。
102.在一些实施例中,该下肢关键点包括左下肢关键点和右下肢关键点,即包括左右臀部关键点、左右膝盖关键点以及左右脚踝关键点;即可以采用与左右臀部关键点、左右膝盖关键点以及左右脚踝关键点分别相匹配的图形,对待检测图像中的每一下肢关键点对应的位置信息进行标记,然后按照人体下肢结构模型,对上述多个图形进行连接,以生成与人体的下肢相匹配的图形,最后对与人体的下肢相匹配的图形进行填充,以得到人体的下肢图标。其中,人体下肢结构模型表示人体中的臀







足依次连接的顺序,对应到人体关键点中,即表示臀部关键点

膝盖关键点

脚踝关键点依次连接的顺序。
103.步骤s304,基于所述头部图标、所述上肢图标以及所述下肢图标,生成所述人体的动作图标。
104.在一些实施例中,可以将该头部图标、上肢图标以及下肢图标进行组合,以生成人体的动作图标,也可以是将待检测图像中的头部图标、上肢图标以及下肢图标统一按照第一色彩参数进行填充,同时对该待检测图像中除头部图标、上肢图标以及下肢图标之外的区域按照第二色彩参数进行填充,以生成人体的动作图标;其中,第一色彩参数与第二色彩参数不同。如此,能够高效且精准生成与待检测图像中的人体姿态信息相匹配的动作图标。
105.在一些实施例中,可以是采用与头部关键点相匹配的图形、与上肢关键点相匹配的图形、与下肢关键点相匹配的图形,按照头部关键点的位置信息、上肢关键点的位置信息以及下肢关键点的位置信息之间的位置关系,在一个待标记图像或待标记画布中进行标记,从而生成一个与待检测图像中人体的姿态信息相同或相似的人体的动作图标。
106.在一些可能的实现方式中,可以对待检测图像中的头部图标、上肢图标以及下肢图标进行统一渲染,以使得在待检测图像中将人体的头部图标、上肢图标以及下肢图标与其他区域进行区分,进而生成识别度更高的人体的动作图标,即上述步骤s304可以通过以下过程来实现:
107.第一步,采用第一色彩参数,在所述待检测图像中,对所述头部图标、所述上肢图标以及所述下肢图标进行渲染,得到中间图像。
108.在一些实施例中,第一色彩参数可以是事先设定好的参数。其中,中间图像为,采用第一色彩参数对头部图标、上肢图标以及下肢图标进行渲染之后的得到的。该中间图像的画面包括:采用第一色彩参数渲染后的头部图标、上肢图标以及下肢图标,以及除这些图标之外的背景区域。其中,背景区域可以是黑白的区域还可以是彩色的区域。
109.第二步,采用第二色彩参数,对所述中间图像的背景区域进行渲染,得到所述人体的动作图标。
110.在一些实施例中,背景区域为中间图像的画面内容中除头部图标、上肢图标以及下肢图标之外所占据的区域。无论中间图像中的背景区域的颜色是黑白还是彩色,均可按照用户需求,采用第二色彩参数对背景区域进行渲染,以将背景区域的颜色渲染为第二色彩参数对应的颜色,如此,能够更好的满足用户需求。如图4所示,为本技术实施例提供的一种人体的动作图标的示意图;其中,人体的动作图标所对应的图像中,动作图标所占据的区域,以及除动作图标之外的背景区域,以不同的显示方式进行显示。
111.在一些实施例中,采用第一色彩参数对待检测图像中的头部图标、上肢图标以及下肢图标进行统一渲染,并采用第二色彩参数对待检测图像中除头部图标、上肢图标以及下肢图标之外的背景区域进行渲染,能够使得待检测图像中更加凸显人体的动作图标,同时能够使得生成的动作图标的色彩参数可以随需求而定,进而能够提高生成的动作图标的灵活易用性。
112.在一些实施例中,在所述上肢关键点包括肩部关键点、肘部关键点以及腕部关键点的情况下,同时基于肩部关键点、肘部关键点以及腕部关键点的相关信息,比如对应的图形和位置信息,来生成人体的上肢图标,即上述步骤s302可以通过以下步骤s321至步骤s324的方式来实现:
113.步骤s321,基于所述肩部关键点的位置信息和与所述肩部关键点相匹配的图形,
确定第一图形。
114.在一些实施例中,可以采用与肩部关键点相匹配的图形,对待检测图像中的肩部关键点的位置信息进行标记,以生成表征肩部关键点的第一图形;也可以是将与肩部关键点相匹配的图形,覆盖至待检测图像中肩部关键点的位置信息所对应的区域,并对与肩部关键点相匹配的图形进行填充,以生成表征肩部关键点的第一图形。
115.在一些实施例中,可以是采用与肩部关键点相匹配的图形,对一个待标记图像或待标记画布中的第二区域进行标记,从而生成一个与待检测图像中肩部动作相同的图标。其中,第二区域与上文提到的第一区域之间的第一位置关系,与待检测图像中的头部关键点的位置信息与肩部关键点的第二位置关系之间,一一对应。
116.步骤s322,基于所述肘部关键点的位置信息和与所述肘部关键点相匹配的图形,确定第二图形。
117.步骤s323,基于所述腕部关键点的位置信息和与所述腕部关键点相匹配的图形,确定第三图形。
118.在一些可能的实现方式中,分别通过步骤s322和步骤s323的实现过程与步骤s321的实现过程类似,即同时基于相关关键点的位置信息以及对应的图形,以确定第二图形和第三图形。
119.在一些实施例中,肩部关键点、肘部关键点以及腕部关键点分别包括左右肩部关键点、左右肘部关键点以及左右腕部关键点。其中,与肩部关键点、肘部关键点以及与腕部关键点相匹配的图形的形状可以相同,也可不同;同时与肩部关键点相匹配的图形所对应的第一面积,大于与肘部关键点相匹配的图形所对应的第二面积,且与肘部关键点相匹配的图形所对应的第二面积,大于与腕部关键点所对应的第三面积。示例性地,在与肩部关键点、肘部关键点以及与腕部关键点相匹配的图形形状相同,且均为圆形的情况下,与肩部关键点相匹配的第一圆形的第一半径,大于与肘部关键点相匹配的第二圆形的第二半径,与肘部关键点相匹配的第二圆形的第二半径,大于与腕部关键点相匹配的第三圆形的第三半径。
120.在一些实施例中,因待检测图像中的人体姿态呈现站立、运动或半蹲等,进而肩部关键点、肘部关键点以及腕部关键点在待检测图像中的相对位置可以是上下、左右等,即在待检测图像中,第一图形、第二图形以及第三图形的相对位置可以是上下、左右等。
121.步骤s324,对所述第一图形、所述第二图形以及所述第三图形进行拼接,生成所述上肢图标。
122.在一些实施例中,依次对第一图形、第二图形以及第三图形进行拼接,以生成人体的上肢图标;其中,人体的上肢图标包括左上肢图标和右上肢图标;同时左上肢图标和右上肢图标各自对应的图形形状可以相同,也可不同,且左上肢图标和右上肢图标在待检测图像中的相对位置可以是部分重合、相邻或远离等。如此,同时基于肩部关键点、肘部关键点以及腕部关键点各自对应的位置信息以及与其相匹配的图形,确定人体的上肢图标,能够使得生成的上肢图标与待检测图像中人体的上肢姿态信息更加匹配。
123.在一些可能的实现方式中,可以通过人体上肢结构模型对应的连接方式,对第一图形、第二图形以及第三图形进行连接,得到对应的人体的上肢图标,即上述步骤s324可以通过以下过程来实现:
124.第一步,按照人体上肢结构模型,确定第一连接方式。
125.在一些实施例中,人体上肢结构模型表示人体中的肩





前臂



手依次连接的顺序,对应到人体关键点中,即表示肩部关键点

肘部关键点

腕部关键点依次连接的顺序。其中,按照上肢结构模型确定的第一连接方式可以指代将人体关键点中的肩部关键点与肘部关键点进行连接,肘部关键点与腕部关键点进行连接;其中,左上肢对应的关键点按照第一连接方式连接,右上肢对应的关键点按照第一连接方式连接。
126.第二步,基于所述第一连接方式,连接所述第一图形、所述第二图形以及所述第三图形,得到第一多边形。
127.在一些实施例中,基于确定的第一连接方式,将与肩部关键点对应的第一图形,和与肘部关键点对应的第二图形进行连接,同时将与肘部关键点对应的第二图形,和与腕部关键点对应的第三图形进行连接,以得到第一多边形。其中,该第一多边形包括左上肢对应的多边形和右上肢对应的多边形。
128.在一些实施例中,假设第一图形、第二图形以及第三图形为半径尺寸依次减小的圆形(此处可以是以左上肢为例,也可以是以右上肢为例);首先,将第一图形的第一圆心和第二图形的第二圆心连接,得到第一连接线,将第二图形的第二圆心和第三图形的第三圆心进行连接,得到第二连接线;其次,分别确定垂直于第一连接线且经过第一圆心的第一垂直线、垂直于第一连接线且经过第二圆心的第二垂直线、垂直于第二连接线且经过第二圆心的第三垂直线、垂直于第二连接线且经过第三圆心的第四垂直线;然后,求取第一垂直线与第一图形的两个交叉点、第二垂直线与第二图形的两个交叉点、第三垂直线与第二图形的两个交叉点以及第四垂直线与第三图形的两个交叉点;最后,按照第一连接方式,连接上述八个交叉点,得到第一多边形。
129.其中,按照第一连接方式,连接上述八个交叉点,可以是首先,分别将第一垂直线与第一图形的两个交叉点、对应地和第二垂直线与第二图形的两个交叉点进行连接,得到两条第一平行线,将第三垂直线与第二图形的两个交叉点、对应地和第四垂直线与第三图形的两个交叉点进行连接,得到两条第二平行线;将第二垂直线与第二图形的两个交叉点、对应地和第三垂直线与第二图形的两个交叉点进行连接,得到两条第三平行连接线;然后,采用具有预设弧度曲线连接第一垂直线与第一图形的两个交叉点,得到第一弧线,以及连接第四垂直线与第三图形的两个交叉点,得到第二弧线;最后,基于第一平行线、第三平行线、第二平行线、第一弧线以及第二弧线,以得到第一多边形。
130.在一些实施例中,左上肢对应的多边形和右上肢对应的多边形可以进行连接,得到上肢图标。其中,左上肢对应的多边形和右上肢对应的多边形的连接方式可以参考第一连接方式。
131.在一些实施例中,首先,基于左肩关键点的位置信息和右肩关键点的位置信息,确定左肩关键点和右肩关键点的中间点,并将该中间点确定为人体的第一上肢关键点,同时将中间点的位置信息,确定为人体的第一上肢关键点的位置信息;进而基于与左肩关键点相匹配的图形和与右肩关键点相匹配的图形,确定与第一上肢关键点相匹配的图形,此处确定图形的实现方式,与通过与左臀关键点相匹配的图形和与右臀关键点相匹配的图形,确定与腰部关键点相匹配的图形的实现方式相似。其次,可以基于第一上肢关键点的位置信息以及与第一上肢关键点相匹配的图形,确定第一图形。然后,可以根据上述实施例确定
的第二图形以及第三图形,来共同确定人体的上肢图标;其中,该上肢图标中是基于第一上肢关键点连接的左上肢图标和右上肢图标。
132.同时,基于肩部关键点、肘部关键点以及腕部关键点各自对应的位置信息以及与其相匹配的图形,确定的人体的上肢图标中,是分别基于左肩关键点对应的左上肢图标和右肩关键点对应的右上肢图标。
133.第三步,对所述第一多边形进行填充,得到所述上肢图标。
134.在一些实施例中,可以按照事先设定好的色彩参数对第一多边形进行颜色填充或渲染,以得到上肢图标;也可以是按照事先设定好的图案对第一多边形内部区域进行填充,以得到上肢图标。如此,能够使得确定的上肢图标与待检测图像中的人体的上肢体区域更加匹配。
135.在一些可能的实现方式中,在所述下肢关键点包括臀部关键点、膝盖关键点以及脚踝关键点的情况下,同时基于臀部关键点、膝盖关键点以及脚踝关键点的相关信息,比如对应的图形和位置信息,来生成人体的下肢图标,即上述步骤s303可以通过以下步骤s331至步骤s334的方式来实现:
136.步骤s331,基于与臀部关键点的位置信息和与臀部关键点相匹配的图形,确定第四图形。
137.在一些实施例中,可以采用与臀部关键点相匹配的图形,对待检测图像中的臀部关键点的位置信息进行标记,以生成表征臀部关键点的第四图形;也可以是将与臀部关键点相匹配的图形,覆盖至待检测图像中臀部关键点的位置信息所对应的区域,并对与臀部关键点相匹配的图形进行填充,以生成表征臀部关键点的第四图形。
138.在一些实施例中,可以是采用与臀部关键点相匹配的图形,对一个待标记图像或待标记画布中的第三区域进行标记;从而生成一个与待检测图像中臀部动作相同的图标。其中,第三区域与上文提到的第一区域之间的第三位置关系,与待检测图像中的头部关键点的位置信息与臀部关键点的第四位置关系之间,一一对应。
139.在一些可能的实现方式中,在臀部关键点包括左臀关键点和右臀关键点的情况下,可以通过左臀关键点和右臀关键点各自对应的图形以及位置信息,确定腰部关键点的位置信息以及与腰部关键点相匹配的图形,进而基于腰部关键点的位置信息和与腰部关键点相匹配的图形,确定第四图形,即上述步骤s331可以通过以下过程来实现:
140.第一步,基于左臀关键点的位置信息和右臀关键点的位置信息,确定所述左臀关键点和所述右臀关键点的中间点。
141.在一些实施例中,可以对待检测图像中识别到的左臀关键点与右臀关键点进行连接,以确定两者之间的中间点,即可以通过左臀关键点的位置信息和右臀关键点的位置信息,确定处于两者连线的中间点。
142.第二步,将所述中间点确定为所述人体的腰部关键点。
143.在一些实施例中,将待检测图像中的位于左臀关键点和右臀关键点的中间点,确定为人体的腰部关键点。
144.第三步,将所述中间点的位置信息,确定为所述人体的腰部关键点的位置信息。
145.在一些实施例中,可以基于图像识别算法对中间点进行识别,以得到中间点的位置信息,也可以基于左臀关键点的位置信息和右臀关键点的位置信息,确定中间点的位置
信息,即腰部关键点的位置信息。
146.第四步,基于与所述左臀关键点相匹配的图形和与所述右臀关键点相匹配的图形,确定与所述腰部关键点相匹配的图形。
147.在一些实施例中,可以将与左臀关键点相匹配的图形和与右臀关键点相匹配的图形进行融合,从而得到与腰部关键点相匹配的图形。示例性地,在与左臀关键点相匹配的图形和与右臀关键点相匹配的图形的图形尺寸以及图形形状均相同的情况下,可以按照预设图形尺寸对与左臀关键点相匹配的图形,或与右臀关键点相匹配的图形中的任一图形进行调整,以得到与腰部关键点相匹配的图形。
148.在一些实施例中,也可以基于包括每一人体关键点匹配的图形参数的映射关系表,来确定与腰部关键点相匹配的图形。
149.第五步,基于所述腰部关键点的位置信息和与所述腰部关键点相匹配的图形,确定所述第四图形。
150.在一些实施例中,可以采用与腰部关键点相匹配的图形,对待检测图像中的腰部关键点的位置信息进行标记,以生成表征腰部关键点的第四图形;也可以是将与腰部关键点相匹配的图形,覆盖至待检测图像中腰部关键点的位置信息所对应的区域,并对与腰部关键点相匹配的图形进行填充,以生成表征腰部关键点的第四图形。
151.在一些实施例中,可以是采用与腰部关键点相匹配的图形,对一个待标记图像或待标记画布中的第四区域进行标记;从而生成一个与待检测图像中腰部动作相同的图标。其中,第四区域与上文提到的第一区域之间的第五位置关系,与待检测图像中的头部关键点的位置信息与腰部关键点的第六位置关系之间,一一对应。如此,能够实现便捷式地生成与待检测图像中人体的腰部姿态相关的动作图标。
152.步骤s332,基于所述膝盖关键点的位置信息和与所述膝盖关键点相匹配的图形,确定第五图形。
153.步骤s333,基于所述脚踝关键点的位置信息和与所述脚踝关键点相匹配的图形,确定第六图形。
154.在一些可能的实现方式中,分别通过步骤s332和步骤s333的实现过程与步骤s331的实现过程类似,即同时基于相关关键点的位置信息以及对应的图形,以确定第五图形和第六图形。
155.在一些实施例中,臀部关键点、膝盖关键点以及脚踝关键点分别包括左右臀部关键点、左右膝盖关键点以及左右脚踝关键点。其中,与臀部关键点、脚踝关键点以及膝盖关键点相匹配的图形的形状可以相同,也可不同;同时与臀部关键点相匹配的图形所对应的第四面积,大于与膝盖关键点相匹配的图形所对应的第五面积,且与膝盖关键点相匹配的图形所对应的第五面积,大于与脚踝关键点所对应的第六面积。示例性地,在与臀部关键点、膝盖关键点以及脚踝关键点相匹配的图形形状相同,且均为圆形的情况下,与臀部关键点相匹配的第四圆形的第四半径,大于与膝盖关键点相匹配的第五圆形的第五半径,与膝盖关键点相匹配的第五圆形的第五半径,大于与脚踝关键点相匹配的第六圆形的第六半径。
156.在一些实施例中,因待检测图像中的人体姿态呈现站立、运动或半蹲等,进而臀部关键点、膝盖关键点以及脚踝关键点在待检测图像中的相对位置可以是上下、左右等,即在
待检测图像中,第四图形、第五图形以及第六图形的相对位置可以是上下、左右等。
157.步骤s334,对所述第四图形、所述第五图形以及所述第六图形进行拼接,生成所述下肢图标。
158.在一些实施例中,依次对第四图形、第五图形以及第六图形进行拼接,以生成人体的下肢图标;其中,人体的下肢图标包括左下肢图标和右下肢图标;同时左下肢图标和右下肢图标各自对应的图形形状可以相同,也可不同,且左下肢图标和右下肢图标在待检测图像中之间的相对位置可以是部分重合、相邻或远离等。如此,同时基于臀部关键点(或腰部关键点)、膝盖关键点以及脚踝关键点各自对应的位置信息以及与其相匹配的图形,确定人体的下肢图标,能够使得生成的下肢图标与待检测图像中人体的下肢姿态信息更加匹配。
159.在一些实施例中,基于臀部关键点、膝盖关键点以及脚踝关键点各自对应的位置信息以及与其相匹配的图形,确定人体的下肢图标;其中,该下肢图标是分别基于左臀关键点对应的左下肢图标和右臀关键点对应的右下肢图标。同时基于腰部关键点、膝盖关键点以及脚踝关键点各自对应的位置信息以及与其相匹配的图形,确定人体的下肢图标,其中,该下肢图标是基于腰部关键点连接的左下肢图标和右下肢图标。
160.在一些实施例中,下肢图标是基于左臀关键点对应的第四图形和右臀关键点对应的第四图形连接的左下肢图标和右下肢图标。
161.在一些实施例中,下肢图标是左下肢图标和右下肢图标未连接的图标。
162.在一些可能的实现方式中,可以通过人体下肢结构模型对应的连接方式,对第四图形、第五图形以及第六图形进行连接,得到对应的人体的下肢图标,即上述步骤s334可以通过以下过程来实现:
163.第一步,按照人体下肢结构模型,确定第二连接方式。
164.在一些实施例中,人体下肢结构模型表示人体中的臀







足依次连接的顺序,对应到人体关键点中,即表示臀部关键点

膝盖关键点

脚踝关键点依次连接的顺序。按照人体下肢结构模型确定的第二连接方式可以指代将人体关键点中的臀部关键点(或腰部关键点)与膝盖关键点进行连接,膝盖关键点与脚踝关键点进行连接;其中,左下肢对应的关键点按照第二连接方式连接,右下肢对应的关键点按照第二连接方式连接。
165.第二步,基于所述第二连接方式,连接所述第四图形、所述第五图形以及所述第六图形,得到第二多边形。
166.在一些实施例中,基于确定的第二连接方式,将与膝盖关键点对应的第五图形,和与脚踝关键点对应的第六图形进行连接,同时将与膝盖关键点对应的第五图形,和与臀部关键点(或腰部关键点)对应的第四图形进行连接,以得到第二多边形。其中,该第二多边形包括左下肢对应的多边形和右下肢对应的多边形。
167.在一些实施例中,假设第四图形、第五图形以及第六图形为半径尺寸依次减小的圆形(此处可以是以左下肢为例,也可以是以右下肢为例);首先,将第四图形的第四圆心和第五图形的第五圆心连接,得到第三连接线,将第五图形的第五圆心和第六图形的第六圆心进行连接,得到第四连接线;其次,分别确定垂直于第三连接线且经过第四圆心的第五垂直线、垂直于第三连接线且经过第五圆心的第六垂直线、垂直于第四连接线且经过第五圆心的第七垂直线、垂直于第四连接线且经过第六圆心的第八垂直线;然后,求取第五垂直线与第四图形的两个交叉点、第六垂直线与第五图形的两个交叉点、第七垂直线与第五图形
的两个交叉点以及第八垂直线与第六图形的两个交叉点;最后,按照第二连接方式,连接上述八个交叉点,得到第二多边形。
168.其中,按照第二连接方式,连接上述八个交叉点,可以是首先,分别将第五垂直线与第四图形的两个交叉点、对应地和第六垂直线与第五图形的两个交叉点进行连接,得到两条第四平行线,将第七垂直线与第五图形的两个交叉点、对应地和第八垂直线与第六图形的两个交叉点进行连接,得到两条第五平行线;将第六垂直线与第五图形的两个交叉点、对应地和第七垂直线与第五图形的两个交叉点进行连接,得到两条第六平行连接线;然后,采用具有预设弧度曲线连接第五垂直线与第四图形的两个交叉点,得到第三弧线,以及连接第八垂直线与第六图形的两个交叉点,得到第四弧线;最后,基于第四平行线、第五平行线、第六平行线、第三弧线以及第四弧线,以得到第二多边形。
169.第三步,对所述第二多边形进行填充,得到所述下肢图标。
170.在一些实施例中,可以按照事先设定好的色彩参数对第二多边形进行颜色填充或渲染,以得到下肢图标;也可以是按照事先设定好的图案对第二多边形内部区域进行填充,以得到下肢图标。如此,能够使得确定的下肢图标与待检测图像中的人体的下肢体区域更加匹配。
171.本技术实施例提供的图标生成方法中,在所述待检测图像为连续的至少两帧待处理图像的情况下,图标生成装置还可以执行以下步骤a1和步骤a2:
172.步骤a1,获取每帧待处理图像中人体的动作图标。
173.在一些实施例中,通过上述实施例的实现过程,以获取每帧待处理图像中人体的动作图标;其中,每两帧待处理图像中人体的动作图标可以相同,也可以不同。
174.步骤a2,基于所述至少两帧待处理图像的时序信息和所述每帧待处理图像中人体的动作图标,生成所述人体的人体动作动画。
175.在一些实施例中,可以是将时序上连续的待处理图像中检测到的人体的动作图标按照该待处理图像的时序信息进行排序组合,以生成人体的人体动作动画。如此,能够基于连续的多帧图像中生成的人体的动作图标,生成与人体的动作姿态变化相匹配的人体动作动画。
176.在一些实施例中,也可以是按照预设帧间隔,按照上文提到的基于人体关键点的属性信息,确定部分待处理图像中人体的动作图标,而在间隔的预设帧图像中,可根据人体动作预测算法,确定人体关键点的位置变化,进而生成预设帧的人体的动作图标;然后按照部分待处理图像对应的时序信息,将生成的人体的动作图标进行组合排序,以生成人体的人体动作动画。
177.在一些实施例中,在确定至少部分待处理图像中人体的动作图标的同时,还可以执行以下步骤以得到呈现数据更加丰富且具体的动作图标:
178.首先,确定所述待处理图像中人体的动作类型。
179.在一些实施例中,通过对待处理图像中人体的人体关键点进行检测,以确定多个人体关键点,基于多个人体关键点之间的相对位置关系,确定待处理图像中人体的姿态信息,进而基于人体的姿态信息确定人体的动作类型;其中,人体的动作类型包括:举重、跑步、射击等。
180.其次,基于与所述动作类型相匹配的动作名称,对所述待处理图像中人体的动作
图标进行标记,得到所述待处理图像中人体的目标动作图标。
181.在一些实施例中,可以采用与动作类型相匹配的动作名称,对待处理图像中人体的动作图标进行标记,以得到画面内容包括动作名称的目标动作图标。其中,动作名称可以采用任意形式的文字进行表示,同时在人体的动作图标中进行标记的位置信息可以是上、下、左、右或中等。
182.在一些实施例中,可以在确定人体的动作类型为举重的情况下,将“举重”标记在该人体的动作图标中,以得到画面内容包括“举重”的目标动作图标;也可以在确定人体的动作类型为跑步的情况下,将“running”标记在该人体的动作图标中,以得到画面内容包括“running”的目标动作图标。如此,能够使得生成的动图图标所表达的信息更加丰富。
183.下面结合一个具体实施例对上述图标生成方法进行说明,然而值得注意的是,该具体实施例仅是为了更好地说明本技术实施例,并不构成对本技术实施例的不当限定。
184.相关技术中,动作图标的生成主要由专业设计软件来完成。但是,专业软件泛化性差,无法被大多数用户直接使用即门槛较高,同时,利用专业软件设计的图标复用性差,不够便捷,每次动作更改都需要重头设计,花费大量时间,不够灵活。因此,亟需一种更加灵活的动作图标生成方法。
185.基于此,本技术实施例提供一种图标生成方法,可以生成与连续视频帧中人体姿态信息对应的人体动作动画,具体可以通过以下过程来实现:
186.第一步,将人体整体显示在摄像画面内,其次利用人体检测算法实现对每一帧视频帧中人体的识别,并通过姿态估计算法检测出人体的14个人体关键点。14个人体关键点分别包括:头顶、脖子、左右肩、左右手肘、左右手腕、左右臀、左右膝盖以及左右脚踝。
187.其中,首先可以对当前输入的视频帧,利用人体检测算法检测视频帧中的人体检测框以及人体检测框在该视频帧中的位置信息;其次,在检测出来的人体检测框中,利用人体关键点检测方法检测人体关键点,并返回每一人体的位置信息。
188.第二步,可以是将头顶关键点和脖子关键点对应的属性信息,比如:位置信息以及所属的身体部位输入到相关代码库(opencv)中的minenclosingcricle函数中,以寻找头顶关键点和脖子关键点的中心点和半径,并通过opencv中的circle函数生成人体的头部图标,然后利用左右肩关键点、左右肘部关键点以及左右腕部生成人体的上肢图标,利用左右臀关键点、左右膝盖关键点以及左右脚踝关键点生成人体的下肢图标。如图5a所示,为本技术实施例提供的一种确定人体的动作图标的场景示意图;图5a分别给出两个视频帧中具有不同待测人体姿态的情况;其中,501为将两帧具有不同人体姿态信息的视频帧输入至相关检测模型,以实现对人体的检测,即确定人体检测框;进而对该人体检测框进行人体关键点的识别,即得到502中两个不同人体姿态下对应的人体关键点信息如502中的黑点所示,进而基于识别到的人体关键点信息各自生成对应的人体的动作图标,即503。
189.第二步中基于人体关键点的属性信息,生成人体的动作图标,可以划分为以下四个小步骤:
190.首先,基于左右臀关键点的位置信息,确定腰部关键点的位置信息,即将左右臀的两个关键点的中心点,确定为人体的腰部关键点,同时将中心点的位置信息确定为腰部关键点的位置信息。
191.其次,将头顶关键点和脖子关键点对应的信息(位置信息以及所属的身体部位)输
入至opencv中的minenclosingcricle函数,以输出为包含这两个关键点的圆的中心坐标和半径,并将该圆的中心坐标作为表示待测人体的头部位置,然后基于opencv中的circle函数将待测人体的头部图标画出,以得到待测人体的头部图标。
192.然后,利用opencv中的circle函数在左右肩关键点、左右肘部关键点以及左右腕部关键点对应的位置处画不同大小的圆,以及在腰部关键点、左右膝盖关键点以及左右脚踝关键点对应的位置处画不同的圆(其中,圆的尺寸是基于关键点所属的身体部位确定的)。如图5b所示,为本技术实施例提供的一种确定人体关键点对应图形的场景示意图;与图5a相对应,给出两个视频帧中具有不同待测人体姿态的情况;504为识别到人体关键点的示意图,505为生成与头部、上肢关键点(左右肩关键点、左右肘部关键点以及左右腕部关键点)对应的圆形,506为在505的基础上增加腰部关键点、左右膝盖关键点以及左右脚踝关键点对应的圆形的示意图。
193.最后,利用如下公式(1)求出上肢关键点(左右肩关键点、左右肘部关键点以及左右腕部关键点)、下肢关键点(左右膝盖关键点以及左右脚踝关键点)以及腰部关键点上对应的拼接点。并将每一肢体区域求取的拼接点进行连接,并利用opencv中的fillconvexpoly函数对拼接点包围区域进行填充,生成动作图标的上肢图标以及下肢图标。
[0194][0195]
其中,(x0,y0)为上肢关键点、下肢关键点以及腰部关键点对应的圆心坐标,r为每个圆的半径,rad为交叉点出对应的弧度参数,(x1,y1)为对应的拼接点的坐标。如图6a所示,为本技术实施例提供的一种确定上肢图标和下肢图标的场景示意图;其中,601确定的关键点的图形,602为确定上肢关键点中每一关键点的图形以及下肢关键点中每一关键点的图形各自对应的拼接点,进而基于该拼接点确定上肢图标以及下肢图标的示意图即603。
[0196]
同时,如图6b所示,为本技术实施例提供的另一种人体的动作图标的示意图;其中,该人体的动作图标中还可以呈现与人体的动作类型相匹配的动作类型名。如图6b所示,首先可以对待检测图像中人体的姿态进行识别,以确定该人体的动作类型:垒球运动;其次,可以采用与垒球运动相关的动作名称:垒球(包括中文说明和英文说明),对待检测图像中识别出的人体的动作图标进行标记,得到具有动作类型的文字标识的目标动作图标;其中,文字的标记可随需求设定。
[0197]
此外,对于目标动作图标所对应的图像,可以采用不同显示方式,比如:不同的色彩参数或不同的填充图案,对人体的肢体区域和其他区域进行显示。如图6b中所示,将能够包括人体的肢体区域的最小圆,以及最小圆中人体的肢体区域以两种不同显示方式进行显示。
[0198]
本技术实施例提供的图标生成方法,首先,获取画面内容包括人体的待检测图像;其次,在所述待检测图像中,确定所述人体的人体关键点;确定所述人体关键点的属性信息;最后,基于所述属性信息,生成所述人体的动作图标。如此,基于待检测图像中的人体关键点的属性信息,确定与待检测图像中的人体对应的动作图标,能够实现实时且便捷式地生成与待检测图像中的人体相匹配的动作图标。即不仅可以实现对图像画面内容包括人体的图像数据进行动作图标生成,还可以实现对视频流中的人体动作进行检测,以实现实时
动作图标捕捉;此外,还可以按照相关需求指定图标背景和虚拟人物颜色,以增加确定的动作图标的丰富性。同时采用人体姿态估计方法,利用简单的opencv函数实现人体动作图标的生成,能够降低过于依赖专业设计人员和设计软件的需求,可以实现便捷式的动作捕捉,生成动态图标。
[0199]
基于此,可以采用本技术实施例提供的图标生成方法制作体育图标;也可以将其应用于电子设备摄像功能特效中,以实现实时特效生成;还可以利用本技术实施例提供的图标生成方法进行舞蹈和/或体育动作教学,即可按照图标样式,进行动作修正,进而使得相关舞蹈动作或体育动作更加符合图标展示内容。
[0200]
基于前述实施例,本技术实施例提供一种图标生成装置,图7为本技术实施例提供的一种图标生成装置的组成结构示意图,如图7所示,所述图标生成装置700包括:
[0201]
获取模块710,用于获取画面内容包括人体的待检测图像;
[0202]
第一确定模块720,用于在所述待检测图像中,确定所述人体的人体关键点;
[0203]
第二确定模块730,用于确定所述人体关键点的属性信息;
[0204]
生成模块740,用于基于所述属性信息,生成所述人体的动作图标。
[0205]
在一些实施例中,第一确定模块720,还用于在所述待检测图像中,确定所述人体的人体检测框;在所述人体检测框中,识别多个人体关键点;第二确定模块730,还用于在所述人体检测框中,确定所述多个人体关键点的位置信息。
[0206]
在一些实施例中,生成模块740,所述属性信息包括:人体关键点所属的身体部位和位置信息,包括:图形确定子模块,用于基于所述人体关键点所属的身体部位,确定与所述人体关键点相匹配的图形;图标生成子模块,用于基于与所述人体关键点相匹配的图形和所述人体关键点的位置信息,生成所述人体的动作图标。
[0207]
在一些实施例中,图形确定子模块,还用于确定与所述人体关键点所属的身体部位相匹配的图形参数;基于所述图形参数,确定与所述人体关键点相匹配的图形。
[0208]
在一些实施例中,在所述人体关键点包括头部关键点、上肢关键点以及下肢关键点的情况下,图标生成子模块,包括:头部图标生成子单元,用于基于与所述头部关键点相匹配的图形和所述头部关键点的位置信息,生成所述人体的头部图标;上肢图标生成子单元,用于基于与所述上肢关键点相匹配的图形和所述上肢关键点的位置信息,生成所述人体的上肢图标;下肢图标生成子单元,用于基于与所述下肢关键点相匹配的图形和所述下肢关键点的位置信息,生成所述人体的下肢图标;动作图标生成子单元,用于基于所述头部图标、所述上肢图标以及所述下肢图标,生成所述人体的动作图标。
[0209]
在一些实施例中,在所述头部关键点包括头顶关键点和脖子关键点的情况下,头部图标生成子单元,还用于基于所述头顶关键点的位置信息、所述脖子关键点的位置信息以及与所述头部关键点相匹配的图形,确定标识图形;对所述标识图形进行填充,得到所述头部图标。
[0210]
在一些实施例中,在所述上肢关键点包括肩部关键点、肘部关键点以及腕部关键点的情况下,上肢图标生成子单元,还用于基于所述肩部关键点的位置信息和与所述肩部关键点相匹配的图形,确定第一图形;基于所述肘部关键点的位置信息和与所述肘部关键点相匹配的图形,确定第二图形;基于所述腕部关键点的位置信息和与所述腕部关键点相匹配的图形,确定第三图形;对所述第一图形、所述第二图形以及所述第三图形进行拼接,
生成所述上肢图标。
[0211]
在一些实施例中,上肢图标生成子单元,还用于按照人体上肢结构模型,确定第一连接方式;基于所述第一连接方式,连接所述第一图形、所述第二图形以及所述第三图形,得到第一多边形;对所述第一多边形进行填充,得到所述上肢图标。
[0212]
在一些实施例中,在所述下肢关键点包括臀部关键点、膝盖关键点以及脚踝关键点的情况下,下肢图标生成子单元,还用于基于所述臀部关键点的位置信息和与所述臀部关键点相匹配的图形,确定第四图形;基于所述膝盖关键点的位置信息和与所述膝盖关键点相匹配的图形,确定第五图形;基于所述脚踝关键点的位置信息和与所述脚踝关键点相匹配的图形,确定第六图形;基于所述腰部关键点的位置信息和与所述腰部关键点相匹配的图形,确定第六图形;对所述第四图形、所述第五图形以及所述第六图形进行拼接,生成所述下肢图标。
[0213]
在一些实施例中,在所述臀部关键点包括左臀关键点和右臀关键点的情况下,所述下肢图标生成子单元,还用于基于所述左臀关键点的位置信息和所述右臀关键点的位置信息,确定所述左臀关键点和所述右臀关键点的中间点;将所述中间点确定为所述人体的腰部关键点;将所述中间点的位置信息,确定为所述腰部关键点的位置信息;基于与左臀部关键点相匹配的图形和右臀关键点相匹配的图形,确定与所述腰部关键点相匹配的图形;基于所述腰部关键点的位置信息和与所述腰部关键点相匹配的图形,确定所述第四图形。
[0214]
在一些实施例中,下肢图标生成子单元,还用于按照人体下肢结构模型,确定第二连接方式;基于所述第二连接方式,连接所述第四图形、所述第五图形以及所述第六图形,得到第二多边形;对所述第二多边形进行填充,得到所述下肢图标。
[0215]
在一些实施例中,动作图标生成子单元,还用于采用第一色彩参数,在所述待检测图像中,对所述头部图标、所述上肢图标以及所述下肢图标进行渲染,得到中间图像;采用第二色彩参数,对所述中间图像的背景区域进行渲染,得到所述人体的动作图标;其中,所述背景区域为所述中间图像中除所述头部图标、所述上肢图标以及所述下肢图标之外所占据的区域。
[0216]
在一些实施例中,在所述待检测图像为连续的至少两帧待处理图像的情况下,获取模块,还用于获取每帧待处理图像中人体的动作图标;生成模块,还用于基于所述至少两帧待处理图像的时序信息和所述每帧待处理图像中人体的动作图标,生成所述人体的人体动作动画。
[0217]
在一些实施例中,所述第二确定模块730,还用于确定所述待处理图像中人体的动作类型;基于与所述动作类型相匹配的动作名称,对所述待处理图像中人体的动作图标进行标记,得到所述待处理图像中人体的目标动作图标。
[0218]
需要说明的是,以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本技术装置实施例中未披露的技术细节,请参照本技术方法实施例的描述而理解。
[0219]
需要说明的是,本技术实施例中,如果以软件功能模块的形式实现上述的游戏监控方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以
使得一台计算机设备(可以是终端、服务器等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括:u盘、运动硬盘、只读存储器(read only memory,rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本技术实施例不限制于任何特定的硬件和软件结合。
[0220]
对应地,本技术实施例再提供一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,该计算机可执行指令被执行后,能够实现本技术实施例提供的图标生成方法。
[0221]
相应的,本技术实施例提供一种计算机设备,图8为本技术实施例计算机设备的组成结构示意图,如图8所示,所述设备800包括:一个处理器801、至少一个通信总线、通信接口802、至少一个外部通信接口和存储器803。其中,通信接口802配置为实现这些组件之间的连接通信。其中,通信接口802可以包括显示屏,外部通信接口可以包括标准的有线接口和无线接口。其中所述处理器801,配置为执行存储器中图像处理程序,以实现上述实施例提供的图标生成方法。
[0222]
相应的,本技术实施例再提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,所述该计算机可执行指令被处理器执行时实现上述实施例提供的图标生成方法。
[0223]
以上图标生成装置、计算机设备和存储介质实施例的描述,与上述方法实施例的描述是类似的,具有同相应方法实施例相似的技术描述和有益效果,限于篇幅,可案件上述方法实施例的记载,故在此不再赘述。对于本技术图标生成装置、计算机设备和存储介质实施例中未披露的技术细节,请参照本技术方法实施例的描述而理解。
[0224]
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术实施例的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本技术实施例的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0225]
在本技术实施例所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
[0226]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显
示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0227]
另外,在本技术实施例各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(read only memory,rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0228]
或者,本技术实施例上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术实施例各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。以上所述,仅为本技术实施例的具体实施方式,但本技术实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术实施例揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术实施例的保护范围之内。因此,本技术实施例的保护范围应以所述权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献