一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

信息生成方法、终端设备及存储介质与流程

2021-12-01 01:41:00 来源:中国专利 TAG:


1.本技术涉及人工智能技术领域,尤其涉及一种信息生成方法、终端设备及存储介质。


背景技术:

2.目前,企业或学校等机构经常会举行各种培训课程,实践中,通常需要收集与培训课程相关的一些信息,实现对培训课程的效果进行评价。如,可以让参加培训课程的所有学员填写培训效果反馈表,实现对培训课程的效果进行评价。
3.相关技术中,采用由参加培训课程的所有学员填表的方式来收集与培训课程相关的信息,以实现对培训课程的效果进行评价,该评价方式需要占用学员较多的时间,且该评价方式也非常主观,完全依赖于学员手动打分,当部分学员因为嫌麻烦,不愿意参与评价打分时,收集到的反馈信息不完整,导致对培训课程的效果进行评价的效率和准确率都不高。


技术实现要素:

4.有鉴于此,本技术实施例提供了一种信息生成方法、终端设备及存储介质,以解决相关技术中对培训课程的效果进行评价的效率和准确率都不高的问题。
5.本技术实施例的第一方面提供了一种信息生成方法,包括:
6.按照预设采集周期,采集培训过程信息,培训过程信息包括培训视频图像;
7.对培训视频图像进行人体关键点检测,得到多个人体区域图及各人体区域图所呈现的人体的关键点坐标;
8.根据各人体在整个培训过程中的关键点坐标随时间的变化情况,确定相应人体在培训过程所执行的目标动作及目标动作的执行次数;
9.根据各人体所执行的目标动作及目标动作的执行次数,确定培训氛围得分,培训氛围得分用于指示学员对培训的专注程度;
10.基于培训氛围得分,生成针对当前培训课程的评价结果信息。
11.进一步地,根据各人体在整个培训过程中的关键点坐标随时间的变化情况,确定相应人体在培训过程所执行的目标动作及目标动作的执行次数,包括:
12.在预设坐标系下,生成针对各人体的左手腕坐标曲线和右手腕坐标曲线,预设坐标系的横轴为时间轴,纵轴为相应关键点在不同时间下的关键点坐标;
13.针对每个人体,确定针对该人体的左手腕坐标曲线与右手腕坐标曲线的交点,根据各交点在时间轴上的分布间隔,确定该人体是否执行鼓掌动作及鼓掌动作的执行次数。
14.进一步地,根据各交点在时间轴上的分布间隔,确定该人体是否执行鼓掌动作及鼓掌动作的执行次数,包括:
15.计算每两个相邻交点之间的时间间隔,以及将时间间隔大于预设时长阈值的两个相邻交点分隔为两个不同的交点组,得到多个交点组;
16.针对每个交点组,若存在大于预设数目个交点,且每两个相邻交点之间的时间间
隔属于预设时间间隔范围,则确定该交点组对应一次鼓掌动作。
17.进一步地,根据各人体在整个培训过程中的关键点坐标随时间的变化情况,确定相应人体在培训过程所执行的目标动作及目标动作的执行次数,包括:
18.生成针对各人体的上下嘴唇相对位置差曲线,上下嘴唇相对位置差曲线用于描述上嘴唇关键点坐标与下嘴唇关键点坐标之间的相对位置差;
19.根据上下嘴唇相对位置差曲线的取值分布及持续变化时长,确定相应人体是否执行应答动作及应答动作的执行次数。
20.进一步地,根据上下嘴唇相对位置差曲线的取值分布及持续变化时长,确定相应人体是否执行应答动作及应答动作的执行次数,包括:
21.针对每个人体,确定该人体对应的上下嘴唇相对位置差曲线中的多个持续变化区域,若任一区域满足预设应答条件,则确定该区域对应一次应答动作;
22.其中,预设应答条件包括以下至少一项:
23.该区域的持续变化时长大于预设变化时长;
24.在该区域之前的预设参考时长内、该人体的至少一个手腕关键点的坐标值高于或等于该人体的眼部关键点的坐标值;
25.该区域内该人体的脸平面与讲师的脸平面平行,其中,脸平面为左眼关键点、右眼关键点和嘴关键点形成的平面。
26.进一步地,若培训过程信息还包括培训音频信息,则方法还包括:
27.根据培训过程中的不同时段的培训音频信息,确定讲师的讲师音频得分,其中,讲师音频得分用于指示讲师的发音标准程度,预设音频信息集中的预设音频信息对应有音频分数。
28.进一步地,根据培训过程中的不同时段的培训音频信息,确定讲师的讲师音频得分,包括:
29.提取培训过程中的不同时段的培训音频信息的音频特征,得到多个音频特征。
30.基于多个音频特征,从所提取的多个培训音频信息中确定出属于讲师的培训音频信息,记作目标音频信息;
31.从预设音频信息集中,选取与目标音频信息匹配的预设音频信息,以及将所选取的预设音频信息对应的音频分数,确定为讲师的讲师音频得分。
32.进一步地,基于培训氛围得分,生成针对当前培训课程的评价结果信息,包括:
33.根据培训氛围得分、讲师音频得分和学员出勤得分的加权和,确定当前培训课程的综合评分,以及根据综合评分,生成针对当前培训课程的评价结果信息,其中,学员出勤得分为实际出勤学员人数与期望出勤学员人数的比值。
34.本技术实施例的第二方面提供了一种信息生成装置,包括:
35.信息采集单元,用于按照预设采集周期,采集培训过程信息,培训过程信息包括培训视频图像;
36.模型应用单元,用于对培训视频图像进行人体关键点检测,得到多个人体区域图及各人体区域图所呈现的人体的关键点坐标;
37.动作确定单元,用于根据各人体在整个培训过程中的关键点坐标随时间的变化情况,确定相应人体在培训过程所执行的目标动作及目标动作的执行次数;
38.得分确定单元,用于根据各人体所执行的目标动作及目标动作的执行次数,确定培训氛围得分,培训氛围得分用于指示学员对培训的专注程度;
39.结果生成单元,用于基于培训氛围得分,生成针对当前培训课程的评价结果信息。
40.本技术实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在存储器中并可在终端设备上运行的计算机程序,处理器执行计算机程序时实现第一方面提供的信息生成方法的各步骤。
41.本技术实施例的第四方面提供了一种存储介质,存储介质存储有计算机程序,计算机程序被处理器执行时实现第一方面提供的信息生成方法的各步骤。
42.实施本技术实施例提供的一种信息生成方法、终端设备及存储介质具有以下有益效果:通过采集培训过程信息,以及自动对培训过程信息进行分析,可以得到用于指示学员对培训的专注程度的培训氛围得分,从而基于培训氛围得分,生成针对当前培训课程的评价结果信息。由于培训过程中学员的专注程度能够比较准确地反映整个培训课程的培训效果,因此,本技术可以生成用于准确评价培训效果的评价结果信息,有助于提高对培训课程的效果进行评价的效率和准确率。
附图说明
43.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
44.图1是本技术实施例提供的一种信息生成方法的实现流程图;
45.图2是本技术实施例提供的另一种信息生成方法的实现流程图;
46.图3是本技术实施例提供的一种信息生成装置的结构框图;
47.图4是本技术实施例提供的一种终端设备的结构框图。
具体实施方式
48.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
49.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
50.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
51.本技术实施例中,基于人工智能技术,以实现对培训课程的效果进行评价。
52.本技术实施例所涉及的信息生成方法,可以由终端设备执行。信息生成方法由终
端设备执行时,执行主体为终端设备。
53.需要指出的是,上述终端设备可以包括但不限于服务器、手机、平板或可穿戴智能设备等。另外,上述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
54.请参阅图1,图1示出了本技术实施例提供的一种信息生成方法的实现流程图,包括:
55.步骤101,按照预设采集周期,采集培训过程信息。
56.其中,上述预设采集周期通常是预先设定的周期值,作为示例,可以为1秒。上述培训过程信息通常是培训过程所产生的信息,培训过程信息通常可以用于描述培训过程。上述培训过程信息可以包括但不限于培训视频图像。上述培训视频图像通常是全部学员在培训过程中的图像。
57.实际应用中,培训过程信息还可以包括培训音频信息等。
58.这里,终端设备可以按照预先设定的采集周期,采集培训过程信息。
59.步骤102,对培训视频图像进行人体关键点检测,得到多个人体区域图及各人体区域图所呈现的人体的关键点坐标。
60.其中,人体区域图通常为培训视频图像中、呈现有学员的区域。在存在多个学员时,通常可以从培训视频图像中检测得到多个人体区域图,每个人体区域图对应一个学员。
61.实践中,上述执行主体可以将培训视频图像输入预先训练的人体关键点检测模型,以得到多个人体区域图及各人体区域图所呈现的人体的关键点坐标。
62.其中,上述人体关键点检测模型可以用于分析图像与图像中各人体区域图及人体区域图所呈现的人体的关键点坐标之间的对应关系。实践中,人体关键点检测模型可以是基于训练样本,利用机器学习方法,对初始模型(例如卷积神经网络(convolutional neural network,cnn)、残差网络(resnet)等)进行训练后得到的模型。
63.这里,终端设备可以通过对每一帧培训视频图像进行人体关键点检测,得到每帧培训视频图像对应的多个人体区域图及各人体区域图所呈现的人体的关键点坐标。
64.举例来说,若参加培训课程的学员有4个,分别为甲、乙、丙、丁,则对培训视频图像进行人体关键点检测,可以得到4个人体区域图,分别为a、b、c、d,若甲对应的人体区域图为a,乙对应的人体区域图为b,丙对应的人体区域图为c,丁对应的人体区域图为d,则可以得到人体区域图a中呈现的甲的各关键点的坐标,人体区域图b中呈现的乙的各关键点的坐标,人体区域图c中呈现的丙的各关键点的坐标,人体区域图d中呈现的丁的各关键点的坐标。
65.由于各学员在培训过程中的座位位置通常是固定不变的,如,甲、乙、丙、丁在不同时刻的培训视频图像中的相对位置关系通常是固定的,因此,终端设备可以基于人体区域识别出不同培训视频图像中的同一人体,也可以基于学员之间的稳定的相对座位关系,识别出不同培训视频图像中的同一人体。然后,可以对属于同一人体的关键点坐标进行分析。
66.需要指出的是,针对每个人体区域图,该人体区域图所呈现的人体的关键点可以包括但不限于:左手腕关键点、右手腕关键点、左眼关键点、右眼关键点、上嘴唇关键点、下
嘴唇关键点等。上述人体的关键点通常是人体的各关键点在相应培训视频图像中的坐标。
67.步骤103,根据各人体在整个培训过程中的关键点坐标随时间的变化情况,确定相应人体在培训过程所执行的目标动作及目标动作的执行次数。
68.其中,目标动作可以包括但不限于鼓掌动作和应答动作等。
69.这里,针对每一个人体,终端设备可以通过分析该人体在整个培训过程中的关键点坐标随时间的变化情况,确定该人体所执行的动作和动作的执行次数。作为示例,上述执行主体可以通过分析某人体的眼部关键点坐标随时间的变化情况,确定该人体站立的次数,从而确定该人体在整个培训过程所执行的应答动作及应答动作的执行次数。
70.步骤104,根据各人体所执行的目标动作及目标动作的执行次数,确定培训氛围得分,培训氛围得分用于指示学员对培训的专注程度。
71.上述执行主体可以通过多种方式确定培训氛围得分。作为示例,上述执行主体在得到每个学员所执行的目标动作的执行次数后,可以得到针对各学员的打分,然后将所有学员的打分的平均值确定为培训氛围得分。
72.实践中,若目标动作包括鼓掌动作和应答动作,则基于培训氛围得分,根据各人体所执行的目标动作及目标动作的执行次数,确定培训氛围得分,可以包括:将鼓掌动作的执行次数对应的得分与应答动作的执行次数对应的得分的加权和,确定为培训氛围得分。作为示例,可以计算出鼓掌动作的执行次数的均值,以及计算出应答动作的执行次数的均值,然后,将鼓掌动作的执行次数的均值对应的得分,与应答动作的执行次数的均值对应的得分的加权和,确定为培训氛围得分。
73.步骤105,基于培训氛围得分,生成针对当前培训课程的评价结果信息。
74.这里,每个培训氛围得分可以对应一个评价结果信息。如,若培训氛围得分为100分,则评价结果信息可以为“当前培训课程的培训效果为优秀”,若培训氛围得分为80分,则评价结果信息可以为“当前培训课程的培训效果为良好”。
75.本实施例提供的方法,通过采集培训过程信息,以及自动对培训过程信息进行分析,可以得到用于指示学员对培训的专注程度的培训氛围得分,从而基于培训氛围得分,生成针对当前培训课程的评价结果信息。由于培训过程中学员的专注程度能够比较准确地反映整个培训课程的培训效果,因此,本技术可以生成用于准确评价培训效果的评价结果信息,有助于提高对培训课程的效果进行评价的效率和准确率。
76.在本实施例的一些可选的实现方式中,上述根据各人体在整个培训过程中的关键点坐标随时间的变化情况,确定相应人体在培训过程所执行的目标动作及目标动作的执行次数,可以包括:
77.首先,在预设坐标系下,生成针对各人体的左手腕坐标曲线和右手腕坐标曲线。
78.其中,预设坐标系的横轴为时间轴,纵轴为相应关键点在不同时间下的关键点坐标。上述左手腕坐标曲线为左手腕关键点在不同时刻的坐标值所形成的曲线。上述右手腕坐标曲线为右手腕关键点在不同时刻的坐标值所形成的曲线。由于关键点坐标通常为二维图像坐标,因此,左手腕坐标曲线和右手腕坐标曲线通常为空间曲线。
79.实践中,针对每个人体,上述执行主体可以采用该人体在不同时刻的左手腕关键点坐标组合得到针对该人体的左手腕坐标曲线,以及采用该人体在不同时刻的右手腕关键点坐标组合得到针对该人体的右手腕坐标曲线。即,针对每个学员,可以得到一左手腕坐标
曲线和一右手腕坐标曲线。
80.然后,针对每个人体,确定针对该人体的左手腕坐标曲线与右手腕坐标曲线的交点,根据各交点在时间轴上的分布间隔,确定该人体是否执行鼓掌动作及鼓掌动作的执行次数。
81.这里,由于学员在执行鼓掌动作时,左手腕关键点坐标与右手腕关键点坐标通常相同,即,某学员鼓掌时,针对该学员的左手腕坐标曲线与右手腕坐标曲线存在交点。实际应用中,在整个培训过程中,一个学员可能发起多次鼓掌动作,每次鼓掌动作可以鼓掌若干下,且相邻的两下鼓掌的时间间隔通常较小,如在0.5秒至1秒的范围内。相邻的两次鼓掌动作的间隔时长通常需要大于某个时间间隔,如5秒。因此,上述执行主体可以基于各交点的分布间隔,确定相应学员是否执行鼓掌动作,以及该学员在整个培训过程所执行的鼓掌动作的执行次数。如,可以将时长间隔大于预设时长阈值的两个相邻交点划分为两次鼓掌动作,以此类推,划分得到多次鼓掌动作。
82.在一些可选的实现方式中,根据各交点在时间轴上的分布间隔,确定该人体是否执行鼓掌动作及鼓掌动作的执行次数,可以包括:计算每两个相邻交点之间的时间间隔,以及将时间间隔大于预设时长阈值的两个相邻交点分隔为两个不同的交点组,得到多个交点组。针对每个交点组,若存在大于预设数目个交点,且每两个相邻交点之间的时间间隔属于预设时间间隔范围,则确定该交点组对应一次鼓掌动作。
83.其中,由于在鼓掌的过程中,两个手腕点之间通常是以一定的周期进行靠近和离开,虽然鼓掌的频率有快有慢,但每两个相邻的鼓掌间隔都基本属于预设时间间隔范围,如,0.5秒

1秒。另外,通常认为每次鼓掌都会不止一次,即,在一次鼓掌过程中,两条曲线的交点可以有两个或两个以上,因此,上述预设数目通常是大于2的整数。
84.这里,上述执行主体可以计算每两个相邻交点之间的时间间隔,以及将时间间隔大于预设时长阈值,如,5秒,的两个相邻交点分隔为两个不同的交点组,得到多个交点组。然后,针对每个交点组,若存在大于预设数目个交点,且每两个相邻交点之间的时间间隔属于预设时间间隔范围,则确定该交点组对应一次鼓掌动作。需要指出的是,以分组的形式可以准确地确定学员的鼓掌动作的执行次数。
85.在本实施例的一些可选的实现方式中,上述根据各人体在整个培训过程中的关键点坐标随时间的变化情况,确定相应人体在培训过程所执行的目标动作及目标动作的执行次数,可以包括:
86.首先,生成针对各人体的上下嘴唇相对位置差曲线。
87.其中,上下嘴唇相对位置差曲线用于描述上嘴唇关键点坐标与下嘴唇关键点坐标之间的相对位置差。上下嘴唇相对位置差曲线为平面曲线。每个人体可以生成一条上下嘴唇相对位置差曲线。
88.这里,针对每个人体,上述执行主体可以计算该人体的上嘴唇关键点坐标与下嘴唇关键点坐标之间的相对位置差,如,可以计算两个坐标之间的欧式距离,该欧式距离为两个坐标之间的相对位置差。
89.然后,根据上下嘴唇相对位置差曲线的取值分布及持续变化时长,确定相应人体是否执行应答动作及应答动作的执行次数。
90.这里,由于人在说话时,上嘴唇关键点坐标与下嘴唇关键点坐标之间的相对位置
差通常处于持续变化状态。而人在不说话时,上嘴唇关键点坐标与下嘴唇关键点坐标之间的相对位置差通常固定,如,可以为0也可以是某一固定的值。上述执行主体可以将上下嘴唇相对位置差曲线中的各个持续变化的区域分别确定为对应一次应答动作。
91.需要指出的是,由于人在说话时,通常上嘴唇和下嘴唇之间会持续的动作,因此,通过上下嘴唇相对位置差曲线可以比较准确地确定学员是否在针对培训进行应答。这里,应答可以是提出问题也可以是回答问题。
92.在一些可选的实现方式中,根据上下嘴唇相对位置差曲线的取值分布及持续变化时长,确定相应人体是否执行应答动作及应答动作的执行次数,包括:针对每个人体,确定该人体对应的上下嘴唇相对位置差曲线中的多个持续变化区域,若任一区域满足预设应答条件,则确定该区域对应一次应答动作。
93.其中,预设应答条件包括以下至少一项:
94.第一项,该区域的持续变化时长大于预设变化时长。
95.第二项,在该区域之前的预设参考时长内、该人体的至少一个手腕关键点的坐标值高于或等于该人体的眼部关键点的坐标值。其中,上述预设参考时长通常是预先设定的时长值,如,可以为5秒。眼部关键点可以为左眼关键点也可以为右眼关键点。这里,手腕关键点的坐标值高于或等于该人体的眼部关键点,有可能是学员在举手。
96.第三项,该区域内该人体的脸平面与讲师的脸平面平行。其中,脸平面为左眼关键点、右眼关键点和嘴关键点形成的平面。这里,学员在应答时,学员与讲师通常是面对面,二者的脸部对应的平面通常为平行。
97.本实现方式可以实现从多个角度判断学员是否在执行应答动作,从而准确确定学员的应答动作的执行次数。
98.请参阅图2,图2是本技术实施例提供的信息生成方法的实现流程图。本实施例提供的信息生成方法,在培训过程信息还包括培训音频信息时,可以包括以下步骤:
99.步骤201,按照预设采集周期,采集培训过程信息。
100.其中,培训过程信息包括培训视频图像,还可以包括培训音频信息。
101.步骤202,对培训视频图像进行人体关键点检测,得到多个人体区域图及各人体区域图所呈现的人体的关键点坐标。
102.步骤203,根据各人体在整个培训过程中的关键点坐标随时间的变化情况,确定相应人体在培训过程所执行的目标动作及目标动作的执行次数。
103.步骤204,根据各人体所执行的目标动作及目标动作的执行次数,确定培训氛围得分,培训氛围得分用于指示学员对培训的专注程度。
104.在本实施例中,步骤201

204的具体操作与图1所示的实施例中步骤101

104的操作基本相同,在此不再赘述。
105.步骤205,根据培训过程中的不同时段的培训音频信息,确定讲师的讲师音频得分。
106.其中,讲师音频得分用于指示讲师的发音标准程度,预设音频信息集中的预设音频信息对应有音频分数。
107.这里,上述执行主体可以选取多个时段的培训音频信息,得到多个培训音频信息,然后可以将所得到的每个培训音频信息的音频特征与预设音频信息集中的预设音频信息
的音频特征进行比对,从而得到各培训音频对应的预设音频信息及相应音频分数。
108.在本实施例的一些可选的实现方式中,上述根据培训过程中的不同时段的培训音频信息,确定讲师的讲师音频得分,可以包括如下步骤:
109.步骤一,提取培训过程中的不同时段的培训音频信息的音频特征,得到多个音频特征。
110.这里,终端设备可以得到多个不同时段的培训音频信息。然后,可以提取各培训音频信息的音频特征。这样,可以得到多个音频特征。
111.步骤二,基于多个音频特征,从所提取的多个培训音频信息中确定出属于讲师的培训音频信息,记作目标音频信息。
112.这里,由于讲师讲话的持续时间比较长,大部分音频都来自讲师,因此,大部分的音频特征都基本相同。这样,可以确定出现次数最多的音频特征对应的培训音频信息,为来自讲师的培训音频信息。
113.步骤三,从预设音频信息集中,选取与目标音频信息匹配的预设音频信息,以及将所选取的预设音频信息对应的音频分数,确定为讲师的讲师音频得分。其中,讲师音频得分用于指示讲师的发音标准程度,预设音频信息集中的预设音频信息对应有音频分数。
114.这里,可以将目标音频信息与预先存储的预设音频信息集中的每个预设音频信息进行相似度计算,从而找出与目标音频信息最相似的预设音频信息。然后,将该预设音频信息对应的音频分数,作为讲师的讲师音频得分。
115.步骤206,基于培训氛围得分,生成针对当前培训课程的评价结果信息。
116.本实施例可以在得到针对当前培训课程的评价结果信息的同时,得到用于描述讲师的发音标准程度的讲师音频得分,可进一步对当前培训课程进行参考评价。
117.在本实施例的一些可选的实现方式中,基于培训氛围得分,生成针对当前培训课程的评价结果信息,可以包括:
118.根据培训氛围得分、讲师音频得分和学员出勤得分的加权和,确定当前培训课程的综合评分,以及根据综合评分,生成针对当前培训课程的评价结果信息,其中,学员出勤得分为实际出勤学员人数与期望出勤学员人数的比值。
119.其中,学员出勤得分为实际出勤学员人数与期望出勤学员人数的比值。
120.这里,从讲师的发音标准程度、学员上课的出勤率、学员的专注程度,多个角度进行分析,可以生成用于准确评价培训效果的评价结果信息,有助于进一步提高对培训课程的效果进行评价的效率和准确率。
121.请参阅图3,图3是本技术实施例提供的一种信息生成装置300的结构框图。本实施例中该信息生成装置包括的各单元用于执行图1

图2对应的实施例中的各步骤。具体请参阅图1

图2以及图1

图2所对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图3,信息生成装置300包括:
122.信息采集单元301,用于按照预设采集周期,采集培训过程信息,培训过程信息包括培训视频图像;
123.模型应用单元302,用于对培训视频图像进行人体关键点检测,得到多个人体区域图及各人体区域图所呈现的人体的关键点坐标;
124.动作确定单元303,用于根据各人体在整个培训过程中的关键点坐标随时间的变
化情况,确定相应人体在培训过程所执行的目标动作及目标动作的执行次数;
125.氛围确定单元304,用于根据各人体所执行的目标动作及目标动作的执行次数,确定培训氛围得分,培训氛围得分用于指示学员对培训的专注程度;
126.结果生成单元305,用于基于培训氛围得分,生成针对当前培训课程的评价结果信息。
127.作为本技术一实施例,动作确定单元303具体用于:在预设坐标系下,生成针对各人体的左手腕坐标曲线和右手腕坐标曲线,预设坐标系的横轴为时间轴,纵轴为相应关键点在不同时间下的关键点坐标;针对每个人体,确定针对该人体的左手腕坐标曲线与右手腕坐标曲线的交点,根据各交点在时间轴上的分布间隔,确定该人体是否执行鼓掌动作及鼓掌动作的执行次数。
128.作为本技术一实施例,动作确定单元303具体还用于:计算每两个相邻交点之间的时间间隔,以及将时间间隔大于预设时长阈值的两个相邻交点分隔为两个不同的交点组,得到多个交点组;针对每个交点组,若存在大于预设数目个交点,且每两个相邻交点之间的时间间隔属于预设时间间隔范围,则确定该交点组对应一次鼓掌动作。
129.作为本技术一实施例,动作确定单元303具体用于:生成针对各人体的上下嘴唇相对位置差曲线,上下嘴唇相对位置差曲线用于描述上嘴唇关键点坐标与下嘴唇关键点坐标之间的相对位置差;根据上下嘴唇相对位置差曲线的取值分布及持续变化时长,确定相应人体是否执行应答动作及应答动作的执行次数。
130.作为本技术一实施例,动作确定单元303具体还用于:针对每个人体,确定该人体对应的上下嘴唇相对位置差曲线中的多个持续变化区域,若任一区域满足预设应答条件,则确定该区域对应一次应答动作;
131.其中,预设应答条件包括以下至少一项:该区域的持续变化时长大于预设变化时长;在该区域之前的预设参考时长内、该人体的至少一个手腕关键点的坐标值高于或等于该人体的眼部关键点的坐标值;该区域内该人体的脸平面与讲师的脸平面平行,其中,脸平面为左眼关键点、右眼关键点和嘴关键点形成的平面。
132.作为本技术一实施例,若培训过程信息还包括培训音频信息,则装置还可以包括发音确定单元(图中未示出)。其中,发音确定单元,用于根据培训过程中的不同时段的培训音频信息,确定讲师的讲师音频得分,其中,讲师音频得分用于指示讲师的发音标准程度,预设音频信息集中的预设音频信息对应有音频分数。
133.作为本技术一实施例,发音确定单元具体用于:提取培训过程中的不同时段的培训音频信息的音频特征,得到多个音频特征;基于多个音频特征,从所提取的多个培训音频信息中确定出属于讲师的培训音频信息,记作目标音频信息;从预设音频信息集中,选取与目标音频信息匹配的预设音频信息,以及将所选取的预设音频信息对应的音频分数,确定为讲师的讲师音频得分。
134.作为本技术一实施例,结果生成单元305具体用于:根据培训氛围得分、讲师音频得分和学员出勤得分的加权和,确定当前培训课程的综合评分,以及根据综合评分,生成针对当前培训课程的评价结果信息,其中,学员出勤得分为实际出勤学员人数与期望出勤学员人数的比值。
135.本实施例提供的装置,通过采集培训过程信息,以及自动对培训过程信息进行分
析,可以得到用于指示学员对培训的专注程度的培训氛围得分,从而基于培训氛围得分,生成针对当前培训课程的评价结果信息。由于培训过程中学员的专注程度能够比较准确地反映整个培训课程的培训效果,因此,本技术可以生成用于准确评价培训效果的评价结果信息,有助于提高对培训课程的效果进行评价的效率和准确率。
136.应当理解的是,图3示出的信息生成装置的结构框图中,各单元用于执行图1

图2对应的实施例中的各步骤,而对于图1

图2对应的实施例中的各步骤已在上述实施例中进行详细解释,具体请参阅图1

图2以及图1

图2所对应的实施例中的相关描述,此处不再赘述。
137.图4是本技术另一实施例提供的一种终端设备的结构框图。如图4所示,该实施例的终端设备400包括:处理器401、存储器402以及存储在存储器402中并可在处理器401上运行的计算机程序403,例如信息生成方法的程序。处理器401执行计算机程序403时实现上述各个信息生成方法各实施例中的步骤,例如图1所示的步骤101至步骤105,或者图2所示的步骤201至步骤206。或者,处理器401执行计算机程序403时实现上述图3对应的实施例中各单元的功能,例如,图3所示的单元301至305的功能,具体请参阅图3对应的实施例中的相关描述,此处不赘述。
138.示例性的,计算机程序403可以被分割成一个或多个单元,一个或者多个单元被存储在存储器402中,并由处理器401执行,以完成本技术。一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序403在终端设备400中的执行过程。例如,计算机程序403可以被分割成信息采集单元,模型应用单元,动作确定单元,氛围确定单元,结果生成单元,各单元具体功能如上。
139.终端设备可以包括,但不仅限于,处理器401、存储器402。本领域技术人员可以理解,图4仅仅是终端设备400的示例,并不构成对终端设备400的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如转台设备还可以包括输入输出设备、网络接入设备、总线等。
140.所称处理器401可以是中央处理单元(central processing unit,cpu),还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现成可编程门阵列(field

programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
141.存储器402可以是终端设备400的内部存储单元,例如终端设备400的硬盘或内存。存储器402也可以是终端设备400的外部存储设备,例如终端设备400上配备的插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)等。进一步地,存储器402还可以既包括终端设备400的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及转台设备所需的其他程序和数据。存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
142.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
143.集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。其中,计算机可读存储介质可以是非易失性的,也可以是易失性的。基于这样的理解,本技术实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read

only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
144.以上实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围,均应包含在本技术的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献