一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

区域定位方法、装置、存储介质及电子设备与流程

2022-09-01 08:21:41 来源:中国专利 TAG:


1.本公开涉及计算机技术领域,具体地,涉及一种区域定位方法、装置、存储介质及电子设备。


背景技术:

2.伴随着智能化教育的兴起,越来越多的企业将目光投注到了智能教育产品的研发上。其中,具备指读功能的ai学习机尤为受到关注。
3.为了实现ai学习机的指读功能,在相关技术中,可以通过对手指的关键点进行检测,并根据手指关键点的相关信息定位手指指定的区域,从而可以结合ocr(optical character recognition,光学字符识别)技术以及语音技术达到指读的效果。然而,由于指读场景中存在手部区域尺寸变化大、且手势各异等复杂情况,因此相关技术中对于手指关键点检测的准确率通常较低,相应地,对手指指定区域的定位也不够准确。


技术实现要素:

4.本公开的目的是提供一种区域定位方法、装置、存储介质及电子设备,以解决相关技术中存在的问题。
5.为了实现上述目的,根据本公开实施例的第一方面,提供一种区域定位方法,所述方法包括:
6.获取待检测图像,所述待检测图像中包括手指图像区域;
7.将所述待检测图像输入关键点检测模型,得到所述关键点检测模型输出的手指关键点,其中,所述关键点检测模型包括轻量级网络层、双向特征融合网络层、以及多尺度特征融合网络层;
8.根据所述手指关键点确定手指指向的目标图像区域。
9.可选地,所述关键点检测模型还包括分类网络层,所述将所述待检测图像输入关键点检测模型,得到所述关键点检测模型输出的手指关键点,包括:
10.将所述待检测图像输入所述轻量级网络层,得到初始特征图像;
11.将所述初始特征图像输入所述双向特征融合网络层,得到特征金字塔;
12.将所述特征金字塔输入所述多尺度特征融合网络层,得到目标特征图像;
13.将所述目标特征图像输入所述分类网络层,以从所述目标特征图像中确定所述手指关键点。
14.可选地,所述初始特征图像的尺寸大小不同,所述将所述初始特征图像输入所述双向特征融合网络层,得到特征金字塔,包括:
15.将尺寸大小不同的多个所述初始特征图像输入所述双向特征融合网络层,以构造得到初始特征金字塔,所述初始特征金字塔的层数与所述初始特征图像的数量相同,且所述初始特征金字塔的第n层特征图像是根据第n-1层特征图像和与所述第n层特征图像尺寸相同的所述初始特征图像确定的;并且,
16.根据所述初始特征金字塔得到所述特征金字塔。
17.可选地,所述目标特征图像的数量为多个,所述将所述目标特征图像输入所述分类网络层,以从所述目标特征图像中确定所述手指关键点,包括:
18.针对每一所述目标特征图像,确定对应的候选手指关键点以及候选手部区域框;
19.根据所有的候选手部区域框、以及每一候选手部区域框的评分,通过非极大值抑制算法确定目标手部区域框;
20.将位于所述目标手部区域框内的所述候选手指关键点确定为所述手指关键点。
21.可选地,所述针对每一所述目标特征图像,确定对应的候选手指关键点以及候选手部区域框,包括:
22.对所述目标特征图像中的每一特征点进行分类,以确定各所述特征点是否为手部特征点;
23.识别所述目标特征图像中的手部所在的图像区域;
24.根据所述手部特征点、所述手部所在的图像区域确定所述候选手部区域框;
25.识别所述目标特征图像中的所述候选手指关键点。
26.可选地,所述轻量级网络层为mobilenet或者shufflenet。
27.可选地,所述双向特征融合网络层为特征金字塔网络;所述多尺度特征融合网络层包括单阶段检测模块。
28.根据本公开实施例的第二方面,提供一种区域定位装置,所述装置包括:
29.获取模块,用于获取待检测图像,所述待检测图像中包括手指图像区域;
30.输入模块,用于将所述待检测图像输入关键点检测模型,得到所述关键点检测模型输出的手指关键点,其中,所述关键点检测模型包括轻量级网络层、双向特征融合网络层、以及多尺度特征融合网络层;
31.确定模块,用于根据所述手指关键点确定手指指向的目标图像区域。
32.根据本公开实施例的第三方面,提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
33.根据本公开实施例的第四方面,提供一种电子设备,包括:
34.存储器,其上存储有计算机程序;
35.处理器,用于执行所述存储器中的所述计算机程序,以实现上述第一方面中任一项所述方法的步骤。
36.采用上述技术方案,至少能够达到如下技术效果:
37.通过采用包括轻量级网络层、双向特征融合网络层以及多尺度特征融合网络层的关键点检测模型对待检测图像进行关键点检测,可以利用双向特征融合网络获得更多关于小尺寸目标的特征信息,避免漏检。并且可以利用多尺度特征融合网络对不同尺度的特征图进行融合,提高模型对于不同情况的手部检测的鲁棒性。在综合利用轻量级网络层、双向特征融合网络层以及多尺度特征融合网络层优势的基础之上,可以得到准确率更高的手指关键点,从而可以提升对手指指定区域预测的准确率。
38.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
39.附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
40.图1是本公开一示例性实施例示出的一种区域定位方法的流程图。
41.图2是本公开一示例性实施例示出的一种关键点检测模型的示意图。
42.图3是本公开一示例性实施例示出的一种轻量级网络层的示意图。
43.图4是本公开一示例性实施例示出的一种ssh模块的示意图。
44.图5是本公开一示例性实施例示出的一种手指关键点的示意图。
45.图6是本公开一示例性实施例示出的一种区域定位装置的框图。
46.图7是本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
47.以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
48.需要说明的是,本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
49.相关技术中传统的手指关键点检测技术通常基于pdm(point distribution model,点分布模型)算法来实现。在pdm中,外形相似的手部的几何形状可以通过若干关键特征点的坐标依次串联形成的形状向量来表示。该方法主要分为训练阶段和搜索阶段:在训练阶段,首先搜集若干手部样本,然后手动标记n个手部关键点,并按照手部关键点标注顺序构建形状向量。由于采集的手部数据不具有仿射不变性,因此需要对其进行归一化处理。通常,可采用procrustes分析(普鲁克分析)方法对手部数据进行归一化,然后为每个关键点构建局部特征。局部特征用于在特征点附近进行搜索,为防止光照变化,局部特征一般采用梯度特征描述。在搜索阶段,首先初始化对齐手部,根据手部检测结果得到大致手部位置,然后将训练阶段得到的平均手部进行仿射变换,得到一个初始的特征点模型。在此基础上,进行特征点搜索,针对每个特征点,在特征点邻域进行迭代搜索,通过局部特征点的特征匹配,获取新的特征点位置,当达到算法迭代结束条件,便可以得到手部关键点的位置信息。然而,基于传统方法的手指关键点检测技术容易陷入局部最优解,泛化能力得不到保证,并且局部搜索策略过于简单化,属于穷举搜索,算法效率低。
50.另外,还可通过深度学习的方法进行手指关键点检测。基于深度学习的手指关键点检测技术可以分为两类:两阶段手指关键点检测和一阶段手指关键点检测。其中,两阶段手指关键点检测技术首先通过手部检测算法检测到手部区域,然后基于手部区域进行手指关键点检测。一阶段手指关键点检测算法直接在整张图片内进行手指关键点检测。然而,基于两阶段的手指关键点检测模型依赖于对手部区域的检测,算法性能差,在实际应用时计算效率低。基于一阶段的手指关键点检测模型的计算速度快,但是这种方式不能很好地处理指读场景中存在的手部区域尺寸变化大、且手势各异等复杂情况,因此其对于手指关键点检测的准确率通常较低。
51.有鉴于此,本公开实施例提供一种区域定位方法,采用包括轻量级网络层、双向特
征融合网络层以及多尺度特征融合网络层的关键点检测模型对待检测图像进行关键点检测,从而可以利用双向特征融合网络获得更多关于小尺寸目标的特征信息,避免漏检。并且可以利用多尺度特征融合网络对不同尺度的特征图进行融合,提高模型对于不同情况的手部检测的鲁棒性。在综合利用轻量级网络层、双向特征融合网络层以及多尺度特征融合网络层优势的基础之上,可以得到准确率更高的手指关键点,从而可以提升对手指指定区域预测的准确率。
52.图1是根据本公开一示例性实施例示出的一种区域定位方法的流程图。如图1所示,该方法包括:
53.s101,获取待检测图像。
54.其中,该待检测图像中包括手指图像区域。
55.可以理解,手指图像区域可以是指包括手指的图像区域,例如手部区域。
56.s102,将待检测图像输入关键点检测模型,得到关键点检测模型输出的手指关键点。
57.其中,该关键点检测模型包括轻量级网络层、双向特征融合网络层、以及多尺度特征融合网络层。
58.需要说明的是,本公开实施例提供的轻量级网络层可以作为特征提取的骨干网络。本公开通过对轻量级网络的激活函数进行改进,可以在不增加计算量的基础之上,提高骨干网络的建模能力。双向特征融合网络层和多尺度特征融合网络层可以作为特征融合的网络层。其中双向特征融合网络层可以通过对特征图进行上采样融合以及降采样融合,来实现对不同尺寸特征图的融合。相比单向特征融合结构而言,双向特征融合网络可以增强模型的表达能力,提高模型的召回率。多尺度特征融合网络层可以采用单阶段检测(ssh,single stage headless)模块来构建多尺度特征,使得模型具有尺度不变性。在通过多尺度特征融合网络对不同尺度的特征图进行融合的基础之上,可以提高模型对于不同情况的手部检测的鲁棒性。
59.在综合利用轻量级网络层、双向特征融合网络层以及多尺度特征融合网络层优势的基础之上,可以提高关键点检测模型对手指关键点检测的准确率,从而可以提升对手指指定区域预测的准确率。
60.s103、根据手指关键点确定手指指向的目标图像区域。
61.可以理解的是,在检测得到手指关键点后,可以根据手指关键点中的指尖关键点以及指尖关键点与其他关键点的结构关系确定手指指向的目标图像区域。例如可以根据手指四个关键点的延长线来确定目标图像区域。
62.通过采用包括轻量级网络层、双向特征融合网络层以及多尺度特征融合网络层的关键点检测模型对待检测图像进行关键点检测,可以利用双向特征融合网络获得更多关于小尺寸目标的特征信息,避免漏检。并且可以利用多尺度特征融合网络对不同尺度的特征图进行融合,提高模型对于不同情况的手部检测的鲁棒性。在综合利用轻量级网络层、双向特征融合网络层以及多尺度特征融合网络层优势的基础之上,可以得到准确率更高的手指关键点,从而可以提升对手指指定区域预测的准确率。
63.可选地,关键点检测模型还包括分类网络层。在此基础之上,上述步骤s102可以包括:
64.将待检测图像输入所述轻量级网络层,得到初始特征图像;
65.将初始特征图像输入双向特征融合网络层,得到特征金字塔;
66.将特征金字塔输入多尺度特征融合网络层,得到目标特征图像;
67.将目标特征图像输入分类网络层,以从目标特征图像中确定手指关键点。
68.参照图2,图2是本公开一示例性实施例示出的一种关键点检测模型的示意图。如图2所示,该关键点检测模型300包括轻量级网络层、双向特征融合网络层、多尺度特征融合网络层、以及分类网络层。
69.其中,轻量级网络层可以为mobilenet或者shufflenet。双向特征融合网络层可以为双向特征金字塔网络(fpn,feature pyramid networks)。多尺度特征融合网络层可以包括多个ssh模块,每个ssh模块输出的目标特征图像的尺寸不同。分类网络层可以包括多个检测模块,每个检测模块将ssh模块的输出作为输入,通过一个分类器(classification)确定目标特征图像中的每个特征点是否为手部特征点,并通过一个回归器(regression)确定目标特征图像中的手部区域框,以及通过界标器(landmark)确定手部区域框中的手指关键点。其中界标器可以是指手部界标模型。在确定多个手部区域框、以及手指关键点后,可以通过非极大值抑制算法(non-maximum suppression,nms)从多个目标特征图像中确定手指关键点。
70.参照图3,图3是本公开一示例性实施例示出的一种轻量级网络层的示意图。如图3所示,轻量级网络层301可以是mobilenet。mobilenet采用深度可分离卷积作为基本单元,该基本单元可以包括逐深度卷积(depthwise convolution)、bn(batch normalization)、leaky relu激活函数以及逐点卷积(pointwise convolution,也即1
×
1卷积)。其中,逐深度卷积针对每个输入通道采用不同的卷积核,逐点卷积为1x1的普通卷积,可用于升维和降维。与标准卷积相比,深度可分离卷积可以大大减少计算量和模型参数量。
71.相关技术通常在mobilenet中采用relu激活函数,但是,当x《0时,权重无法更新。并且逐深度卷积在单通道上进行卷积,通道间不能进行信息交互,当权重无法更新时,会影响网络的建模能力。而本方案采用leaky relu激活函数,确保当x《0时,权重可以更新。并且采用leaky relu激活函数还可以兼顾relu激活函数的运算量小、非饱和以及防止梯度消失的优点。
72.本公开通过对轻量级网络的激活函数进行改进,可以在不增加计算量的基础之上,提高骨干网络的建模能力。
73.可选地,初始特征图像的尺寸大小不同。在此基础之上,将初始特征图像输入双向特征融合网络层得到特征金字塔的步骤,可以包括:
74.将尺寸大小不同的多个初始特征图像输入双向特征融合网络层,以构造得到初始特征金字塔,其中初始特征金字塔的层数与初始特征图像的数量相同,且初始特征金字塔的第n层特征图像是根据第n-1层特征图像和与第n层特征图像尺寸相同的初始特征图像确定的;并且,
75.根据初始特征金字塔得到特征金字塔。
76.沿用图2示例,轻量级网络层可以包括5层卷积操作,每层卷积可以是步长为2的3
×
3卷积。在此基础之上,输入双向特征融合网络层的尺寸大小不同的多个初始特征图像可以是指c4、c5以及c6。通过c4、c5以及c6可以构造得到初始特征金字塔。可以理解,初始特征
金字塔的层数与初始特征图像的数量相同,且初始特征金字塔的第n层特征图像是根据第n-1层特征图像和与第n层特征图像尺寸相同的初始特征图像确定的。
77.示例地,可以通过1
×
1的卷积核对c4、c5以及c6进行横向连接,得到c4*、c5*以及c6’,之后通过步长为2的3
×
3的卷积操作对c6’进行上采样,得到c6*。在此基础之上,可以对c6*和c5*进行求和操作,得到c5’。以此类推,可以对c5’进行同样的上采样操作,并将上采样结果与c4*进行求和,以得到c4’。应说明的是,通过1
×
1的卷积核进行横向连接,可以增强模型的非线性表达能力,并且可以改变初始特征图像的通道数,以便进行求和操作(例如将c5*的通道数改变至与c6*一致)。
78.不难理解的是,可以通过与构造初始特征金字塔类似的方式,根据初始特征金字塔输出的特征图(例如c4’、c5’以及c6’)构造特征金字塔。示例地,可以通过1
×
1的卷积核对c4’、c5’以及c6’进行横向连接,得到p4、p5*以及p6*,之后通过步长为2的3
×
3的卷积操作对p4进行降采样,得到p4*。在此基础之上,可以对p4*和p5*进行求和操作,得到p5。以此类推,可以对p5进行同样的上采样操作,并将上采样结果与p6*进行求和,以得到p6。
79.本公开实施例通过双向特征融合网络层对初始特征图进行上采样融合以及降采样融合,来实现对不同尺寸特征图的融合。相比单向特征融合结构而言,双向特征融合网络可以增强模型的表达能力,提高模型的召回率。并且,本公开通过将轻量级网络层输出的多个不同尺寸的初始特征图作为初始特征金字塔的输入,可以进一步增强模型的表达能力,提高模型的召回率。
80.参照图4,图4是本公开一示例性实施例示出的一种ssh模块的示意图。如图4所示,ssh模块303可以通过多个卷积核来扩大特征图的感受野,从而使得模型对于尺度多变的手部区域具有较好的感知。其中卷积核的尺寸可以为3
×
3。输入ssh模块的融合特征图可以是指特征金字塔输出的特征图(如图2所示的p4、p5或者p6)。直接将特征金字塔输出的多个不同尺寸的特征图输入ssh模块,可以减少计算时间,并且减小占用的内存。
81.本公开实施例提供的关键点检测模型可以通过轻量级网络层对待检测图像进行特征提取,得到初始特征图像。之后,再通过双向特征融合网络层、以及多尺度特征融合网络层对初始特征图像进行特征融合,得到目标特征图像。在此基础之上,可以通过分类网络层从目标特征图像中确定手指关键点。在综合利用轻量级网络层、双向特征融合网络层以及多尺度特征融合网络层优势的基础之上,本公开实施例提供的技术方案可以得到准确率更高的手指关键点,从而可以提升对手指指定区域预测的准确率。
82.参照图5,图5是本公开一示例性实施例示出的一种手指关键点的示意图。如图5所示,手指关键点的检测结果可以包括手部检测框以及手指关键点。
83.可选地,目标特征图像的数量为多个。在此基础之上,将目标特征图像输入分类网络层,以从目标特征图像中确定手指关键点的步骤,可以包括:
84.针对每一目标特征图像,确定对应的候选手指关键点以及候选手部区域框;
85.根据所有的候选手部区域框、以及每一候选手部区域框的评分,通过非极大值抑制算法确定目标手部区域框;
86.将位于目标手部区域框内的候选手指关键点确定为手指关键点。
87.可以理解的是,采用非极大值抑制算法,可以根据多个候选手部区域框以及候选手部区域框对应的评分,通过计算各候选手部区域框之间的交并比(iou,即两个区域的交
集与并集的比值)的方式,选取出置信度最高的目标手部区域框。在此基础之上,可以将目标手部区域框内的候选手指关键点确定为手指关键点。
88.可选地,针对每一目标特征图像,确定对应的候选手指关键点以及候选手部区域框,可以包括:
89.对目标特征图像中的每一特征点进行分类,以确定各特征点是否为手部特征点;
90.识别目标特征图像中的手部所在的图像区域;
91.根据手部特征点、手部所在的图像区域确定候选手部区域框;
92.识别目标特征图像中的候选手指关键点。
93.沿用图2示例,分类网络层可以包括多个检测模块,每个检测模块将ssh模块的输出作为输入,通过一个分类器(classification)确定目标特征图像中的每个特征点是否为手部特征点,并通过一个回归器(regression)确定目标特征图像中的手部区域框,以及通过界标器(landmark)确定手部区域框中的手指关键点。其中界标器可以是指手部界标模型。
94.其中应说明的是,检测模块中的分类器、回归器以及界标器可以同步进行预测,也可以分步进行预测。针对同步进行预测的情况,手部特征点、手部区域框以及手指关键点可以同步预测得到。针对分步进行预测的情况,可以先预测得到手部特征点,再根据手部特征点回归得到手部区域框,之后根据手部区域框,预测对应的手指关键点。
95.其中根据手部特征点回归得到手部区域框的步骤可以包括:对目标特征图像中的每一特征点进行分类,以确定各特征点是否为手部特征点,识别目标特征图像中的手部所在的图像区域,根据手部特征点、手部所在的图像区域确定候选手部区域框。示例地,根据手部特征点回归得到初始手部区域框,将初始手部区域框和识别得到的手部所在的图像区域进行加权合并,得到手部区域框。
96.还需说明的是,在关键点检测模型的训练阶段,可以通过分析真实场景中的数据特征,采用数据合成、数据增强以及数据标注相结合的方式获得待检测图像样本。例如可通过采集不同人的手部数据,根据预设的标注规则(例如图5所示的手指关键点以及手部区域框)来对手部数据进行标注。在此基础之上,可结合图像增强方法(例如对手部图像添加噪声信息,噪声信息可以包括随机椒盐噪声、随机高斯噪声等)来对手部数据进行数据扩增。此外还可以通过对采集的手部数据标注手部掩码标签,从而可以根据手部掩码标签分割出手部区域。在此基础之上,可以通过随机替换图片背景、变化手部尺寸、以及变化手部角度等方法来扩增训练集,保证模型的泛化能力。
97.此外不难理解的是,由于待检测图像样本中包括手指图像区域样本,并且手指图像区域样本对应有手部特征点标签、手部区域框标签以及手指关键点标签。因此在训练过程中,在通过分类网络层确定每一目标特征图像的预测手部特征点、预测手部区域框样本以及预测手指关键点之后,可以根据预测手部特征点和手部特征点标签计算手部特征点损失值,并根据预测手部区域框样本和手部区域框标签计算手部区域损失值,以及根据预测手指关键点和手指关键点标签计算关键点损失值,从而可以根据手部特征点损失值、手部区域损失值以及关键点损失值调整关键点模型的训练参数。
98.采用上述方法,通过采用包括轻量级网络层、双向特征融合网络层以及多尺度特征融合网络层的关键点检测模型对待检测图像进行关键点检测,可以利用双向特征融合网
络获得更多关于小尺寸目标的特征信息,避免漏检。并且可以利用多尺度特征融合网络对不同尺度的特征图进行融合,提高模型对于不同情况的手部检测的鲁棒性。在综合利用轻量级网络层、双向特征融合网络层以及多尺度特征融合网络层优势的基础之上,可以得到准确率更高的手指关键点,从而可以提升对手指指定区域预测的准确率。
99.基于同一发明构思,本公开还提供一种区域定位装置,参见图6,图6是根据本公开一示例性实施例示出的一种区域定位装置的框图,如图6所示,该区域定位装置100包括:
100.获取模块101,用于获取待检测图像,所述待检测图像中包括手指图像区域;
101.输入模块102,用于将所述待检测图像输入关键点检测模型,得到所述关键点检测模型输出的手指关键点,其中,所述关键点检测模型包括轻量级网络层、双向特征融合网络层、以及多尺度特征融合网络层;
102.确定模块103,用于根据所述手指关键点确定手指指向的目标图像区域。
103.采用上述装置,通过采用包括轻量级网络层、双向特征融合网络层以及多尺度特征融合网络层的关键点检测模型对待检测图像进行关键点检测,可以利用双向特征融合网络获得更多关于小尺寸目标的特征信息,避免漏检。并且可以利用多尺度特征融合网络对不同尺度的特征图进行融合,提高模型对于不同情况的手部检测的鲁棒性。在综合利用轻量级网络层、双向特征融合网络层以及多尺度特征融合网络层优势的基础之上,可以得到准确率更高的手指关键点,从而可以提升对手指指定区域预测的准确率。
104.可选地,所述关键点检测模型还包括分类网络层,所述输入模块102进一步用于:
105.将所述待检测图像输入所述轻量级网络层,得到初始特征图像;
106.将所述初始特征图像输入所述双向特征融合网络层,得到特征金字塔;
107.将所述特征金字塔输入所述多尺度特征融合网络层,得到目标特征图像;
108.将所述目标特征图像输入所述分类网络层,以从所述目标特征图像中确定所述手指关键点。
109.可选地,所述初始特征图像的尺寸大小不同,所述输入模块102进一步用于:
110.将尺寸大小不同的多个所述初始特征图像输入所述双向特征融合网络层,以构造得到初始特征金字塔,所述初始特征金字塔的层数与所述初始特征图像的数量相同,且所述初始特征金字塔的第n层特征图像是根据第n-1层特征图像和与所述第n层特征图像尺寸相同的所述初始特征图像确定的;并且,
111.根据所述初始特征金字塔得到所述特征金字塔。
112.可选地,所述目标特征图像的数量为多个,所述输入模块102进一步用于:
113.针对每一所述目标特征图像,确定对应的候选手指关键点以及候选手部区域框;
114.根据所有的候选手部区域框、以及每一候选手部区域框的评分,通过非极大值抑制算法确定目标手部区域框;
115.将位于所述目标手部区域框内的所述候选手指关键点确定为所述手指关键点。
116.可选地,所述输入模块102进一步用于:
117.对所述目标特征图像中的每一特征点进行分类,以确定各所述特征点是否为手部特征点;
118.识别所述目标特征图像中的手部所在的图像区域;
119.根据所述手部特征点、所述手部所在的图像区域确定所述候选手部区域框;
120.识别所述目标特征图像中的所述候选手指关键点。
121.可选地,所述轻量级网络层为mobilenet或者shufflenet。
122.可选地,所述双向特征融合网络层为双向特征金字塔网络;所述多尺度特征融合网络层包括单阶段检测模块。
123.关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
124.基于同一发明构思,本公开实施例还提供一种电子设备,该电子设备包括:
125.存储器,其上存储有计算机程序;
126.处理器,用于执行存储器中的计算机程序,以实现上述的区域定位方法的步骤。
127.图7是根据一示例性实施例示出的一种电子设备200的框图。如图7所示,该电子设备200可以包括:处理器201,存储器202。该电子设备200还可以包括多媒体组件203,输入/输出(i/o)接口204,以及通信组件205中的一者或多者。
128.其中,处理器201用于控制该电子设备200的整体操作,以完成上述的区域定位方法中的全部或部分步骤。存储器202用于存储各种类型的数据以支持在该电子设备200的操作,这些数据例如可以包括用于在该电子设备200上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器202可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(static random access memory,简称sram),电可擦除可编程只读存储器(electrically erasable programmable read-only memory,简称eeprom),可擦除可编程只读存储器(erasable programmable read-only memory,简称eprom),可编程只读存储器(programmable read-only memory,简称prom),只读存储器(read-only memory,简称rom),磁存储器,快闪存储器,磁盘或光盘。多媒体组件203可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器202或通过通信组件205发送。音频组件还包括至少一个扬声器,用于输出音频信号。i/o接口204为处理器201和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件205用于该电子设备200与其他设备之间进行有线或无线通信。无线通信,例如wi-fi,蓝牙,近场通信(near field communication,简称nfc),2g、3g、4g或5g,nb-iot(narrow band internet of things,窄带物联网),或者它们中一种或者多种的组合,因此相应的该通信组件205可以包括:wi-fi模块,蓝牙模块,nfc模块。
129.在一示例性实施例中,电子设备200可以被一个或多个应用专用集成电路(application specific integrated circuit,简称asic)、数字信号处理器(digital signal processor,简称dsp)、数字信号处理设备(digital signal processing device,简称dspd)、可编程逻辑器件(programmable logic device,简称pld)、现场可编程门阵列(field programmable gate array,简称fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的区域定位方法。
130.基于同一发明构思,本公开实施例还提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述区域定位方法的步骤。例如,该非临
时性计算机可读存储介质可以为上述包括程序指令的存储器202,上述程序指令可由电子设备200的处理器201执行以完成上述的区域定位方法。
131.具体地,该计算机可读存储介质可以是闪存、硬盘、多媒体卡、卡型存储器(例如,sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、公有云服务器等等。
132.关于上述实施例中的非临时性计算机可读存储介质,其上存储的计算机程序被执行时实现区域定位方法的步骤已将在有关该方法的实施例中进行了详细描述,此处不做详细阐述。
133.在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的姿态识别方法的代码部分。
134.以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
135.另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
136.此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献