一种鞋子3D-2D关键点对标注方法、装置及系统与流程

一种鞋子3d-2d关键点对标注方法、装置及系统
技术领域
1.本发明实施例涉及关键点标注、pnp相机位姿估计技术领域，具体涉及一种鞋子3d-2d关键点对标注方法、装置及系统。


背景技术：

2.在ar、vr等领域中，有时需要将目标3d物体模型渲染到用户2d画面中的指定位置。为了实现这一目的，预测相机相对于目标3d物体的位置与角度是一个必不可少的环节。借由pnp算法，可以通过在目标物体模型的3d空间、用户2d画面中的3d-2d点对来计算相机相对于目标3d物体的位置与角度。然而，获取这些3d-2d点对一般来说是困难的，举例而言，如果在目标3d物体上任意选定一点，其对应的用户画面中的2d点坐标是不易准确获得的，反之亦然。常见的标注方案是依靠人力来判断3d-2d点对的对应关系，然而这需要一定的3d图形学背景知识以及3d空间想象能力，同时标注不可避免地误差较大且耗时。在此背景下，需要设计合适的半自动化关键点标注方案，以便快速、准确地标注3d-2d点对来预测正确的相机位姿。


技术实现要素：

3.为此，本发明实施例提供一种鞋子3d-2d关键点对标注方法、装置及系统，以解决现有的3d-2d关键点对标注方法存在的纯人工标注，精度低以及速度慢的问题。
4.为了实现上述目的，本发明实施例提供如下技术方案：
5.根据本发明实施例的第一方面，提出了一种鞋子3d-2d关键点对标注方法，所述方法包括：
6.分别在鞋子3d模型和鞋子2d图像中通过人工标注辅助点以及辅助线；
7.根据所述辅助点以及辅助线，结合鞋子的3d空间结构特征，通过在辅助点之间的连线上做等分点以及基于所述等分点做辅助线或辅助点之间连线的平行线的方式分别在鞋子3d模型和鞋子2d图像中自动生成数量可控的3d关键点和2d关键点对。
8.进一步地，分别在鞋子3d模型和鞋子2d图像中通过人工标注辅助点以及辅助线，具体包括：
9.人工标记4个辅助点以及4条辅助线，第一辅助点为鞋尖，第二辅助点为鞋跟，第三辅助点为鞋舌正中，第四辅助点为鞋子后侧最上方，第一辅助线为从鞋尖出发沿大脚趾侧并沿脚底所在曲面与鞋子外轮廓交会线到鞋跟，第二辅助线为从鞋尖出发沿小脚趾侧并沿脚底所在曲面与鞋子外轮廓交会线到鞋跟，第三辅助线为从鞋尖出发沿脚背所在曲面到鞋舌正中，第四辅助线为垂直于鞋尖-鞋跟连线且平行于脚底所在曲面的拟合平面的线段。
10.进一步地，分别在鞋子3d模型和鞋子2d图像中通过人工标注辅助点以及辅助线，具体包括：
11.对于在鞋子3d模型上的标注，首先通过3d模型编辑工具直接选取4个辅助点以及第四辅助线的3d坐标完成标注；对于第一辅助线、第二辅助线以及第三辅助线，通过专业三
维图形图像软件添加近似片面至3条辅助线所在区域完成标注。
12.进一步地，分别在鞋子3d模型和鞋子2d图像中通过人工标注辅助点以及辅助线，具体包括：
13.对于鞋子2d图像上的标注，首先通过标注工具在图中以矩形框的形式标注出所有存在的鞋子；然后以线段的形式在图上标注出每只鞋子的鞋尖与鞋跟，以点的形式在图上标注出鞋舌正中以及鞋子后侧最上方；再以多段线段的形式标注出每只鞋的4条辅助线。
14.进一步地，根据所述辅助点以及辅助线，结合鞋子的3d空间结构特征，通过在辅助点之间的连线上做等分点以及基于所述等分点做辅助线或辅助点之间连线的平行线的方式分别在鞋子3d模型和鞋子2d图像中自动生成数量可控的3d关键点和2d关键点对，具体包括：
15.对于鞋子2d图像，首先对第一辅助点至第二辅助点的连线进行等分，然后基于生成的多个等分点分别做第四辅助线的平行线，并分别与第一、第二辅助线相交于多个点，然后对第一辅助点至第二辅助点的连线进行等分，基于生成的多个等分点分别做第二辅助点至第三辅助点的连线的平行线，并分别与第三辅助线相交于多个点，由此在鞋子2d图像上生成包括辅助点、等分点以及交点的多个2d关键点；对于鞋子3d模型，采取类似的手段获取与多个所述2d关键点所对应的3d点坐标，从而获得所需的3d-2d关键点对。
16.根据本发明实施例的第二方面，提出了一种鞋子3d-2d关键点对标注装置，所述装置包括：
17.辅助点及辅助线标注模块，用于分别在鞋子3d模型和鞋子2d图像中通过人工标注辅助点以及辅助线；
18.3d-2d关键点对生成模块，用于根据所述辅助点以及辅助线，结合鞋子的3d空间结构特征，通过在辅助点之间的连线上做等分点以及基于所述等分点做辅助线或辅助点之间连线的平行线的方式分别在鞋子3d模型和鞋子2d图像中自动生成数量可控的3d关键点和2d关键点对。
19.根据本发明实施例的第三方面，提出了一种鞋子3d-2d关键点对标注系统，所述系统包括：处理器和存储器；
20.所述存储器用于存储一个或多个程序指令；
21.所述处理器，用于运行一个或多个程序指令，用以执行如上任一项所述的方法。
22.根据本发明实施例的第四方面，提出了一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种鞋子3d-2d关键点对标注系统执行如上任一项所述的方法。
23.本发明实施例具有如下优点：
24.本发明实施例提出的一种鞋子3d-2d关键点对标注方法、装置及系统，通过挖掘鞋子中易于人力识别的标志性特征部位与其3d空间结构的内在关联，借由相对少量的人力标注，来半自动化地生成最终3d-2d关键点对，只需要人工标注相对少量的辅助点、辅助线，就可以半自动化地生成最终的关键点，同时由于采用等分点与平行线的组合，可以灵活的生成指定数量的最终关键点，标注精度高，标注速度快。
附图说明
25.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
26.图1为本发明实施例1提供的一种鞋子3d-2d关键点对标注方法的流程示意图；
27.图2为本发明实施例1提供的一种鞋子3d-2d关键点对标注方法中在鞋子2d图像中的矩形框标注示意图；
28.图3为本发明实施例1提供的一种鞋子3d-2d关键点对标注方法中在鞋子2d图像中的辅助点标注示意图；
29.图4为本发明实施例1提供的一种鞋子3d-2d关键点对标注方法中在鞋子2d图像中的辅助线标注示意图；
30.图5为本发明实施例1提供的一种鞋子3d-2d关键点对标注方法中在鞋子2d图像中的等分点及平行线标注示意图；
31.图6为本发明实施例1提供的一种鞋子3d-2d关键点对标注方法中在鞋子3d模型中标注的3d关键点示意图；
32.图7为本发明实施例1提供的一种鞋子3d-2d关键点对标注方法中在鞋子2d图像中标注的2d关键点示意图。
具体实施方式
33.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.实施例1
35.如图1所示，本实施例提出了一种鞋子3d-2d关键点对标注方法，该方法包括：
36.s100、分别在鞋子3d模型和鞋子2d图像中通过人工标注辅助点以及辅助线。
37.由于pnp算法要求3d-2d点对是一一对应的，因此关键点也分为3d关键点和2d关键点，进而辅助点、辅助线的人工标注也是分别在3d模型和2d图像上进行的。考虑到鞋子存在不同鞋型，例如不同的鞋底厚度等，我们选取最终要生成的关键点位于相对不受鞋型影响的脚底曲面上(即脚底【非鞋底】实际位于的曲面【近似认为鞋垫】上)，以及脚背曲面上。
38.具体的，设计人工标记4个辅助点以及4条辅助线，第一辅助点为鞋尖，第二辅助点为鞋跟，第三辅助点为鞋舌正中，第四辅助点为鞋子后侧最上方，第一辅助线为从鞋尖出发沿大脚趾侧并沿脚底所在曲面与鞋子外轮廓交会线到鞋跟，第二辅助线为从鞋尖出发沿小脚趾侧并沿脚底所在曲面与鞋子外轮廓交会线到鞋跟，第三辅助线为从鞋尖出发沿脚背所在曲面到鞋舌正中，第四辅助线为垂直于鞋尖-鞋跟连线且平行于脚底所在曲面的拟合平面的线段。实际操作中我们选取最靠近鞋尖侧的第一个鞋带孔对的连线作为第四辅助线。
39.对于在鞋子3d模型上的标注，首先通过3d模型编辑工具直接选取4个辅助点以及第四辅助线的3d坐标完成标注；对于第一辅助线、第二辅助线以及第三辅助线，通过
blender等专业三维图形图像软件添加近似片面至3条辅助线所在区域完成标注。
40.对于鞋子2d图像上的标注，首先通过labelme等标注工具在图中以矩形框(标注类型)的形式标注出所有存在的鞋子，如图2所示；然后以线段(标注类型)的形式在图上标注出每只鞋子的鞋尖与鞋跟，以点(标注类型)的形式在图上标注出鞋舌正中以及鞋子后侧最上方，如图3所示；再以多段线段(标注类型)的形式标注出每只鞋的4条辅助线，如图4所示，在这里我们只标出其在图中可见的部分。
41.s200、根据辅助点以及辅助线，结合鞋子的3d空间结构特征，通过在辅助点之间的连线上做等分点以及基于等分点做辅助线或辅助点之间连线的平行线的方式分别在鞋子3d模型和鞋子2d图像中自动生成数量可控的3d关键点和2d关键点对。
42.在完成了上述步骤1中的辅助点、辅助线标注工作后，接下来我们生成最终的关键点。由于人眼难以直接准确找到3d-2d点对的对应关系，本发明从鞋子的空间结构角度(即在3d和2d空间中依然是有严格对应关系的)出发，寻找对应的3d-2d点对。
43.对于鞋子2d图像，首先对第一辅助点至第二辅助点的连线进行等分，然后基于生成的多个等分点分别做第四辅助线的平行线，并分别与第一、第二辅助线相交于多个点，然后对第一辅助点至第二辅助点的连线进行等分，基于生成的多个等分点分别做第二辅助点至第三辅助点的连线的平行线，并分别与第三辅助线相交于多个点，由此在鞋子2d图像上生成包括辅助点、等分点以及交点的多个2d关键点；对于鞋子3d模型，采取类似的手段获取与多个2d关键点所对应的3d点坐标，从而获得所需的3d-2d关键点对。
44.举例而言，对于鞋子2d图像，首先19等分鞋尖(第一辅助点)至鞋跟(第二辅助点)的连线，(产生除去头尾共18个等分点)，然后通过这18个等分点做第四辅助线的平行线，分别与第一、第二辅助线相交于各18个点。下一步，我们9等分鞋尖(第一辅助点)至鞋跟(第二辅助点)的连线(产生去除头尾的8个等分点)，然后过上述8个等分点做鞋跟(第二辅助点)-鞋舌正中(第三辅助点)连线的平行线，与第三辅助线相交于8个点。(等分点及平行线样例请参考图5，这里平行线仅展示角度，请自行延长以想象交叉点)。由此，我们总共获得了4个辅助点 18 18 8＝总计48个2d关键点。对于3d模型，我们采取类似的手段获取这48个2d关键点所对应的3d点坐标，从而获得所需的3d-2d点对。图6展示了标注完成的3d关键点，图7展示标注完成的2d关键点，这里仅显示可见的关键点。
45.在这里，根据等分点的数量不同，可以灵活调整所获得的3d-2d点对数量，同时由于使用了等分点与平行线的组合，因此3d-2d点对的对应精度也高于平均人工标注精度。
46.本实施例通过挖掘鞋子中易于人力识别的标志性特征部位与其3d空间结构的内在关联，借由相对少量的人力标注，来半自动化地生成最终3d-2d关键点对，具有以下优点：
47.(1)易于人工标注的辅助点、线
48.相比与直接标注量大、难度高的最终关键点，本发明提出人工标注一些易于人工判断、标注的相对少量辅助点、辅助线，进而使用本发明中提出的半自动化关键点生成算法去生成最终的关键点。
49.(2)半自动化、可任意调整的关键点生成算法
50.通过挖掘鞋子3d空间结构中的特征，只需要人工标注相对少量的辅助点、辅助线，就可以半自动化地生成最终的关键点，同时由于采用等分点与平行线的组合，可以灵活的生成指定数量的最终关键点。
51.实施例2
52.与上述实施例1相对应的，本实施例提出了一种鞋子3d-2d关键点对标注装置，该装置包括：
53.辅助点及辅助线标注模块，用于分别在鞋子3d模型和鞋子2d图像中通过人工标注辅助点以及辅助线；
54.3d-2d关键点对生成模块，用于根据辅助点以及辅助线，结合鞋子的3d空间结构特征，通过在辅助点之间的连线上做等分点以及基于等分点做辅助线或辅助点之间连线的平行线的方式分别在鞋子3d模型和鞋子2d图像中自动生成数量可控的3d关键点和2d关键点对。
55.本发明实施例提供的一种鞋子3d-2d关键点对标注装置中各部件所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。
56.实施例3
57.与上述实施例相对应的，本实施例提出了一种鞋子3d-2d关键点对标注系统，该系统包括：处理器和存储器；
58.存储器用于存储一个或多个程序指令；
59.处理器，用于运行一个或多个程序指令，用以执行如实施例1的方法。
60.实施例4
61.与上述实施例相对应的，本实施例提出了一种计算机存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种鞋子3d-2d关键点对标注装置执行如实施例1的方法。
62.虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。