一种用于目标物体的二维图像样本扩充方法与流程

1.本发明涉及计算机领域，尤其涉及一种用于目标物体的二维图像样本扩充方法。


背景技术：

2.姿态估计在机器人视觉、动作跟踪和单照相机定标等很多领域都有应用。在不同领域用于姿态估计的传感器是不一样的，在这里主要讲基于视觉的姿态估计。基于视觉的姿态估计根据使用的摄像机数目又可分为单目视觉姿态估计和多目视觉姿态估计。
3.目前许多研究方案基本都是基于激光点云来对目标姿态进行估计，其获得数据的硬件设备成本极高，且使用寿命短。同时其数据量大处理过程复杂且效率慢。


技术实现要素：

4.本发明的目的在于提供一种用于目标物体的二维图像样本扩充方法，解决物体样本采样效率低的问题。
5.为实现上述发明目的，本发明提供一种用于目标物体的二维图像样本扩充方法，包括以下步骤：
6.s1.针对目标物体进行三维建模生成数字模型，以及选取多个方向对所述目标物体采集二维图像样本；
7.s2.提取所述二维图像样本中所有关于所述目标物体的纹理信息；
8.s3.依次调整所述数字模型的位姿与各所述二维图像样本的采集方向一致，并将获得的所述纹理信息依次添加至所述数字模型的表面；
9.s4.变换所述数字模型的位姿，提取不同方向上所述数字模型的二维图像作为新的二维图像样本。
10.根据本发明的一个方面，所述数字模型的表面设置有表面网格。
11.根据本发明的一个方面，步骤s3中，将获得的所述纹理信息依次添加至所述数字模型的表面的步骤中，包括：
12.s31.基于所述表面网格对所述纹理信息进行切割；
13.s32.按照所述表面网格，将切割后的所述纹理信息依次添加到所述数字模型的表面。
14.根据本发明的一个方面，骤s3中，将获得的所述纹理信息依次添加至所述数字模型的表面的步骤中，还包括：
15.s33.基于所述表面网格，对所述数字模型的表面上相邻网格内的所述纹理信息进行采样；
16.s34.基于采样结果，对相邻网格之间的所述纹理信息进行插值补偿。
17.根据本发明的一个方面，步骤s33中，对所述数字模型的同一表面上的相邻网格内的所述纹理信息和相交表面上的相邻网格内的所述纹理信息分别进行采样。
18.根据本发明的一个方面，还包括：
19.s5.通过改变新的所述二维图像样本的亮度、尺寸中的至少一个条件扩充所述二维图像样本的数量。
20.根据本发明的一个方面，步骤s4中，采用差分方式变换所述数字模型的位姿。
21.根据本发明的一个方面，步骤s2中，提取所述二维图像样本中所有关于所述目标物体的纹理信息的步骤中包括：
22.获取所述二维图像样本网格区域的纹理信息，并对所述纹理信息进行加权平均处理，生成该部分网格的纹理信息。
23.根据本发明的一种方案，采用获取实际目标物体的表面纹理，以及目标物体的三维模型，并将表面纹理与三维模型(即数字模型)融合的方式，可以实现仅通过变换三维模型的位姿就可获取大量具备高精度标注信息的图像样本，避免了对实际目标物体进行图像样本采集时工作量大的弊端，不仅能够高效获得大量高精度的图像样本，还能有效降低样本采集的工作量和成本。
24.根据本发明的一种方案，通过采用表面网格进行纹理匹配的方式，保证了在数字模型表面添加纹理的精度，使得数字模型与实际目标物体的表面一致，保证了获得的图像样本的质量精度。
25.根据本发明的一种方案，通过对相邻的网格之间的纹理信息进行插值补偿有效的保证了数字模型表面纹理的准确性，使得数字模型的表面纹理和实际目标物体的表面纹理的误差最小，进而对保证图像样本的质量有利。
26.根据本发明的一种方案，通过改变二维图像的亮度、尺寸等条件可以更加简单快捷的获取更多的样本数量，使得样本扩充效率更高。
27.根据本发明的一种方案，通过采用差分方式变换数字模型的位姿，保证了能够尽可能多的获得充足的样本数据，使得本发明的样本量充分满足要求。
28.根据本发明的一种方案，通过实际拍摄的图像和目标三维模型进行表面纹理提取和匹配，来自动生成大量精确的二维投影图片。其还可以通过自动分析目标纹理，并渲染出以假乱真的目标投影图像。
附图说明
29.图1示意性表示根据本发明的一种实施方式的二维图像样本扩充方法的步骤框图。
具体实施方式
30.为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能
理解为对本发明的限制。
32.下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
33.如图1所示，根据本发明的一种实施方式，本发明的一种用于目标物体的二维图像样本扩充方法，包括以下步骤：
34.s1.针对目标物体进行三维建模生成数字模型，以及选取多个方向对目标物体采集二维图像样本；
35.s2.提取二维图像样本中所有关于目标物体的纹理信息；
36.s3.依次调整数字模型的位姿与各二维图像样本的采集方向一致，并将获得的纹理信息依次添加至数字模型的表面；
37.s4.变换数字模型的位姿，提取不同方向上数字模型的二维投影图像作为新的二维图像样本。
38.根据本发明的一种实施方式，数字模型的表面设置有表面网格。
39.根据本发明的一种实施方式，步骤s3中，将获得的纹理信息依次添加至数字模型的表面的步骤中，包括：
40.s31.基于表面网格对纹理信息进行切割；
41.s32.按照表面网格，将切割后的纹理信息依次添加到数字模型的表面。
42.根据本发明，通过采用表面网格进行纹理匹配的方式，保证了在数字模型表面添加纹理的精度，使得数字模型与实际目标物体的表面一致，保证了获得的图像样本的质量精度。
43.根据本发明的一种实施方式，骤s3中，将获得的纹理信息依次添加至数字模型的表面的步骤中，还包括：
44.s33.基于表面网格，对数字模型的表面上相邻网格内的纹理信息进行采样。在本实施方式中，对数字模型的同一表面上的相邻网格内的纹理信息和相交表面上的相邻网格内的纹理信息分别进行采样。
45.s34.基于采样结果，对相邻网格之间的纹理信息进行插值补偿。
46.根据本发明，通过对相邻的网格之间的纹理信息进行插值补偿有效的保证了数字模型表面纹理的准确性，使得数字模型的表面纹理和实际目标物体的表面纹理的误差最小，进而对保证图像样本的质量有利。其中，通过网格mesh的纹理信息取得和几何变换就是非常方便的实现方法。
47.根据本发明的一种实施方式，还包括：
48.s5.通过改变新的二维图像样本的亮度、尺寸中的至少一个条件扩充二维图像样本的数量。
49.根据本发明，通过改变二维图像的亮度、尺寸等条件可以更加简单快捷的获取更多的样本数量，使得样本扩充效率更高。
50.根据本发明的一种实施方式，步骤s4中，采用差分方式变换数字模型的位姿。
51.根据本发明的，通过采用差分方式变换数字模型的位姿，保证了能够尽可能多的获得充足的样本数据，使得本发明的样本量充分满足要求。
52.根据本发明的一种实施方式，步骤s2中，提取所述二维图像样本中所有关于所述
目标物体的纹理信息的步骤中包括：
53.获取二维图像样本网格区域的纹理信息，并对纹理信息进行加权平均处理，生成该部分网格的纹理信息。
54.通过上述设置，在实际采集二维图像样本过程种，总会有相互叠加重复的部分，对这部分网格的纹理进行目标位姿和实际采集图像的目标位姿进行加权平均，使得距离目标位姿越近的图像，对数字模型表面的纹理信息贡献越大，其真实性越高。
55.上述内容仅为本发明的具体方案的例子，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。
56.以上所述仅为本发明的一个方案而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。