图像数据的生成方法、装置以及电子设备与流程

1.本技术涉及图像数据生成领域，尤其涉及一种图像数据的生成方法、装置以及电子设备。


背景技术：

2.在工业生产中，使用机械臂取放物体被广泛使用在生产线中。在使用机械臂拿取物体时，为了快速和精准地抓取物体，物体在生产现场的空间姿态信息尤为重要，因此，需要对物体的空间姿态进行标注。
3.随着机器学习技术的发展，通常使用深度学习技术对ai(artificial intelligence，人工智能)模型进行训练，然后将ai模型应用于机械臂，由此使机械臂能够精确地抓取物体。而为了使ai模型具有泛化性，在对ai模型进行训练时，需要使用大量的不同场景下的图像数据。
4.应该注意，上面对技术背景的介绍只是为了方便对本技术的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本技术的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。


技术实现要素：

5.发明人发现，现有技术中对模型进行训练的图像数据分为“真数据”和“假数据”，“真数据”通常为实际拍摄的图像数据，但由于需要大量的图像数据，因此，获取“真数据”耗时耗力，作业成本较高，并且，在特定场景下训练出的模型，在更换场景后模型的精度会下降，即模型的泛化性不高；“假数据”通常为通过图像合成技术生成的图像数据，但现有的图像合成方法仅涉及对二维图像进行合成，并未涉及在包括三维物体的图像中改变物体的背景的技术。
6.为了解决上述问题中的至少一个或其他类似的问题，本技术实施例提供一种图像数据的生成方法以及装置。
7.根据本技术实施例的第一方面，提供一种图像数据的生成方法，其中，所述生成方法包括：获取通过摄像装置拍摄的包含前景图像和背景图像的第1图像，其中，所述背景图像中包含多个人工标记，所述前景图像中的物体在所述背景图像中的投影位于所述多个人工标记所包围的区域中；根据所述第1图像计算所述前景图像中的物体相对于所述摄像装置的空间姿态；根据所述多个人工标记与所述背景图像的空间关系，将目标图像的各像素映射到所述背景图像中以生成第2图像；利用所述前景图像中的所述物体的三维模型以及所述物体相对于所述摄像装置的空间姿态生成与所述第1图像对应的掩膜图像；以及根据所述第2图像和所述掩膜图像合成第3图像。
8.在至少一个实施例中，所述根据所述第1图像计算所述前景图像中的所述物体相对于所述摄像装置的空间姿态，包括：根据所述第1图像计算所述摄像装置的坐标系相对于所述多个人工标记中的任意一个人工标记的坐标系的第1空间关系；根据所述第1空间关系
和所述前景图像中的所述物体相对于所述多个人工标记的第2空间关系计算所述物体相对于所述摄像装置的空间姿态。
9.在至少一个实施例中，所述生成方法还包括：根据所述第1图像计算所述前景图像中的所述物体与所述多个人工标记中的任意一个人工标记的坐标系的第2空间关系，根据所述第1空间关系和所述第2空间关系计算所述空间姿态。
10.在至少一个实施例中，所述背景图像中包括至少4个具有不同识别码的人工标记，所述至少4个人工标记分别位于所述背景图像中的至少4个不同位置。
11.在至少一个实施例中，所述将目标图像的各像素映射到所述背景图像中以生成所述第2图像，包括：根据所述多个人工标记在所述背景图像的坐标系中的位置信息计算从所述背景图像到所述目标图像的映射矩阵，根据公式(1)生成第2图像，
[0012][0013]
其中，为所述背景图像中的像素点，为所述目标图像的像素点，h为所述映射矩阵。
[0014]
根据本技术实施例的第二方面，提供一种图像数据的生成装置，其中，所述生成装置包括：图像获取单元，其获取通过摄像装置拍摄的包含所述前景图像和所述背景图像的第1图像，其中，所述背景图像中包含多个人工标记，所述前景图像中的物体在所述背景图像中的投影位于所述多个人工标记所包围的区域中；第一计算单元，其根据所述第1图像计算所述前景图像中的物体相对于所述摄像装置的空间姿态；映射单元，其根据所述多个人工标记与所述背景图像的空间关系，将目标图像的各像素映射到所述背景图像中，生成第2图像；掩膜生成单元，其利用所述前景图像中的所述物体的三维模型以及所述物体相对于所述摄像装置的空间姿态生成与所述第1图像对应的掩膜图像；以及合成单元，其根据所述第2图像和所述掩膜图像合成第3图像。
[0015]
在至少一个实施例中，所述第一计算单元包括：第1空间关系计算单元，其根据所述第1图像计算所述摄像装置的坐标系相对于所述多个人工标记中的任意一个人工标记的坐标系的第1空间关系；以及空间姿态计算单元，其根据所述第1空间关系和所述前景图像中的所述物体相对于所述多个人工标记的第2空间关系计算所述物体相对于所述摄像装置的空间姿态。
[0016]
在至少一个实施例中，所述第一计算单元还包括：第2空间关系计算单元，其根据所述第1图像计算所述前景图像中的所述物体与所述多个人工标记中的任意一个人工标记的坐标系的第2空间关系，所述空间姿态计算单元根据由所述第1空间关系计算单元计算的所述第1空间关系和由所述第2空间关系计算单元计算的所述第2空间关系计算所述空间姿态。
[0017]
在至少一个实施例中，所述背景图像中包括至少4个具有不同识别码的人工标记，所述至少4个人工标记分别位于所述背景图像中的至少4个不同位置。
[0018]
在至少一个实施例中，所述映射单元包括：映射矩阵计算单元，其根据所述多个人工标记在所述背景图像的坐标系中的位置信息计算从所述背景图像到所述目标图像的映
射矩阵；以及第2图像生成单元，其根据公式(1)生成第2图像，
[0019][0020]
其中，为所述背景图像中的像素点，为所述目标图像的像素点，h为所述映射矩阵。
[0021]
根据本技术实施例的第三方面，提供一种电子设备，其中，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置为执行所述计算机程序而实现本技术实施例的第一方面所述的图像数据的生成方法。
[0022]
本技术实施例的有益效果之一在于：利用多个人工标记对需要拍摄的物体的背景进行标记，可以利用目标图像替换拍摄图像中的物体的背景图像，从而可以以较低的作业成本合成大量的与实际使用场景接近的图像数据。
[0023]
参照后文的说明和附图，详细公开了本技术的特定实施方式，指明了本技术的原理可以被采用的方式。应该理解，本技术的实施方式在范围上并不因而受到限制。在所附权利要求的条款的范围内，本技术的实施方式包括许多改变、修改和等同。
[0024]
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
[0025]
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
[0026]
在本技术实施例的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。此外，在附图中，类似的标号表示几个附图中对应的部件，并可用于指示多于一种实施方式中使用的对应部件。
[0027]
所包括的附图用来提供对本技术实施例的进一步的理解，其构成了说明书的一部分，用于例示本技术的实施方式，并与文字描述一起来阐释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0028]
图1是本技术实施例的图像数据的生成方法的一个流程示意图。
[0029]
图2是本技术实施例的第1图像的一个示意图。
[0030]
图3是本技术实施例的生成方法中计算前景图像中的物体相对于摄像装置的空间姿态的步骤的一个示意图。
[0031]
图4是对在图3所示的步骤中计算前景图像中的物体相对于摄像装置的空间姿态进行说明的一个示意图。
[0032]
图5是本技术实施例的第1图像对应的掩膜图像的一个示意图。
[0033]
图6是本技术实施例的第3图像的一个示意图。
[0034]
图7是本技术实施例的图像数据的生成装置一个示意图。
[0035]
图8是本技术实施例的第一计算单元的一个示意图。
[0036]
图9是本技术实施例的映射单元的一个示意图。
[0037]
图10是本技术实施例的电子设备的一个示意图。
具体实施方式
[0038]
参照附图，通过下面的说明书，本技术的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本技术的特定实施方式，其表明了其中可以采用本技术的原则的部分实施方式，应了解的是，本技术不限于所描述的实施方式，相反，本技术包括落入所附权利要求的范围内的全部修改、变型以及等同物。下面结合附图对本技术的各种实施方式进行说明。这些实施方式只是示例性的，不是对本技术的限制。
[0039]
在本技术实施例中，术语“第一”、“第二”、“上”、“下”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
[0040]
在本技术实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据
……”
，术语“基于”应理解为“至少部分基于
……”
，除非上下文另外明确指出。
[0041]
第一方面的实施例
[0042]
本技术第一方面的实施例提供一种图像数据的生成方法，图1是本技术实施例的生成方法的一个流程示意图。
[0043]
如图1所示，本技术实施例的生成方法100可以包括以下步骤：
[0044]
步骤101：获取通过摄像装置拍摄的包含前景图像和背景图像的第1图像；
[0045]
步骤103：根据所述第1图像计算所述前景图像中的物体相对于所述摄像装置的空间姿态；
[0046]
步骤105：根据所述多个人工标记与所述背景图像的空间关系，将目标图像的各像素映射到所述背景图像中，生成第2图像；
[0047]
步骤107：利用所述前景图像中的所述物体的三维模型以及所述物体相对于所述摄像装置的空间姿态生成与所述第1图像对应的掩膜图像；以及
[0048]
步骤109：根据所述第2图像和所述掩膜图像合成第3图像。
[0049]
值得注意的是，以上附图1仅对本技术实施例进行了示意性说明，但本技术不限于此。例如可以适当地调整各个步骤之间的执行顺序，此外还可以增加其他的一些步骤或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图1的记载。
[0050]
在至少一个实施例中，在利用摄像装置拍摄物体的第1图像时，可以利用多个人工标记对物体的背景进行标记，并且，使物体在拍摄图像中的投影位于多个人工标记所包围的区域中，由此，拍摄得到的第1图像包括前景图像和背景图像，背景图像中包含多个人工标记，前景图像中的物体在背景图像中的投影位于多个人工标记所包围的区域中。
[0051]
图2是本技术实施例的第1图像的一个示意图。如图2所示，第1图像200包括背景图
像201和前景图像202，背景图像201中包含多个人工标记203，前景图像202中的物体位于多个人工标记203所包围的区域中，以下为了方便描述，有时候也将前景图像202中的物体用附图标记“202”进行表示。
[0052]
另外，图2中示出的人工标记203为aruco(augmented reality university of cordoba)标记。另外，本技术实施例还可以利用其它具有类似功能的人工标记，例如，apriltag等。本技术实施例对具体使用哪种人工标记不作限制。
[0053]
对于aruco标记，aruco标记由一个单位宽度的黑色边框和黑色边框内的二维图案组成，黑色边框用于在图像中快速检测到标记，内部的二维图案表示二进制矩阵，与标记的识别码(即，标记的id)对应，用于对标记进行标识，并且，由于每个二维图案是唯一的，因此，每个aruco标记的id也是唯一的。并且aruco标记的二进制矩阵是已知的，因此，能够利用图像中的aruco标记获取与摄像装置的位置和姿势相关的信息。另外，aruco标记的大小和尺寸可以根据实际需要进行预定义，具体可以参考相关技术。
[0054]
图3是本技术实施例的生成方法中计算前景图像中的物体相对于摄像装置的空间姿态的步骤的一个示意图，图4是对在图3所示的步骤中计算前景图像中的物体相对于摄像装置的空间姿态进行说明的一个示意图。下面以图3和图4为例对本技术实施例中计算前景图像中的物体相对于摄像装置的空间姿态的方法进行说明。
[0055]
如图3所示，在步骤103中，可以包括以下步骤：
[0056]
步骤1031：根据第1图像计算摄像装置的坐标系相对于多个人工标记中的任意一个人工标记的坐标系的第1空间关系；
[0057]
步骤1032：根据第1图像计算前景图像中的物体与多个人工标记中的任意一个人工标记的坐标系的第2空间关系；
[0058]
步骤1033：根据第1空间关系和第2空间关系计算前景图像中的物体相对于摄像装置的空间姿态。
[0059]
如图4所示，将摄像装置400的坐标系记为a，背景中可以设置多个aruco标记，物体402位于多个aruco标记围成的区域内，将其中任意一个aruco标记401的坐标系记为b，将物体402的坐标系记为c，可以根据公式(11)计算前景图像中的物体402相对于摄像装置400的空间姿态，
[0060][0061]
其中，为第1空间关系，为第2空间关系，和分别为物体402相对于摄像装置400的旋转矩阵和平移矩阵，也可以说，和为物体402相对于摄像装置400的空间姿态，例如为六自由度的空间信息。
[0062]
在步骤1031中，由于在拍摄第1图像时，摄像装置400和aruco标记401的位置均是预先设定的，即，摄像装置400与aruco标记401的相对位置是已知的，因此，摄像装置400的坐标系a与aruco标记401的坐标系b之间的旋转矩阵r和平移矩阵t是已知的，因此，可以通
过计算得到第1空间关系。
[0063]
在步骤1032中，由于在拍摄第1图像时，前景图像中的物体402和aruco标记401的相对位置也是预先设定的，并且，如果aruco标记401和物体402是相对静止的，那么aruco标记401的坐标系b与物体402的坐标系c之间没有相对旋转，可以认为aruco标记401的坐标系b与物体402的坐标系c之间的旋转矩阵r为单位矩阵，例如，r为3
×
3的单位矩阵因此，可以通过实际测量得到aruco标记401的坐标系b与三维物体402的坐标系c之间的平移矩阵t，从而通过计算得到第2空间关系。此外，由于前景图像中的物体402和aruco标记401的相对位置是预先设定的，因此，第2空间关系也可以被预先确定。
[0064]
在步骤1033中，根据第1空间关系和第2空间关系，通过公式(11)计算出物体402相对于摄像装置400的空间姿态。
[0065]
在至少一个实施例中，如图2所示，背景图像201中包括4个具有不同id的人工标记203，4个人工标记203分别位于背景图像201中的4个不同位置，例如，可以将4个人工标记设置在背景图像的4个角处，由此，能够准确替换背景图像中的各个像素。但本技术实施例不限于此，可以将人工标记设置在背景图像中的任意不同位置。此外，本技术实施例对人工标记的数量不作限制，可以是5个及以上。人工标记的数量越多，计算时就能够获取更多的位置和姿势信息，计算结果也更加精确，但同时计算量也随之增加，因此，可以根据实际需要选择合适数量的人工标记。
[0066]
在至少一个实施例中，由于多个人工标记在背景图像中的位置是已知的，因此，可以预先获知多个人工标记在背景图像的坐标系中的位置信息。在步骤105中，可以根据预先获知的位置信息计算从背景图像到目标图像的映射矩阵，然后根据公式(1)生成第2图像，
[0067][0068]
其中，为背景图像中的像素点，为目标图像的像素点，h为映射矩阵。
[0069]
例如，在图2所示的场景中，从4个人工标记203中各选取一个角点，例如，从某个人工标记203的一个角点按照顺时针方向选择其他人工标记203的角点，将人工标记的角点作为目标点(dst)，将背景图像的4个角点作为源点(src)，计算源点和目标点之间的单应性函数h，从而求解出映射矩阵h，然后通过公式(1)将目标图像映射到第1图像中的背景图像的位置，从而生成第2图像。
[0070]
此外，也可以利用其它方法计算映射矩阵以及生成第2图像，具体方法可以参考相关技术，本技术实施例对此不作限制。
[0071]
在至少一个实施例中，物体的三维模型可以预先获取，获取物体的三维模型的方法可以参考相关技术，本技术实施例对此不作限制。在步骤107中，可以根据在步骤103中计
算出的物体相对于摄像装置的空间姿态和预先获取的物体的三维模型生成与第1图像对应的掩膜图像。生成掩膜图像的方法可以参考相关技术，本技术实施例对此不作限制。
[0072]
图5是本技术实施例的第1图像对应的掩膜图像的一个示意图。例如，在步骤107中生成图5所示的掩膜图像。
[0073]
在步骤109中，根据在步骤105中生成的第2图像和在步骤107中生成的掩膜图像合成第3图像，例如，将第2图像与掩膜图像进行矩阵运算，从而将第1图像中的背景图像替换为目标图像并且保留了前景图像中的物体，由此，使得物体看起来像在一个新的场景中被拍摄，即，生成了“假数据”。
[0074]
此外，也可以使用其他方法合成第3图像，具体的合成方法可以参考相关技术，本技术实施例对此不作限制。
[0075]
图6是本技术实施例的第3图像的一个示意图。例如，在步骤109中生成图6所示的第3图像。第3图像即为合成的“假数据”。由此，可以利用与实际使用场景接近的图像替换图像中的背景图像，从而生成与实际使用场景接近的图像数据。
[0076]
此外，可以通过对实际使用场景拍摄视频的方式获取大量的目标图像，由此，可以通过对视频数据进行处理而批量生成“假数据”。
[0077]
以上各个实施例仅对本技术实施例进行了示例性说明，但本技术不限于此，还可以在以上各个实施例的基础上进行适当的变型。例如，可以单独使用上述各个实施例，也可以将以上各个实施例中的一种或多种结合起来。
[0078]
由上述实施例可知，利用多个人工标记203对需要拍摄的物体202的背景进行标记，从而可以利用目标图像替换拍摄图像中的物体的背景图像，从而可以以较低的作业成本生成大量的与实际使用场景接近的图像数据。
[0079]
第二方面的实施例
[0080]
本技术第二方面的实施例提供一种图像数据的生成装置，由于该生成装置解决问题的原理与第一方面的实施例的生成方法类似，因此其具体的实施可以参考第一方面的实施例的方法的实施例，内容相同之处，不再重复说明。
[0081]
图7是本技术实施例的生成装置一个示意图，如图7所示，生成装置700可以包括图像获取单元701、第一计算单元702、映射单元703、掩膜生成单元704和合成单元705。
[0082]
其中，图像获取单元701获取通过摄像装置拍摄的包含所述前景图像和所述背景图像的第1图像，其中，所述背景图像中包含多个人工标记，所述前景图像中的物体在所述背景图像中的投影位于所述多个人工标记所包围的区域中；第一计算单元702根据所述第1图像计算所述前景图像中的物体相对于所述摄像装置的空间姿态；映射单元703根据所述多个人工标记与所述背景图像的空间关系，将目标图像的各像素映射到所述背景图像中，生成第2图像；掩膜生成单元704利用所述前景图像中的所述物体的三维模型以及所述物体相对于所述摄像装置的空间姿态生成与所述第1图像对应的掩膜图像；合成单元705根据所述第2图像和所述掩膜图像合成第3图像。
[0083]
在至少一个实施例中，在利用摄像装置拍摄物体的第1图像时，可以利用多个人工标记对物体的背景进行标记，并且，使物体在拍摄图像中的投影位于多个人工标记所包围的区域中，由此，图像获取单元701获取的第1图像中包括前景图像和背景图像，背景图像中包含多个人工标记，前景图像中的物体在背景图像中的投影位于多个人工标记所包围的区
域中。
[0084]
图8是本技术实施例的第一计算单元702的一个示意图。
[0085]
在至少一个实施例中，如图8所示，第一计算单元702可以包括第1空间关系计算单元721和空间姿态计算单元722，其中，第1空间关系计算单元721根据所述第1图像计算所述摄像装置的坐标系相对于所述多个人工标记中的任意一个人工标记的坐标系的第1空间关系；空间姿态计算单元722根据所述第1空间关系和所述前景图像中的所述物体相对于所述多个人工标记的第2空间关系计算所述物体相对于所述摄像装置的空间姿态。
[0086]
在至少一个实施例中，如图8所示，第一计算单元702还可以包括第2空间关系计算单元723，第2空间关系计算单元723根据所述第1图像计算所述前景图像中的所述物体与所述多个人工标记中的任意一个人工标记的坐标系的第2空间关系，空间姿态计算单元722根据由第1空间关系计算单元721计算的第1空间关系和由第2空间关系计算单元723计算的第2空间关系计算空间姿态。
[0087]
计算第1空间关系、第2空间关系以及利用第1空间关系和第2空间关系计算三维物体相对于摄像装置的空间姿态的方法在第一方面的实施例中已经进行了详细说明，其内容被合并于此。
[0088]
图9是本技术实施例的映射单元703的一个示意图。
[0089]
在至少一个实施例中，如图9所示，映射单元703可以包括映射矩阵计算单元731和第2图像生成单元732，其中，映射矩阵计算单元731根据所述多个人工标记在所述背景图像的坐标系中的位置信息计算从所述背景图像到所述目标图像的映射矩阵；第2图像生成单元732根据公式(1)生成第2图像，
[0090][0091]
其中，为所述背景图像中的像素点，为所述目标图像的像素点，h为所述映射矩阵。
[0092]
在至少一个实施例中，由于多个人工标记在背景图像中的位置是已知的，因此，可以预先获知多个人工标记在背景图像的坐标系中的位置信息，映射矩阵计算单元731可以根据预先获知的位置信息计算从背景图像到目标图像的映射矩阵h。第2图像生成单元732根据公式(1)将目标图像映射到第1图像中的背景图像的位置，从而生成第2图像。
[0093]
此外，也可以利用其它方法计算映射矩阵以及生成第2图像，具体方法可以参考相关技术，本技术实施例对此不作限制。
[0094]
在至少一个实施例中，物体的三维模型可以预先获取，获取物体的三维模型的方法可以参考相关技术，本技术实施例对此不作限制。掩膜生成单元704根据预先获取的物体的三维模型和由第一计算单元702计算出的前景图像中的物体相对于摄像装置的空间姿态生成与第1图像对应的掩膜图像。生成掩膜图像的方法可以参考相关技术，本技术实施例对此不作限制。
[0095]
在至少一个实施例中，合成单元705根据由映射单元703生成的第2图像和由掩膜生成单元704生成的掩膜图像合成第3图像。例如，将第2图像与掩膜图像进行加法运算，从
而将第1图像中的背景图像替换为目标图像并且保留了前景图像中的物体，由此，使得物体看起来像在一个新的场景中被拍摄，即，生成了“假数据”。因此，可以利用与实际使用场景接近的图像替换图像中的背景图像，从而生成与实际使用场景接近的图像数据。
[0096]
此外，也可以使用其他方法合成第3图像，具体的合成方法可以参考相关技术，本技术实施例对此不作限制。
[0097]
此外，可以通过对实际使用场景拍摄视频的方式获取大量的目标图像，由此，可以通过对视频数据进行处理而批量生成“假数据”。
[0098]
以上各个实施例仅对本技术实施例进行了示例性说明，但本技术不限于此，还可以在以上各个实施例的基础上进行适当的变型。例如，可以单独使用上述各个实施例，也可以将以上各个实施例中的一种或多种结合起来。
[0099]
值得注意的是，以上仅对与本技术相关的各部件或模块进行了说明，但本技术不限于此。本技术实施例的生成装置700还可以包括其它部件或者模块，关于这些部件或者模块的具体内容，可以参考相关技术。
[0100]
此外，为了简单起见，图7至9中仅示例性示出了各个部件或模块，并省略了模块之间的连接关系或信号走向，但是本领域技术人员应该清楚的是，可以采用总线连接等各种相关技术。上述各个部件或模块可以通过例如处理器、存储器、发射机、接收机等硬件设施来实现；本技术实施并不对此进行限制。
[0101]
由上述实施例可知，通过生成装置700利用目标图像替换图像数据中的包含人工标记的背景图像，从而可以以较低的作业成本生成大量的与实际使用场景接近的图像数据。
[0102]
第三方面的实施例
[0103]
本技术实施例提供一种电子设备，与第一、二方面的实施例相同的内容不再赘述。
[0104]
图10是本技术实施例的电子设备的一个示意图。如图10所示，电子设备800可以包括：处理器(例如中央处理器cpu)801和存储器802；存储器802耦合到处理器801。其中该存储器802可存储各种数据；此外还存储信息处理的程序804，并且在中央处理器801的控制下执行该程序804。
[0105]
例如，处理器801可以被配置为执行程序而实现如第一方面的实施例中的生成方法。例如，处理器801可以被配置为进行如下的控制：获取通过摄像装置拍摄的包含前景图像和背景图像的第1图像，其中，所述背景图像中包含多个人工标记，所述前景图像中的物体在所述背景图像中的投影位于所述多个人工标记所包围的区域中；根据所述第1图像计算所述前景图像中的物体相对于所述摄像装置的空间姿态；根据所述多个人工标记与所述背景图像的空间关系，将目标图像的各像素映射到所述背景图像中，生成第2图像；利用所述前景图像中的所述物体的三维模型以及所述物体相对于所述摄像装置的空间姿态生成与所述第1图像对应的掩膜图像；以及根据所述第2图像和所述掩膜图像合成第3图像。
[0106]
在至少一个实施例中，处理器801可以被配置为进行如下的控制：根据所述第1图像计算所述摄像装置的坐标系相对于所述多个人工标记中的任意一个人工标记的坐标系的第1空间关系；根据所述第1空间关系和所述前景图像中的所述物体相对于所述多个人工标记的第2空间关系计算所述物体相对于所述摄像装置的空间姿态。
[0107]
在至少一个实施例中，处理器801可以被配置为进行如下的控制：根据所述第1图
像计算所述前景图像中的所述物体与所述多个人工标记中的任意一个人工标记的坐标系的第2空间关系，根据所述第1空间关系和所述第2空间关系计算所述空间姿态。
[0108]
在至少一个实施例中，所述背景图像中包括至少4个具有不同识别码的人工标记，所述至少4个人工标记分别位于所述背景图像中的至少4个不同位置。
[0109]
在至少一个实施例中，处理器801可以被配置为进行如下的控制：根据所述多个人工标记在所述背景图像的坐标系中的位置信息计算从所述背景图像到所述目标图像的映射矩阵，根据公式(1)生成第2图像，
[0110][0111]
其中，为所述背景图像中的像素点，为所述目标图像的像素点，h为所述映射矩阵。
[0112]
此外，如图10所示，电子设备800还可以包括：i/o模块803等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，电子设备800也并不是必须要包括图8中所示的所有部件；此外，电子设备800还可以包括图10中没有示出的部件，可以参考现有技术。
[0113]
本技术实施例还提供一种计算机可读程序，其中当在电子设备中执行所述程序时，所述程序使得计算机在所述电子设备中执行第一方面的实施例中的生成方法。
[0114]
本技术实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在电子设备中执行第一方面的实施例中的生成方法。
[0115]
本技术以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本技术涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。逻辑部件例如现场可编程逻辑部件、微处理器、计算机中使用的处理器等。本技术还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、dvd、flash存储器等。
[0116]
结合本技术实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图中所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(fpga)将这些软件模块固化而实现。
[0117]
软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于asic中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若设备(如移动终端)采用的是较大容量的mega-sim卡或者大容量的闪存装置，则该软件模块可存储在该mega-sim卡或者大容量的闪存装置中。
[0118]
针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，
可以实现为用于执行本技术所描述功能的通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，还可以实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、与dsp通信结合的一个或多个微处理器或者任何其它这种配置。
[0119]
以上结合具体的实施方式对本技术进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本技术保护范围的限制。本领域技术人员可以根据本技术的精神和原理对本技术做出各种变型和修改，这些变型和修改也在本技术的范围内。