产生训练数据的方法及电子装置与流程

1.本发明涉及一种深度学习技术，尤其涉及一种产生训练数据的方法及电子装置。


背景技术：

2.目前深度学习需要庞大的训练数据做训练才能得到很好的结果。然而，在产品开发的过程中，有些训练数据难以获得，且对于厂商来说非常耗费时间及金钱。
3.一般而言，目前训练数据的产生及收集通常是使用人工标记的方式，但是由于人体姿态或是对象姿态的相关标注工作对于人来说非常的困难，使得每一张的标注都要花费大量的时间，且错误率非常的高。
4.此外，对于某些厂商独有的特定对象(object)(例如某个产品)而言，由于可能无法使用市面上现有的数据集，因此可能必须由厂商自行收集真实数据，进而耗费多余的时间及金钱。


技术实现要素：

5.有鉴于此，本发明提供一种产生训练数据的方法及电子装置，其可用于解决上述技术问题。
6.本发明提供一种产生训练数据的方法，包括：取得一特定对象的一对象模型；取得对象模型处于一第一角度时的一第一图像及对应于第一图像的一第一剪影；基于第一剪影从第一图像中取出呈现第一角度的特定对象的一第一对象图像；将第一对象图像嵌入至一第一背景图像中，以产生一第一训练图像；产生第一对象图像在第一训练图像中的一第一标记数据；将第一训练图像及第一标记数据作为特定对象的一第一训练数据。
7.本发明提供一种电子装置，包括存储电路及处理器。存储电路存储多个模块。处理器耦接存储电路，并存取前述模块以执行下列步骤：取得一特定对象的一对象模型；取得对象模型处于一第一角度时的一第一图像及对应于第一图像的一第一剪影；基于第一剪影从第一图像中取出呈现第一角度的特定对象的一第一对象图像；将第一对象图像嵌入至一第一背景图像中，以产生一第一训练图像；产生第一对象图像在第一训练图像中的一第一标记数据；将第一训练图像及第一标记数据作为特定对象的一第一训练数据。
8.基于上述，本发明可自动、快速且正确地产生训练数据，从而降低相关的时间及金钱成本。
附图说明
9.包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。
10.图1是依据本发明的实施例图示的电子装置示意图；
11.图2是依据本发明的实施例图示的产生训练数据的方法流程图；
12.图3是依据本发明实施例图示的对象模型示意图；
13.图4是依据图3图示的取出第一对象图像的示意图；
14.图5a是依据本发明实施例图示的产生第一训练图像的示意图；
15.图5b及图5c是依据本发明不同实施例图示的产生训练图像的示意图；
16.图6是依据图3图示的取出第二对象图像的示意图。
具体实施方式
17.现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。
18.请参照图1，其是依据本发明的实施例图示的电子装置示意图。在不同的实施例中，本发明的电子装置100可以是各式计算机装置，例如个人计算机、云端服务器、工作站、笔记本电脑等，或是各式智能装置，例如智能手机、平板计算机等，但可不限于此。
19.如图1所示，电子装置100可包括存储电路102及处理器104。存储电路102例如是任意型式的固定式或可移动式随机存取内存(random access memory，ram)、只读存储器(read-only memory，rom)、闪存(flash memory)、硬盘或其他类似装置或这些装置的组合，而可用以记录多个程序代码或模块。
20.处理器104耦接于存储电路102，并可为一般用途处理器、特殊用途处理器、传统的处理器、数字信号处理器、多个微处理器(microprocessor)、一个或多个结合数字信号处理器核心的微处理器、控制器、微控制器、特殊应用集成电路(application specific integrated circuit，asic)、现场可程序门阵列电路(field programmable gate array，fpga)、任何其他种类的集成电路、状态机、基于进阶精简指令集机器(advanced risc machine，arm)的处理器以及类似品。
21.在本发明的实施例中，处理器104可存取存储电路102中记录的模块、程序代码来实现本发明提出的产生训练数据的方法，其细节详述如下。
22.请参照图2，其是依据本发明的实施例图示的产生训练数据的方法流程图。本实施例的方法可由图1的电子装置100执行，以下即搭配图1所示的组件说明图2各步骤的细节。
23.首先，在步骤s210中，处理器104可取得特定对象的对象模型。在不同的实施例中，上述特定对象可以是由某厂商独有的产品或是各式对象，但可不限于此。为使本发明的概念更易于理解，以下另辅以图3、图4、图5a至图5c作说明，但其仅用以举例，并非用以限定本发明可能的实施方式。
24.请参照图3，其是依据本发明实施例图示的对象模型示意图。在本实施例中，对象模型300例如是对应于特定对象的相关三维对象模型，而其文件类型可以是.obj档或是.fbx档，但可不限于此。在图3中，对应于对象模型300的特定对象例如是具有桶身、提把及壶嘴的物体，但其仅用以举例，并非用以限定本发明可能的实施方式。在其他实施例中，设计者亦可选用欲训练人工智能模型进行识别的任何物体作为所考虑的特定对象，并不限于图3所示实施例。此外，在不同的实施例中，对象模型300上可存在一或多个由相关人员标示的特征点，而这些特征点的位置可由相关人员依需求而设定。例如，对象模型300上可存在有标记于壶嘴、提把、壶底等位置的特征点，但本发明可不限于此。
25.之后，在步骤s220中，处理器104可取得对象模型300处于第一角度时的第一图像及对应于第一图像的第一剪影，并在步骤s230中基于第一剪影从第一图像中取出呈现第一
角度的特定对象的第一对象图像。
26.请参照图4，其是依据图3图示的取出第一对象图像的示意图。在本实施例中，假设对象模型300经旋转而呈现图4所示的第一角度。在此情况下，处理器104可通过截图或其他类似方式取得对象模型300处于第一角度时的第一图像410。同时，处理器104可再取得对应于第一图像410的第一剪影420。在不同的实施例中，处理器104例如可经由相关的软件功能(例如剪影功能(silhouette function))而取得对应于第一图像410的第一剪影420，但可不限于此。
27.在取得第一图像410及第一剪影420之后，处理器104例如可从第一图像410中获取对应于第一剪影420中的非阴影部分420a的图像区域作为第一对象图像430(即，呈现上述第一角度的特定对象)，但可不限于此。
28.之后，在步骤s240中，处理器104可将第一对象图像430嵌入至第一背景图像中，以产生第一训练图像。
29.在不同的实施例中，上述第一背景图像可以是预存的各式室内/室外场景图像，或是经拍摄而实时取得的场景图像，但可不限于此。请参照图5a，其是依据本发明实施例图示的产生第一训练图像的示意图。
30.在图5a中，假设处理器104取得的第一背景图像510为所示的鱼眼图像，则处理器104可相应地将第一对象图像430嵌入至第一背景图像410中，以产生第一训练图像510a。在本发明的实施例中，处理器104可将第一对象图像430嵌入至第一背景图像410中的任意位置来产生第一训练图像510a，并不限于图5a所示实施例。
31.之后，在步骤s250中，处理器104可产生第一对象图像430在第一训练图像510a中的第一标记数据，并在步骤s260中将将第一训练图像510a及第一标记数据作为特定对象的第一训练数据。
32.在不同的实施例中，处理器104可基于边界框标记(bounding box annotation)技术、分割(segmentation)技术或其他相关的现有标记技术来产生第一对象图像430在第一训练图像510a中的第一标记数据。
33.为便于理解，以下假设处理器104所采用的为边界框标记技术，但可不限于此。具体而言，在图3中，对象模型300例如可具有一参考点300a，且此参考点300a皆存在于第一图像410及第一对象图像430中。
34.在一实施例中，在对象模型300经旋转而呈现图4中的第一角度之后，处理器104可自动产生对应的边界框。在一实施例中，此边界框例如是恰可框选住第一图像410中的特定对象的长方形框(但可不限于此)。在此情况下，处理器104可记录此边界框的左上角、右下角个别与参考点300a之间的相对位置。例如，若将第一图像410中的参考点300a视为一坐标系统中的原点，则上述边界框的左上角、右下角个别与参考点300a之间的相对位置可表征为相对于此原点的坐标，但可不限于此。
35.基此，在第一对象图像430被嵌入于第一背景图像510的过程中，处理器104可在第一背景图像510先决定一嵌入位置，并将第一对象图像430中的参考点300a对齐此嵌入位置，以产生第一训练图像510a。
36.之后，处理器104即可基于对应于参考点300a的上述嵌入位置而反推上述边界框的左上角、右下角在第一训练图像510a中的位置，并将这些位置的信息记录为上述第一标
记数据。在不同的实施例中，上述第一标记数据例如是json文件、.txt档或其他类似的描述档，但可不限于此。
37.此外，假设所采用的是分割技术，则在处理器140将第一对象图像430嵌入于第一背景图像510以产生第一训练图像510a之后，处理器140可另外产生一张与第一背景图像510具有相同尺寸的全黑图像。接着，由于处理器140已知第一对象图像430于第一背景图像510中的嵌入位置，故处理器140可在上述全黑图像中对应于上述嵌入位置之处插入与第一对象图像430具有相同尺寸及轮廓的色块，以产生对应于第一训练图像510a的第一标记数据，但可不限于此。
38.上述边界框标记技术及分割技术的进一步细节可参考相关的技术文献(例如”russell,b.c.,torralba,a.,murphy,k.p.et al.labelme:a database and web-based tool for image annotation.int j comput vis 77,157
–
173(2008).https://doi.org/10.1007/s11263-007-0090-8”)，于此不另赘述。
39.在一些实施例中，在取得上述第一训练数据之后，处理器104可将此第一训练数据提供予相关的人工智能模型，以让此人工智能模型学习如何识别上述特定对象，但可不限于此。
40.由上可知，相较于现有以人工方式进行标记以产生训练数据的方式，本发明可由电子装置100自动、正确且快速地产生所需的第一训练数据。另外，由于本发明的方法可由实现为云端服务器的电子装置100实施，故可在云端即完成训练数据的产生，有别于现有需在本地完成的标记作业。
41.此外，由于网络资源中与鱼眼图像相关的数据集较难以取得，而通过本发明可快速地产生具有鱼眼图像实施例的第一训练数据。再者，对于由某些厂商独有的特定对象而言，本发明可有效率且正确地产生适合的训练数据，而不需受限于既有的网络数据集。
42.在一些实施例中，第一对象图像430还可嵌入于各种不同的背景图像中，以产生不同的训练数据供人工智能模型学习。
43.请参照图5b及图5c，其是依据本发明不同实施例图示的产生训练图像的示意图。在图5b及图5c，在处理器104取得背景图像520、530之后，可将第一对象图像430嵌入于背景图像520、530中，以分别产生训练图像520a及530a，并可依先前的教示取得相关的标记数据，其细节于此不另赘述。
44.在取得训练图像520a、530a及其相关的标记数据之后，处理器104同样可将这些信息馈入上述人工智能模型，以供此人工智能模型更佳地学习如何识别上述特定对象，但可不限于此。
45.除了可将同一个对象图像(例如第一对象图像430)嵌入于不同的背景图像中以产生不同的训练图像之外，本发明亦可在将对象模型300旋转为不同角度之后，取得对应的对象图像(下称第二对象图像)，并将此第二对象图像嵌入至各式背景图像中，以产生更多样化的训练图像。
46.请参照图6，其是依据图3图示的取出第二对象图像的示意图。在本实施例中，假设对象模型300经旋转而呈现图6所示的第二角度。在此情况下，处理器104可通过截图或其他类似方式取得对象模型300处于第二角度时的第二图像610。同时，处理器104可再取得对应于第二图像610的第二剪影620。
47.在取得第二图像610及第二剪影620之后，处理器104例如可从第二图像610中获取对应于第二剪影620中的非阴影部分620a的图像区域作为第二对象图像630(即，呈现上述第二角度的特定对象)，但可不限于此。
48.之后，处理器104即可将第二对象图像630嵌入至各式背景图像(例如第一背景图像510、背景图像520、530等)，以产生更多样化的训练图像，但可不限于此。
49.此外，虽以上各实施例皆以具有鱼眼图像实施例的背景图像作说明，但本发明亦适用于具平面图像、360度图像等实施例的背景图像。
50.在一些实施例中，本发明所考虑的背景图像亦可以是先对一原始图像进行所需的前处理而得的图像。在不同的实施例中，上述前处理例如可包括各式图像扭曲处理，例如仿射扭曲、透视n点(perspective-n-point，pnp)扭曲、图像扭曲(image warping)、图像变形(image morphing,)、参数扭曲(parametric warping)、2d图像变换(image transformations)、正向扭曲(forward warping)、逆向扭曲(inverse warping)、非参数图像变形(non-parametric image warping)及网格变形(mesh warping)的至少其中之一，但可不限于此。
51.此外，在取得训练图像之后，本发明还可通过对其进行上述图像扭曲处理来进一步更新训练图像，但可不限于此。
52.在一些实施例中，在取得训练图像之后，本发明亦可使用不同的图像扩增方法(例如给予不同光源/拍摄角度)来增加数据量，但可不限于此。
53.综上所述，本发明可将对应于各种特定对象角度的对象图像嵌入至各式背景图像中，以自动、快速且正确地产生所需的训练数据。另外，本发明可在云端即完成训练数据的产生，有别于现有需在本地完成的标记作业。并且，本发明可快速地产生具有鱼眼图像实施例的训练数据。再者，对于由某些厂商独有的特定对象而言，本发明可有效率且正确地产生适合的训练数据，而不需受限于既有的网络数据集。
54.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。