图像确定方法、装置、电子设备和计算机可读存储介质与流程

1.本发明涉及计算机技术领域，更具体地，涉及一种图像确定方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.随着三维数字技术的发展，三维模型的动画、游戏、虚拟现实、3d打印等领域有着越来越多的应用，因此，如何更准确地进行图像建模是亟待解决的问题。


技术实现要素：

3.有鉴于此，本发明实施例提供了一种图像确定方法、装置、电子设备和计算机可读存储介质，以提高图像建模的准确性。
4.第一方面，本发明实施例公开了一种图像确定方法，所述方法包括：
5.确定多个摄像头分别对应的同步帧组，所述多个摄像头包括至少一个第一摄像头和至少一个第二摄像头；
6.对各所述摄像头进行相机标定，以确定各所述摄像头的参数；
7.根据所述参数和所述第一摄像头对应的第一同步帧组进行图像建模，获取目标对象的几何模型；
8.根据所述第二摄像头对应的第二同步帧组对所述几何模型进行贴图，确定目标图像。
9.可选的，所述第一摄像头为深度摄像头，所述第二摄像头为分辨率大于预定值的摄像头。
10.可选的，对各所述摄像头进行相机标定，以确定各所述摄像头的参数包括：
11.计算各所述摄像机的内参；
12.计算各所述摄像机之间的相机坐标转换，确定各所述摄像机的外参。
13.可选的，对各所述摄像头进行相机标定，以确定各所述摄像头的参数还包括：
14.对所述内参和外参进行微调，以确定各所述摄像头的参数。
15.可选的，根据所述参数和所述第一摄像头对应的第一同步帧组进行图像建模，获取目标对象的几何模型包括：
16.对所述第一同步帧组进行特征点提取，确定所述第一同步帧组中的各同步帧的点云数据；
17.根据所述参数对所述点云数据进行融合，以获取所述几何模型。
18.可选的，根据所述参数对所述点云数据进行融合，以获取所述几何模型包括：
19.根据所述参数对所述点云数据进行融合，确定初始模型；
20.对所述初始模型进行预处理，获得所述几何模型，所述预处理包括移除非目标对象部分、和/或移除孤立点、和/或补充空缺点。
21.可选的，确定多个摄像头分别对应的同步帧组包括：
22.获取多组视频数据，多组所述视频数据通过多个所述摄像头采集获得；
23.对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧；
24.从各所述图像帧组中确定各所述摄像头对应的同步帧组。
25.可选的，所述目标对象相对于各所述摄像头周期性处于静止状态；
26.所述图像帧组包括对应视频数据中的目标对象处于各静止周期内的图像帧。
27.可选的，从各所述图像帧组中确定各所述摄像头对应的同步帧组包括：
28.获取各所述图像帧组中的各静止周期内的中间帧，以确定各所述摄像头对应的同步帧组。
29.可选的，对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组包括：
30.基于光流法对多组所述视频数据进行处理，获得各视频数据分别对应的图像帧组。
31.可选的，多个所述摄像头固定连接。
32.可选的，所述目标对象设置于旋转台上，所述旋转台受控每旋转预定角度后静止预定时间直至旋转一周。
33.第二方面，本发明实施例公开了一种图像确定装置，所述装置包括：
34.同步帧确定单元，被配置为确定多个摄像头分别对应的同步帧组，所述多个摄像头包括至少一个第一摄像头和至少一个第二摄像头；
35.相机标定单元，被配置为对各所述摄像头进行相机标定，以确定各所述摄像头的参数；
36.模型构建单元，被配置为根据所述参数和所述第一摄像头对应的第一同步帧组进行图像建模，获取目标对象的几何模型；
37.贴图单元，被配置为根据所述第二摄像头对应的第二同步帧组对所述几何模型进行贴图，确定目标图像。
38.可选的，所述第一摄像头为深度摄像头，所述第二摄像头为分辨率大于预定值的摄像头。
39.可选的，所述相机标定单元包括：
40.内参计算子单元，被配置为计算各所述摄像机的内参；
41.外参计算子单元，被配置为计算各所述摄像机之间的相机坐标转换，确定各所述摄像机的外参。
42.可选的，所述相机标定单元还包括：
43.微调子单元，被配置为对所述内参和外参进行微调，以确定各所述摄像头的参数。
44.可选的，所述模型构建单元包括：
45.特征提取子单元，被配置为对所述第一同步帧组进行特征点提取，确定所述第一同步帧组中的各同步帧的点云数据；
46.模型构建子单元，被配置为根据所述参数对所述点云数据进行融合，以获取所述几何模型。
47.可选的，所述模型构建子单元包括：
48.融合模块，被配置为根据所述参数对所述点云数据进行融合，确定初始模型；
49.预处理模块，被配置为对所述初始模型进行预处理，获得所述几何模型，所述预处理包括移除非目标对象部分、和/或移除孤立点、和/或补充空缺点。
50.可选的，所述同步帧确定单元包括：
51.视频获取子单元，被配置为获取多组视频数据，多组所述视频数据通过多个所述摄像头采集获得；
52.视频处理子单元，被配置为对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧；
53.同步帧确定子单元，被配置为从各所述图像帧组中确定各所述摄像头对应的同步帧组。
54.可选的，所述目标对象相对于各所述摄像头周期性处于静止状态；
55.所述图像帧组包括对应视频数据中的目标对象处于各静止周期内的图像帧。
56.可选的，所述同步帧确定子单元包括：
57.同步帧确定模块，被配置为获取各所述图像帧组中的各静止周期内的中间帧，以确定各所述摄像头对应的同步帧组。
58.可选的，所述视频处理子单元进一步被配置为基于光流法对多组所述视频数据进行处理，获得各视频数据分别对应的图像帧组。
59.可选的，多个所述摄像头固定连接。
60.可选的，所述目标对象设置于旋转台上，所述旋转台受控每旋转预定角度后静止预定时间直至旋转一周。
61.第三方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如本发明实施例第一方面所述的方法。
62.第四方面，本发明实施例提供一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时以实现如本发明实施例第一方面所述的方法。
63.本发明实施例通过确定至少一个第一摄像头和至少一个第二摄像头分别对应的同步帧组，并对各所述摄像头进行相机标定，以确定各所述摄像头的参数，根据所述参数和所述第一摄像头对应的第一同步帧组进行图像建模，获取目标对象的几何模型，根据所述第二摄像头对应的第二同步帧组对所述几何模型进行贴图，确定目标图像，由此，可以提高图像建模的准确性。
附图说明
64.通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
65.图1是本发明实施例的图像确定方法的示意图；
66.图2是本发明实施例的同步帧确定方法的流程图；
67.图3是本发明实施例的视频采集过程示意图；
68.图4是本发明实施例的图像帧组的获取过程示意图；
69.图5是本发明实施例的同步帧组的获取过程示意图；
70.图6是本发明实施例的参数微调的过程示意图；
71.图7是本发明实施例的几何模型预处理过程的示意图；
72.图8是本发明实施例的贴图的过程示意图；
73.图9是本发明实施例的图像确定装置的示意图；
74.图10是本发明实施例的电子设备的示意图。
具体实施方式
75.以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
76.此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
77.除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
78.在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
79.图1是本发明实施例的图像确定方法的示意图。如图1所示，本发明实施例的图像确定方法包括以下步骤：
80.步骤s110，确定多个摄像头分别对应的同步帧组。其中，多个摄像头包括至少一个第一摄像头和至少一个第二摄像头。可选的，多个摄像头固定连接，以避免各摄像头发生相对移动造成的视频相对拍摄偏移的情况，进而避免同步率降低的情况。可选的，第一摄像头为深度摄像头，第二摄像头为分辨率大于预定值的高清摄像头(例如内置在移动设备中的摄像头等)。深度摄像头也即具有深度检测功能的摄像头，可以提取目标对象的平面图像、三维信息等，也即其扫描到的每帧图像包括场景中的点的彩色rgb图像以及每个点到深度摄像头所在的垂直平面的距离值。
81.图2是本发明实施例的同步帧确定方法的流程图。在一种可选的实现方式中，如图2所示，步骤s110可以包括以下步骤：
82.步骤s111，获取多组视频数据。其中，多组视频数据通过多个所述摄像头采集获得。可选的，在本实施例中，多个摄像头对目标对象进行同时拍摄，以获取多组视频数据。
83.在一种可选的实现方式中，在采集目标对象的视频数据时，将目标对象设置于旋转台上，并受控旋转台每旋转预定角度后静止预定时间直至旋转一周，由此，使得目标对象相对于各摄像头周期性处于静止状态。
84.图3是本发明实施例的视频采集过程示意图。如图3所示，本实施例以两个摄像头为例进行描述。在本实施例中，采用旋转台31承载目标对象32，控制旋转台31每旋转预定角度后静止预定时间直至旋转一周，摄像头33和34刚性固定连接，通过录制旋转台31旋转一周的视频以获取两组视频数据。可选的，摄像头33可以为深度摄像头，摄像头34可以为智能
设备中内置的分辨率大于预定值的高清摄像头。如图3所示，摄像头33和34上下固定放置，应理解，本实施例并不对摄像头33和34的相互设置位置进行限制，在摄像头33和34的相互设置位置固定后，通过相机标定(也即调节相机内外参数)使得摄像头33和34所录制的视频数据相对应。
85.可选的，上述静止周期的预定时间大于等于各摄像头的曝光时间。应理解，本实施例并不对上述预定角度和预定时间进行限制，其可以根据目标对象的类别进行设置。
86.步骤s112，对多组视频数据进行处理，获得各视频数据分别对应的图像帧组。其中，图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧。
87.在一种可选的实现方式中，如上所述，目标对象相对于各摄像头周期性处于静止状态，由此，图像帧组包括对应视频数据中的目标对象处于各静止周期内的图像帧。
88.在一种可选的实现方式中，步骤112具体可以为：基于光流法对多组视频数据进行处理，获得各视频数据分别对应的图像帧组。
89.光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，其可以根据目标对象本身的移动、摄像头的移动、或者两者的共同运动产生。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧与当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
90.光流法的基本约束方程为：
91.i
x
u i
y
v i
t
＝0
92.其中，i
x
、i
y
和i
t
分别表征图像中的像素点的灰度沿x轴、y轴和t轴(时间轴)方向上的变化，均可由相邻帧的图像数据确定，(u，v)为光流矢量。
93.上述基本约束方程包括两个未知量u、v，因此，通常需要引入其他约束条件，例如基于梯度(微分)的方法(例如hom
‑
schunck算法、lucas
‑
kanade算法等)、基于匹配的方法、基于能量(频率)的方法、基于相位的方法和基于神经动力学方法等来计算光流矢量。
94.可选的，本实施例可以采用opencv(计算机视觉库)中的光流处理函数(例如lucas
‑
kanade算法等)来处理视频数据。应理解，本实施例并不对光流计算方法进行限制。
95.摄像头在静止周期内采集的视频数据中，相邻帧基本是相同的图像，由此，可以通过上述任意光流法计算满足相邻帧基本相同，也即像素点的灰度沿x轴、y轴和t轴(时间轴)方向上基本不变，光流矢量基本为的相邻帧，以获取各组视频数据中的目标对象处于静止状态的图像帧组。
96.图4是本发明实施例的图像帧组的获取过程示意图。本实施例以图3中摄像头33和34获取的视频数据为例。如图4所示，视频数据41包括时间周期t0、时间周期t1、时间周期t2、时间周期t3内的视频帧，采用上述任一光流法计算视频数据41中的相邻帧的像素点沿各轴方向的变化以及光流矢量，从而确定连续相同的图像帧，以确定静止状态下的图像帧。如图4所示，可以确定在时间周期t1和t3内目标对象处于静止状态，将时间周期t1和t3内的视频帧确定为图像帧组42。应理解，在视频采集过程中，目标对象的静止周期和非静止周期的时间可以相同也可以不同，本实施例并不对此进行限制。
97.步骤s113，从各图像帧组中确定各摄像头对应的同步帧组。在一种可选的实现方式中，将各图像帧组中相同位置的图像帧确定为对应的同步帧。可选的，将各图像帧组中的位于各静止周期内的相同位置的图像帧确定为对应的同步帧组。可选的，获取各图像帧组
中的各静止周期内的中间帧，以确定各摄像头对应的同步帧组。
98.图5是本发明实施例的同步帧组的获取过程示意图。本实施例以图4所示的图像帧组42为例进行说明。如图5所示，假设各图像帧组包括有n(n≥1)个静止周期t1、t3等，获取各图像帧组中的第1个静止周期t1内的中间帧p1、第2个静止周期t3内的中间帧p2以及其他静止周期内的中间帧，以确定对应的同步帧组。由于在视频采集过程中，目标对象是旋转的，由此，同步帧组包括多个角度的目标对象图像帧。
99.在其他可选的实现方式中，可以将静止周期内其他位置的图像帧确定为同步帧。例如将位于3/5位置的图像帧确定为同步帧，也即假设一静止周期包括10个图像帧，则将第6个图像帧确定为同步帧。
100.在其他可选的实现方式中，可以将静止周期内位于中间位置的连续预定帧确定为同步帧。例如将位于中间位置的连续3帧确定为同步帧。假设静止周期包括11个图像帧，则将第5
‑
7个图像帧确定为同步帧。应理解，本实施例并不对获取同步帧的方式进行限制。
101.本实施例通过从静止状态下的图像帧中确定同步帧，可以进一步提高获取的视频帧的同步率，进而提高图像建模的准确性。
102.步骤s120，对各摄像头进行相机标定，以确定各摄像头的参数。在一种可选的实现方式中，步骤s120可以包括：计算各摄像机的内参，计算各摄像机之间的相机坐标转换，确定各摄像机的外参。可选的，在本实施例中，可以采用任意深度摄像头对应的3d重建方法进行摄像头内外参的调节。可选的，采用高斯牛顿法或交替优化法等进行摄像头内外参的优化。应理解，本实施例并不对相机标定的方法(也即内外参计算方法)进行限制。
103.在本实施例中，可以采用上述同步帧进行相机标定，获取各摄像头的内外参，也可以采用另外拍摄的图像，本实施例并不对此进行限制。可选的，本实施例通过设置标定板来进行相机标定，以确定各摄像头的内外参。可选的，标定板可以采用棋盘格、对称圆形或非对称圆形特征图等标定图案，本实施例并不对此进行限制。
104.在一种可选的实现方式中，多个摄像头包括深度摄像头和分辨率大于预定值的高清摄像头，通过标定板可以得到多个对应的世界坐标三维点和对应的图像坐标二维点，计算这些三维点到二维点的转换确定各摄像头的内参，计算深度摄像头的相机坐标到高清摄像头的相机坐标的转换(高清摄像头的相机坐标到深度摄像头的相机坐标的转换)，以确定深度摄像头到高清摄像头的相机外参(高清摄像头到深度摄像头的相机外参)。应理解，本实施例并不对多摄像头的相机标定方法进行限制。
105.在在一种可选的实现方式中，上述相机的自动标定完成后，标定板上可能依旧存在重影的情况。由此，在本实施例中，步骤s120还包括：对各摄像头内参和外参进行微调，以确定各摄像头的参数。可选的，在本实施例中，基于标定板的显示状态，例如是否有重影等，对采用上述方式确定的各摄像机内外参进行自动微调或手动微调，以尽可能避免标定板上存在重影等现象，从而可以进一步提高构建的几何模型的准确性，进而提高目标图像的清晰度。
106.图6是本发明实施例的参数微调的过程示意图。可选的，如图6所示，在控制设备显示屏6上展示标定板图片61、标定板的显示状态62和相机的内外参f1、f2等，其中相机的内外参具有对应的可编辑框63，接收相机内外参修改后的数据或变化量(例如 x、
‑
x等)，并基于修改后的相机内外参进行标定，确定此时标定板的显示状态，若重影情况改善，则表征此
前的修改为正向修改，否则为负向修改。由此，本实施例可以通过观测标定板的实时显示状态来对相机的内外参进行微调，从而可以进一步提高几何建模的准确性。在其他可选的实现方式中，例如可以通过预先设置的微调方式(逐一按照预定步长增加或减小内外参)并实时检测标定板的显示状态进行自动微调等，本实施例并不对此进行限制。
107.步骤s130，根据摄像头的参数和第一摄像头对应的第一同步帧组进行图像建模，获取目标对象的几何模型。其中，第一同步帧组也即基于第一摄像头拍摄的视频数据获取的同步帧组。可选的，第一摄像头为深度摄像头。
108.在一种可选的实现方式中，步骤s130具体可以包括：对第一同步帧组进行特征点提取，确定第一同步帧组中的各同步帧的点云数据，根据对应摄像头的参数(至少包括第一摄像头的内外参)对点云数据进行融合，以获取几何模型。可选的，根据对应摄像头的参数对点云数据进行融合，确定初始模型，对初始模型进行移除非目标对象部分、和/或移除孤立点、和/或补充空缺点等处理，以获取目标对象的几何模型。
109.图7是本发明实施例的几何模型预处理过程的示意图。如图7所示，根据对应摄像头的参数对点云数据进行融合，确定初始模型71，在初始模型71中，存在非目标对象部分711(例如前述的转台)、孤立点712以及空缺点713。在本实施例中，对初始模型71进行初始化处理，以移除非目标对象部分711和孤立点712、并基于空缺点周围的点对空缺处进行数据填充，从而得到几何模型72。由此，可以提高几何模型构建的准确性，进而可以提高由几何模型确定的目标图像的清晰度。
110.步骤s140，根据第二摄像头对应的第二同步帧组对几何模型进行贴图，确定目标图像。可选的，根据第二摄像头对应的第二同步帧组对几何模型进行纹理贴图(例如添加颜色或纹理)、或光泽贴图(例如添加光照形成的高亮)等，以确定目标图像。如图8所示，在本实施例中，根据第二摄像头对应的第二同步帧组的纹理特征82对几何模型81进行纹理贴图，以确定目标图像83。
111.纹理是一种针对物体表面属性进行建模的高校技术，图像纹理中的像素通常被称为纹素。贴图的核心思路是通过建立一定的映射方法，将片段所对应的物体表面的某一属性和数据源的某一位置的数据对应起来，再通过一定的应用方法，利用从数据源中获取的数据来改变物体表面的某一属性值，从而影响当前片段或是其他片段的着色计算，以及对合并输出阶段的结果产生影响，使物体表面外观发生一定的变化。
112.可选的，在本实施例中，通过投影函数将高清摄像头对应的同步帧中的三维点转化为纹理坐标，并将其投影到参数空间中，得到一组参数空间坐标，采用一个或多个映射函数将参数空间坐标转换到纹理空间位置，将纹理空间位置与获取的几何模型相结合，以确定目标图像。
113.在一种可选的实现方式中，在对几何模型进行贴图过程中，可以通过对对摄像头的参数进行优化，以目标图像进行全局优化、和/或局部优化、和/或顶点优化以提高目标图像的清晰度，同时可以通过加入非刚性形变进行局部扭曲，以更好地进行边缘对接，从而可以进一步提高目标图像的清晰度。
114.本发明实施例通过确定至少一个第一摄像头和至少一个第二摄像头分别对应的同步帧组，并对各所述摄像头进行相机标定，以确定各所述摄像头的参数，根据所述参数和所述第一摄像头对应的第一同步帧组进行图像建模，获取目标对象的几何模型，根据所述
第二摄像头对应的第二同步帧组对所述几何模型进行贴图，确定目标图像，由此，可以提高图像建模的准确性。同时，本实施例可以采用深度摄像头和智能设备内置的摄像头即可较为准确地实现视频帧的同步，相对于纯硬件的密集相机阵列同步方法，极大地减小了成本。
115.图9是本发明实施例的图像确定装置的示意图。如图9所示，本发明实施例的图像确定装置9包括同步帧确定单元91、相机标定单元92、模型构建单元93和贴图单元94。
116.同步帧确定单元91被配置为确定多个摄像头分别对应的同步帧组，所述多个摄像头包括至少一个第一摄像头和至少一个第二摄像头。可选的，多个所述摄像头固定连接。可选的，所述第一摄像头为深度摄像头，所述第二摄像头为分辨率大于预定值的摄像头。
117.在一种可选的实现方式中，同步帧确定单元91包括视频获取子单元、视频处理子单元和同步帧确定子单元。视频获取子单元被配置为获取多组视频数据，多组所述视频数据通过多个所述摄像头采集获得。视频处理子单元被配置为对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧。同步帧确定子单元被配置为从各所述图像帧组中确定各所述摄像头对应的同步帧组。
118.在一种可选的实现方式中，所述目标对象相对于各所述摄像头周期性处于静止状态，所述图像帧组包括对应视频数据中的目标对象处于各静止周期内的图像帧。
119.在一种可选的实现方式中，所述同步帧确定子单元包括同步帧确定模块。同步帧确定模块被配置为获取各所述图像帧组中的各静止周期内的中间帧，以确定各所述摄像头对应的同步帧组。
120.在一种可选的实现方式中，所述视频处理子单元进一步被配置为基于光流法对多组所述视频数据进行处理，获得各视频数据分别对应的图像帧组。
121.在一种可选的实现方式中，所述目标对象设置于旋转台上，所述旋转台受控每旋转预定角度后静止预定时间直至旋转一周。
122.相机标定单元92被配置为对各所述摄像头进行相机标定，以确定各所述摄像头的参数。
123.在一种可选的实现方式中，所述相机标定单元92包括内参计算子单元和外参计算子单元。内参计算子单元被配置为计算各所述摄像机的内参。外参计算子单元被配置为计算各所述摄像机之间的相机坐标转换，确定各所述摄像机的外参。
124.在一种可选的实现方式中，所述相机标定单元92还包括微调子单元。微调子单元被配置为对所述内参和外参进行微调，以确定各所述摄像头的参数。
125.模型构建单元93被配置为根据所述参数和所述第一摄像头对应的第一同步帧组进行图像建模，获取目标对象的几何模型。
126.在一种可选的实现方式中，所述模型构建单元93包括特征提取子单元和模型构建子单元。特征提取子单元被配置为对所述第一同步帧组进行特征点提取，确定所述第一同步帧组中的各同步帧的点云数据。模型构建子单元被配置为根据所述参数对所述点云数据进行融合，以获取所述几何模型。
127.在一种可选的实现方式中，所述模型构建子单元包括融合模块和预处理模块。融合模块被配置为根据所述参数对所述点云数据进行融合，确定初始模型。预处理模块被配置为对所述初始模型进行预处理，获得所述几何模型，所述预处理包括移除非目标对象部
分、和/或移除孤立点、和/或补充空缺点。
128.贴图单元94被配置为根据所述第二摄像头对应的第二同步帧组对所述几何模型进行贴图，确定目标图像。
129.本发明实施例通过确定至少一个第一摄像头和至少一个第二摄像头分别对应的同步帧组，并对各所述摄像头进行相机标定，以确定各所述摄像头的参数，根据所述参数和所述第一摄像头对应的第一同步帧组进行图像建模，获取目标对象的几何模型，根据所述第二摄像头对应的第二同步帧组对所述几何模型进行贴图，确定目标图像，由此，可以提高图像建模的准确性。同时，本实施例可以采用深度摄像头和智能设备内置的摄像头即可较为准确地实现视频帧的同步，相对于纯硬件的密集相机阵列同步方法，极大地减小了成本。
130.图10是本发明实施例的电子设备的示意图。在本实施例中，电子设备10包括服务器、终端等。如图10所示，该电子设备10：至少包括一个处理器101；以及，与至少一个处理器101通信连接的存储器102；以及，与扫描装置通信连接的通信组件103，通信组件103在处理器101的控制下接收和发送数据；其中，存储器102存储有可被至少一个处理器101执行的指令，指令被至少一个处理器101执行以实现上述图像确定方法。
131.具体地，该电子设备包括：一个或多个处理器101以及存储器102，图10中以一个处理器101为例。处理器101、存储器102可以通过总线或者其他方式连接，图10中以通过总线连接为例。存储器102作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器101通过运行存储在存储器102中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述图像确定方法。
132.存储器102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器102可选包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
133.一个或者多个模块存储在存储器102中，当被一个或者多个处理器101执行时，执行上述任意方法实施例中的图像确定方法。
134.上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本技术实施例所提供的方法。
135.本发明实施例通过确定至少一个第一摄像头和至少一个第二摄像头分别对应的同步帧组，并对各所述摄像头进行相机标定，以确定各所述摄像头的参数，根据所述参数和所述第一摄像头对应的第一同步帧组进行图像建模，获取目标对象的几何模型，根据所述第二摄像头对应的第二同步帧组对所述几何模型进行贴图，确定目标图像，由此，可以提高图像建模的准确性。同时，本实施例可以采用深度摄像头和智能设备内置的摄像头即可较为准确地实现视频帧的同步，相对于纯硬件的密集相机阵列同步方法，极大地减小了成本。
136.本发明的另一个实施例涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
137.即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以
通过程序来指定相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
138.本发明实施例公开了a1、一种图像确定方法，所述方法包括：
139.确定多个摄像头分别对应的同步帧组，所述多个摄像头包括至少一个第一摄像头和至少一个第二摄像头；
140.对各所述摄像头进行相机标定，以确定各所述摄像头的参数；
141.根据所述参数和所述第一摄像头对应的第一同步帧组进行图像建模，获取目标对象的几何模型；
142.根据所述第二摄像头对应的第二同步帧组对所述几何模型进行贴图，确定目标图像。
143.a2、根据a1所述的方法，所述第一摄像头为深度摄像头，所述第二摄像头为分辨率大于预定值的摄像头。
144.a3、根据a1或a2所述的方法，对各所述摄像头进行相机标定，以确定各所述摄像头的参数包括：
145.计算各所述摄像机的内参；
146.计算各所述摄像机之间的相机坐标转换，确定各所述摄像机的外参。
147.a4、根据a3所述的方法，对各所述摄像头进行相机标定，以确定各所述摄像头的参数还包括：
148.对所述内参和外参进行微调，以确定各所述摄像头的参数。
149.a5、根据a1或a2所述的方法，根据所述参数和所述第一摄像头对应的第一同步帧组进行图像建模，获取目标对象的几何模型包括：
150.对所述第一同步帧组进行特征点提取，确定所述第一同步帧组中的各同步帧的点云数据；
151.根据所述参数对所述点云数据进行融合，以获取所述几何模型。
152.a6、根据a5所述的方法，根据所述参数对所述点云数据进行融合，以获取所述几何模型包括：
153.根据所述参数对所述点云数据进行融合，确定初始模型；
154.对所述初始模型进行预处理，获得所述几何模型，所述预处理包括移除非目标对象部分、和/或移除孤立点、和/或补充空缺点。
155.a7、根据a1所述的方法，确定多个摄像头分别对应的同步帧组包括：
156.获取多组视频数据，多组所述视频数据通过多个所述摄像头采集获得；
157.对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧；
158.从各所述图像帧组中确定各所述摄像头对应的同步帧组。
159.a8、根据a7所述的方法，所述目标对象相对于各所述摄像头周期性处于静止状态；
160.所述图像帧组包括对应视频数据中的目标对象处于各静止周期内的图像帧。
161.a9、根据a8所述的方法，从各所述图像帧组中确定各所述摄像头对应的同步帧组包括：
162.获取各所述图像帧组中的各静止周期内的中间帧，以确定各所述摄像头对应的同步帧组。
163.a10、根据a7
‑
a9中任一项所述的方法，对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组包括：
164.基于光流法对多组所述视频数据进行处理，获得各视频数据分别对应的图像帧组。
165.a11、根据a1
‑
a10中任一项所述的方法，多个所述摄像头固定连接。
166.a12、根据a7或a8所述的方法，所述目标对象设置于旋转台上，所述旋转台受控每旋转预定角度后静止预定时间直至旋转一周。
167.本发明实施例公开了b1、一种图像确定装置，所述装置包括：
168.同步帧确定单元，被配置为确定多个摄像头分别对应的同步帧组，所述多个摄像头包括至少一个第一摄像头和至少一个第二摄像头；
169.相机标定单元，被配置为对各所述摄像头进行相机标定，以确定各所述摄像头的参数；
170.模型构建单元，被配置为根据所述参数和所述第一摄像头对应的第一同步帧组进行图像建模，获取目标对象的几何模型；
171.贴图单元，被配置为根据所述第二摄像头对应的第二同步帧组对所述几何模型进行贴图，确定目标图像。
172.b2、根据b1所述的装置，所述第一摄像头为深度摄像头，所述第二摄像头为分辨率大于预定值的摄像头。
173.b3、根据b1或b2所述的装置，所述相机标定单元包括：
174.内参计算子单元，被配置为计算各所述摄像机的内参；
175.外参计算子单元，被配置为计算各所述摄像机之间的相机坐标转换，确定各所述摄像机的外参。
176.b4、根据b3所述的装置，所述相机标定单元还包括：
177.微调子单元，被配置为对所述内参和外参进行微调，以确定各所述摄像头的参数。
178.b5、根据b1或b2所述的装置，所述模型构建单元包括：
179.特征提取子单元，被配置为对所述第一同步帧组进行特征点提取，确定所述第一同步帧组中的各同步帧的点云数据；
180.模型构建子单元，被配置为根据所述参数对所述点云数据进行融合，以获取所述几何模型。
181.b6、根据b5所述的装置，所述模型构建子单元包括：
182.融合模块，被配置为根据所述参数对所述点云数据进行融合，确定初始模型；
183.预处理模块，被配置为对所述初始模型进行预处理，获得所述几何模型，所述预处理包括移除非目标对象部分、和/或移除孤立点、和/或补充空缺点。
184.b7、根据b1所述的装置，所述同步帧确定单元包括：
185.视频获取子单元，被配置为获取多组视频数据，多组所述视频数据通过多个所述
摄像头采集获得；
186.视频处理子单元，被配置为对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧；
187.同步帧确定子单元，被配置为从各所述图像帧组中确定各所述摄像头对应的同步帧组。
188.b8、根据b7所述的装置，所述目标对象相对于各所述摄像头周期性处于静止状态；
189.所述图像帧组包括对应视频数据中的目标对象处于各静止周期内的图像帧。
190.b9、根据b8所述的装置，所述同步帧确定子单元包括：
191.同步帧确定模块，被配置为获取各所述图像帧组中的各静止周期内的中间帧，以确定各所述摄像头对应的同步帧组。
192.b10、根据b7
‑
b9中任一项所述的装置，所述视频处理子单元进一步被配置为基于光流法对多组所述视频数据进行处理，获得各视频数据分别对应的图像帧组。
193.b11、根据b1
‑
b11中任一项所述的装置，多个所述摄像头固定连接。
194.b12、根据b7或b8所述的装置，所述目标对象设置于旋转台上，所述旋转台受控每旋转预定角度后静止预定时间直至旋转一周。
195.本发明实施例公开了c1、一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如a1
‑
a12中任一项所述的方法。
196.本发明实施例公开了d1、一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时以实现如a1
‑
a12中任一项所述的方法。
197.以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。