一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

摄像头的标定方法、装置及电子设备与流程

2022-06-01 16:11:51 来源:中国专利 TAG:


1.本技术涉及计算机技术领域,尤其涉及一种摄像头的标定方法、装置及电子设备。


背景技术:

2.随着网络技术的发展,越来越多用户会通过观看视频来进行娱乐和放松。直播视频和短视频越来越受到用户的喜爱,而拍摄短视频或者直播视频时往往会采用摄像头来进行。
3.相关技术中,由于摄像头结构的限制,摄像头拍摄的画面会发生畸变,导致摄像头拍摄的画面与真实的画面之间存在差异,这种差异会导致得到的视频的显示效果较差。


技术实现要素:

4.本技术提供一种虚拟背景的画面合成方法、装置及电子设备,以消除摄像头所拍摄画面中的畸变,提高视频的显示效果,本技术的技术方案如下:
5.一方面,提供一种摄像头的标定方法,包括:
6.显示待标定的目标摄像头的标定页面,所述标定页面包括所述目标摄像头拍摄的画面;
7.响应于在所述标定页面上对所述目标摄像头的标定操作,在所述目标摄像头拍摄的画面的多个位置依次显示标定提示区域,所述标定提示区域用于指示标定板的摆放位置,以使得在所述目标摄像头拍摄的画面中,所述标定板始终位于所述标定提示区域内;
8.基于所述标定板的多个标定图像,对所述目标摄像头进行标定,所述多个标定图像为在所述多个位置显示的标定提示区域中获取的图像。
9.在一种可能的实施方式中,所述响应于在所述标定页面上对所述目标摄像头的标定操作,在所述目标摄像头拍摄的画面的多个位置依次显示标定提示区域包括:
10.对于所述多个位置中的第一位置和第二位置,响应于在所述标定页面上对所述目标摄像头的标定操作,在所述第一位置显示所述标定提示区域;
11.在第一标定图像符合预设条件的情况下,在所述第二位置显示所述标定提示区域,所述第一标定图像为在所述第一位置显示的所述标定提示区域中获取的图像。
12.在一种可能的实施方式中,所述多个位置为在所述目标摄像头拍摄的画面中随机确定的位置;
13.或者,所述多个位置中的任两个位置为在所述目标摄像头拍摄的画面中相邻的位置;
14.或者,所述多个位置中的任两个位置在所述目标摄像头拍摄的画面中有重合部分。
15.在一种可能的实施方式中,所述标定提示区域的形状为长方形、正方形以及圆形中的任一项。
16.在一种可能的实施方式中,所述标定提示区域包括标定提示信息,所述标定提示
信息用于指示所述标定板的摆放方式,所述摆放方式包括摆放所述标定板在竖直平面上的旋转参数以及所述标定板在水平面上的旋转参数中的至少一项。
17.在一种可能的实施方式中,所述标定提示区域包括所述标定提示信息对应的演示图像或者演示动画中的至少一项。
18.在一种可能的实施方式中,所述方法还包括下述任一项:
19.在所述多个位置依次显示所述标定提示区域的过程中,在所述标定提示区域的显示次数符合目标次数条件时,停止显示所述标定提示区域;
20.在所述多个位置依次显示所述标定提示区域的过程中,在基于所述标定提示区域获取的图像数量符合目标数量条件时,停止显示所述标定提示区域。
21.在一种可能的实施方式中,所述基于所述标定板的多个标定图像,对所述目标摄像头进行标定之后,所述方法还包括:
22.响应于在所述标定页面上对虚拟背景的标定操作,显示场景标定信息,所述场景标定信息用于指示将所述目标摄像头对准目标空间内的场景标定图形,所述场景标定图形用于标定所述目标摄像头的外参数,所述目标空间为所述标定板所在的空间,所述外参数用于指示所述目标摄像头的位姿。
23.在一种可能的实施方式中,所述响应于在所述标定页面上对虚拟背景的标定操作,显示场景标定信息之后,所述方法还包括:
24.在基于所述场景标定图形标定完成的情况下,响应于针对所述目标摄像头的虚拟直播请求,基于目标参数对所述目标摄像头拍摄的画面进行矫正,得到目标画面,所述目标参数为基于所述多个标定图像得到参数;
25.在所述目标画面中检测到所述场景标定图形的情况下,基于所述目标摄像头的外参数在所述目标画面中显示所述虚拟背景。
26.在一种可能的实施方式中,所述在所述目标画面中检测到所述场景标定图形的情况下,基于所述目标摄像头的外参数在所述目标画面中显示所述虚拟背景包括:
27.在所述目标画面中检测到所述场景标定图形的情况下,基于所述目标摄像头的外参数将所述目标摄像头与所述虚拟背景的虚拟相机的位姿对齐;
28.将所述虚拟相机拍摄的所述虚拟背景添加至所述目标画面中。
29.在一种可能的实施方式中,所述在所述目标画面中检测到所述场景标定图形的情况下,基于所述目标摄像头的外参数在所述目标画面中显示所述虚拟背景包括:
30.在所述目标画面中检测到所述场景标定图形,且所述目标画面包括绿幕的情况下,基于所述目标摄像头的外参数将所述虚拟背景显示在所述绿幕所在的位置。
31.在一种可能的实施方式中,所述在所述目标画面中检测到所述场景标定图形的情况下,基于所述目标摄像头的外参数在所述目标画面中显示所述虚拟背景之后,所述方法还包括:
32.响应于针对所述虚拟背景的操作,显示背景设置区域;
33.基于在所述背景设置区域上的操作,对所述虚拟背景进行更新;
34.基于所述目标参数将更新后的所述虚拟背景合成至所述目标摄像头拍摄的画面中。
35.在一种可能的实施方式中,基于所述场景标定图形标定所述目标摄像头的外参数
的方法包括:
36.对所述场景标定图形进行角点检测,得到所述场景标定图形中的多个角点在像素坐标系下的坐标;
37.基于目标参数以及所述场景标定图形中的多个角点在像素坐标系下的坐标,确定所述场景标定图形中的多个角点在相机坐标系下的坐标;
38.基于所述场景标定图形中的多个角点在像素坐标系下的坐标以及所述场景标定图形中的多个角点在世界坐标系下的坐标,确定所述目标摄像头的外参数。
39.在一种可能的实施方式中,所述基于所述标定板的多个标定图像,对所述目标摄像头进行标定包括:
40.对于所述多个标定图像中的任一标定图像,对所述标定图像进行角点识别,得到所述标定板的多个角点在所述标定图像中的坐标;
41.基于所述多个角点在所述标定图像中的坐标以及所述多个角点在所述标定板中的坐标,确定所述目标摄像头的第一标定参数;
42.基于所述多个标定图像确定出的多个标定参数,确定所述目标摄像头的所述目标参数,所述目标参数包括所述目标摄像头的内参数和畸变参数。
43.在一种可能的实施方式中,所述基于所述多个标定图像确定出的多个标定参数,确定所述目标摄像头的所述目标参数包括:
44.对所述多个标定参数进行线性拟合,得到所述目标摄像头的所述内参数;
45.对所述多个标定图像确定出的所述多个角点在对应标定图像中的坐标进行线性拟合,得到所述畸变参数。
46.在一种可能的实施方式中,所述标定页面包括开始控件,所述响应于在所述标定页面上对所述目标摄像头的标定操作,在所述目标摄像头拍摄的画面的多个位置依次显示标定提示区域包括:
47.响应于所述开始控件被触发,在所述目标摄像头拍摄的画面的多个位置依次显示所述标定提示区域。
48.一方面,提供一种摄像头的标定装置,包括:
49.标定页面显示单元,被配置为执行显示待标定的目标摄像头的标定页面,所述标定页面包括所述目标摄像头拍摄的画面;
50.标定提示区域显示单元,被配置为执行响应于在所述标定页面上对所述目标摄像头的标定操作,在所述目标摄像头拍摄的画面的多个位置依次显示标定提示区域,所述标定提示区域用于指示标定板的摆放位置,以使得在所述目标摄像头拍摄的画面中,所述标定板始终位于所述标定提示区域内;
51.标定单元,被配置为执行基于所述标定板的多个标定图像,对所述目标摄像头进行标定,所述多个标定图像为在所述多个位置显示的标定提示区域中获取的图像。
52.在一种可能的实施方式中,所述标定提示区域显示单元,被配置为执行对于所述多个位置中的第一位置和第二位置,响应于在所述标定页面上对所述目标摄像头的标定操作,在所述第一位置显示所述标定提示区域;在第一标定图像符合预设条件的情况下,在所述第二位置显示所述标定提示区域,所述第一标定图像为在所述第一位置显示的所述标定提示区域中获取的图像。
53.在一种可能的实施方式中,所述多个位置为在所述目标摄像头拍摄的画面中随机确定的位置;
54.或者,所述多个位置中的任两个位置为在所述目标摄像头拍摄的画面中相邻的位置;
55.或者,所述多个位置中的任两个位置在所述目标摄像头拍摄的画面中有重合部分。
56.在一种可能的实施方式中,所述标定提示区域的形状为长方形、正方形以及圆形中的任一项。
57.在一种可能的实施方式中,所述标定提示区域包括标定提示信息,所述标定提示信息用于指示所述标定板的摆放方式,所述摆放方式包括摆放所述标定板在竖直平面上的旋转参数以及所述标定板在水平面上的旋转参数中的至少一项。
58.在一种可能的实施方式中,所述标定提示区域包括所述标定提示信息对应的演示图像或者演示动画中的至少一项。
59.在一种可能的实施方式中,所述标定提示区域显示单元,还被配置为执行下述任一项:
60.在所述多个位置依次显示所述标定提示区域的过程中,在所述标定提示区域的显示次数符合目标次数条件时,停止显示所述标定提示区域;
61.在所述多个位置依次显示所述标定提示区域的过程中,在基于所述标定提示区域获取的图像数量符合目标数量条件时,停止显示所述标定提示区域。
62.在一种可能的实施方式中,所述装置还包括:
63.场景标定信息显示模块,被配置为执行响应于在所述标定页面上对虚拟背景的标定操作,显示场景标定信息,所述场景标定信息用于指示将所述目标摄像头对准目标空间内的场景标定图形,所述场景标定图形用于标定所述目标摄像头的外参数,所述目标空间为所述标定板所在的空间,所述外参数用于指示所述目标摄像头的位姿。
64.在一种可能的实施方式中,所述装置还包括:
65.显示模块,被配置为执行在基于所述场景标定图形标定完成的情况下,响应于针对所述目标摄像头的虚拟直播请求,基于目标参数对所述目标摄像头拍摄的画面进行矫正,得到目标画面,所述目标参数为基于所述多个标定图像得到参数;在所述目标画面中检测到所述场景标定图形的情况下,基于所述目标摄像头的外参数在所述目标画面中显示所述虚拟背景。
66.在一种可能的实施方式中,所述显示模块,被配置为执行在所述目标画面中检测到所述场景标定图形的情况下,基于所述目标摄像头的外参数将所述目标摄像头与所述虚拟背景的虚拟相机的位姿对齐;将所述虚拟相机拍摄的所述虚拟背景添加至所述目标画面中。
67.在一种可能的实施方式中,所述显示模块,被配置为执行在所述目标画面中检测到所述场景标定图形,且所述目标画面包括绿幕的情况下,基于所述目标摄像头的外参数将所述虚拟背景显示在所述绿幕所在的位置。
68.在一种可能的实施方式中,所述显示模块,还被配置为执行响应于针对所述虚拟背景的操作,显示背景设置区域;基于在所述背景设置区域上的操作,对所述虚拟背景进行
更新;基于所述目标参数将更新后的所述虚拟背景合成至所述目标摄像头拍摄的画面中。
69.在一种可能的实施方式中,所述装置还包括:
70.外参数确定单元,被配置为执行对所述场景标定图形进行角点检测,得到所述场景标定图形中的多个角点在像素坐标系下的坐标;基于目标参数以及所述场景标定图形中的多个角点在像素坐标系下的坐标,确定所述场景标定图形中的多个角点在相机坐标系下的坐标;基于所述场景标定图形中的多个角点在像素坐标系下的坐标以及所述场景标定图形中的多个角点在世界坐标系下的坐标,确定所述目标摄像头的外参数。
71.在一种可能的实施方式中,所述标定单元,被配置为执行对于所述多个标定图像中的任一标定图像,对所述标定图像进行角点识别,得到所述标定板的多个角点在所述标定图像中的坐标;基于所述多个角点在所述标定图像中的坐标以及所述多个角点在所述标定板中的坐标,确定所述目标摄像头的第一标定参数;基于所述多个标定图像确定出的多个标定参数,确定所述目标摄像头的所述目标参数,所述目标参数包括所述目标摄像头的内参数和畸变参数。
72.在一种可能的实施方式中,所述标定单元,被配置为执行对所述多个标定参数进行线性拟合,得到所述目标摄像头的所述内参数;对所述多个标定图像确定出的所述多个角点在对应标定图像中的坐标进行线性拟合,得到所述畸变参数。
73.在一种可能的实施方式中,所述标定页面包括开始控件,所述标定提示区域显示单元,被配置为执行响应于所述开始控件被触发,在所述目标摄像头拍摄的画面的多个位置依次显示所述标定提示区域。
74.一方面,提供一种电子设备,包括:
75.处理器;
76.用于存储所述处理器可执行指令的存储器;
77.其中,所述处理器被配置为执行所述指令,以实现上述摄像头的标定方法。
78.一方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备够执行上述摄像头的标定方法。
79.一方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述摄像头的标定方法。
80.本技术的实施例提供的技术方案至少带来以下有益效果:
81.通过本技术实施提供的技术方案,基于目标摄像头进行拍摄之前,通过标定页面来对目标摄像头进行标定,标定时会在标定页面中显示标定提示区域,通过该标定提示区域来指示标定板的放置位置。在标定过程中,标定提示区域的显示位置会不断变化,引导用户将标定板放置在不同的位置上,从而完成对目标摄像头的标定。使用标定后的目标摄像头来进行拍摄视频,可以消除摄像头所拍摄画面中的畸变,提高视频的显示效果。
82.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。
附图说明
83.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施例,并与说明书一起用于解释本技术的原理,并不构成对本技术的不当限定。
84.图1是根据一示例性实施例示出的一种摄像头的标定方法的实施环境示意图。
85.图2是根据一示例性实施例示出的一种摄像头的标定方法的流程图。
86.图3是根据一示例性实施例示出的一种摄像头的标定方法的流程图。
87.图4是根据一示例性实施例示出的一种页面的示意图。
88.图5是根据一示例性实施例示出的一种页面的示意图。
89.图6是根据一示例性实施例示出的一种标定板的示意图。
90.图7是根据一示例性实施例示出的一种校验图像的示意图。
91.图8是根据一示例性实施例示出的一种页面的示意图。
92.图9是根据一示例性实施例示出的一种场景标定图形的示意图。
93.图10是根据一示例性实施例示出的一种页面的示意图。
94.图11是根据一示例性实施例示出的一种目标场景中放置场景标定图形的示意图。
95.图12是根据一示例性实施例示出的一种页面的示意图。
96.图13是根据一示例性实施例示出的一种页面的示意图。
97.图14是根据一示例性实施例示出的一种摄像头的标定方法的流程图。
98.图15是根据一示例性实施例示出的一种摄像头的标定装置的框图。
99.图16是根据一示例性实施例示出的一种终端的框图。
具体实施方式
100.为了使本领域普通人员更好地理解本技术的技术方案,下面将结合附图,对本技术实施例中的技术方案进行清楚、完整地描述。
101.需要说明的是,本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
102.下面对本技术实施例涉及的一些名词进行介绍。
103.相机标定(camera calibration):简单来说是从世界坐标系转换为相机坐标系,再由相机坐标系转换为图像坐标系的过程。
104.世界坐标系(world coordinate system):用户定义的三维世界的坐标系,为了描述目标物在真实世界里的位置而被引入。
105.相机坐标系(camera coordinate system):在相机上建立的坐标系,为了从相机的角度描述物体位置而定义,作为沟通世界坐标系和图像/像素坐标系的中间一环。
106.图像坐标系(image coordinate system):为了描述成像过程中物体从相机坐标系到图像坐标系的投影透射关系而引入,方便进一步得到像素坐标系下的坐标。
107.像素坐标系(pixel coordinate system):用于描述像素在图像中的位置。
108.需要说明的是,本技术所涉及的信息(包括但不限于用户设备信息、用户个人信息等)数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号,均为经用户授权或者经过各方充分授权的,且相关数据的收集、使用和处理需要遵守相关国家和地
区的相关法律法规和标准。例如,本技术中涉及到的目标摄像头所拍摄的画面都是在充分授权的情况下获取的。
109.图1是本技术实施例提供的一种摄像头的标定方法的实施环境示意图,参见图1,该实施环境中包括终端101和服务器102。
110.终端101可以为智能手机、智能手表、台式电脑、手提电脑和膝上型便携计算机等设备中的至少一种。终端101上可以安装并运行有支持摄像头标定的应用程序,用户可以通过终端101登录该应用程序,通过该应用程序来对摄像头进行标定,在一些实施例中,该应用程序上登录有用户的账号。终端与目标摄像头相连,终端能够获取目标摄像头拍摄的画面。在一些实施例中,目标摄像头为直播时使用的摄像头。
111.终端101可以泛指多个终端中的一个,本实施例仅以终端101来举例说明。本领域技术人员可以知晓,上述终端的数量可以更多或更少。比如上述终端101可以仅为几个,或者上述终端101为几十个或几百个,或者更多数量,本技术实施例对终端101的数量和设备类型均不加以限定。终端101可以通过无线网络或有线网络与服务器102相连。
112.服务器102可以为一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。服务器102为终端101上运行的应用程序提供的后台服务。
113.在一些实施例中,上述服务器102的数量可以更多或更少,本技术实施例对此不加以限定。当然,服务器102还可以包括其他功能服务器,以便提供更全面且多样化的服务。
114.在介绍完本技术实施例的实施环境之后,下面将结合上述实施环境对本技术实施例的应用场景进行介绍,在下述说明过程中,终端也即是上述实施环境中的终端101,服务器也即是上述实施环境中的服务器102。
115.本技术实施例提供的摄像头的标定方法能够应用在基于虚拟背景进行直播的场景下,还能够应用在基于虚拟背景拍摄短视频的场景下,还能够应用在其他拍摄视频的场景下,本技术实施例对此不做限定。
116.在基于虚拟背景进行直播之前,能够采用本技术实施例提供的技术方案,通过目标摄像头的标定页面对目标摄像头进行标定,得到目标摄像头的目标参数。在直播过程中基于目标参数将虚拟背景合成至目标摄像头拍摄的画面中就得到了直播画面。在基于目标摄像头的标定页面对目标摄像头进行标定的过程中,终端在该标定页面中会显示标定提示区域,标定提示区域用指示标定板的放置位置,对目标摄像头进行标定包括多个迭代过程,用户将标定板放置到标定提示区域即可触发一个迭代过程。在多个迭代过程中,终端会在该标定页面的不同位置显示标定提示区域,用户不断移动标定板即可完成对目标摄像头的标定,得到目标摄像头的目标参数,该目标参数用于矫正目标摄像头所拍摄的画面,也即是用于消除目标摄像头所拍摄画面中的畸变。对目标摄像头标定完成之后,响应于虚拟直播请求,终端能够基于目标参数将虚拟背景合成至目标摄像头拍摄的画面中,从而得到直播画面。
117.需要说明的是,上述是以本技术实施例提供的技术方案应用在基于虚拟背景进行直播的场景下为例进行说明的,在其他拍摄视频的场景下,技术方案的应用过程与上述描述属于同一发明构思,在此不再赘述。
118.在下述说明过程中,以本技术实施例提供的技术方案应用在基于虚拟背景进行直播的场景下为例进行说明。
119.在介绍完本技术实施例的实施环境和应用场景之后,下面将对本技术实施例的技术方案进行说明,参见图2,以执行主体为终端为例,方法包括:
120.在步骤s201中,终端显示待标定的目标摄像头的标定页面,该标定页面包括该目标摄像头拍摄的画面。
121.其中,目标摄像头为用于进行直播的摄像头,该标定页面用于对该目标摄像头进行标定。在对目标摄像头进行标定的过程中需要使用标定板,也即是需要获取目标摄像头拍摄标定板的图像,在标定页面中显示该目标摄像头拍摄的画面能够为用户使用该标定板进行辅助,提高对目标摄像头进行标定的效率。
122.在步骤s202中,响应于在该标定页面上对该目标摄像头的标定操作,终端在该目标摄像头拍摄的画面的多个位置依次显示标定提示区域,该标定提示区域用于指示标定板的摆放位置,以使得在该目标摄像头拍摄的画面中,该标定板始终位于该标定提示区域内。
123.其中,在该标定页面上对该目标摄像头的标定操作是指触发对目标摄像头进行标定的操作。标定提示区域为该目标摄像头拍摄的画面中的一个高亮区域。该标定提示区域具有一定的面积,该标定提示区域用于指示标定板的摆放位置是指,该标定提示区域用于指示调整标定板的摆放位置,以使得在该目标摄像头拍摄画面中,该标定板位于该标定提示区域内。在对目标摄像头进行标定的过程中,通过在多个位置依次显示标定提示区域,从而指示用户不断改变标定板的摆放位置,最终实现对目标摄像头的标定,人机交互的效率较高。
124.在步骤s203中,终端基于该标定板的多个标定图像,对该目标摄像头进行标定,该多个标定图像为在该多个位置显示的标定提示区域中获取的图像。
125.其中,由于摄像头结构的限制,摄像头拍摄的画面与人眼看到的画面之间存在差异,这种差异反映到摄像头拍摄的画面上反映为图像畸变,图像畸变是指图像中的物体发生变形,比如,一条直线在摄像头拍摄的画面上可能呈现为曲线。对目标摄像头进行标定得到的目标参数就是用于矫正图像,消除图像畸变的。
126.通过本技术实施提供的技术方案,基于目标摄像头进行拍摄之前,通过标定页面来对目标摄像头进行标定,标定时会在标定页面中显示标定提示区域,通过该标定提示区域来指示标定板的放置位置。在标定过程中,标定提示区域的显示位置会不断变化,引导用户将标定板放置在不同的位置上,从而完成对目标摄像头的标定。使用标定后的目标摄像头来进行拍摄视频,可以消除摄像头所拍摄画面中的畸变,提高视频的显示效果。
127.在一种可能的实施方式中,该响应于在该标定页面上对该目标摄像头的标定操作,在该目标摄像头拍摄的画面的多个位置依次显示标定提示区域包括:
128.对于该多个位置中的第一位置和第二位置,响应于在该标定页面上对该目标摄像头的标定操作,在该第一位置显示该标定提示区域。
129.在第一标定图像符合预设条件的情况下,在该第二位置显示该标定提示区域,该第一标定图像为在该第一位置显示的该标定提示区域中获取的图像。
130.在一种可能的实施方式中,该多个位置为在该目标摄像头拍摄的画面中随机确定的位置。
131.或者,该多个位置中的任两个位置为在该目标摄像头拍摄的画面中相邻的位置。
132.或者,该多个位置中的任两个位置在该目标摄像头拍摄的画面中有重合部分。
133.在一种可能的实施方式中,该标定提示区域的形状为长方形、正方形以及圆形中的任一项。
134.在一种可能的实施方式中,该标定提示区域包括标定提示信息,该标定提示信息用于指示该标定板的摆放方式,该摆放方式包括摆放该标定板在竖直平面上的旋转参数以及该标定板在水平面上的旋转参数中的至少一项。
135.在一种可能的实施方式中,该标定提示区域包括该标定提示信息对应的演示图像或者演示动画中的至少一项。
136.在一种可能的实施方式中,该方法还包括下述任一项:
137.在该多个位置依次显示该标定提示区域的过程中,在该标定提示区域的显示次数符合目标次数条件时,停止显示该标定提示区域。
138.在该多个位置依次显示该标定提示区域的过程中,在基于该标定提示区域获取的图像数量符合目标数量条件时,停止显示该标定提示区域。
139.在一种可能的实施方式中,该基于该标定板的多个标定图像,对该目标摄像头进行标定之后,该方法还包括:
140.响应于在该标定页面上对虚拟背景的标定操作,显示场景标定信息,该场景标定信息用于指示将该目标摄像头对准目标空间内的场景标定图形,该场景标定图形用于标定该目标摄像头的外参数,该目标空间为该标定板所在的空间,该外参数用于指示该目标摄像头的位姿。
141.在一种可能的实施方式中,该响应于在该标定页面上对虚拟背景的标定操作,显示场景标定信息之后,该方法还包括:
142.在基于该场景标定图形标定完成的情况下,响应于针对该目标摄像头的虚拟直播请求,基于目标参数对该目标摄像头拍摄的画面进行矫正,得到目标画面,该目标参数为基于该多个标定图像得到参数。
143.在该目标画面中检测到该场景标定图形的情况下,基于该目标摄像头的外参数在该目标画面中显示该虚拟背景。
144.在一种可能的实施方式中,该在该目标画面中检测到该场景标定图形的情况下,基于该目标摄像头的外参数在该目标画面中显示该虚拟背景包括:
145.在该目标画面中检测到该场景标定图形的情况下,基于该目标摄像头的外参数将该目标摄像头与该虚拟背景的虚拟相机的位姿对齐。
146.将该虚拟相机拍摄的该虚拟背景添加至该目标画面中。
147.在一种可能的实施方式中,该在该目标画面中检测到该场景标定图形的情况下,基于该目标摄像头的外参数在该目标画面中显示该虚拟背景包括:
148.在该目标画面中检测到该场景标定图形,且该目标画面包括绿幕的情况下,基于该目标摄像头的外参数将该虚拟背景显示在该绿幕所在的位置。
149.在一种可能的实施方式中,该在该目标画面中检测到该场景标定图形的情况下,基于该目标摄像头的外参数在该目标画面中显示该虚拟背景之后,该方法还包括:
150.响应于针对该虚拟背景的操作,显示背景设置区域。
151.基于在该背景设置区域上的操作,对该虚拟背景进行更新。
152.基于该目标参数将更新后的该虚拟背景合成至该目标摄像头拍摄的画面中。
153.在一种可能的实施方式中,基于该场景标定图形标定该目标摄像头的外参数的方法包括:
154.对该场景标定图形进行角点检测,得到该场景标定图形中的多个角点在像素坐标系下的坐标。
155.基于目标参数以及该场景标定图形中的多个角点在像素坐标系下的坐标,确定该场景标定图形中的多个角点在相机坐标系下的坐标。
156.基于该场景标定图形中的多个角点在像素坐标系下的坐标以及该场景标定图形中的多个角点在世界坐标系下的坐标,确定该目标摄像头的外参数。
157.在一种可能的实施方式中,该基于该标定板的多个标定图像,对该目标摄像头进行标定包括:
158.对于该多个标定图像中的任一标定图像,对该标定图像进行角点识别,得到该标定板的多个角点在该标定图像中的坐标。
159.基于该多个角点在该标定图像中的坐标以及该多个角点在该标定板中的坐标,确定该目标摄像头的第一标定参数。
160.基于该多个标定图像确定出的多个标定参数,确定该目标摄像头的该目标参数,该目标参数包括该目标摄像头的内参数和畸变参数。
161.在一种可能的实施方式中,该基于该多个标定图像确定出的多个标定参数,确定该目标摄像头的该目标参数包括:
162.对该多个标定参数进行线性拟合,得到该目标摄像头的该内参数。
163.对该多个标定图像确定出的该多个角点在对应标定图像中的坐标进行线性拟合,得到该畸变参数。
164.在一种可能的实施方式中,该标定页面包括开始控件,该响应于在该标定页面上对该目标摄像头的标定操作,在该目标摄像头拍摄的画面的多个位置依次显示标定提示区域包括:
165.响应于该开始控件被触发,在该目标摄像头拍摄的画面的多个位置依次显示该标定提示区域。
166.上述步骤s201-s204是对本技术实施例提供的摄像头的标定方法的简单介绍,下面将结合一些例子,对本技术实施例提供的技术方案进行更加清楚的说明,参见图3,方法包括:
167.在步骤s301中,终端显示背景选择页面,该背景选择页面用于选择虚拟背景。
168.在一种可能的实施方式中,背景选择页面包括背景选择区域,该背景选择区域包括至少一个候选虚拟背景的标识,通过选择候选虚拟背景的标识就能够选择对应的候选虚拟背景。
169.其中,该至少一个候选虚拟背景由技术人员进行设计,随着版本的更新,该候选虚拟背景的数量可能会发生变化。
170.在一些实施例中,该背景选择页面包括背景选择控件,在该背景选择控件被触发的情况下,在该背景选择页面中显示该背景选择区域。在一些实施例中,背景选择界面还包括背景展示区域,被选中的虚拟背景会显示在该背景展示区域中,该背景展示区域相当于虚拟背景的一个预览区域,用户能够通过该背景展示区域来查看选中的虚拟背景的显示效
果,人机交互的效率较高。响应于背景选择区域中显示的任一候选虚拟背景的标识被选中,终端将该被选中的候选虚拟背景显示在该背景展示区域中。
171.举例来说,参见图4,终端显示背景选择页面400,该背景选择页面400包括背景选择控件401。在该背景选择控件401被触发的情况下,终端在该背景选择页面400中显示背景选择区域402,该背景选择区域402包括至少一个候选虚拟背景的标识。响应于该背景选择区域402中任一候选虚拟背景的标识403被选中,将被选中的候选虚拟背景显示在背景展示区域404中。
172.在步骤s302中,响应于在该背景选择页面中的操作,终端显示待标定的目标摄像头的标定页面,该标定页面包括该目标摄像头拍摄的画面。
173.其中,目标摄像头为待标定的摄像头,也即是用于进行直播的摄像头,目标摄像头可以是移动终端上的摄像头,也可以是独立的外接摄像头,本技术实施例对此不做限定。
174.在一种可能的实施方式中,该背景选择页面包括标定控件,在该标定控件被触发的情况下,终端显示该目标摄像头的标定页面。该标定页面包括画面显示区域,该画面显示区域中显示有该目标摄像头拍摄的画面。在这种情况下,在该背景选择页面中的操作也即是选中该标定控件的操作,选中该标定控件的操作包括点击该标定控件或者将指针移动至该标定控件所在的位置。
175.举例来说,该背景选择页面还包括摄像头选择控件,在该摄像头选择控件被触发的情况下,终端显示摄像头展示区域,该摄像头展示区域包括终端所连接的至少一个摄像头的标识,每个摄像头的标识旁边显示有对应的标定控件。响应于摄像头展示区域中目标摄像头对应的标定控件被触发,终端显示该目标摄像头的标定页面,该标定页面包括画面显示区域。终端在该画面显示区域显示该目标摄像头的标定页面。该标定页面包括画面显示区域,该画面显示区域中显示有该目标摄像头拍摄的画面。
176.比如,参见图5,该背景选择页面500包括摄像头选择控件501,在该摄像头选择控件501被触发的情况下,终端显示摄像头展示区域502,该摄像头展示区域502包括终端所连接的至少一个摄像头的标识。响应于摄像头展示区域502中目标摄像头对应的标定控件503被触发,终端显示目标摄像头的标定页面504,该标定页面504包括画面显示区域505。终端该画面显示区域505显示该目标摄像头拍摄的画面506。
177.在步骤s303中,响应于在该标定页面上对该目标摄像头的标定操作,终端在该目标摄像头拍摄的画面的多个位置依次显示标定提示区域,该标定提示区域用于指示标定板的摆放位置,以使得在该目标摄像头拍摄的画面中,该标定板始终位于该标定提示区域内。
178.其中,标定板为有固定间距图案阵列的平板,用于对目标摄像头进行标定。在一些实施例中,标定板中的图案为国际象棋盘图案或者实心圆阵列图案,其中,国际象棋盘图案包括多个间隔设置且尺寸相同的正方形黑格子以及正方形白格子,因此国际象棋盘图案也被称为黑白格图案;实心圆阵列图案包括多个间距相同的实心圆,这里的间距相同包括水平间距相同以及竖直间距相同,在后续说明过程中,以标定板的图案为国际象棋盘图案为例。在实验过程中,使用了不反光、平整、a4大小的5*7棋盘格标定板。
179.标定提示区域为该目标摄像头所拍摄的画面中被突出显示的一个区域,标定提示区域用于指示将该标定板放置在该标定提示区域内。在该目标摄像头不移动的情况下,那么该目标摄像头所拍摄的画面也是固定不动的,该标定提示区域用于指示移动标定板,以
使得目标摄像头拍摄到的标定板位于该标定提示区域内。在该目标摄像头移动的情况下,那么该目标摄像头拍摄到的画面会随着该目标摄像头的移动而移动,该标定提示区域用于指示移动该目标摄像头,以使得目标摄像头拍摄到的标定板位于该标定提示区域内。
180.在一些实施例中,该多个位置为在该目标摄像头拍摄的画面中随机确定的位置。或者,该多个位置中的任两个位置为在该目标摄像头拍摄的画面中相邻的位置。或者,该多个位置中的任两个位置在该目标摄像头拍摄的画面中有重合部分。
181.在一种可能的实施方式中,标定页面包括开始控件,响应于该开始控件被触发,终端在该目标摄像头拍摄的画面的多个位置依次显示标定提示区域。其中,该开始控件被触发也就相当于触发对该目标摄像头进行标定的流程。通过在标定页面中显示开始控件,便于用户快捷地触发对目标摄像头进行标定的流程,人机交互的效率较高。
182.举例来说,参见图5,标定页面504包括开始控件5041,响应于对该开始控件5041的点击操作,终端在画面显示区域505中显示该目标摄像头拍摄的画面506,在该目标摄像头拍摄的画面506中显示标定提示区域507。
183.在一些实施例中,该标定提示区域的形状为长方形、正方形以及圆形中的任一项。在该标定提示区域为长方形的情况下,该标定提示区域包括水平指示线和竖直指示线,该水平指示线与该竖直指示线相互垂直,通过该水平指示线和该竖直指示线能够指示标定板在该标定提示区域位置。在一些实施例中,该水平指示线和该竖直指示线为不同颜色的指示线。比如,参见图5,该标定提示区域507包括水平指示线5071和竖直指示线5072。
184.在一种可能的实施方式中,对于该多个位置中的第一位置和第二位置,响应于在该标定页面上对该目标摄像头的标定操作,终端在该第一位置显示该标定提示区域。在第一标定图像符合预设条件的情况下,终端在该第二位置显示该标定提示区域,该第一标定图像为在该第一位置显示的该标定提示区域中获取的图像。
185.在一些实施例中,第一位置和该第二位置为该目标摄像头拍摄的画面中两个相邻的位置。或者,该第一位置和该第二位置为该目标摄像头拍摄的画面中对称的两个位置。或者,该第一位置和该第二位置为该目标摄像头拍摄的画面中具有重合部分的两个位置。
186.其中,预设条件包括下述至少一项:标定板中多个角点的图像均位于标定提示区域内;基于标定板中多个角点生成的校验图像的尺寸符合目标尺寸条件;通过标定提示区域得到的多个图像中,满足上述两个条件的图像数量大于目标数值。
187.以标定板为a4大小的5*7棋盘格标定板为例,基于标定板中多个角点生成的校验图像的尺寸符合目标尺寸条件是指,根据角点对0和5计算左上角框顶点,根据角点对3和6计算右上角框顶点,根据角点对17和20计算左下角框顶点,根据角点对18和23计算右下角框顶点,终端根据四个顶点生成校验图像。在该校验图像的尺寸与对应标定提示区域尺寸之间符合目标尺寸条件,确定该校验图像满足该条件。比如,参见图6,提供了一种棋盘格标定板的示意图。参见图7,包括标定提示区域701、标定板702以及生成的校验图像703。在该校验图像703的长和宽分别大于标定提示区域701的长和宽分别与第三比例的乘积时,确定该校验图像满足该条件,在一些实施例中,第三比例为0.6。
188.需要说明的是,上述是以两次迭代过程为例进行说明,在后续迭代过程中,终端均能够采用与上述说明过程同理的方式来改变标定提示区域的显示位置。
189.在一种可能的实施方式中,该目标摄像头的标定页面还包括标定板参数设置区
域,该标定板参数设置区域用于设置标定板的属性信息,标定板的属性信息包括标定板的尺寸、标定板中图案的类型以及标定板中图案的尺寸等,其中,标定板的尺寸包括标定板的长和宽;标定板中图案的类型包括之前描述的国际象棋盘图案以及实心圆阵列图案;对于标定板中图案类型的不同,标定板中图案的尺寸具有不同的含义,在标定板中的图案为国际象棋盘图案的情况下,标定板中图案的尺寸包括黑格子和白格子的边长。在标定板中的图案为实心圆阵列图案的情况下,标定板中图案的尺寸包括实心圆的半径、实心圆之间的距离以及左上角第一个实心圆的圆心在标定板中的坐标。终端通过该标定板参数设置区域能够获取标定板的属性信息,也就是说,在对目标摄像头进行标定的过程中,标定板的属性信息是已知的。以标定板中的图案为国际象棋盘图案为例,终端基于该标定板的属性信息,能够确定出该标定板中的多个角点在该标定板中的坐标,多个角点在该标定板中的坐标也即是多个角点在世界坐标系下的坐标,角点也即是黑格子的顶点。
190.在这种实施方式下,提供标定板参数设置区域来获取标定板的属性信息,人机交互的效率较高。
191.举例来说,该目标摄像头的标定页面还包括参数设置控件。在该参数设置控件被触发的情况下,终端在该标定页面显示该标定板参数设置区域,该标定板参数设置区域包括标定板类型选择子区域、标定板尺寸输入子区域以及标定板图案尺寸输入子区域,其中,标定板类型选择子区域用于选择标定板中图案的类型。标定板尺寸输入子区域用于输入标定板的尺寸、标定板图案尺寸输入子区域用于输入标定板中图案的尺寸。
192.比如,参见图5,标定页面504包括参数设置控件5042,响应于对该参数设置控件5042的点击操作,终端在该标定页面504中显示该标定板参数设置区域508,该标定板参数设置区域508包括标定板类型选择子区域5081、标定板尺寸输入子区域5082以及标定板图案尺寸输入子区域5083。
193.在一些实施例中,该标定板参数设置区域还包括确认控件,在该确认控件被触发的情况下,终端获取标定板参数设置区域中设置的属性信息。比如,参见图5,该标定板参数设置区域508包括确认控件5083,响应于对该确认控件5083的点击操作,终端获取标定板参数设置区域中设置的属性信息。
194.在一些实施例中,该标定提示区域包括标定提示信息,该标定提示信息用于指示该标定板的摆放方式,该摆放方式包括摆放该标定板在竖直平面上的旋转参数以及该标定板在水平面上的旋转参数中的至少一项。
195.在一些实施例中,旋转参数包括标定板的摆放角度以摆放方向等,其中,标定板在竖直平面上的摆放角度可以用标定板与竖直平面之间的夹角来表示,摆放方向也可以用于标定板在竖直平面上的旋转参数来表示。比如,一条标定提示信息为“将标定板倾斜45
°
摆放”,这条提示信息用于指示将标定板与竖直平面之间的夹角调整为45
°

196.在这种实施方式下,终端通过在标定提示区域显示标定提示信息的方式来指示标定板的摆放方式,用户能够基于标定提示信息来调整标定板的摆放方式,从而完成对目标摄像头的标定流程。
197.在一些实施例中,标定提示区域包括该标定提示信息对应的演示图像或者演示动画中的至少一项。
198.其中,标定提示信息对应的演示图像以及演示动画是技术人员提前配置好的,用
于指示如何执行标定提示信息所指示的摆放方式。在一些实施例中,标定提示信息对应的演示图像以及演示动画能够显示如何从当前的标定板摆放位置调整到下一个标定板摆放位置。
199.在这种实施方式下,演示图像和演示动画能够直观地向用户展示如何摆放标定板,用户通过观看演示图像或者演示动画能够快速知晓拜访标定板的方式,人机交互的效率较高。
200.需要说明的是,使用标定板对目标摄像头进行标定时需要通过多次迭代过程来实现,在多次迭代过程中,终端会在该目标摄像头拍摄的画面中的更新标定提示区域的显示位置,以指示将标定板放置在不同的位置。
201.下面对多次迭代过程中终止方法进行说明。
202.在一种可能的实施方式中,在该多个位置依次显示该标定提示区域的过程中,在该标定提示区域的显示次数符合目标次数条件时,终端停止显示该标定提示区域。
203.举例来说,在该多个位置依次显示该标定提示区域的过程中,在该标定提示区域的显示次数大于或等于次数阈值时,终端停止显示该标定提示区域,其中,次数阈值由技术人员根据实际情况进行设置,本技术实施例对此不做限定,比如,将次数阈值设置为15或者20等。
204.在一种可能的实施方式中,在该多个位置依次显示该标定提示区域的过程中,在基于该标定提示区域获取的图像数量符合目标数量条件时,终端停止显示该标定提示区域。
205.举例来说,在该多个位置依次显示该标定提示区域的过程中,在基于该标定提示区域获取的图像数量大于或等于数量阈值时,终端停止显示该标定提示区域,其中,数量阈值由技术人员根据实际情况进行设置,本技术实施例对此不做限定,比如,将数量阈值设置为30或者50等。
206.在步骤s304中,终端基于该标定板的多个标定图像,对该目标摄像头进行标定,该多个标定图像为在该多个位置显示的标定提示区域中获取的图像。
207.在一种可能的实施方式中,在多次迭代过程中,终端基于在不同的标定提示区域中检测到的标定板以及该不同的标定提示区域,对该目标摄像头进行标定,得到该目标摄像头的该目标参数,该目标标定参数用于矫正该目标摄像头拍摄的画面。
208.其中,该目标参数也可以称为矫正参数,该目标参数能够反映真实世界中的物点与目标摄像头所拍摄的画面中的像点之间的对应关系,采用该目标参数能够对目标摄像头所拍摄的画面进行矫正,对画面进行矫正的过程也被称为消除画面畸变的过程。对目标摄像头进行标定包括多次迭代过程,在一些实施例中,在每次迭代过程中,终端不仅会更新标定提示区域在该目标摄像头所拍摄画面中的显示位置,还会更新标定提示区域的尺寸。在该标定提示区域中显示有标定提示信息的情况下,该标定提示信息也可能会随着标定提示区域的更新而更新。
209.在这种实施方式下,终端能够通过多次迭代过程来对目标摄像头进行标定,多次迭代过程能够最大程度地消除确定目标参数时的误差,得到的目标参数的准确性较高。
210.下面以终端在一次迭代过程中的处理过程为例对上述实施方式进行说明。
211.在一种可能的实施方式中,对于该多个标定图像中的任一标定图像,终端对该标
定图像进行角点识别,得到该标定板的多个角点在该标定图像中的坐标。终端基于该多个角点在该标定图像中的坐标以及该多个角点在该标定板中的坐标,确定该目标摄像头的第一标定参数。终端基于该多个标定图像确定出的多个标定参数,确定该目标摄像头的该目标参数,该目标参数包括该目标摄像头的内参数和畸变参数。
212.为了对上述实施方式进行更加清楚的说明,下面将分为三个部分对上述实施方式进行说明。
213.第一部分、终端对该标定图像进行角点识别,得到该标定板的多个角点在该标定图像中的坐标。
214.在一种可能的实施方式中,终端采用固定窗口在该标定图像中进行滑动,在滑动过程中确定该固定窗口中像素灰度。终端比较该固定窗口由第一区域滑动到第二区域后,该固定窗口中的第一像素灰度变化值,其中,第一区域为该标定图像中的任一区域,该第二区域为该固定窗口在该第一区域时,向第一方向进行偏移后的区域。在该第一像素灰度变化值符合变化值条件的情况下,终端比较该固定窗口由该第一区域滑动到第三区域后,该固定窗口中的第二像素灰度变化值,其中,该第三区域为该固定窗口在该第一区域向第二方向进行偏移后的区域,该第二方向与该第一方向为不同方向。在该第二像素灰度变化值符合变化值条件的情况下,终端确定该第一区域内部存在角点。在一些实施例中,终端能够将该第一区域中心的像素点确定为该标定板的一个角点。或者,终端采用面积小于该固定窗口的另一个窗口在该第一区域中进行滑动,在滑动过程中比较滑动前后该另一个窗口中的像素灰度变化值。终端将该像素灰度变化值最大的滑动前位置确定为目标区域,将该目标区域中心的像素点确定为该标定板的一个角点。终端重复执行滑动该固定窗口以及比较该固定窗口滑动前后该固定窗口中像素灰度变化值的步骤,在该标定图像中确定该标定板的多个角点的坐标。
215.需要说明的是,终端除了能够通过上述实施方式来获取该标定板的多个角点在该迭代过程对应的标定提示区域中的坐标以外,还能够通过其他角点检测算法,比如harris(哈里斯)角点检测、shi-tomas9(托马斯)角点检测以及亚像素角点检测等方法,当然随着科学技术的发展,也可以采用其他角点检测算法来确定该标定板的多个角点在该迭代过程对应的标定提示区域中的坐标,本技术实施例对此不做限定。
216.在一些实施例中,终端标定提示区域中显示的该标定板进行角点识别,得到标定提示区域中的多个角点之后,能够对多个角点进行编号,以便于角点之间的匹配和区分。在编号过程中,终端可以按照角点所在的位置进行编号。
217.第二部分、终端基于该多个角点在该标定图像中的坐标以及该多个角点在该标定板中的坐标,确定该目标摄像头的第一标定参数。
218.其中,该多个角点在该标定图像中的坐标也即是该多个角点在该迭代过程对应的画面中的坐标,该画面为该目标摄像头拍摄的画面。换句话说,该多个角点在该标定图像中的坐标为该多个角点在像素坐标系中的坐标。该多个角点在该标定板中的坐标是指该多个角点在世界坐标系中的坐标,或者叫该多个角点的实际坐标。为了方便进行描述,在下述说明过程中,该多个角点在该标定图像中的坐标记作第一坐标,将该多个角点在该标定板中的坐标记作第二坐标。
219.在一种可能的实施方式中,终端基于多个第一坐标以及多个第二坐标,获取该目
标摄像头的内参数与外参数的积。终端基于该目标摄像头的内参数与外参数的积,获取该目标摄像头的第一标定参数,该第一标定参数为获取该目标摄像头的内参数以及外参数的一组约束关系参数。
220.举例来说,将多个角点在世界坐标系中第二坐标记作(u,v,w),由于该多个角点均位于标定板上,因此w=0。可以采用下述公式(1)来表示像素坐标系下的第一坐标与世界坐标系下的第二坐标之间的变换关系。
[0221][0222]
其中,z为尺度因子,u和v为角点在像素坐标系中的第一坐标,u0和v0为该迭代过程中检测到的角点在像素坐标系中的第一坐标,f为目标摄像头的焦距,a为目标摄像头的内参矩阵,也即是该目标摄像头的内参数,(r1 r2 t)为目标摄像头的外参矩阵,也即是该目标摄像头的外参数,r1和r2为旋转矩阵的前两行,r1和r2正交,旋转矩阵用于描述目标摄像头与该标定板之间的角度,t为待定参数。
[0223]
终端对该公式(1)进行处理,将该目标摄像头的内参数与外参数的积a(r1 r2 t)记作矩阵h,将矩阵h的三列记作(h1h2h3),下述h
11
是指矩阵h中第一行第一个元素,h
33
是指矩阵h中第三行第三个元素,则公式(1)可记作下述公式(2)。
[0224][0225]
利用上述公式(2)消去尺度因子z之后,能够得到下述公式(3)。
[0226][0227]
由于尺度因子z被消去,因此上述公式(3)对于该迭代过程对应的标定提示区域中的每个角点均成立。终端采用最小二乘法,基于该多个角点的多个第一坐标和多个第二坐标,获取该目标摄像头的内参数与外参数的积h。
[0228]
终端对该目标摄像头的内参数与外参数的积h进行线性变换,得到该目标摄像头的第一标定参数,该第一标定参数为获取该目标摄像头的内参数以及外参数的一组约束关系参数。终端通过多个标定参数能够解析出该目标摄像头的内参数和外参数,每个标定参数对应于一次迭代过程。
[0229]
第三部分、终端基于该多个标定图像确定出的多个标定参数,确定该目标摄像头
的该目标参数。
[0230]
在一种可能的实施方式中,该目标参数包括该目标摄像头的内参数以及畸变参数,终端对该多个标定参数进行线性拟合,得到该目标摄像头的内参数。终端对该多个迭代过程中得到的该多个角点在对应标定图像中的坐标进行线性拟合,得到该畸变参数。
[0231]
举例来说,终端基于该多个标定参数提供的约束关系,对该目标摄像头的内参数与外参数的积进行线性拟合,得到该目标摄像头的内参数,内参数为该目标摄像头的内部参数,无论标定板和该目标摄像头的位置如何改变,内参数均不会发生变化。外参数用于反映标定板与该目标摄像头之间的相对位置关系,在不同迭代过程中,由于标定板和该目标摄像头之间的相对位置关系会不断变化,那么在不同迭代过程中该目标摄像头的外参数均是不同的。通过上述第二部分的处理,终端能够得到不同迭代过程中该目标摄像头的内参数与外参数的积,通过之前的线性拟合过程得到的了该目标摄像头的内参数,那么终端能够基于该目标摄像头的内参数与外参数的积以及该内参数,确定该目标摄像头在不同迭代过程中的外参数。终端将该多个迭代过程中得到的该多个角点在标定图像中的坐标代入畸变参数确定函数,通过线性拟合获取该目标摄像头的畸变参数。
[0232]
在不同迭代过程中,在该目标摄像头拍摄的画面中的不同位置显示标定提示区域,下面对终端在不同迭代过程中显示该标定提示区域的方法进行说明。
[0233]
在一种可能的实施方式中,在任一迭代过程中,终端将该标定提示区域显示在该目标摄像头所拍摄画面的第一位置。在下一次迭代过程中,终端将该标定提示区域显示在该目标摄像有所拍摄画面的第二位置,其中,该第二位置和该第一位置为不同的位置。
[0234]
其中,第一位置和第二位置可以是提前配置好的位置,也可以是终端随机确定的位置,本技术实施例对此不做限定。
[0235]
在这种实施方式下,终端通过改变标定提示区域的显示位置来提示改变标定板的摆放位置,从而得到不同位置和角度的标定图像,标定图像是指该标定板的图像。由于标定板的尺寸、标定板中图案的尺寸以及标定板中图案之间的相对位置关系是固定不变的,也即是该标定板中多个角点之间的相对位置关系是不变的,多个标定图像通过不同位置和角度反映了相同的相对位置关系。在此基础上,采用多个标定图像来获取该目标参数的准确性较高。
[0236]
举例来说,终端显示标定页面,该标定页面包括画面显示区域,该画面显示区域中显示有该目标摄像头拍摄的画面。在任一迭代过程中,终端将该标定提示区域显示在该画面显示区域的第一位置。在下一次迭代过程中,终端在该画面显示区域的第二位置显示标定提示区域。
[0237]
比如,参见图8,终端显示标定页面800,该标定页面800包括画面显示区域801,该画面显示区域801中显示有该目标摄像头拍摄的画面。在任一迭代过程中,终端在该画面显示区域801的第一位置显示标定提示区域802。在基于该显示在第一位置的标定提示区域获取到标定参数之后,触发下一次迭代过程。在下一次迭代过程中,终端在该画面显示区域801的第二位置显示标定提示区域803。
[0238]
在一些实施例中,终端基于该目标摄像头拍摄的画面的尺寸,将该目标摄像头拍摄的画面划分为多个区域。终端按照多个区域的排列顺序,在该多个区域依次显示标定提示区域。在一些实施例中,标定提示区域也被称为标定框。比如,终端将该目标摄像头拍摄
的画面短边的长度与第一比例相乘,得到标定框短边的长度。终端将该目标摄像头拍摄的画面短边的长度与第二比例相乘,得到标定框长边的长度。终端在目标摄像头拍摄的画面中随机确定多个中心位置,该多个中心位置为标定框的中心所在的位置。终端在该多个中心位置依次显示标定框。
[0239]
需要说明的是,终端能够改变第一比例和第二比例的数值,以得到不同大小的标定框。比如,对于一组第一比例和第二比例来说,终端能够在多个中心位置依次显示该组标定框。终端能够改变第一比例和第二比例的数值,得到第二组标定框对应的第一比例和第二比例。终端能够在多个中心位置依次显示该第二组标定框,以此类推。
[0240]
举例来说,第一组标定框大小:标定框短边=画面短边*0.7,标定框长边=画面短边*0.7*1.4,标定框中心位置:(0.5,0.25),(0.5,0.5),(0.5,0.75)。第二组标定框大小:标定框短边=画面短边*0.7,标定框长边=画面短边*0.7*1.4*0.7,标定框中心位置:(0.25,0.25),(0.5,0.5),(0.75,0.75)。第三组标定框大小:标定框短边=画面短边*0.7*0.4,标定框长边=画面短边*0.7*1.4*0.7,标定框中心位置:(0.75,0.25),(0.5,0.5),(0.25,0.75)。
[0241]
在一些实施例中,在不同迭代过程中,终端显示的标定提示区域的尺寸也可能发生变化,尺寸变化用于指示该表标定板与竖直平面之间的夹角。比如,终端通过缩小标定提示区域的宽来指示增大该标定板与竖直平面之间的夹角。在一些实施例中,标定提示区域中显示有标定提示信息,结合改变标定提示区域以及标定提示信息,能够起到更为直观的提示功能。
[0242]
在一些实施例中,终端根据标定板的尺寸来确定标定提示区域的尺寸。举例来说,终端将标定板短边的长度与第一比例相乘,得到标定提示区域短边的长度。终端将标定提示区域短边的长度与第二比例相乘,得到标定提示区域长边的长度。比如,第一比例为0.7,第二比例为1.414,在这种情况下,标定提示区域的长边和短边的比例与a4纸的比例相同,在使用的标定板也为a4纸的情况下,标定的效果较好。
[0243]
另外,终端获取到该目标摄像头的目标参数也就意味着终端完成了对该目标摄像头的标定过程。在一些实施例中,在终端获取到该目标摄像头的目标参数之后,在该目标摄像头的标定页面中显示第一完成提示,该第一完成提示用于指示该目标摄像头标定完成。
[0244]
还有,上述步骤s301-s304是以标定该目标摄像头为例进行说明的,终端标定其他摄像头的过程与标定该目标摄像头的过程属于同一发明构思,实现过程不再赘述。
[0245]
在步骤s305中,响应于在该标定页面上对虚拟背景的标定操作,终端显示场景标定信息,该场景标定信息用于指示将该目标摄像头对准目标空间内的场景标定图形,该场景标定图形用于标定该目标摄像头的外参数,该目标空间为该标定板所在的空间,该外参数用于指示该目标摄像头的位姿。
[0246]
其中,外参数用于指示目标摄像头在世界坐标系中的位置,或者该外参数用于描述该目标摄像头的位姿。场景标定图形为技术人员提前配置好的图形,比如为特殊符号或者图案等,本技术实施例对此不做限定。在一些实施例中,该场景标定图形包括二维码,终端通过识别该二维码就能够确定检测到了场景标定图形。在一些实施例中,在该场景标定图像包括二维码的情况下,该场景标定图形为a4大小的apriltag标定板,apriltag标定板的示意图参见图9。该场景标定图形平放在目标空间中,在该目标空间为直播空间的情况
下,也即是将该场景标定图形平放在直播空间中,平放之后保证该场景标定图形的高度坐标均为0。
[0247]
在这种实施方式下,通过场景标定能够配置终端显示虚拟背景的时机,终端在检测到场景标定图形时会自动显示虚拟背景,人机交互的效率较高。
[0248]
在一种可能的实施方式中,该标定页面包括场景标定控件,在该场景标定控件被触发的情况下,终端在该标定页面中显示场景标定信息,比如,该场景标定信息为文字“请将摄像头对准想要使用的场景标定图形”。在检测到该目标摄像头所拍摄的画面包括场景标定图形的情况下,终端存储该场景标定图形,完成基于该场景标定图形的标定过程。
[0249]
比如,参见图10,终端显示标定页面1000,该标定页面包括场景标定控件1001,响应于对该场景标定控件1001的点击操作,终端在该标定页面中显示场景标定信息1002。在检测到该目标摄像头所拍摄的画面1003包括场景标定图形1004的情况下,终端存储该场景标定图形1004。
[0250]
下面对终端基于场景标定图形确定该目标摄像头的外参数的方法进行说明。
[0251]
在一种可能的实施方式中,终端对该场景标定图形进行角点检测,得到该场景标定图形中的多个角点在像素坐标系下的坐标。终端基于目标参数以及该场景标定图形中的多个角点在像素坐标系下的坐标,确定该场景标定图形中的多个角点在相机坐标系下的坐标。终端基于该场景标定图形中的多个角点在像素坐标系下的坐标以及该场景标定图形中的多个角点在世界坐标系下的坐标,确定该目标摄像头的外参数,其中,该目标摄像头的外参数包括该目标摄像头的旋转参数和平移参数,该场景标定图形中的多个角点在世界坐标系下的坐标是提前配置好的。
[0252]
在该场景标定图形包括二维码的情况下,终端对该场景标定图形进行角点检测,得到该二维码四个角在像素坐标系下的坐标(u,v)。终端采用目标参数对该四个角在像素坐标系下的坐标(u,v)进行映射,得到四个角在相机坐标系下的坐标(x’,y’,z’)。终端基于四个角在相机坐标系下的坐标(x’,y’,z’)以及四个角在世界坐标系下的坐标(x,y,z),确定该目标相机的旋转参数(qw,qx,qy,qz)和平移参数(tx,ty,tz)。标定结果的示意图参见图11,在图11中,左侧为直播场景的示意图,包括场景标定图形1101,右侧为标定后的该目标摄像头的位姿示意图。
[0253]
在步骤s306中,在基于该场景标定图形标定完成的情况下,响应于针对该目标摄像头的虚拟直播请求,终端基于目标参数将虚拟背景合成至该目标摄像头拍摄的画面中。
[0254]
在一种可能的实施方式中,在基于该场景标定图形标定完成的情况下,响应于针对该目标摄像头的虚拟直播请求,终端基于目标参数对该目标摄像头拍摄的画面进行矫正,得到目标画面,该目标参数为基于该多个标定图像得到参数。在该目标画面中检测到该场景标定图形的情况下,终端基于该目标摄像头的外参数在该目标画面中显示该虚拟背景。
[0255]
举例来说,在基于该场景标定图形标定完成的情况下,终端显示直播页面,该直播页面包括摄像头调用控件。在该摄像头调用控件被触发的情况下,终端显示摄像头选择区域,该摄像头选择区域包括至少一个标定完成的摄像头。在基于该摄像头选择区域选中该目标摄像头的情况下,触发针对该目标摄像头的虚拟直播请求。响应于针对该目标摄像头的虚拟直播请求,终端基于该目标参数对该目标摄像头拍摄的画面进行矫正,得到目标画
面。在该目标画面中检测到该场景标定图形的情况下,终端基于该目标摄像头的外参数在该目标画面中显示该虚拟背景。
[0256]
其中,该目标参数能够对该目标摄像头拍摄的画面进行矫正,将虚拟背景合成至矫正后的画面中能够达到更好的直播效果。虚拟背景为技术人员设计的虚拟背景,比如,该虚拟背景为虚拟办公室,该虚拟办公室包括虚拟桌子、虚拟椅子、虚拟窗户等虚拟对象。将虚拟背景合成至该目标摄像头拍摄的画面中,能够实现虚实结合的直播效果。由于目标参数能够矫正目标摄像头拍摄的画面,那么合成画面的显示效果也就较好。针对该目标摄像头的虚拟直播请求用于请求使用该目标摄像头进行直播。
[0257]
在一种可能的实施方式中,在基于该场景标定图形标定完成的情况下,响应于针对该目标摄像头的虚拟直播请求,在该目标画面中检测到该场景标定图形,且该目标画面包括绿幕的情况下,终端基于该目标参数将该虚拟背景显示在该绿幕所在的位置。其中,绿幕布置在目标空间内,该目标空间为该标定板所在的空间,也即是现实空间。设置绿幕便于将该目标摄像头所拍摄的画面中的真实直播背景替换为虚拟背景,也即是便于终端将该目标摄像头所拍摄的画面中绿幕所在的位置去除,将虚拟背景合成至被去除的位置。
[0258]
在这种实施方式下,终端能够将虚拟背景合成至画面中绿幕所在的位置,由于终端检测和去除绿幕的效率较高,且去除绿幕后不容易在画面中留下黑边,采用这种方式来将虚拟背景合成至基于目标参数矫正的画面中,能够得到较好的效果。
[0259]
举例来说,在步骤s305之后,在基于该场景标定图形标定完成的情况下,终端显示直播页面,该直播页面包括摄像头调用控件。在该摄像头调用控件被触发的情况下,终端显示摄像头选择区域,该摄像头选择区域包括至少一个标定完成的摄像头。在基于该摄像头选择区域选中该目标摄像头的情况下,触发针对该目标摄像头的虚拟直播请求。响应于针对该目标摄像头的虚拟直播请求,终端基于该目标参数将该目标摄像头拍摄的画面显示在该直播页面中。在该目标画面中检测到该场景标定图形,且该目标画面中存在绿幕的情况下,终端去除绿幕对应的像素点,将该虚拟背景显示在该绿幕所在的位置。在一些实施例中,该目标参数为一个线性变换矩阵,终端基于该目标参数将该目标摄像头拍摄的画面显示在该直播页面的过程,也即是终端基于该线性变换矩阵,对该目标摄像头所拍摄画面中像素点的坐标进行调整,得到目标画面,将该目标画面显示在该直播页面的过程,通过对该目标摄像头所拍摄画面中像素点的坐标进行调整,能够消除该目标摄像头所拍摄画面中的畸变,得到更加真实的目标画面。
[0260]
比如,参见图12,终端显示直播页面1200,该直播页面1200包括摄像头调用控件1201。响应于对该摄像头调用控件1201的点击操作,终端显示摄像头选择区域1202,该摄像头选择区域1202包括至少一个标定完成的摄像头。响应于对该至少一个标定完成的摄像头中目标摄像头1203的点击操作,触发针对该目标摄像头的虚拟直播请求。响应于该虚拟直播请求,终端基于该目标参数对该目标摄像头拍摄的画面进行矫正,将矫正后得到的目标画面显示在该直播页面1200的直播画面显示区域1204中。终端检测该目标画面中是否存在绿幕1205,在确定该目标画面存在绿幕的情况下,终端去除绿幕1205对应的像素点,将该虚拟背景显示在该绿幕1205所在的位置。
[0261]
下面对终端基于该目标摄像头的外参数在该目标画面中显示该虚拟背景的方法进行说明。
[0262]
在一种可能的实施方式中,终端基于该目标摄像头的外参数将该目标摄像头与该虚拟背景的虚拟相机的位姿对齐。终端将该虚拟相机拍摄的该虚拟背景添加至该目标画面中。
[0263]
举例来说,终端基于该目标摄像头的外参数,对该虚拟背景的虚拟摄像机的位姿进行调整,以使得该虚拟摄像机的位姿与该目标摄像头的位姿相同。终端基于位姿调整后的该虚拟摄像机,在该目标画面中显示该虚拟背景。
[0264]
比如,该外参数包括旋转参数和平移参数,终端采用该旋转参数对该虚拟摄像机进行旋转,采用该平移参数对该虚拟摄像机进行平移,以使得该虚拟摄像机的位姿与该目标摄像头的位姿相同。终端将位姿调整后的该虚拟摄像机所拍摄的该虚拟背景合成至该目标画面中。
[0265]
在步骤s307中,响应于对该虚拟背景的调整指令,终端基于该调整指令对该虚拟背景进行调整。
[0266]
在一种可能的实施方式中,响应于针对该虚拟背景的操作,终端显示背景设置区域。终端基于在该背景设置区域上的操作,对该虚拟背景进行更新。终端基于该目标参数将更新后的该虚拟背景合成至该目标摄像头拍摄的画面中。
[0267]
在这种实施方式下,终端通过背景设置区域替换更新虚拟背景的功能,当用户对当前显示的虚拟背景不满意时,能够通过该背景设置区域来对虚拟背景进行更新,人机交互的效率较高。
[0268]
为了对上述实施方式进行更加清楚的说明,下面将分为三个部分对上述实施方式进行说明。
[0269]
第一部分、响应于针对该虚拟背景的操作,终端显示背景设置区域。
[0270]
在一种可能的实施方式中,终端显示直播页面,该直播页面包括背景设置控件。在该背景设置控件被触发的情况下,终端显示背景设置区域。
[0271]
举例来说,参见图13,终端显示直播页面1300,该直播页面1300包括背景设置控件1301。响应于对该背景设置控件1301的点击操作,终端显示背景设置区域1302。
[0272]
第二部分、终端基于在该背景设置区域上的操作,对该虚拟背景进行更新。
[0273]
在一种可能的实施方式中,响应于在该背景设置区域上对该虚拟背景的亮度调整操作,终端对该虚拟背景的亮度进行调整。
[0274]
举例来说,该背景设置区域包括亮度调整控件,该亮度调整控件用于调整该虚拟背景的亮度。响应于对该亮度调整控件的拖动操作,终端基于该亮度调整控件的位置,对该虚拟背景的亮度进度调整。
[0275]
比如,参见图13,该背景设置区域1302亮度调整控件13021,该亮度调整控件13021位于亮度调整轴上,该亮度调整控件13021能够在该亮度调整轴上移动。该亮度调整控件13021位于该亮度调整轴上的不同位置时,对应于不同的亮度值。响应于对该亮度调整控件13021的拖动操作,终端基于该亮度调整控件13021在该亮度调整轴上的位置,对该虚拟背景的亮度进行调整。
[0276]
在一种可能的实施方式中,响应于在该背景设置区域上对该虚拟背景的光照参数调整操作,终端对该虚拟背景的光照参数进行调整。
[0277]
举例来说,该背景设置区域包括光照参数调整控件,该光照参数调整控件用于调
整该虚拟背景的光照参数。响应于对该光照参数调整控件的拖动操作,终端基于该光照参数调整控件的位置,对该虚拟背景的光照参数进度调整。
[0278]
比如,参见图13,该背景设置区域1302光照参数调整控件13022,该光照参数调整控件13022位于光照参数调整轴上,该光照参数调整控件13022能够在该光照参数调整轴上移动。该光照参数调整控件13022位于该光照参数调整轴上的不同位置时,对应于不同的光照参数。响应于对该光照参数调整控件13022的拖动操作,终端基于该光照参数调整控件13022在该光照参数调整轴上的位置,对该虚拟背景的光照参数进行调整。
[0279]
在一种可能的实施方式中,响应于在该背景设置区域上对该虚拟背景的虚化参数调整操作,终端对该虚拟背景的虚化参数进行调整。
[0280]
举例来说,该背景设置区域包括虚化参数调整控件,该虚化参数调整控件用于调整该虚拟背景的虚化参数。响应于对该虚化参数调整控件的拖动操作,终端基于该虚化参数调整控件的位置,对该虚拟背景的虚化参数进度调整。
[0281]
比如,参见图13,该背景设置区域1302虚化参数调整控件13023,该虚化参数调整控件13023位于虚化参数调整轴上,该虚化参数调整控件13023能够在该虚化参数调整轴上移动。该虚化参数调整控件13023位于该虚化参数调整轴上的不同位置时,对应于不同的虚化参数。响应于对该虚化参数调整控件13023的拖动操作,终端基于该虚化参数调整控件13023在该虚化参数调整轴上的位置,对该虚拟背景的虚化参数进行调整。
[0282]
在一种可能的实施方式中,响应于在该背景设置区域上对该虚拟背景的显示范围调整操作,终端对该虚拟背景的显示范围进行调整。
[0283]
举例来说,该背景设置区域包括显示范围调整控件,该显示范围调整控件用于调整该虚拟背景的显示范围。响应于对该显示范围调整控件的拖动操作,终端基于该显示范围调整控件的位置,对该虚拟背景的显示范围进度调整。
[0284]
比如,参见图13,该背景设置区域1302显示范围调整控件13024,该显示范围调整控件13024位于显示范围调整轴上,该显示范围调整控件13024能够在该显示范围调整轴上移动。该显示范围调整控件13024位于该显示范围调整轴上的不同位置时,对应于不同的显示范围。响应于对该显示范围调整控件13024的拖动操作,终端基于该显示范围调整控件13024在该显示范围调整轴上的位置,对该虚拟背景的显示范围进行调整。
[0285]
在一种可能的实施方式中,响应于在该背景设置区域上对该虚拟背景的抠绿参数调整操作,终端对该虚拟背景的抠绿参数进行调整。
[0286]
举例来说,该背景设置区域包括抠绿参数调整控件,该抠绿参数调整控件用于调整该虚拟背景的抠绿参数。响应于对该抠绿参数调整控件的拖动操作,终端基于该抠绿参数调整控件的位置,对该虚拟背景的抠绿参数进度调整。
[0287]
比如,参见图13,该背景设置区域1302抠绿参数调整控件13025,该抠绿参数调整控件13025位于抠绿参数调整轴上,该抠绿参数调整控件13025能够在该抠绿参数调整轴上移动。该抠绿参数调整控件13025位于该抠绿参数调整轴上的不同位置时,对应于不同的抠绿参数。响应于对该抠绿参数调整控件13025的拖动操作,终端基于该抠绿参数调整控件13025在该抠绿参数调整轴上的位置,对该虚拟背景的抠绿参数进行调整。
[0288]
第三部分、终端基于该目标参数将更新后的该虚拟背景合成至该目标摄像头拍摄的画面中。
[0289]
其中,终端基于该目标参数将更新后的该虚拟背景合成至该目标摄像头拍摄的画面的过程与上述步骤s305中的描述属于同一发明构思,实现过程参见上述步骤s305中的相关内容,在此不再赘述。
[0290]
下面将结合图14对上述步骤s301-s305进行说明,参见图14,响应于对目标摄像头的启动指令,启动目标摄像头。确定目标摄像头是否需要进行标定,在需要进行标定的情况下,采用标定板对该目标摄像头进行标定,得到该目标摄像头的目标参数。在不需要进行标定的情况下,读取该目标摄像头的目标参数。采用该目标摄像头的目标参数以及场景标定图形,确定该目标摄像头的外参数。基于该目标摄像头的外参数以及目标参数,生成直播画面,直播画面包括该目标摄像头拍摄的画面以及虚拟背景。
[0291]
通过本技术实施提供的技术方案,基于目标摄像头进行拍摄之前,通过标定页面来对目标摄像头进行标定,标定时会在标定页面中显示标定提示区域,通过该标定提示区域来指示标定板的放置位置。在标定过程中,标定提示区域的显示位置会不断变化,引导用户将标定板放置在不同的位置上,从而完成对目标摄像头的标定。使用标定后的目标摄像头来进行拍摄视频,可以消除摄像头所拍摄画面中的畸变,提高视频的显示效果。
[0292]
图15是根据一示例性实施例示出的一种摄像头的标定装置的框图。参照图15,装置包括:标定页面显示单元1501、标定提示区域显示单元1502以及标定单元1503。
[0293]
标定页面显示单元1501,被配置为执行显示待标定的目标摄像头的标定页面,该标定页面包括该目标摄像头拍摄的画面。
[0294]
标定提示区域显示单元1502,被配置为执行响应于在该标定页面上对该目标摄像头的标定操作,在该目标摄像头拍摄的画面的多个位置依次显示标定提示区域,该标定提示区域用于指示标定板的摆放位置,以使得在该目标摄像头拍摄的画面中,该标定板始终位于该标定提示区域内。
[0295]
标定单元1503,被配置为执行基于该标定板的多个标定图像,对该目标摄像头进行标定,该多个标定图像为在该多个位置显示的标定提示区域中获取的图像。
[0296]
在一种可能的实施方式中,该标定提示区域显示单元1502,被配置为执行对于该多个位置中的第一位置和第二位置,响应于在该标定页面上对该目标摄像头的标定操作,在该第一位置显示该标定提示区域。在第一标定图像符合预设条件的情况下,在该第二位置显示该标定提示区域,该第一标定图像为在该第一位置显示的该标定提示区域中获取的图像。
[0297]
在一种可能的实施方式中,该多个位置为在该目标摄像头拍摄的画面中随机确定的位置。
[0298]
或者,该多个位置中的任两个位置为在该目标摄像头拍摄的画面中相邻的位置。
[0299]
或者,该多个位置中的任两个位置在该目标摄像头拍摄的画面中有重合部分。
[0300]
在一种可能的实施方式中,该标定提示区域的形状为长方形、正方形以及圆形中的任一项。
[0301]
在一种可能的实施方式中,该标定提示区域包括标定提示信息,该标定提示信息用于指示该标定板的摆放方式,该摆放方式包括摆放该标定板在竖直平面上的旋转参数以及该标定板在水平面上的旋转参数中的至少一项。
[0302]
在一种可能的实施方式中,该标定提示区域包括该标定提示信息对应的演示图像
或者演示动画中的至少一项。
[0303]
在一种可能的实施方式中,该标定提示区域显示单元1502,还被配置为执行下述任一项:
[0304]
在该多个位置依次显示该标定提示区域的过程中,在该标定提示区域的显示次数符合目标次数条件时,停止显示该标定提示区域。
[0305]
在该多个位置依次显示该标定提示区域的过程中,在基于该标定提示区域获取的图像数量符合目标数量条件时,停止显示该标定提示区域。
[0306]
在一种可能的实施方式中,该装置还包括:
[0307]
场景标定信息显示模块,被配置为执行响应于在该标定页面上对虚拟背景的标定操作,显示场景标定信息,该场景标定信息用于指示将该目标摄像头对准目标空间内的场景标定图形,该场景标定图形用于标定该目标摄像头的外参数,该目标空间为该标定板所在的空间,该外参数用于指示该目标摄像头的位姿。
[0308]
在一种可能的实施方式中,该装置还包括:
[0309]
显示模块,被配置为执行在基于该场景标定图形标定完成的情况下,响应于针对该目标摄像头的虚拟直播请求,基于目标参数对该目标摄像头拍摄的画面进行矫正,得到目标画面,该目标参数为基于该多个标定图像得到参数。在该目标画面中检测到该场景标定图形的情况下,基于该目标摄像头的外参数在该目标画面中显示该虚拟背景。
[0310]
在一种可能的实施方式中,该显示模块,被配置为执行在该目标画面中检测到该场景标定图形的情况下,基于该目标摄像头的外参数将该目标摄像头与该虚拟背景的虚拟相机的位姿对齐。将该虚拟相机拍摄的该虚拟背景添加至该目标画面中。
[0311]
在一种可能的实施方式中,该显示模块,被配置为执行在该目标画面中检测到该场景标定图形,且该目标画面包括绿幕的情况下,基于该目标摄像头的外参数将该虚拟背景显示在该绿幕所在的位置。
[0312]
在一种可能的实施方式中,该显示模块,还被配置为执行响应于针对该虚拟背景的操作,显示背景设置区域。基于在该背景设置区域上的操作,对该虚拟背景进行更新。基于该目标参数将更新后的该虚拟背景合成至该目标摄像头拍摄的画面中。
[0313]
在一种可能的实施方式中,该装置还包括:
[0314]
外参数确定单元,被配置为执行对该场景标定图形进行角点检测,得到该场景标定图形中的多个角点在像素坐标系下的坐标。基于目标参数以及该场景标定图形中的多个角点在像素坐标系下的坐标,确定该场景标定图形中的多个角点在相机坐标系下的坐标。基于该场景标定图形中的多个角点在像素坐标系下的坐标以及该场景标定图形中的多个角点在世界坐标系下的坐标,确定该目标摄像头的外参数。
[0315]
在一种可能的实施方式中,该标定单元1503,被配置为执行对于该多个标定图像中的任一标定图像,对该标定图像进行角点识别,得到该标定板的多个角点在该标定图像中的坐标。基于该多个角点在该标定图像中的坐标以及该多个角点在该标定板中的坐标,确定该目标摄像头的第一标定参数。基于该多个标定图像确定出的多个标定参数,确定该目标摄像头的该目标参数,该目标参数包括该目标摄像头的内参数和畸变参数。
[0316]
在一种可能的实施方式中,该标定单元1503,被配置为执行对该多个标定参数进行线性拟合,得到该目标摄像头的该内参数。对该多个标定图像确定出的该多个角点在对
应标定图像中的坐标进行线性拟合,得到该畸变参数。
[0317]
在一种可能的实施方式中,该标定页面包括开始控件,该标定提示区域显示单元1502,被配置为执行响应于该开始控件被触发,在该目标摄像头拍摄的画面的多个位置依次显示该标定提示区域。
[0318]
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
[0319]
通过本技术实施提供的技术方案,基于目标摄像头进行拍摄之前,通过标定页面来对目标摄像头进行标定,标定时会在标定页面中显示标定提示区域,通过该标定提示区域来指示标定板的放置位置。在标定过程中,标定提示区域的显示位置会不断变化,引导用户将标定板放置在不同的位置上,从而完成对目标摄像头的标定。使用标定后的目标摄像头来进行拍摄视频,可以消除摄像头所拍摄画面中的畸变,提高视频的显示效果。
[0320]
在本技术实施例中,电子设备可以实现为终端,下面对终端的结构进行说明:
[0321]
图16是根据一示例性实施例示出的一种终端的框图,该终端1600可以为用户所使用的终端。终端1600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
[0322]
通常,终端1600包括有:处理器1601和存储器1602。
[0323]
处理器1601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1601可以采用dsp(digital signal processing,数字信号处理)、fpga(field-programmable gate array,现场可编程门阵列)、pla(programmable logic array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(central processing unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1601可以在集成有gpu(graphics processing unit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1601还可以包括ai(artificial intelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。
[0324]
存储器1602可以包括一个或多个存储介质,该存储介质可以是非暂态的。存储器1602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。
[0325]
在一些实施例中,终端1600还可选包括有:外围设备接口1603和至少一个外围设备。处理器1601、存储器1602和外围设备接口1603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1603相连。具体地,外围设备包括:射频电路1604、显示屏1605、摄像头组件1606、音频电路1607、定位组件1608和电源16013中的至少一种。
[0326]
外围设备接口1603可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器1601和存储器1602。在一些实施例中,处理器1601、存储器1602和外围设备接口1603被集成在同一芯片或电路板上;在一些其他实施例中,处理器1601、存储器1602和外围设备接口1603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
[0327]
射频电路1604用于接收和发射rf(radio frequency,射频)信号,也称电磁信号。射频电路1604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选的,射频电路1604包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1604可以通过至少一种无线通信协议来与其他终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity,无线保真)网络。在一些实施例中,射频电路1604还可以包括nfc(near field communication,近距离无线通信)有关的电路,本技术对此不加以限定。
[0328]
显示屏1605用于显示ui(user interface,用户界面)。该ui可以包括图像、文本、图标、视频及其它们的任意组合。当显示屏1605是触摸显示屏时,显示屏1605还具有采集在显示屏1605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1601进行处理。此时,显示屏1605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1605可以为一个,设置终端1600的前面板;在另一些实施例中,显示屏1605可以为至少两个,分别设置在终端1600的不同表面或呈折叠设计;在再一些实施例中,显示屏1605可以是柔性显示屏,设置在终端1600的弯曲表面上或折叠面上。甚至,显示屏1605还可以设置成非矩形的不规则图像,也即异形屏。显示屏1605可以采用lcd(liquid crystal display,液晶显示屏)、oled(organic light-emitting diode,有机发光二极管)等材质制备。
[0329]
摄像头组件1606用于采集图像或视频。可选的,摄像头组件1606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality,虚拟现实)拍摄功能或者其他融合拍摄功能。在一些实施例中,摄像头组件1606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
[0330]
音频电路1607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1601进行处理,或者输入至射频电路1604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1601或射频电路1604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1607还可以包括耳机插孔。
[0331]
定位组件1608用于定位终端1600的当前地理位置,以实现导航或lbs(location based service,基于位置的服务)。定位组件1608可以是基于美国的gps(global positioning system,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
[0332]
电源1609用于为终端1600中的各个组件进行供电。电源1609可以是交流电、直流电、一次性电池或可充电电池。当电源1609包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
[0333]
在一些实施例中,终端1600还包括有一个或多个传感器1160。该一个或多个传感器1160包括但不限于:加速度传感器1611、陀螺仪传感器1612、压力传感器1613、指纹传感器1614、光学传感器1615以及接近传感器1616。
[0334]
加速度传感器1611可以检测以终端1600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1611可以用于检测重力加速度在三个坐标轴上的分量。处理器1601可以根据加速度传感器1611采集的重力加速度信号,控制显示屏1605以横向视图或纵向视图进行用户界面的显示。加速度传感器1611还可以用于游戏或者用户的运动数据的采集。
[0335]
陀螺仪传感器1612可以检测终端1600的机体方向及转动角度,陀螺仪传感器1612可以与加速度传感器1611协同采集用户对终端1600的3d动作。处理器1601根据陀螺仪传感器1612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
[0336]
压力传感器1613可以设置在终端1600的侧边框和/或显示屏1605的下层。当压力传感器1613设置在终端1600的侧边框时,可以检测用户对终端1600的握持信号,由处理器1601根据压力传感器1613采集的握持信号进行左右手识别或快捷操作。当压力传感器1613设置在显示屏1605的下层时,由处理器1601根据用户对显示屏1605的压力操作,实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
[0337]
指纹传感器1614用于采集用户的指纹,由处理器1601根据指纹传感器1614采集到的指纹识别用户的身份,或者,由指纹传感器1614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1614可以被设置终端1600的正面、背面或侧面。当终端1600上设置有物理按键或厂商logo时,指纹传感器1614可以与物理按键或厂商logo集成在一起。
[0338]
光学传感器1615用于采集环境光强度。在一个实施例中,处理器1601可以根据光学传感器1615采集的环境光强度,控制显示屏1605的显示亮度。具体地,当环境光强度较高时,调高显示屏1605的显示亮度;当环境光强度较低时,调低显示屏1605的显示亮度。在另一个实施例中,处理器1601还可以根据光学传感器1615采集的环境光强度,动态调整摄像头组件1606的拍摄参数。
[0339]
接近传感器1616,也称距离传感器,通常设置在终端1600的前面板。接近传感器1616用于采集用户与终端1600的正面之间的距离。在一个实施例中,当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变小时,由处理器1601控制显示屏1605从亮屏状态切换为息屏状态;当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变大时,由处理器1601控制显示屏1605从息屏状态切换为亮屏状态。
[0340]
本领域技术人员可以理解,图16中示出的结构并不构成对终端1600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
[0341]
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器,上述指令可由终端1400的处理器1401执行以完成上述摄像头的标定方法。可选的,存储介质可以是非临时性存储介质,例如,所述非临时性存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0342]
在示例性实施例中,还提供了一种计算机程序产品,包括计算机程序,该计算机程序可以由电子设备的处理器执行,以实现上述摄像头的标定方法。
[0343]
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本技术的其他实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本技术的真正范围和精神由下面的权利要求指出。
[0344]
应当理解的是,本技术并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。
[0345]
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本技术的其他实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本技术的真正范围和精神由下面的权利要求指出。
[0346]
应当理解的是,本技术并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献