图像采集方法、装置及电子设备与流程

1.本公开涉及图像采集技术领域，尤其涉及一种图像采集方法、装置及电子设备。


背景技术：

2.光场通过记录更高维度的光线数据，能够获取比传统二维成像以及以双目立体视觉为代表的传统三维成像更高精度的三维信息，从而准确感知动态环境。在视频通信场景中，通过采集光场视频能够使得视频通信的多个用户更真实的感受彼此的面容与声音。


技术实现要素：

3.本公开实施例提供一种图像采集方法、装置及电子设备，能够确保采集端采集的图像满足显示端观看者的观看需求，同时还能减少计算机算力与传输带宽的资源浪费。
4.为达到上述目的，本公开实施例采用如下技术方案：
5.一方面，提供一种图像采集方法，应用于第一电子设备，该第一电子设备包括n个第一相机，n为大于或等于3的整数。该图像采集方法包括：首先，第一电子设备接收来自第二电子设备的第一位置信息，第一位置信息为第二电子设备的观看者眼睛的位置信息。然后，第一电子设备基于第一位置信息，在n个第一相机中选择k个第一相机，k为大于或等于2，且小于n的整数。最后，第一电子设备采用k个第一相机采集图像。
6.基于本方案，由于k个第一相机是基于第二电子设备的观看者眼睛的位置信息进行选择的，因此由k个第一相机采集的图像能够满足第二电子设备的观看者的观看需求。同时，由于k的取值小于n，因此n个第一相机并未全部参与第一电子设备图像的实时采集工作。有n-k个第一相机并未参与第一电子设备图像的实时采集工作，因此能够减少计算机算力与传输带宽的资源浪费。
7.在一些实施例中，第一电子设备基于第一位置信息，在n个第一相机中选择k个第一相机，实现方法包括：第一电子设备基于第二位置信息在第一电子设备的上边框和/或下边框的投影位置，在n个第一相机中选择距离投影位置最近的k个第一相机；第二位置信息为第一位置信息在第一电子设备的显示器上的对应位置。
8.在一些实施例中，第一电子设备的显示器被n个第一相机划分为j个三角形区域，j为大于或等于n的整数，在第二位置信息位于j个三角形区域中的第一区域时，k个第一相机为包括第一区域的最小三角形区域的三个顶点的第一相机。
9.在一些实施例中，第一电子设备还包括m个第二相机，m为大于或等于1的整数，图像采集方法还包括：首先，第一电子设备通过m个第二相机采集第三位置信息，第三位置信息为第一电子设备的观看者眼睛的位置信息。然后，第一电子设备向第二电子设备发送第三位置信息。
10.在一些实施例中，n个第一相机设置于第一电子设备的上边框和/或下边框。
11.在一些实施例中，m个第二相机设置于第一电子设备上边框和/或下边框的中间位置。
12.在一些实施例中，n个第一相机包括彩色相机或深度相机中的至少一项。
13.在一些实施例中，第二相机为深度相机，m个第二相机包括飞行时间相机、双目立体相机或结构光立体相机中的至少一项。
14.再一方面，提供一种图像采集装置，该图像采集装置包括n个第一相机，n为大于或等于3的整数。该图像采集装置被配置为：首先，接收来自第二电子设备的第一位置信息，第一位置信息为第二电子设备的观看者眼睛的位置信息。然后，基于第一位置信息，在n个第一相机中选择k个第一相机，k为大于或等于2，且小于n的整数。最后，采用k个第一相机采集图像。
15.在一些实施例中，图像采集装置还被配置为：基于第二位置信息在图像采集装置的显示器的上边框和/或下边框的投影位置，在n个第一相机中选择距离投影位置最近的k个第一相机；第二位置信息为第一位置信息在第一电子设备的显示器上的对应位置。
16.在一些实施例中，图像采集装置还包括显示器，显示器被n个第一相机划分为j个三角形区域，j为大于或等于n的整数，在第二位置信息位置位于j个三角形区域中的第一区域时，k个第一相机为包括第一区域的最小三角形区域的三个顶点的第一相机。
17.在一些实施例中，图像采集装置还包括m个第二相机，m为大于或等于1的整数，图像采集装置还被配置为：首先，通过m个第二相机采集第三位置信息，第三位置信息为图像采集装置的观看者眼睛的位置信息。然后，向第二电子设备发送第三位置信息。
18.在一些实施例中，n个第一相机设置于显示器的上边框和/或下边框。
19.在一些实施例中，m个第二相机设置于第一电子设备上边框和/或下边框的中间位置。
20.在一些实施例中，其中，n个第一相机包括彩色相机或深度相机中的至少一项。
21.在一些实施例中，第二相机为深度相机，m个第二相机包括飞行时间相机、双目立体相机或结构光立体相机中的至少一项。
22.另一方面，提供一种电子设备，包括图像处理装置和上述任一实施例所述的图像采集装置；该图像处理装置被配置为对图像采集装置采集的图像信息进行处理。
23.又一方面，提供一种计算机可读存储介质。该计算机可读存储介质存储有计算机程序指令，该计算机程序指令在计算机(例如，电子设备)上运行时，使得计算机执行如上述任一实施例所述的图像采集方法。
24.又一方面，提供一种计算机程序产品。该计算机程序产品包括计算机程序指令，在计算机(例如，电子设备)上执行该计算机程序指令时，该计算机程序指令使计算机执行如上述任一实施例所述的图像采集方法。
25.又一方面，提供一种计算机程序。当该计算机程序在计算机(例如，笔记本电脑)上执行时，该计算机程序使计算机执行如上述任一实施例所述的图像采集方法。
附图说明
26.为了更清楚地说明本公开中的技术方案，下面将对本公开一些实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例的附图，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。此外，以下描述中的附图可以视作示意图，并非对本公开实施例所涉及的产品的实际尺寸、方法的实际流
程、信号的实际时序等的限制。
27.图1为根据一些实施例的一种采集端与显示端的通信流程图；
28.图2为根据一些实施例的一种图像采集方法的流程图；
29.图3a为根据一些实施例的一种第一位置信息的示意图；
30.图3b为根据一些实施例的一种第一电子设备的结构图；
31.图3c为根据一些实施例的一种第二位置信息在第一电子设备的上边框的投影位置信息的示意图；
32.图4为根据一些实施例的一种第一电子设备的结构图；
33.图5为根据一些实施例的另一种第一电子设备的结构图；
34.图6为根据一些实施例的又一种第一电子设备的结构图；
35.图7为根据一些实施例的又一种第一电子设备的结构图；
36.图8为根据一些实施例的又一种第一电子设备的结构图；
37.图9为根据一些实施例的另一种图像采集方法的流程图；
38.图10为根据一些实施例的又一种第一电子设备的结构图；
39.图11为根据一些实施例的又一种第一电子设备的结构图；
40.图12为根据一些实施例的又一种第一电子设备的结构图；
41.图13为根据一些实施例的又一种第一电子设备的结构图；
42.图14为根据一些实施例的又一种第一电子设备的结构图；
43.图15为根据一些实施例的又一种图像采集方法的流程图；
44.图16为根据一些实施例的一种电子设备的结构图。
具体实施方式
45.下面将结合附图，对本公开一些实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开所提供的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。
46.除非上下文另有要求，否则，在整个说明书和权利要求书中，术语“包括(comprise)”及其其他形式例如第三人称单数形式“包括(comprises)”和现在分词形式“包括(comprising)”被解释为开放、包含的意思，即为“包含，但不限于”。在说明书的描述中，术语“一个实施例(one embodiment)”、“一些实施例(some embodiments)”、“示例性实施例(exemplary embodiments)”、“示例(example)”、“特定示例(specific example)”或“一些示例(some examples)”等旨在表明与该实施例或示例相关的特定特征、结构、材料或特性包括在本公开的至少一个实施例或示例中。上述术语的示意性表示不一定是指同一实施例或示例。此外，的特定特征、结构、材料或特点可以以任何适当方式包括在任何一个或多个实施例或示例中。
47.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
48.在描述一些实施例时，可能使用了“耦接”和“连接”及其衍伸的表达。例如，描述一
些实施例时可能使用了术语“连接”以表明两个或两个以上部件彼此间有直接物理接触或电接触。又如，描述一些实施例时可能使用了术语“耦接”以表明两个或两个以上部件有直接物理接触或电接触。然而，术语“耦接”或“通信耦合(communicatively coupled)”也可能指两个或两个以上部件彼此间并无直接接触，但仍彼此协作或相互作用。这里所公开的实施例并不必然限制于本文内容。
[0049]“a、b和c中的至少一个”与“a、b或c中的至少一个”具有相同含义，均包括以下a、b和c的组合：仅a，仅b，仅c，a和b的组合，a和c的组合，b和c的组合，及a、b和c的组合。
[0050]“a和/或b”，包括以下三种组合：仅a，仅b，及a和b的组合。
[0051]
如本文中所使用，根据上下文，术语“如果”任选地被解释为意思是“当
……
时”或“在
……
时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定
……”
或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定
……
时”或“响应于确定
……”
或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
[0052]
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。
[0053]
另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出的值。
[0054]
如本文所使用的那样，“约”或“近似”包括所阐述的值以及处于特定值的可接受偏差范围内的平均值，其中可接受偏差范围如由本领域普通技术人员考虑到正在讨论的测量以及与特定量的测量相关的误差(即，测量系统的局限性)所确定。
[0055]
本文参照作为理想化示例性附图的剖视图和/或平面图描述了示例性实施方式。在附图中，为了清楚，放大了层和区域的厚度。因此，可设想到由于例如制造技术和/或公差引起的相对于附图的形状的变动。因此，示例性实施方式不应解释为局限于本文示出的区域的形状，而是包括因例如制造而引起的形状偏差。例如，示为矩形的蚀刻区域通常将具有弯曲的特征。因此，附图中所示的区域本质上是示意性的，且它们的形状并非旨在示出设备的区域的实际形状，并且并非旨在限制示例性实施方式的范围。
[0056]
通常，相较于传统视频通信，光场视频通信由于可以记录更高维度的光线数据，因此能够消除传统视频通信互动产生的隔阂感，让使用者能更真实感受彼此的面容与声音。而且光场视频通信有助于企业实现线上线下混合办公的工作形式，使得办公不再拘泥于空间上的限制。
[0057]
在光场视频通信场景中，两个或者两个以上电子设备可以通过采集光场视频信息进行通信。每个电子设备既可以作为采集端，也可以作为显示端。例如，第一电子设备与第二电子设备视频通信时，第一电子设备可以作为采集端采集图像，第二电子设备可以作为显示端显示第一电子设备采集的图像。再例如，第一电子设备与第二电子设备视频通信时，第二电子设备也可以作为采集端采集图像，第一电子设备也可以作为显示端显示第二电子设备采集的图像。可以理解的，第一电子设备与第二电子设备视频通信时，第一电子设备和第二电子设备既可以作为采集端，也可以作为显示端。而且，第一电子设备作为采集端时，第二电子设备作为显示端；第一电子设备作为显示端时，第二电子设备作为采集端。
[0058]
在一些实施例中，如图1所示，光场视频聊天时，采集端与显示端之间的通信包括
以下步骤：
[0059]
步骤101、采集端实时采集图像，获得视频流。采集端使用多个用于实时采集图像的相机(例如，红绿蓝(red green blue，rgb)相机组)对采集端的图像进行实时采集。
[0060]
步骤102、采集端对视频流进行编码。
[0061]
步骤103、采集端向显示端发送编码后的视频流。示例性地，采集端通过网络向显示端发送编码后的视频流。
[0062]
步骤104、显示端接收编码后的视频流。
[0063]
步骤105、显示端对视频流进行解码与渲染。
[0064]
步骤106、显示端显示三维影像。
[0065]
然而，由于光场视频的信息量巨大，实时的采集、视频编码、网络传输、视频解码和渲染对算力资源、传输带宽消耗巨大。而且显示端的观看者一般为单个用户，由于用户瞳孔尺寸的限制，能同时进入显示端用户双眼内的视点数非常有限，大量的视图无法进入眼睛。因此，在光场视频聊天时，如果采集端的多个用于实时采集图像的相机全部参与采集工作，会造成算力资源与传输带宽的极大浪费。
[0066]
为此，本公开的一些实施例提供一种图像采集方法，采集端通过根据显示端的观看者眼睛的位置信息，在采集端的多个相机中选择一部分相机进行图像采集，另一部分相机不参于采集工作，能够减少计算机算力与传输带宽的资源浪费。而且由于在视频通信场景下，进入显示端观看者眼睛内的视点数非常有限，因此根据观看者眼睛的位置信息选择的采集端的部分相机采集的图像，能够满足显示端的观看者需求。
[0067]
本公开的一些实施例提供一种图像采集方法，该图像采集方法应用于第一电子设备，第一电子设备包括n个第一相机，n为大于或等于3的整数。如图2所示，该图像采集方法包括以下步骤：
[0068]
步骤201、第一电子设备接收来自第二电子设备的第一位置信息，第一位置信息为第二电子设备的观看者眼睛的位置信息。
[0069]
示例性地，在步骤201至步骤203中，上述第一电子设备和第二电子设备视频通信时，第一电子设备作为采集端，第二电子设备作为显示端，第二电子设备的观看者观看到的图像为第一电子设备采集的图像。由于在视频通信场景下，进入第二电子设备的观看者眼睛内的视点数非常有限，因此通过第一电子设备获取第二电子设备的观看者眼睛的位置信息，使得采集端可以获知显示端的观看者眼睛的位置，从而可以根据显示端的观看者眼睛的位置选择采集端的部分相机进行图像采集。
[0070]
在一些实施例中，第一位置信息可以为第二电子设备中的深度相机采集的三维位置信息，也可以为由第二电子设备中的深度相机采集的三维位置信息得到的二维位置信息。该深度相机可以为rgb-d相机。例如，深度相机可以为飞行时间相机、双目立体相机或结构光立体相机。
[0071]
在一些实施例中，该第一位置信息可以包括第二电子设备的观看者左眼的位置信息或第二电子设备的观看者右眼的位置信息中的至少一项。第一位置信息也可以为根据第二电子设备的观看者左眼的位置信息和第二电子设备的观看者右眼的位置信息计算得到的位置信息。例如，第一位置信息可以为第二电子设备的观看者左眼和右眼之间的中间位置的信息。下述实施例以第一位置信息包括第一左眼位置信息和第一右眼位置信息，第一
左眼位置信息位第二电子设备的观看者左眼的位置信息，第一右眼位置信息为第二电子设备的观看者右眼的位置信息为例进行示例性说明。
[0072]
步骤202、第一电子设备基于第一位置信息，在n个第一相机中选择k个第一相机，k为大于或等于2，且小于n的整数。
[0073]
第一相机为彩色相机或深度相机中的至少一项。该彩色相机可以包括rgb相机。深度相机可以包括rgb-d相机。
[0074]
在一些实施例中，上述n个第一相机设置于第一电子设备的上边框和/或下边框。
[0075]
在一些实施例中，第一电子设备中的n个第一相机之间的间距可以相同，也可以不同。例如，位于第一电子设备上边框和/或下边框的中间位置的第一相机之间的间距可小于边缘位置的第一相机之间的间距，从而可以在中间位置提供更高质量的视点视图。下述实施例中的图3b、图4至图6、图10至图14均以第一电子设备的上边框和/或下边框设置的第一相机之间间距相同为例进行示例性示意。
[0076]
在一些实施例中，上述步骤202包括：第一电子设备基于第二位置信息在第一电子设备的上边框和/或下边框的投影位置，在n个第一相机中选择距离投影位置最近的k个第一相机。该第二位置信息为第一位置信息在第一电子设备的显示器上的对应位置。
[0077]
在一些实施例中，第一位置信息可以为第二电子设备中的深度相机采集的三维位置信息，将第一位置信息投影到第二电子设备的显示器，得到第二电子设备的观看者的眼睛在第二电子设备的显示器所在平面的二维位置信息，再将该二维位置信息镜像至第一电子设备的显示器，可以获取第二位置信息。也就是说，第二位置信息为第一位置信息在显示端的显示器上投影的二维坐标再镜像至采集端的显示器后的位置信息。本公开实施例对于如何通过第一位置信息获取第二位置信息的方法并不限定。例如，第一位置信息也可以为根据第二电子设备中的深度相机采集的三维位置信息得到的二维位置信息，将该第一位置信息镜像至第一电子设备的显示器，可以得到第二位置信息。
[0078]
在一些实施例中，以第一位置信息包括第一左眼位置信息和第一右眼位置信息为例，由于第二位置信息为第一位置信息在第一电子设备的显示器上的对应位置，因此第二位置信息包括第二左眼位置信息与第二右眼位置信息。第二左眼位置信息为第一左眼位置信息在显示端的显示器上投影的二维坐标再镜像至采集端的显示器后的位置信息。第二右眼位置信息为第一右眼位置信息在显示端的显示器上投影的二维坐标再镜像至采集端的显示器后的位置信息。
[0079]
示例性的，上述步骤202包括：第一电子设备基于第二左眼位置信息在第一电子设备的上边框和/或下边框的投影位置，在n个第一相机中选择距离投影位置最近的k1个第一相机；基于第二右眼位置信息在第一电子设备的上边框和/或下边框的投影位置，在n个第一相机中选择距离投影位置最近的k2个第一相机。k1与k2之和大于或等于k。本公开实施例对于上述k1、k2和k的具体数值并不限定，k可以为小于n的任一数值，k1可以为小于或等于k的数值，k2也可以为小于或等于k的数值。
[0080]
在一些实施例中，k1与k2可以相同，也可以不同。下述实施例以k1和k2相同为例进行示例性说明。可以理解的是，第一电子设备根据第二左眼位置信息和第二右眼位置信息，分别选择距离第二左眼位置信息和第二右眼位置信息在第一电子设备的上边框和/或下边框的投影位置最近的k1个相机时，最多可以选择2*k1个第一相机。若根据第二右眼位置信
息和第二左眼位置信息，分别选择距离第二左眼位置信息和第二右眼位置信息在第一电子设备的上边框和/或下边框的投影位置最近的k1个相机中有相同的相机，那么最终选择的第一相机的数量k小于2*k1。
[0081]
下面以第一相机为rgb相机，根据n个rgb相机设置在第一电子设备的不同边框位置，分别对在n个rgb相机中选择k个rgb相机的不同实现方式进行说明。
[0082]
示例性地，如图3a至图3c所示，以第一电子设备300作为采集端，第二电子设备x00作为显示端为例，对第一位置信息、第二位置信息，以及第二位置信息在第一电子设备的上边框的投影位置之间的关系进行示例性说明。如图3a所示，第二电子设备x00通过rgb-d相机x01采集显示端观看者眼睛的位置信息，得到第一左眼位置信息a012和第一右眼位置信息a011。如图3b所示，第一电子设备300根据第一左眼位置信息a012和第一右眼位置信息a011在第一电子设备300的显示器上的镜像位置分别获取第二左眼位置信息3012与第二右眼位置信息3011。如图3c所示，第二右眼位置信息3011在第一电子设备300的上边框的投影位置为第二右眼投影位置信息c011，第二左眼位置信息3012在第一电子设备300的上边框的投影位置为第二左眼投影位置信息c012。
[0083]
示例性地，如图3b与图3c所示，以第一电子设备包括12个rgb相机，该12个rgb相机设置于第一电子设备300的上边框为例，对如何基于第二位置信息在第一电子设备300的上边框的投影位置，在12个第一相机中选择距离投影位置最近的k个第一相机进行示例性说明。第一电子设备300可以根据第二右眼位置信息3011，在12个rgb相机中选择距离第二右眼位置信息3011在第一电子设备300的上边框的投影位置，即距离第二右眼投影位置信息c011最近的rgb相机302与rgb相机303。第一电子设备300可以根据第二左眼位置信息3012，在12个rgb相机中选择距离第二左眼位置信息3012在第一电子设备300的上边框的投影位置，即距离第二左眼投影位置信息c012最近的rgb相机303与rgb相机304。由于基于第二右眼位置信息3011与第二左眼位置信息3012选择的rgb相机均包括rgb相机303，因此可以认为，第一电子设备基于第二位置信息在第一电子设备300的上边框的投影位置，可以在12个rgb相机中选择距离投影位置最近的3个第一相机，分别为rgb相机302、rgb相机303与rgb相机304。
[0084]
示例性地，第一位置信息、第二位置信息，以及第二位置信息在第一电子设备的下边框的投影位置之间的关系，与上面所述的第一位置信息、第二位置信息，以及第二位置信息在第一电子设备的上边框的投影位置之间的关系相类似，本公开在下述实施例中不再赘述。
[0085]
示例性地，如图4所示，以第一电子设备包括12个rgb相机，该12个rgb相机设置于第一电子设备400的下边框为例。第一电子设备可以根据第二右眼位置信息4011，在12个rgb相机中选择距离第二右眼位置信息4011在第一电子设备400的下边框的投影位置最近的rgb相机402与rgb相机403。第一电子设备可以根据第二左眼位置信息4012，在12个rgb相机中选择距离第二左眼位置信息4012在第一电子设备400的下边框的投影位置最近的rgb相机404与rgb相机405。即，第一电子设备基于第二位置信息在第一电子设备400的下边框的投影位置，可以在12个rgb相机中选择距离投影位置最近的4个第一相机，分别为rgb相机402、rgb相机403、rgb相机404与rgb相机405。
[0086]
示例性地，如图5所示，以第一电子设备包括25个rgb相机，其中，13个rgb相机设置
于第一电子设备500的上边框，另外12个rgb相机设置于第一电子设备500的下边框为例。
[0087]
如图5所示，第一电子设备500可以根据第二右眼位置信息5011，在上边框的13个rgb相机中选择距离第二右眼位置信息5011在第一电子设备500的上边框的投影位置最近的rgb相机502与rgb相机504，在下边框的12个rgb相机中选择距离第二右眼位置信息5011在第一电子设备500的下边框的投影位置最近的rgb相机503与rgb相机505。第一电子设备500可以根据第二左眼位置信息5012，在上边框的13个rgb相机中选择距离第二左眼位置信息5012在第一电子设备500的上边框的投影位置最近的rgb相机504与rgb相机506，在下边框的12个rgb相机中选择距离第二左眼位置信息5012在第一电子设备500的下边框的投影位置最近的rgb相机505与rgb相机507。即，第一电子设备基于第二位置信息在第一电子设备500的上边框和下边框的投影位置，可以在25个rgb相机中选择距离投影位置最近的6个第一相机，分别为rgb相机502、rgb相机503、rgb相机504、rgb相机505、rgb相机506与rgb相机507。
[0088]
示例性地，如图6所示，以第一电子设备包括25个rgb相机，其中，12个rgb相机设置于第一电子设备600的上边框，另外13个rgb相机设置于第一电子设备600的下边框为例。
[0089]
如图6所示，第一电子设备600可以根据第二右眼位置信息6011，在上边框的12个rgb相机中选择距离第二右眼位置信息6011在第一电子设备600的上边框的投影位置最近的rgb相机602与rgb相机604，在下边框的13个rgb相机中选择距离第二右眼位置信息6011在第一电子设备600的下边框的投影位置最近的rgb相机603与rgb相机605。第一电子设备600可以根据第二左眼位置信息6012，在上边框的12个rgb相机中选择距离第二左眼位置信息6012在第一电子设备600的上边框的投影位置最近的rgb相机606与rgb相机608，在下边框的13个rgb相机中选择距离第二左眼位置信息6012在第一电子设备600的下边框的投影位置最近的rgb相机607与rgb相机609。即，第一电子设备600基于第二位置信息在第一电子设备600的上边框和下边框的投影位置，可以在25个rgb相机中选择距离投影位置最近的8个第一相机，分别为rgb相机602、rgb相机603、rgb相机604、rgb相机605、rgb相机606、rgb相机607、rgb相机608与rgb相机609。
[0090]
在一些实施例中，第一电子设备的显示器被n个第一相机划分为j个三角形区域，j为大于或等于n的整数，在第二位置信息位于j个三角形区域中的第一区域时，k个第一相机为包括第一区域的最小三角形区域的三个顶点的第一相机。
[0091]
在一些实施例中，第一位置信息可以为显示端观看者左眼的位置信息、显示端观看者右眼的位置信息、显示端观看者左眼和右眼的位置信息、或显示端观看者左眼和右眼之间的中间位置的信息。相应的，第二位置信息可以为显示端观看者左眼的位置信息在采集端的显示器上的对应位置、显示端观看者右眼的位置信息在采集端的显示器上的对应位置、显示端观看者左眼和右眼的位置信息在采集端的显示器上的对应位置、或显示端观看者左眼和右眼之间的中间位置信息在采集端的显示器上的对应位置。也就是说，第二位置信息可以为一个二维的位置信息，也可以为两个二维的位置信息，下面以第二位置信息为一个二维的位置信息为例进行示例性说明。
[0092]
在一些实施例中，n个第一相机为深度相机时，可将其中两个深度相机近距离排布在上边框中间位置，该两个近距离排布的深度相机作为一个相机组同时参与第一电子设备的图像采集工作，以增加中心视点的深度精度。
[0093]
下面以第一相机为rgb-d相机为例，根据第二位置信息，以及第一电子设备中n个rgb-d相机的设置数量和位置的不同，分别对在n个rgb相机中选择k个rgb相机的不同实现方式进行说明。
[0094]
示例性地，如图7中的(a)所示，第一电子设备700包括7个rgb-d相机，分别为rgb-d相机701至rgb-d相机707，其中，rgb-d相机701和rgb-d相机707设置于第一电子设备700的上边框的中间位置，rgb-d相机702、rgb-d相机703、rgb-d相机705与rgb-d相机706分别设置在第一电子设备700边框的四个角，rgb-d相机704设置在第一电子设备700下边框的中间位置。
[0095]
如图7中的(b)所示，以该7个rgb-d相机将第一电子设备700的显示器划分为8个三角形区域，该8个三角形区域分别为a11～a18为例。由于第二位置信息7011位于第一区域a11，第一电子设备700可以根据第二位置信息7011，在7个rgb-d相机中选择包含第一区域a11的最小的三角形的3个顶点处的相机作为采集相机组。即，第一电子设备700在7个rgb-d相机中选择的k个rgb-d相机可以为rgb-d相机701、rgb-d相机702、rgb-d相机704与rgb-d相机707。或者，第一电子设备在7个rgb-d相机中选择的k个rgb-d相机也可以为rgb-d相机701、rgb-d相机703、rgb-d相机704与rgb-d相机707。
[0096]
示例性地，如图8中的(a)所示，第一电子设备800包括5个rgb-d相机，分别为rgb-d相机801至rgb-d相机805，其中，rgb-d相机801和rgb-d相机805设置于第一电子设备800的上边框的中间位置，rgb-d相机802设置于第一电子设备800的左边框的中间位置，rgb-d相机803设置于第一电子设备800的下边框的中间位置，rgb-d相机804设置于第一电子设备800的右边框的中间位置。如图8中的(b)所示，以该5个rgb-d相机将第一电子设备800的显示器划分为6个三角形区域，该6个三角形区域a21～a26为例。由于第二位置信息8011位于第一区域a21，第一电子设备800可以根据第二位置信息8011，在5个rgb-d相机中选择包含第一区域a21的最小的三角形的3个顶点处的相机作为采集相机组。即，第一电子设备800在5个rgb-d相机中选择的k个rgb-d相机可以为rgb-d相机801、rgb-d相机802、rgb-d相机803与rgb-d相机805。可以理解的是，当第二位置信息位于第一区域a23时，第一电子设备800在5个rgb-d相机中选择的k个rgb-d相机可以为rgb-d相机801、rgb-d相机802与rgb-d相机805。或者，为了增加第一电子设备800采集的图像精度，第一电子设备800在5个rgb-d相机中选择的k个rgb-d相机也可以为rgb-d相机801、rgb-d相机802、rgb-d相机803与rgb-d相机805。
[0097]
步骤203、第一电子设备采用k个第一相机采集图像。
[0098]
第一电子设备采用k个第一相机采集图像，k个第一相机是基于第二电子设备的观看者眼睛的位置信息进行选择的，因此由k个第一相机采集的图像能够满足第二电子设备的观看者的观看需求。同时，由于k的取值小于n，因此n个第一相机并未全部参与第一电子设备图像的实时采集工作。有n-k个第一相机并未参与第一电子设备图像的实时采集工作，因此能够减少计算机算力与传输带宽的资源浪费。
[0099]
在一些实施例中，第一电子设备中的n个第一相机可以都参与采集端的采集工作，但是第一电子设备仅对其选择的k个第一相机采集的图像进行处理，对其他n-k个相机采集的图像并不进行处理。如此一来，也能够减少计算机算力与传输带宽的资源浪费。
[0100]
在一些实施例中，第一电子设备还包括m个第二相机，m为大于或等于1的整数，如
图9所示，上述图像采集方法除包括上述步骤201-步骤203以外，还可以包括以下步骤：
[0101]
步骤901、第一电子设备通过m个第二相机采集第三位置信息，第三位置信息为第一电子设备的观看者眼睛的位置信息。
[0102]
在一些实施例中，在步骤901至步骤902中，上述第一电子设备和第二电子设备视频通信时，第一电子设备作为显示端，第二电子设备作为采集端，第一电子设备的观看者观看到的图像为第二电子设备采集的图像。
[0103]
在一些实施例中，第二相机为深度相机，m个第二相机包括飞行时间相机、双目立体相机或结构光立体相机中的至少一项，本公开的实施例对深度相机的类型并不限定。由于深度相机可以检测出拍摄空间的景深距离，因此能够准确提供图像中每个点与深度相机的摄像头之间的距离，加上该点在二维图像中的位置信息，即可获取图像中每个点的三维位置信息。因此第一电子设备可通过m个第二相机直接获取第一电子设备的观看者眼睛的位置信息，即第三位置信息。
[0104]
在一些实施例中，m个第二相机设置于第一电子设备上边框和/或下边框的中间位置。由于观看者在观看显示器时，一般情况下，观看者的眼睛位于屏幕中心附近，因此将第二相机设于上边框和/或下边框的中间位置，能够保证第二相机获取的第三位置信息的准确性。
[0105]
本公开对于第一电子设备包括的第二相机的数量并不限定。在一些实施例中，第一电子设备中的第二相机与第一相机可以为同一个相机，该同一个相机既可以在第一电子设备作为显示端时，采集显示端观看者眼睛的位置信息；也可以在第一电子设备作为采集端时，实时采集采集端的图像。
[0106]
示例性地，如图7中的(a)所示，以第一电子设备700包括1个第二相机，该1个第二相机为rgb-d相机704为例。当第一电子设备700作为显示端时，rgb-d相机704可以获取第三位置信息。当第一电子设备700作为采集端时，基于第二位置信息7011，第一电子设备700可以在7个rgb-d相机选择4个rgb-d相机，该4个rgb-d相机可以为rgb-d相机701、rgb-d相机702、rgb-d相机704与rgb-d相机707，则rgb-d相机702可以采集第一电子设备700的图像。也就是说，第一电子设备700中的第二相机与第一相机均包括rgb-d相机704，该rgb-d相机704既可以在第一电子设备700作为显示端时，采集显示端观看者眼睛的位置信息；也可以在第一电子设备700作为采集端时，实时采集采集端的图像。
[0107]
下面以第二相机为rgb-d相机为例，分别对m个rgb-d相机设置在第一电子设备的不同边框位置进行说明。
[0108]
示例性地，第一电子设备包括1个rgb-d相机，该1个rgb-d相机设置于第一电子设备的上边框的中间位置。
[0109]
如图3b所示，第一电子设备300包括1个rgb-d相机305，该rgb-d相机305可以设置于第一电子设备300上边框的中间位置。如图6所示，第一电子设备600包括1个rgb-d相机610，该rgb-d相机610设置于第一电子设备600上边框的中间位置。如图10所示，第一电子设备1000包括1个rgb-d相机1001设置于第一电子设备1000上边框的中间位置。
[0110]
示例性地，第一电子设备包括1个rgb-d相机，该1个rgb-d相机设置于第一电子设备的下边框的中间位置。
[0111]
如图4所示，第一电子设备400包括1个rgb-d相机406，该rgb-d相机406设置于第一
电子设备400下边框的中间位置。如图5所示，第一电子设备500包括1个rgb-d相机508，该rgb-d相机508设置于第一电子设备500下边框的中间位置。如图11所示，第一电子设备1100包括1个rgb-d相机1101，该rgb-d相机1101设置于第一电子设备1100下边框的中间位置。
[0112]
示例性地，第一电子设备包括2个rgb-d相机，该2个rgb-d相机分别设置于第一电子设备的上边框和下边框的中间位置。
[0113]
如图12所示，第一电子设备1200包括2个rgb-d相机，分别为rgb-d相机1201与rgb-d相机1202，该rgb-d相机1201与rgb-d相机1202分别位于第一电子设备1200上边框和下边框的中间位置。如图13所示，第一电子设备1300包括2个rgb-d相机，分别为rgb-d1301与rgb-d相机1302，该rgb-d相机1301与rgb-d相机1302分别位于第一电子设备1300上边框和下边框的中间位置。如图14所示，第一电子设备1400包括2个rgb-d相机，分别为rgb-d相机1401与rgb-d相机1402，该rgb-d相机1401与rgb-d相机1402分别位于第一电子设备1400上边框和下边框的中间位置。
[0114]
本公开对n个第一相机与m个第二相机分布在第一电子设备的相对位置关系以及n与m的关系不做限定。
[0115]
在一些实施例中，n个第一相机设置于第一电子设备的上边框和/或下边框时，m个第二相机可以设置于第一电子设备的上边框的中间位置。下面结合图3b、图6与图10进行示例性说明。
[0116]
示例性地，如图3b、图6与图10所示，m个第二相机可以为1个rgb-d相机(例如，图3b中的rgb-d相机305、图6中的rgb-d相机610、图10中的rgb-d相机1001)，该1个rgb-d相机设置于第一电子设备的上边框的中间位置。如图3b所示，n个第一相机可以为12个rgb相机，该12个rgb相机可以设置于第一电子设备300的上边框。或者，如图6所示，n个第一相机可以为25个rgb相机，该25个rgb相机可以分别设置于第一电子设备600的上边框和下边框。或者，如图10所示，n个第一相机可以为13个rgb相机，该13个rgb相机可以设置于第一电子设备的1000下边框。
[0117]
在一些实施例中，n个第一相机设置于第一电子设备的上边框和/或下边框时，m个第二相机可以设置于第一电子设备的下边框的中间位置。下面结合图4、图5与图11进行示例性说明。
[0118]
示例性地，如图4、图5与图11所示，m个第二相机可以为1个第二相机(例如，图4中的rgb-d相机406、图5中的rgb-d相机508、图11中的rgb-d相机1101)，该1个rgb-d相机设置于第一电子设备的下边框的中间位置。如图4所示，n个第一相机可以为12个rgb相机，该12个rgb相机可以设置于的第一电子设备400的下边框。或者，如图5所示，n个第一相机可以为25个rgb相机，该25个rgb相机也可以分别设置于第一电子设备500的上边框和下边框。或者，如图11所示，n个第一相机可以为13个rgb相机，该13个rgb相机也可以设置于第一电子设备的1100上边框。
[0119]
在一些实施例中，n个第一相机设置于第一电子设备的上边框和/或下边框时，m个第二相机可以设置于第一电子设备的上边框和下边框的中间位置。下面结合图12至图14进行示例性说明。
[0120]
示例性地，如图12至图14所示，m个第二相机可以为2个rgb-d相机(例如，图12中的rgb-d相机1201与rgb-d相机1202、图13中的rgb-d相机1301与rgb-d相机1302、图14中的
rgb-d相机1401与rgb-d相机1402)，该2个rgb-d相机分别设置于第一电子设备上边框和下边框的中间位置。如图12所示，n个第一相机可以为24个rgb相机，该24个rgb相机可以分别设置于第一电子设备1200的上边框和下边框。或者，如图13所示，n个第一相机可以为12个rgb相机，该12个rgb相机也可以分别设置于第一电子设备1300的上边框。或者，如图14所示，n个第一相机可以为12个rgb相机，该12个rgb相机也可以设置于如图11所示的第一电子设备的1400下边框。
[0121]
步骤902、第一电子设备向第二电子设备发送第三位置信息。
[0122]
由于在视频通信场景下，进入第一电子设备的观看者眼睛内的视点数非常有限，因此通过第一电子设备采集第一电子设备的观看者眼睛的位置信息，并向第二电子设备发送该第三位置信息，可以使得采集端可以获知显示端的观看者眼睛的位置。从而采集端可以根据显示端的观看者眼睛的位置选择采集端的部分相机进行图像采集。如此一来，能够确保采集端采集的图像满足显示端观看者的观看需求，同时还能减少计算机算力与传输带宽的资源浪费。
[0123]
本公开对于步骤201～步骤203，以及步骤901～步骤902的先后执行顺序并不限定。例如，步骤901～步骤902可以在步骤201～步骤203之后执行，也可以在步骤201～步骤203之前执行，还可以与步骤201～步骤203同时执行。图9以步骤901～步骤902在步骤201～步骤203之前执行为例进行示例性示意。
[0124]
本公开一些实施例还提供一种图像采集方法，该方法中第一电子设备为采集端，第二电子设备为显示端，如图15所示，该方法包括以下步骤：
[0125]
步骤1501、第二电子设备通过m个第二相机采集第一位置信息。
[0126]
步骤1502、第二电子设备向第一电子设备发送第一位置信息。
[0127]
步骤1503、第一电子设备接收第一位置信息。
[0128]
步骤1504、第一电子设备基于第一位置信息，在n个第一相机中选取k个第一相机。
[0129]
步骤1505、第一电子设备采用k个第一相机实时采集图像，获得视频流。
[0130]
步骤1506、第一电子设备对视频流进行编码。
[0131]
步骤1507、第一电子设备向第二电子设备发送编码后的视频流。
[0132]
步骤1508、第二电子设备接收编码后的视频流。
[0133]
步骤1509、第二电子设备对视频流进行解码与渲染。
[0134]
步骤1510、第二电子设备显示三维影像。
[0135]
通过上述方法，在第一电子设备中，由于在n个第一相机中选择k个第一相机进行图像采集时，该k个第一相机是基于第一位置信息选择的，即第二电子设备的观看者观看到的三维影像是基于显示端观看者的眼睛位置进行采集的。因此，第二电子设备的观看者观看到的三维影像能够第二电子设备的观看者的需求。同时，在第一电子设备中，有n-k个第一相机并未参与图像采集的工作，或者，该n-k个第一相机参与实时采集工作，但第一电子设备对该n-k个第一相机所采集的图像不做任何处理，因此第一电子设备采集到的图像信息的数据量减小，能够减少计算机算力与传输带宽的资源浪费。
[0136]
本公开的一些实施例还提供一种图像采集装置，该图像采集装置包括n个第一相机，n为大于或等于3的整数。该图像采集装置被配置为：首先，接收来自第二电子设备的第一位置信息，第一位置信息为第二电子设备的观看者眼睛的位置信息。然后，基于第一位置
信息，在n个第一相机中选择k个第一相机，k为大于或等于2，且小于n的整数。最后，采用k个第一相机采集图像。
[0137]
在一些实施例中，图像采集装置还被配置为：基于第二位置信息在图像采集装置的显示器的上边框和/或下边框的投影位置，在n个第一相机中选择距离投影位置最近的k个第一相机；第二位置信息为第一位置信息在第一电子设备的显示器上的对应位置。
[0138]
在一些实施例中，图像采集装置还包括显示器，显示器被n个第一相机划分为j个三角形区域，j为大于或等于n的整数，在第二位置信息位置位于j个三角形区域中的第一区域时，k个第一相机为包括第一区域的最小三角形区域的三个顶点的第一相机。
[0139]
在一些实施例中，图像采集装置还包括m个第二相机，m为大于或等于1的整数，图像采集装置还被配置为：首先，通过m个第二相机采集第三位置信息，第三位置信息为图像采集装置的观看者眼睛的位置信息。然后，向第二电子设备发送第三位置信息。
[0140]
在一些实施例中，n个第一相机设置于显示器的上边框和/或下边框。
[0141]
在一些实施例中，m个第二相机设置于第一电子设备上边框和/或下边框的中间位置。
[0142]
在一些实施例中，其中，n个第一相机包括彩色相机或深度相机中的至少一项。
[0143]
在一些实施例中，第二相机为深度相机，m个第二相机包括飞行时间相机、双目立体相机或结构光立体相机中的至少一项。
[0144]
本公开的一些实施例还提供一种电子设备，如图16所示，该电子设备1600包括图像处理装置1601和图像采集装置1602。该图像采集装置1602用于执行如图2、图9或图15所示的图像采集方法，图像处理装置1601被配置为对该图像采集装置1602采集的图像信息进行处理。
[0145]
本公开的一些实施例提供了一种计算机可读存储介质(例如，非暂态计算机可读存储介质)，该计算机可读存储介质中存储有计算机程序指令，计算机程序指令在计算机(例如，电子设备)上运行时，使得计算机执行如上述实施例中任一实施例所述的图像采集方法。
[0146]
示例性地，上述计算机可读存储介质可以包括，但不限于：磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，cd(compact disk，压缩盘)、dvd(digital versatile disk，数字通用盘)等)，智能卡和闪存器件(例如，eprom(erasable programmable read-only memory，可擦写可编程只读存储器)、卡、棒或钥匙驱动板等)。本公开描述的各种计算机可读存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读存储介质。术语“机器可读存储介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
[0147]
本公开的一些实施例还提供了一种计算机程序产品。该计算机程序产品包括计算机程序指令，在计算机(例如，电子设备)上执行该计算机程序指令时，该计算机程序指令使计算机执行如上述实施例中任一实施例所述的图像采集方法。
[0148]
本公开的一些实施例还提供了一种计算机程序。当该计算机程序在计算机(例如，电子设备)上执行时，该计算机程序使计算机执行如上述实施例中任一实施例所述的图像采集方法。
[0149]
上述计算机可读存储介质、计算机程序产品及计算机程序的有益效果和上述一些
实施例中任一实施例所述的图像采集方法的有益效果相同，此处不再赘述。
[0150]
以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。