信息处理装置、计算机可读取介质以及信息处理方法与流程

1.本公开涉及信息处理装置、计算机可读取介质以及信息处理方法。


背景技术：

2.以往，已知将两个图像进行整合来生成整合图像的技术。
3.例如，专利文献1公开了一种装置，该装置对通过第一图像传感器获取到的图像和通过相对于第一图像传感器调整了位置的第二图像传感器获取到的图像进行处理，来生成整合图像。
4.现有技术文献
5.专利文献
6.专利文献1：日本特表2009－545256号公报
7.在拍摄对象物来生成多个三维多边形模型，并将该多个三维多边形模型进行整合来生成立体图像时，有时对象物的形状的再现度不高。


技术实现要素：

8.本公开的目的在于，在将多个三维多边形模型进行整合来生成立体图像时使对象物的形状的再现度提高。
9.本公开的信息处理装置是生成用多边形的集合体表现的立体图像的信息处理装置，其中，所述信息处理装置具备控制部，该控制部被配置为：从拍摄对象物的多个距离图像传感器获取多个距离图像；基于所述多个距离图像来生成多个三维多边形模型；对包围所述对象物的虚拟空间进行分割来生成多个分割空间；在所述分割空间的每一个中，对所述多个三维多边形模型的多边形的顶点数进行比较；在所述分割空间的每一个中，将所述顶点数最多的所述三维多边形模型的顶点选择为该分割空间内的顶点；以及将选择出的所述顶点进行整合来生成所述立体图像。
10.本公开的计算机可读取介质是存储有生成用多边形的集合体表现的立体图像的计算机可读取介质，其中，所述程序使计算机执行动作，所述动作包括：从拍摄对象物的多个距离图像传感器获取多个距离图像；基于所述多个距离图像来生成多个三维多边形模型；对包围所述对象物的虚拟空间进行分割来生成多个分割空间；在所述分割空间的每一个中，对所述多个三维多边形模型的多边形的顶点数进行比较；在所述分割空间的每一个中，将所述顶点数最多的所述三维多边形模型的顶点选择为该分割空间内的顶点；以及将选择出的所述顶点进行整合来生成所述立体图像。
11.本公开的信息处理方法是生成用多边形的集合体表现的立体图像的信息处理装置中的信息处理方法，其中，所述信息处理方法包括：从拍摄对象物的多个距离图像传感器获取多个距离图像；基于所述多个距离图像来生成多个三维多边形模型；对包围所述对象物的虚拟空间进行分割来生成多个分割空间；在所述分割空间的每一个中，对所述多个三维多边形模型的多边形的顶点数进行比较；在所述分割空间的每一个中，将所述顶点数最
多的所述三维多边形模型的顶点选择为该分割空间内的顶点；以及将选择出的所述顶点进行整合来生成所述立体图像。
12.发明效果
13.根据本公开，能在将多个三维多边形模型进行整合来生成立体图像时使对象物的形状的再现度提高。
附图说明
14.图1是表示本公开的实施方式的信息处理系统的构成的图。
15.图2是表示本公开的实施方式的信息处理装置的构成的框图。
16.图3是表示将两个三维多边形模型进行整合来生成立体图像的情形的图。
17.图4是表示本公开的实施方式的信息处理系统的动作的流程图。
18.附图标记说明：
19.1：信息处理系统；10：信息处理装置；11：通信部；12：存储部；13：输入部；14：输出部；15：控制部；20：距离图像传感器；30：显示装置；101：第一三维多边形模型；102：第二三维多边形模型；103：立体图像。
具体实施方式
20.以下，参照附图对本公开的实施方式进行说明。
21.图1是表示本公开的实施方式的信息处理系统1的构成的图。参照图1对本公开的实施方式的信息处理系统1的构成和概要进行说明。
22.信息处理系统1具备信息处理装置10、距离图像传感器20-1～20-2以及显示装置30。
23.信息处理装置10与距离图像传感器20-1～20-2以能通信的方式连接。信息处理装置10与距离图像传感器20-1～20-2既可以通过有线以能通信的方式连接，也可以通过无线以能通信的方式连接。
24.信息处理装置10与显示装置30以能通信的方式连接。信息处理装置10与显示装置30既可以通过有线以能通信的方式连接，也可以通过无线以能通信的方式连接。
25.以后，在不需要特别对距离图像传感器20-1～20-2进行区分的情况下，有时会将距离图像传感器20-1～20-2仅称为距离图像传感器20。
26.在图1中示出了信息处理系统1具备两个距离图像传感器20的情况，但信息处理系统1所具备的距离图像传感器20的数量不限定于两个。只要信息处理系统1具备多个距离图像传感器20即可。在本实施方式中，以信息处理系统1所具备的距离图像传感器20的数量为两个的情况为例进行说明。
27.距离图像传感器20是能拍摄对象物来生成距离图像的传感器。距离图像是具有图像信息和距离信息的图像。距离图像按图像内的每个像素而具有图像信息和与该像素对应的部分的从距离图像传感器20起至对象物为止的距离信息。距离图像传感器20也可以是能生成距离图像的任意的传感器。
28.距离图像传感器20所拍摄的对象物没有特别限定，例如可以是人体。
29.信息处理装置10既可以是通用的pc(personal computer：个人计算机)，也可以是
被配置为作为信息处理系统1中的信息处理装置10发挥功能的专用的计算机。
30.信息处理装置10能基于从距离图像传感器20获取到的距离图像来生成三维多边形模型。三维多边形模型是用多边形的集合体来表现立体的模型。多边形是三角形、四边形等这样的多边形。信息处理装置10可以使用以往已知的任意的算法，基于距离图像来生成三维多边形模型。
31.信息处理装置10基于从距离图像传感器20-1获取到的距离图像来生成距离图像传感器20-1所拍摄到的对象物的三维多边形模型。以后，将信息处理装置10基于从距离图像传感器20-1获取到的距离图像而生成的三维多边形模型也称为“第一三维多边形模型”。
32.信息处理装置10基于从距离图像传感器20-2获取到的距离图像来生成距离图像传感器20-2所拍摄到的对象物的三维多边形模型。以后，将信息处理装置10基于从距离图像传感器20-2获取到的距离图像而生成的三维多边形模型也称为“第二三维多边形模型”。
33.距离图像传感器20-1和距离图像传感器20-2配置于不同的位置。由此，信息处理装置10能基于从多个不同的位置拍摄对象物而得到的距离图像来生成多个三维多边形模型。若假设距离图像传感器20的数量为一个，则被拍摄的对象物的范围会被限定，但通过多个距离图像传感器20配置于不同的位置，距离图像传感器20-1～20-2能从各种各样的角度拍摄对象物。
34.信息处理装置10将第一三维多边形模型和第二三维多边形模型进行整合，来生成立体图像。信息处理装置10所生成的立体图像与三维多边形模型同样地，也是用多边形的集合体表现的立体的图像。关于信息处理装置10将第一三维多边形模型和第二三维多边形模型进行整合来生成立体图像的处理的详情，将在后文叙述。
35.信息处理装置10将所生成的立体图像发送至显示装置30。
36.显示装置30例如是液晶显示器、有机el(electro luminescence：电致发光)显示器、无机el显示器等。或者，显示装置30不限于仅具有显示功能的装置，也可以是智能手机、平板电脑、通用的pc等这样的信息通信终端。
37.显示装置30能对从信息处理装置10获取到的立体图像进行显示。
38.参照图2对本公开的实施方式的信息处理装置10的构成进行说明。
39.信息处理装置10具备通信部11、存储部12、输入部13、输出部14以及控制部15。
40.通信部11包括通信模块。通信部11可以包括与有线的通信标准对应的通信模块。通信部11也可以包括与无线的通信标准对应的通信模块。通信部11能与距离图像传感器20和显示装置30进行通信。
41.存储部12例如是半导体存储器、磁存储器或光存储器等，但不限定于此。存储部12例如可以作为主存储装置、辅助存储装置或闪存发挥功能。存储部12存储用于信息处理装置10的动作的任意的信息。例如，存储部12可以存储系统程序、应用程序以及通过通信部11接收到的各种信息等。存储部12的一部分也可以设置于信息处理装置10的外部。在该情况下，设置于外部的存储部12的一部分可以经由任意的接口与信息处理装置10连接。
42.输入部13包括对用户输入进行检测并且获取基于用户的操作的输入信息的一个以上的输入用接口。例如，输入部13包括物理键、静电电容键、与输出部14的显示器一体设置的触摸屏或接受声音输入的麦克风等，但不限定于此。
43.输出部14包括输出信息来通知用户的一个以上的输出用接口。例如，输出部14包
括通过图像输出信息的显示器、通过声音输出信息的扬声器等，但不限定于此。
44.控制部15包括至少一个处理器、至少一个专用电路或它们的组合。处理器是cpu(central processing unit：中央处理器)或gpu(graphics processing unit：图形处理器)等通用处理器，或者专门用于特定的处理的专用处理器。专用电路例如是fpga(field-programmable gate array：现场可编程门阵列)或asic(application specific integrated circuit：专用集成电路)。控制部15一边对信息处理装置10的各部进行控制，一边执行与信息处理装置10的动作相关的处理。
45.(信息处理系统的动作)
46.参照图1～图2对图1所示的信息处理系统1的动作进行说明。
47.距离图像传感器20-1～20-2分别拍摄对象物的距离图像。距离图像传感器20-1～20-2将拍摄到的距离图像发送至信息处理装置10。距离图像传感器20-1～20-2所拍摄的对象物例如可以是人体。
48.信息处理装置10的通信部11接收距离图像传感器20-1所发送的距离图像。控制部15经由通信部11获取距离图像传感器20-1所发送的距离图像。通信部11接收距离图像传感器20-2所发送的距离图像。控制部15经由通信部11获取距离图像传感器20-2所发送的距离图像。
49.控制部15基于从多个距离图像传感器20获取到的距离图像来生成多个三维多边形模型。即，控制部15基于从距离图像传感器20-1获取到的距离图像来生成第一三维多边形模型。控制部15基于从距离图像传感器20-2获取到的距离图像来生成第二三维多边形模型。
50.控制部15生成包围对象物的虚拟空间。虚拟空间的范围取决于对象物的形状。虚拟空间是包围对象物整体的空间，因此在对象物大的情况下虚拟空间的范围变大，在对象物小的情况下虚拟空间的范围变小。
51.控制部15对包围对象物的虚拟空间进行分割，来生成多个分割空间。控制部15对虚拟空间进行分割而生成的分割空间可以是任意的形状。例如，分割空间的形状可以是立方体。或者，例如，分割空间也可以是长方体。
52.多个分割空间既可以全部为相同的形状，也可以混合存在不同的形状。此外，多个分割空间既可以全部为相同的大小，也可以混合存在不同的大小。
53.控制部15在分割空间的每一个中，对位于该分割空间内的、多个三维多边形模型的多边形的顶点数进行比较。
54.在基于从两个距离图像传感器20-1～20-2获取到的距离图像生成了第一三维多边形模型和第二三维多边形模型的情况下，控制部15在分割空间的每一个中，对位于该分割空间内的、第一三维多边形模型的多边形的顶点数与第二三维多边形模型的多边形的顶点数进行比较。
55.控制部15在分割空间的每一个中，将顶点数最多的三维多边形模型的顶点选择为该分割空间内的顶点。例如，在某个分割空间中，位于该分割空间内的、第一三维多边形模型的多边形的顶点数比第二三维多边形模型的多边形的顶点数多的情况下，控制部15将第一三维多边形模型的顶点选择为该分割空间内的顶点。
56.控制部15在对虚拟空间进行分割而生成的所有分割空间中，执行选择三维多边形
模型的顶点的处理。
57.控制部15将选择出的顶点进行整合，来生成用多边形的集合体表现的立体图像。由此，控制部15能生成将第一三维多边形模型和第二三维多边形模型进行整合而得到的立体图像。
58.图3中示出了控制部15将第一三维多边形模型101和第二三维多边形模型102进行整合来生成立体图像103的情形的一个例子。
59.如此，在各个分割空间中，选择顶点数最多的三维多边形模型的顶点，来生成整合后的立体图像，由此信息处理装置10能生成平滑的立体图像，能使对象物的形状的再现度提高。
60.控制部15将所生成的立体图像经由通信部11发送至显示装置30。
61.显示装置30接收信息处理装置10所发送的立体图像，并对接收到的立体图像进行显示。
62.参照图4所示的流程图对信息处理系统1的动作进行说明。
63.在步骤s101中，信息处理装置10的控制部15从多个距离图像传感器20-1～20-2获取多个距离图像。
64.在步骤s102中，控制部15基于多个距离图像来生成多个三维多边形模型。更具体而言，控制部15基于从距离图像传感器20-1获取到的距离图像来生成第一三维多边形模型。此外，控制部15基于从距离图像传感器20-2获取到的距离图像来生成第二三维多边形模型。
65.在步骤s103中，控制部15对包围对象物的虚拟空间进行分割，来生成多个分割空间。
66.在步骤s104中，控制部15在分割空间的每一个中，对位于该分割空间内的、多个三维多边形模型的多边形的顶点数进行比较。
67.在步骤s105中，控制部15在分割空间的每一个中，将顶点数最多的三维多边形模型的顶点选择为该分割空间内的顶点。
68.在步骤s106中，控制部15将选择出的顶点进行整合，来生成用多边形的集合体表现的立体图像。
69.(第一变形例)
70.也可以是，信息处理装置10的控制部15在分割空间的每一个中选择顶点时，不仅选择顶点数最多的三维多边形模型的顶点，还一并选择其他的顶点。
71.例如，也可以是，控制部15在分割空间的每一个中，将顶点数为第一阈值以上的三维多边形模型的顶点也选择为分割空间内的顶点。第一阈值可以是预先设定的规定的值，可以存储于存储部12。
72.例如，假设在某个分割空间内，顶点数最多的三维多边形模型是第一三维多边形模型。在该情况下，控制部15将第一三维多边形模型的顶点选择为该分割空间内的顶点。并且，在第一阈值为10且在该分割空间内第二三维多边形模型的顶点数为10个以上的情况下，控制部15可以除了选择第一三维多边形模型的顶点之外还选择第二三维多边形模型的顶点。
73.如此，控制部15将顶点数为第一阈值以上的三维多边形模型的顶点也选择为分割
空间内的顶点，由此信息处理装置10能生成更平滑的立体图像。
74.(第二变形例)
75.也可以是，信息处理装置10的控制部15在分割空间的每一个中，将与第一变形例所示的顶点不同的顶点选择为除了选择顶点数最多的三维多边形模型的顶点之外还选择的顶点。
76.例如，也可以是，控制部15在分割空间的每一个中，将与顶点数最多的三维多边形模型的顶点数的顶点数之差小于第二阈值的三维多边形模型的顶点也选择为分割空间内的顶点。第二阈值可以是预先设定的规定的值，可以存储于存储部12。
77.例如，假设在某个分割空间内，顶点数最多的三维多边形模型是第一三维多边形模型。在该情况下，控制部15将第一三维多边形模型的顶点选择为该分割空间内的顶点。并且，在第二阈值为5且在该分割空间内第一三维多边形模型的顶点数与第二三维多边形模型的顶点数的顶点数之差小于5个的情况下，控制部15可以除了选择第一三维多边形模型的顶点之外还选择第二三维多边形模型的顶点。
78.如此，控制部15将与顶点数最多的三维多边形模型的顶点数的顶点数之差小于第二阈值的三维多边形模型的顶点也选择为分割空间内的顶点，由此信息处理装置10能生成更平滑的立体图像。
79.如上所述，在本实施方式的信息处理装置10中，控制部15在分割空间的每一个中，对多个三维多边形模型的多边形的顶点数进行比较，在分割空间的每一个中，将顶点数最多的三维多边形模型的顶点选择为该分割空间内的顶点，并将选择出的顶点进行整合来生成立体图像。由此，信息处理装置10能在各个分割空间中，选择顶点的密度高的三维多边形模型的顶点，从而能生成平滑的立体图像来作为整合后的立体图像。因此，根据本实施方式的信息处理装置10，能在将多个三维多边形模型进行整合来生成立体图像时使对象物的形状的再现度提高。
80.本公开不限定于上述的实施方式。例如，可以将框图所记载的多个框进行整合，或者也可以将一个框进行分割。代替按照记述以时间序列执行流程图所记载的多个步骤，也可以根据执行各步骤的装置的处理能力或根据需要，并行地或以不同的顺序来执行流程图所记载的多个步骤。除此之外，可以进行不脱离本公开的主旨的范围内的变更。
81.例如，在上述的实施方式中在信息处理装置10中执行的一部分处理动作也可以在距离图像传感器20或显示装置30中执行。此外，在上述的实施方式中在距离图像传感器20或显示装置30中执行的一部分处理动作也可以在信息处理装置10中执行。
82.例如，在上述的实施方式中，将信息处理装置10和距离图像传感器20作为独立的装置进行了记载，但信息处理装置10和距离图像传感器20也可以是整合而成的装置。例如，在上述的实施方式中，将信息处理装置10和显示装置30作为独立的装置进行了记载，但信息处理装置10和显示装置30也可以是整合而成的装置。
83.例如，也可以是使智能手机或计算机等通用的电子设备作为上述的实施方式的信息处理装置10发挥功能的构成。具体而言，也可以考虑将记述有实现实施方式的信息处理装置10等的各功能的处理内容的程序储存于电子设备的存储器，并通过电子设备的处理器读出并执行该程序。因此，一个实施方式的公开也可以作为处理器能执行的程序来实现。
84.例如，在上述的实施方式中，举出信息处理系统1所具备的距离图像传感器20的个
数为两个的情况作为例子进行了说明，但信息处理系统1所具备的距离图像传感器20的个数也可以是两个以上的任意的个数。
85.例如，在上述的实施方式中，举出距离图像传感器20所拍摄的对象物是人体的情况作为例子进行了说明，但对象物也可以是人体以外的物体。