表示场景的图像信号的制作方法

技术特征：

1.一种用于生成图像信号的装置，所述装置包括：

接收器(401)，其用于接收表示来自不同的观察姿态的场景的多幅源图像；

组合图像生成器(403)，其用于根据所述源图像来生成多幅组合图像，每幅组合图像是从所述多幅源图像中的至少两幅源图像的集合导出的，组合图像的每个像素表示针对射线姿态的所述场景，并且针对每幅组合图像的所述射线姿态包括至少两个不同的位置，针对像素的射线姿态表示在针对所述像素的观察方向并且来自所述像素的观察位置的射线的姿态；

评估器(405)，其用于确定所述多幅源图像的元素的预测质量量度，针对第一源图像的元素的预测质量量度指示所述第一源图像中的针对所述元素中的像素的像素值与针对所述元素中的像素的预测像素值之间的差异，所述预测像素值是根据所述多幅组合图像预测所述元素中的像素而得到的像素值；

确定器(407)，其用于确定所述源图像的片段，所述片段包括预测质量量度指示高于阈值的差异的元素；以及

图像信号生成器(409)，其用于生成图像信号，所述图像信号包括表示所述组合图像的图像数据以及表示所述源图像的所述片段的图像数据。

2.根据权利要求1所述的装置，其中，所述组合图像生成器(403)被布置为通过来自所述多幅源图像的第一组合图像的像素的视图合成来生成所述多幅组合图像中的至少所述第一组合图像，其中，所述第一组合图像的每个像素表示针对射线姿态的所述场景，并且针对所述第一图像的所述射线姿态包括至少两个不同的位置。

3.根据权利要求2所述的装置，其中，对于所述第一组合图像的至少90％的像素，垂直向量与像素叉乘向量之间的点乘是非负的，针对像素的像素叉乘向量是针对像素的射线方向与从针对不同观察姿态的中心点到针对所述像素的射线位置的向量之间的叉乘。

4.根据权利要求3所述的装置，其中，所述组合图像生成器(403)被布置为通过来自所述多幅源图像的第二组合图像的像素的视图合成来生成所述多幅组合图像中的所述第二组合图像，其中，所述第二组合图像的每个像素表示针对射线姿态的所述场景，并且针对所述第二图像的所述射线姿态包括至少两个不同的位置；并且

其中，对于所述第二组合图像的至少90％的像素，所述垂直向量与像素叉乘向量之间的点乘是非正的。

5.根据权利要求2所述的装置，其中，所述第一组合图像的所述射线姿态被选择为靠近包括所述多幅源图像的不同观察姿态的区域的边界。

6.根据权利要求2或3所述的装置，其中，所述第一组合图像的所述射线姿态中的每个射线姿态被确定为距包括所述多幅源图像的所述不同观察姿态的区域的边界小于第一距离，所述第一距离不超过所述边界上的点之间最大内部距离的50％。

7.根据任一前述权利要求所述的装置，其中，所述组合图像生成器(403)被布置为针对所述多幅组合图像中的第一组合图像的每个像素：

确定所述视图源图像中存在对应像素的每幅视图源图像中的对应像素，所述对应像素是表示与所述第一组合图像的所述像素相同的射线方向的像素；

选择针对所述第一组合图像的所述像素的像素值作为视图源图像中的所述对应像素的像素值，其中，所述对应像素表示具有距针对不同所述观察姿态距中心点的最大距离的射线，所述最大距离位于沿着垂直于针对所述对应像素的射线方向的第一轴的第一方向。

8.根据权利要求7所述的装置，其中，确定所述对应像素包括：将每幅源图像重新采样为表示围绕所述观察姿态的视球表面的至少部分的图像表示，并且将对应像素确定为在所述图像表示中具有相同位置。

9.根据权利要求7或8所述的装置，其中，所述组合图像生成器(403)被布置为针对第二组合图像的每个像素：

选择针对所述第二组合图像中的所述像素的像素值作为所述视图源图像中的所述对应像素的像素值，其中，所述对应像素表示在与所述第一方向相反的方向上具有距所述中心点的最大距离的射线。

10.根据权利要求7-9中的任一项所述的装置，其中，所述组合图像生成器(403)被布置为：

针对第三组合图像中的每个像素：

选择针对所述第三组合图像中的所述像素的像素值作为所述视图源图像中的所述对应像素的像素值，其中，所述对应像素表示在具有距所述中心点的最小距离的射线。

11.根据权利要求7-10中的任一项所述的装置，其中，所述组合图像生成器(403)被布置为：

针对第四组合图像中的每个像素：

选择针对所述第四组合图像中的像素的像素值作为视图源图像中的所述对应像素的像素值，其中，所述对应像素表示在沿垂直于针对所述对应像素的射线方向的第二轴的第二方向上具有距中心点最大距离的射线，所述第一轴与所述第二轴具有不同的方向。

12.根据权利要求7-11中的任一项所述的装置，其中，所述组合图像生成器(403)被布置为生成第一组合图像的原点数据，所述原点数据指示所述源图像中的哪幅是针对所述第一组合图像的每个像素的原点；并且所述图像信号生成器(409)被布置为在所述图像信号中包括所述原点数据。

13.根据前述权利要求中的任一项所述的装置，其中，所述图像信号生成器(403)被布置为在所述图像信号中包括源观察姿态数据，所述源观察姿态数据指示针对所述源图像的不同观察姿态。

14.一种用于接收图像信号的装置，所述装置包括：

接收器(501)，其用于接收图像信号，所述图像信号包括：

多幅组合图像，每幅组合图像表示从表示来自不同观察姿态的场景的多幅源图像中的至少两幅源图像的集合导出的图像数据，组合图像的每个像素表示针对射线姿态的所述场景，并且针对每幅组合图像的所述射线姿态包括至少两个不同的位置，针对像素的射线姿态表示在针对所述像素的观察方向上并且来自针对所述像素的观察位置的射线的姿态；

针对所述多幅源图像的片段的集合的图像数据，针对第一源图像的片段包括所述第一源图像的至少一个像素，对于所述至少一个像素，针对来自所述多幅组合图像的所述片段的预测的预测质量量度低于阈值；以及

处理器(503)，其用于处理所述图像信号。

15.一种生成图像信号的方法，所述方法包括：

接收表示来自不同的观察姿态的场景的多幅源图像；

根据所述源图像来生成多幅组合图像，每幅组合图像是从所述多幅源图像中的至少两幅源图像的集合导出的，组合图像的每个像素表示针对射线姿态的所述场景，并且针对每幅组合图像的所述射线姿态包括至少两个不同的位置，针对像素的射线姿态表示在针对所述像素的观察方向和来自针对像素的观察位置的射线的姿态；

确定所述多幅源图像的元素的预测质量量度，针对第一源图像的元素的预测质量量度指示所述第一源图像中的针对所述元素中的像素的像素值与针对所述元素中的像素的预测像素值之间的差异，所述预测像素值是根据所述多幅组合图像预测所述元素中的像素而得到的像素值；

确定所述源图像中包括所述预测质量量度指示高于阈值的差异的元素的片段；并且

生成图像信号，所述图像信号包括表示所述组合图像的图像数据以及表示所述源图像的所述片段的图像数据。

16.一种处理图像信号的方法，所述方法包括：

接收图像信号，所述图像信号包括：

多幅组合图像，每幅组合图像表示从表示来自不同观察姿态的场景的多幅源图像中的至少两幅源图像的集合导出的图像数据，组合图像的每个像素表示针对射线姿态的场景，并且针对每幅组合图像的射线姿态包括至少两个不同的位置，针对像素的射线姿态表示在针对所述像素的观察方向上并且自针对所述像素的视图位置起的射线的姿态；针对所述多幅源图像的片段的集合的图像数据，针对第一源图像的片段包括所述第一源图像的至少一个像素，对于所述至少一个像素，针对来自所述多幅组合图像的所述片段的预测的预测质量量度低于阈值；并且

处理所述图像信号。

17.一种图像信号，包括：

多幅组合图像，每幅组合图像表示从表示来自不同观察姿态的场景的多幅源图像中的至少两幅源图像的集合导出的图像数据，组合图像的每个像素表示针对射线姿态的所述场景，并且针对每幅组合图像的所述射线姿态包括至少两个不同的位置，针对像素的射线姿态表示在针对所述像素的观察方向上并且来自针对所述像素的观察位置的射线的姿态；针对所述多幅源图像的片段的集合的图像数据，针对第一源图像的片段包括所述第一源图像的至少一个像素，对于所述至少一个像素，针对来自所述多幅组合图像的所述片段的预测的预测质量量度低于阈值。

18.一种包括计算机程序代码模块的计算机程序产品，当所述程序在计算机上运行时，所述计算机程序代码模块适于执行根据权利要求15或16所述的所有步骤。

技术总结
生成图像信号包括接收表示场景的源图像的接收器(401)。组合图像生成器(403)根据所述源图像来生成组合图像。每幅组合图像源自所述源图像的至少两幅图像的仅部分。评估器(405)确定针对所述源图像元素的预测质量量度，其中，针对第一源图像元素的预测质量量度指示所述第一源图像中的像素值与针对所述元素中的像素的预测像素值之间的差异。所述预测像素值是由来自所述组合图像的像素的预测产生的像素值。确定器(407)确定所述源图像的片段，包括预测质量量度指示高于阈值的差异的元素。图像信号生成器(409)生成图像信号，所述图像信号包括表示组合图像的图像数据以及表示所述源图像的片段的图像数据。

技术研发人员：B·W·D·范格斯特;B·克龙;
受保护的技术使用者：皇家飞利浦有限公司;
技术研发日：2020.02.14
技术公布日：2021.11.05