盲区图像生成方法、设备和计算机可读介质与流程

1.本技术主要涉及图像处理技术领域，尤其涉及一种盲区图像生成方法、设备和计算机可读介质。


背景技术：

2.在汽车领域中，汽车a柱所形成的视觉盲区成为汽车事故的最大安全隐患。在汽车行进中，尤其在转弯过程中，汽车a柱遮挡驾驶员视线，导致驾驶员视野形成盲区，对汽车安全性和舒适性造成不利影响。但a柱在车身结构上又是不可缺少的部件，a柱的存在得以使承载式车身结构具有更高的稳定性和车身刚度，在汽车发生正面各个角度碰撞时保护驾驶舱减小变形，对驾驶员以及乘客的安全起到最关键的作用。驾驶员的视线被遮挡，容易造成交通事故。
3.现有技术中解决汽车遮挡的方案是“透明a柱”，即用摄像头抓拍车外场景，获取车外的三维空间信息，然后通过视角转换，把a柱盲区对应的图像显示在贴合a柱的显示器上供驾驶员查看。
4.现有的透明a柱技术方案，对车外摄像头采集的图像在固定深度的假设条件下经过透视变换视角转换，然后显示到a柱屏幕上。因为没有参考真实场景的深度信息，所以新视角的图像存在图像畸变和实景融合误差大等缺点。因此，如何生成更准确的盲区图像是本领域技术人员亟需解决的问题。


技术实现要素：

5.本技术要解决的技术问题是提供一种盲区图像生成方法、设备和计算机可读介质，能够生成更准确的盲区图像。
6.为解决上述技术问题，本技术提供了一种盲区图像生成方法，盲区由位于用户视点和盲区场景之间的遮挡物形成，屏幕位于所述遮挡物上并用于显示盲区图像供用户查看，所述方法包括：获取盲区场景的各点的第一相机坐标，其中所述第一相机坐标是指在第一相机坐标系下的坐标；通过第二相机获取视点的第二相机坐标，其中所述第二相机坐标是指在第二相机坐标系下的坐标；基于预先标定的所述第一相机和所述第二相机的位置关系，将所述视点的第二相机坐标转换为所述视点的第一相机坐标；基于所述视点的第一相机坐标、所述盲区场景的各点的第一相机坐标、所述屏幕到所述第一相机的旋转矩阵、所述屏幕到所述第一相机的平移矩阵、第一视线向量与所述屏幕的交点的屏幕坐标、第二视线向量与所述第一视线向量的比例，计算所述盲区场景的各点的屏幕坐标，其中所述屏幕坐标是指在屏幕坐标系下的坐标，所述第一视线向量为所述视点到所述盲区场景的一点的视线向量，所述第二视线向量为所述视点到所述视点与屏幕的交点的视线向量；以及基于所述盲区场景的各点的屏幕坐标生成盲区图像。
7.在本技术的一实施例中，所述盲区场景的各点的第一相机坐标是基于所述盲区场景的稠密深度信息和所述第一相机的标定参数确定。
8.在本技术的一实施例中，所述基于所述视点的第一相机坐标、所述盲区场景的各点的第一相机坐标、所述屏幕到所述第一相机的旋转矩阵、所述屏幕到所述第一相机的平移矩阵、第一视线向量与所述屏幕的交点的屏幕坐标、第二视线向量与所述第一视线向量的比例，计算所述盲区场景的各点的屏幕坐标的步骤是通过以下方式计算：
9.x
po
＝p
‑
o
eye
10.o
eye
λx
po
＝p
c
＝rp
pad
t
11.其中，o
eye
为所述视点的第一相机坐标，p为所述盲区场景的某一点的第一相机坐标，r为所述旋转矩阵，t为所述平移矩阵，x
po
为所述第一视线向量，p
pad
为所述第一视线向量与所述屏幕的交点的屏幕坐标，p
c
为所述第一视线向量与所述屏幕的交点的第一相机坐标，λ为所述第二视线向量与所述第一视线向量的比例。
12.在本技术的一实施例中，所述基于所述视点的第一相机坐标、所述盲区场景的各点的第一相机坐标、所述屏幕到所述第一相机的旋转矩阵、所述屏幕到所述第一相机的平移矩阵、第一视线向量与所述屏幕的交点的屏幕坐标、第二视线向量与所述第一视线向量的比例，计算所述盲区场景的各点的屏幕坐标的步骤是通过以下方式计算：
[0013][0014]
其中，o
eye
为所述视点的第一相机坐标，p为所述盲区场景的某一点的第一相机坐标，r为所述旋转矩阵，t为所述平移矩阵，x
po
为所述第一视线向量，p
pad
为所述第一视线向量与所述屏幕的交点的屏幕坐标，λ为所述第二视线向量与所述第一视线向量的比例。
[0015]
在本技术的一实施例中，所述基于所述盲区场景的各点的屏幕坐标生成盲区图像是基于所述盲区场景的各点的屏幕坐标逐像素生成所述盲区的rgb值贴图。
[0016]
在本技术的一实施例中，所述方法还包括：将所述盲区图像显示在所述屏幕上供所述用户查看。
[0017]
在本技术的一实施例中，所述第一相机为深度相机；所述盲区场景的稠密深度信息由所述第一相机进行测量。
[0018]
在本技术的一实施例中，所述遮挡物为汽车a柱；所述用户为驾驶员；所述视点为所述驾驶员的眉心；所述第一相机为车外相机；所述第二相机为dms相机；所述屏幕为安装在所述汽车a柱内侧的柔性屏。
[0019]
为解决上述技术问题，本技术还提供了一种盲区图像生成设备，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如上所述的方法。
[0020]
为解决上述技术问题，本技术还提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的方法。
[0021]
与现有技术相比，本技术的盲区图像生成方法、设备和计算机可读介质通过利用感知场景的深度信息，完成盲区视角转换过程，用盲区场景各点的三维相机坐标和用户视点的三维相机坐标来计算盲区场景各被遮挡点在屏幕上的投影，从而大大减少了盲区图像变形的现象，能够生成更准确的盲区图像，生成的盲区图像和用户所看到的实际场景融合得更好。
附图说明
[0022]
包括附图是为提供对本技术进一步的理解，它们被收录并构成本技术的一部分，附图示出了本技术的实施例，并与本说明书一起起到解释本技术原理的作用。附图中：
[0023]
图1是根据本技术一实施例示出的盲区图像生成方法的流程示意图。
[0024]
图2是根据本技术一实施例示出的视角图像转换的几何示意图。
[0025]
图3是根据本技术一实施例示出的盲区图像生成设备的架构图。
具体实施方式
[0026]
为了更清楚地说明本技术的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
[0027]
如本技术和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
[0028]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本技术的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0029]
本技术中使用了流程图用来说明根据本技术的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0030]
本技术提供了一种盲区图像生成方法。盲区由位于用户的视点和盲区场景之间的遮挡物形成，即用户视线被遮挡物遮挡而不能直接观察到的那部分区域。遮挡物上有一屏幕，用于显示盲区图像供用户查看。也就是说，用户能够通过设置在遮挡物区域的屏幕看到盲区的图像。
[0031]
在本技术的一实施例中，当本技术的盲区图像生成方法实施在汽车上时，遮挡物可以为汽车a柱；用户可以为驾驶员；视点可以为驾驶员的眉心；第一相机可以为车外相机；第二相机可以为dms相机；屏幕可以为安装在汽车a柱内侧的柔性屏。
[0032]
图1是根据本技术一实施例示出的盲区图像生成方法的流程示意图。如图1所示，本技术实施例的盲区图像生成方法包括以下步骤101
‑
105：
[0033]
步骤101，获取盲区场景的各点的第一相机坐标。第一相机是用于拍摄盲区场景的相机，第一相机坐标是指在第一相机的相机坐标系下的坐标。在本技术的一实施例中，第一
相机可以为深度相机，盲区场景的稠密深度信息可以由第一相机进行测量。在本技术的一实施例中，盲区场景的各点的第一相机坐标可以是基于盲区场景的稠密深度信息和第一相机的标定相机内参和畸变参数确定。
[0034]
步骤102，通过第二相机获取视点的第二相机坐标。第二相机是用于拍摄用户脸部的相机，能够识别出用户的视点，第二相机坐标是指在第二相机的相机坐标系下的坐标。
[0035]
步骤103，基于预先标定的第一相机和第二相机的位置关系，将视点的第二相机坐标转换为视点的第一相机坐标。在一个示例中，可以按照下面转换关系将视点的第二相机坐标转换为视点的第一相机坐标：
[0036]
o
eye
＝r
dms2c
o
dms
t
dms2c
[0037]
其中，o
eye
为视点的第一相机坐标，o
dms
为视点在第二相机下的坐标，r
dms2c
、t
dms2c
分别为第二相机到第一相机之间的旋转矩阵和平移矩阵。
[0038]
步骤104，基于视点的第一相机坐标、盲区场景的各点的第一相机坐标、屏幕到第一相机的旋转矩阵、屏幕到第一相机的平移矩阵、第一视线向量与屏幕的交点的屏幕坐标、第二视线向量与第一视线向量的比例，计算盲区场景的各点的屏幕坐标。其中，屏幕坐标是指在屏幕坐标系下的坐标，第一视线向量为视点到盲区场景的一点的视线向量，第二视线向量为视点到视点与屏幕的交点的视线向量。
[0039]
在本技术的一实施例中，结合图2所示的视角图像转换的几何示意图，步骤104可以是通过以下方式计算盲区场景的各点的屏幕坐标：
[0040]
x
po
＝p
‑
o
eye
[0041]
o
eye
λx
po
＝p
c
＝rp
pad
t
[0042]
其中，o
eye
为视点的第一相机坐标，p为盲区场景的某一点pw的第一相机坐标，r为旋转矩阵，t为平移矩阵，x
po
为第一视线向量，p
pad
为第一视线向量与屏幕的交点的屏幕坐标，p
c
为第一视线向量与屏幕的交点的第一相机坐标，λ为第二视线向量与第一视线向量的比例。
[0043]
在本技术的另一实施例中，结合图2所示的视角图像转换的几何示意图，步骤104可以是通过以下方式计算盲区场景的各点的屏幕坐标：
[0044][0045]
其中，o
eye
为视点的第一相机坐标，p为盲区场景的某一点pw的第一相机坐标，r为旋转矩阵，t为平移矩阵，x
po
为第一视线向量，p
pad
为第一视线向量与屏幕的交点的屏幕坐标，λ为第二视线向量与第一视线向量的比例。
[0046]
步骤105，基于盲区场景的各点的屏幕坐标生成盲区图像。在本技术的一实施例中，步骤105可以是基于盲区场景的各点的屏幕坐标逐像素生成盲区的rgb值贴图。
[0047]
在本技术的一实施例中，在步骤105生成盲区图像之后，还可以将盲区图像显示在屏幕上供用户查看。
[0048]
综上所述，本技术实施例的盲区图像生成方法通过利用感知场景的深度信息，完成盲区视角转换过程，用盲区场景各点的三维相机坐标和用户视点的三维相机坐标来计算
盲区场景各被遮挡点在屏幕上的投影，从而大大减少了盲区图像变形的现象，能够生成更准确的盲区图像，生成的盲区图像和用户所看到的实际场景融合得更好。
[0049]
本技术还提供了一种盲区图像生成设备，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如上所述的盲区图像生成方法。
[0050]
图3示出了根据本技术一实施例的盲区图像生成设备的架构图。参考图3所示，该盲区图像生成设备300可包括内部通信总线301、处理器(processor)302、只读存储器(rom)303、随机存取存储器(ram)304、以及通信端口305。当应用在个人计算机上时，盲区图像生成设备300还可以包括硬盘307。内部通信总线301可以实现盲区图像生成设备300组件间的数据通信。处理器302可以进行判断和发出提示。在一些实施例中，处理器302可以由一个或多个处理器组成。通信端口305可以实现盲区图像生成设备300与外部的数据通信。在一些实施例中，盲区图像生成设备300可以通过通信端口305从网络发送和接受信息及数据。盲区图像生成设备300还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘307，只读存储器(rom)303和随机存取存储器(ram)304，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器302所执行的可能的程序指令。处理器执行这些指令以实现方法的主要部分。处理器处理的结果通过通信端口传给用户设备，在用户界面上显示。
[0051]
可以理解，本技术的盲区图像生成方法并不限于由一个盲区图像生成设备实施，而是可以由多个联机的盲区图像生成设备协同实施。联机的盲区图像生成设备可以通过局域网或者广域网连接和通信。
[0052]
本实施例的盲区图像生成设备的其他实施细节可参考图1至图2所描述的实施例，在此不再展开描述。
[0053]
本技术还提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的盲区图像生成方法。
[0054]
举例来说，本技术的盲区图像生成方法可以实施为一种盲区图像生成方法的程序，保存在存储器中，并可加载到处理器中执行，以实施本技术的盲区图像生成方法。
[0055]
盲区图像生成方法实施为计算机程序时，也可以存储在计算机可读存储介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(cd)、数字多功能盘(dvd))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(eprom)、卡、棒、键驱动)。此外，本文描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。
[0056]
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述申请披露仅仅作为示例，而并不构成对本技术的限定。虽然此处并没有明确说明，本领域技术人员可能会对本技术进行各种修改、改进和修正。该类修改、改进和修正在本技术中被建议，所以该类修改、改进、修正仍属于本技术示范实施例的精神和范围。
[0057]
同时，本技术使用了特定词语来描述本技术的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本技术至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本技术的一个或多个实施例中的
某些特征、结构或特点可以进行适当的组合。
[0058]
本技术的方法和系统的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理器件(dapd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器或者其组合。此外，本技术的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带
……
)、光盘(例如，压缩盘(cd)、数字多功能盘(dvd)
……
)、智能卡以及闪存设备(例如，卡、棒、键驱动器
……
)。
[0059]
计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
[0060]
本技术各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如java、scala、smalltalk、eiffel、jade、emerald、c 、c#、vb.net、python等，常规程序化编程语言如c语言、visual basic、fortran 2003、perl、cobol 2002、php、abap，动态编程语言如python、ruby和groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(lan)，或广域网(wan)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(saas)。
[0061]
此外，除非权利要求中明确说明，本技术所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本技术流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的申请实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本技术实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
[0062]
同理，应当注意的是，为了简化本技术披露的表述，从而帮助对一个或多个申请实施例的理解，前文对本技术实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本技术对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
[0063]
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20％的变化。相应地，在一些实施例
中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本技术一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
[0064]
虽然本技术已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本技术，在没有脱离本技术精神的情况下还可做出各种等效的变化或替换，因此，只要在本技术的实质精神范围内对上述实施例的变化、变型都将落在本技术的权利要求书的范围内。