基于ARHUD的成像方法和系统与流程

基于arhud的成像方法和系统
技术领域
1.本发明主要涉及智能座舱领域，尤其涉及一种基于arhud的成像方法和系统。


背景技术：

2.随着智能汽车领域的发展，用户对于智能汽车的需求已不再局限于汽车性能上的追求，而也愈发期待智能汽车可以实现更多的智能功能。汽车不再仅具有交通工具的性能，当人们驾驶汽车的时候，更希望它具有更多智能化的辅助功能。
3.对于照片或视频的修容处理在其他领域如多媒体或者视频通讯领域已经是较为普遍的事情，然而针对座舱内的环境，目前还没有关于人脸图像处理的方案，在一些特殊场景下如车内视频会议等场景，人们对于汽车智能化的需求还未得以完全地满足。


技术实现要素：

4.本发明要解决的技术问题是提供一种基于arhud的成像方法和系统，可以在汽车的场景中实现对面部图像的修容处理，提升座舱智能化程度，提高用户汽车的使用体验。
5.为解决上述技术问题，本发明提供了一种基于arhud的成像方法，适于在位于汽车前档风玻璃上的具有增强现实效果的抬头显示屏arhud上呈现经过处理的变更图像，包括如下步骤：
6.通过车内摄像头持续地采集座舱内驾驶员的面部图像，并在所述面部图像中获取多个面部关键点；
7.对所述多个面部关键点进行三角剖分处理后，将多个面部关键点中的至少一部分仿射变换至目标关键点，以获得变更图像；以及
8.将所述变更图像投射在所述arhud上。
9.在本发明的一实施例中，还包括在进行所述三角剖分处理之前，在所述面部图像中生成均匀分布的多个网格，在所述多个网格中将多个面部关键点中的至少一部分仿射变换至目标关键点，以获得所述变更图像。
10.在本发明的一实施例中，还包括通过卡尔曼滤波或一欧元滤波对所述多个网格的顶点进行平滑处理。
11.在本发明的一实施例中，还包括：
12.通过车外摄像头持续地获取车辆前方的车前图像；
13.当检测到所述车前图像中出现行人时，对具有所述行人画面的车前图像进行关键点检测，以获得所述行人眉心位置的图像坐标；
14.根据所述车外摄像头的内参和外参以及所述行人相较于所述车外摄像头的深度信息获取所述行人眉心位置的世界坐标；
15.获取所述行人的视线方向，并根据所述视线方向、所述车内摄像头的内参和外参以及驾驶员相较于所述车内摄像头的深度信息，获得驾驶员面部图像中的每个像素点对应的世界坐标；以及
16.根据所述行人眉心位置的世界坐标和所述驾驶员面部图像中的每个像素点对应的世界坐标，将所述变更图像通过水平镜像处理呈现在汽车的前挡风玻璃外的对应位置。
17.在本发明的一实施例中，还包括将驾驶员面部图像中的人脸部分通过抠图处理从而获得人脸部分图像，并将所述人脸部分图像通过水平镜像处理呈现在汽车的前档风玻璃外的对应位置。
18.在本发明的一实施例中，在将所述变更图像通过水平镜像处理呈现在汽车的前挡风玻璃外的对应位置后，还包括增加所述arhud的显示亮度的步骤。
19.在本发明的一实施例中，还包括预先对所述arhud进行畸变矫正处理的步骤。
20.在本发明的一实施例中，响应于位于中控屏幕上的滑竿按键、语音输入、移动端应用程序指令或位于arhud上的滑竿控制中的任一种控制方式，将所述多个面部关键点中的至少一部分仿射变换至所述目标关键点。
21.在本发明的一实施例中，所述位于arhud上的滑竿控制包括在arhud上显示滑竿的影像，获取所述滑竿每个像素点的世界坐标，通过所述车内摄像头识别一个或多个手指关节点，获取所述手指关节点的世界坐标并将手指关节点连结成一条直线，其中，
22.若所述直线位于所述滑竿的预设区域内且手指做出指定动作，则触发所述滑竿跟随所述手指移动，以实现将所述多个面部关键点中的至少一部分仿射变换至所述目标关键点。
23.在本发明的一实施例中，所述多个面部关键点为二维的面部关键点，所述方法还包括：
24.在对所述多个面部关键点进行三角剖分处理后，通过三维人脸重建方法将所述二维的多个面部关键点转换为三维的面部关键点；
25.将所述三维的多个面部关键点中的至少一部分仿射变换至目标关键点；
26.将经过所述仿射变换的三维的多个面部关键点转换回二维的面部关键点，以获得所述变更图像；以及
27.将所述变更图像投射在arhud上和/或车辆的侧面挡风玻璃上。
28.为了解决上述的技术问题，本发明还提供了一种基于arhud的汽车内成像系统，包括：
29.存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现上述基于arhud的成像方法。
30.一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现上述基于arhud的成像方法。
31.与现有技术相比，本发明具有以下优点：本发明的基于arhud的成像方法和系统在汽车的应用场景中实现了对于人脸图像的修容处理，并根据不同的需求向车外或者通过车内多媒体呈现具有特殊效果的人脸图像，提高了汽车驾驶和使用的智能性；特别地，还可以使用网格标定算法代替三角剖分的算法模式，使得在汽车行驶过程中即使出现抖动，人脸关键点的获取也能维持稳定。
附图说明
32.包括附图是为提供对本技术进一步的理解，它们被收录并构成本技术的一部分，
附图示出了本技术的实施例，并与本说明书一起起到解释本发明原理的作用。附图中：
33.图1是本发明一实施例的一种基于arhud的成像方法的流程示意图；
34.图2是本发明一实施例的一种基于arhud的成像方法的原理示意图；以及
35.图3是本发明一实施例的一种基于arhud的成像系统的系统框图。
具体实施方式
36.为了更清楚地说明本技术的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
37.如本技术和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
38.除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本技术的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
39.在本技术的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本技术保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。
40.为了便于描述，在这里可以使用空间相对术语，如“在
……
之上”、“在
……
上方”、“在
……
上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在
……
上方”可以包括“在
……
上方”和“在
……
下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
41.此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本技术保护范围的限制。此外，尽管本技术中所使用的术语是从公知公用的术语中选择的，但
是本技术说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本技术。
42.应当理解，当一个部件被称为“在另一个部件上”、“连接到另一个部件”、“耦合于另一个部件”或“接触另一个部件”时，它可以直接在该另一个部件之上、连接于或耦合于、或接触该另一个部件，或者可以存在插入部件。相比之下，当一个部件被称为“直接在另一个部件上”、“直接连接于”、“直接耦合于”或“直接接触”另一个部件时，不存在插入部件。同样的，当第一个部件被称为“电接触”或“电耦合于”第二个部件，在该第一部件和该第二部件之间存在允许电流流动的电路径。该电路径可以包括电容器、耦合的电感器和/或允许电流流动的其它部件，甚至在导电部件之间没有直接接触。
43.参照图1，本发明的一实施例提出了一种基于arhud的成像方法10(以下简称“成像方法10”)，适于在位于汽车前档风玻璃上的具有增强现实效果的抬头显示屏arhud上呈现经过处理的变更图像。本技术中使用了流程图用来说明根据本技术的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
44.根据图1，成像方法10包括如下步骤。
45.步骤11为通过车内摄像头持续地采集座舱内驾驶员的面部图像，并在面部图像中获取多个面部关键点。示例性的，这些面部关键点可以选取脸部轮廓、眼眉、口鼻处等位置，以为了后面步骤中对图像的修容处理做准备。
46.进一步的，步骤12为对多个面部关键点进行三角剖分处理后，将多个面部关键点中的至少一部分仿射变换至目标关键点，以获得变更图像。示例性的，三角剖分的手段可以参考数学计算中常规的三角剖分手段，以使得人的脸部图像通过拆分多个三角形碎片的手段得以对其中部分的人脸局部的特征点(关键点)做特殊处理。在此步骤中，通过仿射变换以使得部分的面部关键点从原有的真实位置移动至目标位置，从而可以实现修容的效果，如常见的捏脸等修容处理。
47.最后，步骤13为将变更图像投射在arhud上。示例性的，在本发明较为通常的实施例中，arhud作为具有增强显示的抬头显示屏，位于座舱内驾驶员作为的正前方，位于汽车的前档风玻璃上进行变更图像的显示。但是本发明不以此为例，在本发明的一些其他的实施例中，根据实际应用场景的需要，arhud也可以位于其他的玻璃上，本发明不因为arhud的常规放置位置而对于本发明做出限制。
48.优选地，为了克服在汽车行驶过程中的抖动导致的关键点检测不稳定的问题，在本发明的一些实施例中，还包括在执行图1示出的步骤12中涉及的三角剖分处理之前，在面部图像中生成均匀分布的多个网格，在多个网格中将多个面部关键点中的至少一部分仿射变换至目标关键点，以获得变更图像。进一步优选地，在这样的实施例中，还包括通过卡尔曼滤波或一欧元滤波对多个网格的顶点进行平滑处理，以使变更图像所呈现的效果更好。在这样的实施例中，使用网格进行处理的优点是：网格顶点大概率处于三角剖分后的各三角形内部，这样其取值是三个关键点的差值得到的，相对更加稳定。其次，原来方案人脸关键点位于人脸边缘，对于低分辨率的图像或者关键点点位较少的情况下，容易造成人脸的
不平滑，而采用网格的手段能够进一步降低不平滑的现象，针对汽车的应用场景效果更好。
49.通常地，上文说明的成像方法10更适用于座舱内的用户在座舱内应用此功能，例如在一些特定的应用场景如车载的视频会议等情景中，可以在座舱内对于自己的面部图像做修容处理，例如最终呈现出捏脸效果。
50.在上述说明的基础上，本发明的方案还可以在一些优选的实施例中做进一步的扩展和延伸。在本发明的一些优选的实施例中，基于arhud的成像方法还包括如下的步骤：
51.通过车外摄像头持续地获取车辆前方的车前图像；
52.当检测到车前图像中出现行人时，对具有行人画面的车前图像进行关键点检测，以获得行人眉心位置的图像坐标；
53.根据车外摄像头的内参和外参以及行人相较于车外摄像头的深度信息获取行人眉心位置的世界坐标；
54.获取行人的视线方向，并根据视线方向、车内摄像头的内参和外参以及驾驶员相较于车内摄像头的深度信息，获得驾驶员面部图像中的每个像素点对应的世界坐标；以及
55.根据行人眉心位置的世界坐标和驾驶员面部图像中的每个像素点对应的世界坐标，将变更图像通过水平镜像处理呈现在汽车的前挡风玻璃外的对应位置。
56.通过这样的方式，就可以使得位于车外的行人看到汽车内用户修容处理后的面部图像。在本发明这样的实施例中，为了更好的呈现修容后的效果，方案更适用于行人仅为1人的情况。
57.进一步的，在这样的实施例中，为了进一步提升座舱内用户面部图像呈现于车外的效果，还包括将驾驶员面部图像中的人脸部分通过抠图处理从而获得人脸部分图像，并将人脸部分图像通过水平镜像处理呈现在汽车的前档风玻璃外的对应位置。另外，在将变更图像通过水平镜像处理呈现在汽车的前挡风玻璃外的对应位置后，还包括增加arhud的显示亮度的步骤，从而使得用户图像呈现在车外时具有更好的效果。
58.优选地，在这样的实施例中，为了克服汽车前档风玻璃因曲面而对成像结果造成的影响，在应用本发明的方案之前，还包括预先对arhud进行畸变矫正处理的步骤。畸变校正的处理细节可以参考现有技术中的常规方式，例如，通过arhud向前档风玻璃发射点状特征点并进行标定等，由于畸变校正的具体实施方式不是本发明的重点，在此不做详细展开。
59.进一步的，针对如何控制上述图像处理的方案，本发明示例性的提出了一些可行的手段。例如，在本发明的一些实施例中，响应于位于中控屏幕上的滑竿按键、语音输入、移动端应用程序指令或位于arhud上的滑竿控制中的任一种控制方式，将所述多个面部关键点中的至少一部分仿射变换至所述目标关键点。在这些方式中，滑竿按键可以配置在中控屏幕上，用户通过触摸中控屏幕等方式即可以实现控制。进一步的，针对语音输入和移动端应用程序指令的控制方式，则需要其他的信号发送和输入的配置，如语音输入的方式需要车机配置语音接收和处理模块，并与调整面部关键点位置的处理模块进行信号的交互，或者通过移动端应用程序指令(如手机端的app)实现控制。这些控制方式是现有技术中较为常见的在汽车内进行智能控制的手段，可以直接应用到本发明的技术方案中，从而实现本发明的基于arhud的成像方法的方案。
60.特别地，针对位于arhud上的滑竿控制方式，具体操作步骤如下：包括在arhud上显示滑竿的影像，获取滑竿每个像素点的世界坐标，通过车内摄像头识别一个或多个手指关
节点，获取手指关节点的世界坐标并将所有的手指关节点连结成一条直线，其中，若直线位于滑竿的预设区域内且手指做出指定动作，则触发滑竿跟随手指移动，以调节多个面部关键点中的至少一部分所需要移动的目标位置。
61.具体的，参照图2所示，下面对于本发明的一实施例中采用arhud的滑竿控制方式的原理做出简要的说明。如图2所示，在获取滑竿可以活动的区域位置21后(在此实施例中，活动的区域为椭圆形，但是本发明不以此为限)，通过车内摄像头识别两个手指关节点221和222以及各自的坐标，将两个手指关节点221和222连接成直线20。在实际应用中，通过识别直线20是否在滑竿可以活动的区域位置21后，便可以根据手指的移动的指定动作，多个面部关键点中的至少一部分所需要移动的目标位置，以此完成相应的修容动作。通过位于arhud的滑竿控制方式，相较于本发明适用的其他的如位于中控屏幕上的控制方案，可以更加智能的有利于座舱内驾驶员在面向位于其正前方的arhud上较容易的完成面部图像的修容处理工作，无需将视线转移至中控屏幕上便能实现相应的操作。
62.本发明的一实施例还提出了一种如图3所示的基于arhud的汽车内成像系统30。根据图3，基于arhud的汽车内成像系统30可包括内部通信总线31、处理器(processor)32、只读存储器(rom)33、随机存取存储器(ram)34、以及通信端口35。当应用在个人计算机上时，基于arhud的汽车内成像系统30还可以包括硬盘36。
63.内部通信总线31可以实现基于arhud的汽车内成像系统30组件间的数据通信。处理器32可以进行判断和发出提示。在一些实施例中，处理器32可以由一个或多个处理器组成。通信端口35可以实现基于arhud的汽车内成像系统30与外部的数据通信。在一些实施例中，基于arhud的汽车内成像系统30可以通过通信端口35从网络发送和接受信息以及数据。
64.基于arhud的汽车内成像系统30还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘36，只读存储器(rom)33和随机存取存储器(ram)34，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器32所执行的可能的程序指令。处理器执行这些指令以实现方法的主要部分。处理器处理的结果通过通信端口传给用户设备，在用户界面上显示。
65.除此之外，本发明另一方面还提出了一种存储有计算机程序代码的计算机可读介质，计算机程序代码在由处理器执行时实现上述的基于arhud的汽车内成像方法。
66.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本技术的限定。虽然此处并没有明确说明，本领域技术人员可能会对本技术进行各种修改、改进和修正。该类修改、改进和修正在本技术中被建议，所以该类修改、改进、修正仍属于本技术示范实施例的精神和范围。
67.同时，本技术使用了特定词语来描述本技术的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本技术至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本技术的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
68.本技术的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(asic)、数
字信号处理器(dsp)、数字信号处理器件(dapd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器或者其组合。此外，本技术的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带
……
)、光盘(例如，压缩盘cd、数字多功能盘dvd
……
)、智能卡以及闪存设备(例如，卡、棒、键驱动器
……
)。
69.计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
70.同理，应当注意的是，为了简化本技术披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本技术实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本技术对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
71.一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本技术一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
72.虽然本技术已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本技术，在没有脱离本技术精神的情况下还可作出各种等效的变化或替换，因此，只要在本技术的实质精神范围内对上述实施例的变化、变型都将落在本技术的权利要求书的范围内。