图像处理方法和装置与流程

1.涉及图像领域，特别涉及一种图像处理方法和装置。


背景技术：

2.现有的道路卡口抓拍摄像机，在白天时，对过往车辆的抓拍的图像通常可以达到令人满意的效果。然而对于光照不足的夜间，抓拍到的图像的画面往往太暗而丢失太多细节。为此，现有技术在摄像机拍摄抓拍时会使用补光灯进行瞬间的爆闪进行补光，以便为摄像机的抓拍提供更多的照明。
3.然而，爆闪补光的光照强度不能太高，以免爆闪补光对车内人员的眼睛造成伤害。也就是说，爆闪补光所提供的光照强度仍然无法满足抓拍的需要，夜间抓拍到的图像照度仍然较低，以至于图像中存在大量的噪声，需要使用降噪声算法优化图像的画面。
4.降噪声算法需要消耗大量的计算资源。以深度神经网络的降噪声算法为例，由于利用了大量的卷积运算，而卷积运算会消耗极大的算力，以至于对图像的降噪声过程会耗费大量时间。因此，如何在满足用户需要的基础上，减少对图像进行降噪声处理所耗费的时间，让用户尽快得到降噪声后的图像，是急需解决的问题。


技术实现要素：

5.第一方面，提供一种图像处理方法，包括：从第一图像中提取局部图像块，所述局部图像块的数量是一个或者多个；对所述局部图像块使用降噪声算法生成局部降噪声图像块；融合所述局部降噪声图像块和目标图像，生成融合图像，其中，所述目标图像是根据所述第一图像获得。
6.该方案中，仅局部图像块使用高资源占用的降噪声算法，其余部分可以不用降噪声算法或者使用低资源占用的降噪声算法。避免了整个图像都使用高资源占用的降噪声算法进行降噪声，从而节约了对图像进行降噪声处理的时间。
7.第一方面的第一种可能实现方式，
8.所述目标图像是下述一种：(1)所述第一图像；(2)对所述第一图像使用降噪声算法降噪声所生成的第一降噪声图像，其中，生成所述第一降噪声图像所使用的降噪声算法的资源占用低于生成所述局部降噪声图像块所使用的降噪声算法的资源；(3)背景图像块，所述背景图像块包括所述第一图像中除了所述局部图像块之外的部分，所述背景图像块的尺寸小于所述第一图像；(4)降噪声处理后的背景图像块，其中，生成所述降噪声背景图像块所使用的降噪声算法的资源占用低于生成所述局部降噪声图像块所使用的降噪声算法的资源。
9.该方案中例举了四种目标图像的获取办法。
10.第一方面的第二种可能实现方式中，所述局部图像块是所述第一图像的感兴趣图像块。
11.该方案提供了一种选择局部图像块的具体实现方案。
12.第一方面的第三种可能实现方式中，所述局部图像块包括第一图像块和第二图像块，所述方法包括：对所述第一图像块使用第一降噪声算法降噪声生成第一降噪声图像块；对所述第二图像块使用第二降噪声算法降噪声生成第二降噪声图像块，其中：所述第一降噪声算法的资源占用高于所述第二降噪声算法的资源占用。
13.该方案介绍了对局部图像块分级降噪声的降噪声策略，不同级别的局部图像块使用不同等级的降噪声算法。
14.可选的，所述第一图像块是所述第一图像的第一优先级感兴趣区域；所述第二图像块是所述第一图像的第二优先级非感兴趣区域。
15.第一方面的第四种可能实现方式中，从所述第一图像中提取局部图像块，具体还包括：通过图像检测获得所述第二图像的感兴趣区域，所述第二图像是所述第一图像格式转换后图像；把所述第二图像的感兴趣区域在所述第二图像中的位置作为所述第一图像中感兴趣区域在所述第一图像中的位置，按照感兴趣区域从所述第一图像中提取所述局部图像块。
16.该方案提供了一种如何找到roi区域的具体办法。
17.可选的，所述第二图像是三通道图像。
18.第一方面的第五种可能实现方式中，所述第一图像是raw格式图像。
19.第一方面的第六种可能实现方式中，所述第一降噪声算法是深度神经网络模型的降噪声算法；所述第二降噪声算法是深度神经网络模型的降噪声算法。
20.第一方面的第七种可能实现方式中，所述第一降噪声算法的降噪声效果优于所述第二降噪声算法的降噪声效果。
21.第二方面，提供一种图像处理装置，包括：图像块获取模块，用于从第一图像中提取局部图像块，所述局部图像块的数量是一个或者多个；降噪声模块，用于对所述局部图像块使用降噪声算法生成局部降噪声图像块；融合模块，融合所述局部降噪声图像块和目标图像，生成融合图像，其中，所述目标图像根据所述第一图像获得。
22.第二方面具有和第一方面相似的各种可能实现方式，并具有相应技术效果。
23.第三方面，提供一种摄像机，包括:镜头，用于采集光线；传感器，用于通过对镜头采集的光线进行光电转换生成第一图像；处理器，用于执行第一方面以及第一方面各种可能实现方式，并具有相应的技术效果
附图说明
24.图1是一种摄像机结构的实施例。
25.图2是一种图像处理方法的实施例流程图。
26.图3是一种图像处理装置的实施例结构图。
具体实施方式
27.摄像设备(下面以摄像机为例进行介绍)所拍摄照片的明暗程度往往与摄像机的进光量有直接的关系。因此，在光线不足时或者相机的曝光参数选择不恰当时，得到的图像会存在大量噪声。为了使得图像清晰便于用户使用，对图像使用降噪声算进行降噪声会耗费大量的时间和计算资源。
28.考虑到用户需要观看的主要是感兴趣区域，图像中的其余区域并不是用户关注的重点。本实施例中，按照感兴趣区域(roi)从真实图像(raw图像)中提取出一个或者多个图像块(称为局部图像块)，提取出的图像块的尺寸小于真实图像的尺寸，对提取出的图像块使用资源(例如计算资源、处理器资源等)占用高、耗时长、降噪声效果好的降噪声算法进行降噪声处理。而所述真实图像本身使用资源占用低、耗时少、降噪声效果差降噪声算法进行降噪声处理。然后，把降噪声后的图像块和降噪声后的真实图像进行融合，得到融合图像。这样做相当于对图像的不同区域使用不同的降噪声算法，既能让图像的关键区域清晰，又相对于对整张图片都使用降噪声效果好的降噪声算法的技术，减少了时间的消耗和计算资源的占用。本发明实施例中所提及的降噪声算法，例如是深度神经网络模型的降噪声算法。
29.例如，对于智能交通系统(intelligent transportation system)中的摄像机(例如卡口摄像机)抓拍的车辆图像，本发明实施例可以通过车辆检测算法检测汽车在图像中的位置，把汽车所在图像块作为感兴趣区域(region of interest，roi)，余下图像块作为背景图像块。对roi进行高耗时高精度的降噪声，对于背景图像块进行低耗时低精度的降噪声，再将降噪声之后的raw图进行融合，得到降噪声后的raw图像。选择roi区域有两种方案，其中一种是选择和roi对应的区域；另外一种是把图像划分为多个小块，从中提取和roi有交集的小块。
30.如图1所示，摄像机1包括：镜头11、滤光片12、图像传感器(sensor)13、片上系统(system on chip，soc)14以及补光灯控制电路15，可选的还可以包括内置补光灯16。其中片上系统具体包括，图像信号处理器(image signal processor，isp)141，以及编码器142。根据设计的不同，补光灯16也可以独立于摄像机之外，也就是不属于摄像机的一部分。此外，图像信号处理器141以及编码器142也可以是独立的芯片，不集成在soc中。
31.镜头11，用于采集来自被摄对象10的光线。镜头11通常是由一块或者多块光学玻璃(或者塑料)组成的透镜组，可以由凹透镜、凸透镜，m型透镜等透镜或透镜的组合组成。镜头11可以采用球面镜也可以采用非球面镜。根据镜头数目的不同，可以采用单目摄像机、多目摄像机。图1中示例的摄像机中仅有1个镜头(镜头11)，因此属于单目摄像机。
32.滤光片12，滤光片的表面拥有涂层，依靠涂层对来自镜头11的光线进行过滤，从而选取所需波段的光信号。滤光片12是可选的，可以不设置；或者把滤光片12设置于镜头11之前。
33.传感器13接收滤光片12滤光后的光信号进行光电转换，生成红外图像和/或彩色图像。传感器13可以仅对非可见光(后续以红外光举例)进行曝光，或者仅对可见光进行曝光，或者同时对红外光、可见光进行曝光，或者交替对可见光和红外光进行曝光。以视频的图像率为25图像/秒为例，那么获得一个图像总的曝光时长之和是1/25秒。传感器生成的图像是真实图像(也可以称为真实图像)；真实图像是raw文件格式，因此也称为raw图像、拜耳图像。基于感光元件的不同，raw图像又可以分为rggb，ryyb，rccc、rccb、rgbw、cmyw等多种类型。raw图像的文件格式例如是.3fr,.ari,.dcs,.dcr,.drf,.eip以及.erf。raw图像除了来自于摄像机，还可以来自于图像扫描仪、电影胶片扫描仪。
34.图像信号处理器(isp)141，接收传感器13发送的raw图像，把所述raw图像转换成yuv图像，或者rgb图像或者hsv格式、lab格式、cmy格式、ycbcr格式。这些格式的图像可以统称为自然图像，由于图像中的每个像素点用3个值表示，因此也称为三通道图像。
35.isp可以进行图像优化，从而优化影像在光学方面的性能。图像优化的内容例如可以下述中的一种或者多种：去除底电流噪声，对数据进行线性化处理，解决数据的非线性问题，去除坏点，去除噪声，对白平衡、对焦、曝光进行调节，调整图像的锐度，色彩空间转换(转换到不同色彩空间进处理)等。
36.此外，图像信号处理器141还可以向补光灯控制电路15发出控制信号，从而控制补光灯12的工作。例如控制补光灯的补光时长和补光强度。补光灯例如是爆闪灯。
37.编码器142可以对图像进行编码。例如编码成jpeg文件的图像，或者把多个图像编码成h.264、h.265文件的视频。
38.可选的，在图像信号处理器141和编码器142之间还可以包括图像处理器，对经过图像处理器141处理所得到的多个图像之间，或者图像与图像块之间进行图像融合(image fusion)。
39.参考图2，下面提供一种图像处理方法的流程实施例。该方法可以由处理器14执行。
40.步骤21，摄像机对移动物体进行检测。例如，摄像机对监控图像块进行检测，当检测到运动物体进入监控区域(例如触碰到虚拟的绊线)时，触发抓拍。运动物体例如车辆、飞行器、行人以及动物。下面以车辆为例进行介绍。
41.具体而言，摄像机的传感器感光后生成raw格式的图像，然后把raw格式图像转换为yuv格式图像，接着把yuv格式图像编码后发送到显示设备进行展示。
42.当所述摄像机检测到yuv图像中的运动物体进入监控区域时，发出抓拍指令。
43.步骤22，摄像机抓拍第一图像。为了提高第一图像的亮度，抓拍时可以启动爆闪(flash)灯，而步骤21中可以不启动爆闪灯。
44.所述第一图像是摄像机的传感器生成的raw格式图像。
45.步骤23，摄像机的isp对第一图像进行格式转换，把raw格式的第一图像转换为第二格式(例如yuv)的第二图像。对第二图像进行roi检测，按照roi在第一图像中的位置，从第一图像中提取一个或者多个图像块，未提取的部分称为背景，被提取的图像块的总尺寸等于或者小于第二图像的尺寸。
46.isp首先使用基于深度神经网络的车辆检测模型，得到车辆的检测框，检测框描述了车辆在第二图像中的位置。由于不同车辆在画面中占有的面积不同，例如卡车的在画面中占有的面积会比轿车大，因此在第二图像中所占有面积也不同。因此，isp根据检测框生成和roi目标(例如车辆，人脸)尺寸匹配的roi框。
47.本实施例可以把从第二图像中划分出roi应用于从第一图像中提取图像块。可选的，roi可以进一步划分为多个级别。例如：当画面中有多个车辆时，将较小的车辆列为第一优先级的roi，较大的车辆列为第二优先级roi，更大的车辆列为第三优先级的roi，以此类推；或者，将车辆中驾驶员的人脸区域列为第一优先级的roi，而把整个车辆列为第二优先级的roi；或者，把行人列为第一优先级roi，车辆列为第二优先级roi。
48.第二图像由不同级别的roi组成；或者，第二图像由roi和非roi组成。当第二图像由roi和非roi组成，则第二图像中除了roi之外的其余部分，是非roi(或者称为背景图像块)。
49.下面举例介绍对所述第二图像的区域划分。
50.(1)第一区域是roi(车辆所在区域)，余下的是第二区域(例如：第二图像中的背景)。
51.(2)第一区域和第二区域都是roi，其中，第一区域是第一优先级roi，第二区域是第二优先级roi，余下的是第三区域(例如：第二图像中的背景)。
52.步骤24，按照步骤23对所述第二图像的区域划分，从所述第一图像中提取局部图像块，按照降噪声策略对图像块使用降噪声算法降噪声。对所述第一图像不降噪声，或者使用资源占用低的降噪声算法降噪声。
53.由于所述第一图像和所述第二图像所记录的画面相同，因此可以继承第二图像的区域划分方法从第一图像中获取图像块。
54.下面针对步骤23中所例举的3种情况，依次介绍相应的降噪声策略。
55.对于情况(1)
56.第一图像中roi(车辆所在图像块)所在的区域定义为第一图像块。
57.降噪声策略：第一图像块使用资源占用高的第一降噪声算法生成第一降噪声图像块，第一图像使用资源占用低的第二降噪声算法，生成第一降噪声图像；或者，第一图像块使用降噪声算法降噪声，第一图像不降噪声。
58.第二区域可以降噪声也可以不降噪声。
59.对于情况(2)
60.第一图像中第一优先级roi所在的区域定义为第一图像块，第一图像中第二优先级roi所在的区域定义为第二图像块。
61.降噪声策略：第一图像块使用资源占用高的第一降噪声算法生成第一降噪声图像块，第二图像块使用资源占用较低的第三降噪声算法生成第二降噪声图像块，第一图像使用资源占用最低的第二降噪声算法，生成第一降噪声图像；或者，第一图像块使用资源占用高的第一降噪声算法生成第一降噪声图像块，第二图像块使用资源占用低的第三降噪声算法生成二降噪声图像块，第一图像不降噪声。
62.第四区域可以降噪声也可以不降噪声。
63.由此可以看出，本实施例把第一图像中提取出的图像块使用高资源占用的降噪声算法降低噪声，而对第一图像使用低资源占用的第一降噪声图像；或者，把第一图像中提取出的图像块使用高资源占用的降噪声算法降低噪声，第一图像不降噪声。
64.步骤25，把第一图像(或者降噪声后的第一图像)和做过降噪声算法处理的图像块融合，生成融合图像。在融合时，图像块和图像交界的区域，可以使用加权的融合算法，使得融合后的图像更加平滑。
65.对于以上面步骤23、和24中的(1)所描述的情况，具体融合过程如下。
66.当降噪声策略是：第一图像块使用资源占用高的第一降噪声算法降噪声，第一图像不降噪声。则融合办法是：把所述第一降噪声图像块与所述第一图像进行融合生成第一融合图像。在融合之后所得到第一融合图像中，第一降噪声图像块所对应的区域(也就是前述的roi)的噪声少于其余区域的噪声。
67.当降噪声策略是：第一图像块使用资源占用高的第一降噪声算法，第一图像使用资源占用低的第二降噪声算法。则融合办法是：把所述第一降噪声图像块与所述第一降噪声图像进行融合生成第二融合图像。在融合之后得到融合图像中，第一图像块所对应区域
(也就是前述的roi)的噪声少于其余区域的噪声。
68.以上面的(2)所描述的情况，具体融合过程如下。
69.当降噪声策略是：第一图像块使用资源占用高的第一降噪声算法，第二图像块使用资源占用低的第三降噪声算法，第一图像不降噪声。则融合办法是：把所述第一降噪声图像块、所述第二降噪声图像块与所述第一图像融合，生成第三融合图像。第三融合图像包括为三个区域：第一优先级roi所在的区域，第二优先级roi所在的区域，其余区域，这三个区域的噪声依次升高。
70.当降噪声策略是：第一图像块使用资源占用高的第一降噪声算法，第二图像块使用资源占用较低的第三降噪声算法，第一图像使用资源占用最低的第二降噪声算法。则融合办法是：把所述第一降噪声图像块、所述第二降噪声图像块与所述第一降噪声图像融合，生成第四降噪声图像。融合图像包括三个区域：第一优先级roi所在的区域，第三图像块是第一图像中第二优先级roi所在的区域，其余区域，这三个区域的噪声依次升高。
71.需要说明的是，在上面的步骤25中，把第一图像(或者降噪声后的第一图像)和做过降噪声算法处理的图像块融合，生成融合图像。在另外一种实施方式中，可以不使用完整的第一图像(或者降噪声后的第一图像)，而仅仅使用它的一部分用于融合，这种做法可以减少被融合的数据量以及减少被降噪声的数据量。也就是说，第一图像(或者降噪声后的第一图像)可以被代替为第一图像的一部分(为了简便，把这个第一图像的一部分称为背景图像块)，或者代替为背景图像块降噪声后得到的降噪声声背景图像块。不论是降噪声后的第一图像还是降噪声后的背景图像块，其使用的降噪声算法的资源占用均小于步骤23中从所述第一图像的提取图像块所使用的降噪声算法的资源占用。在这种实施例中，可以额外增加活的背景图像块(或者降噪声后的背景图像块)的步骤。
72.此外，为了方便描述，当某个图像(图像块)不使用降噪声算法进行降噪声时，也可以认为这个图像(图像块)使用了一种资源占用为0、耗时为0的降噪声算法。在这种场景下，在第一图像(或者降噪声后的第一图像)和做过降噪声算法处理的图像块之间，无重叠的部分直接作为融合图像的一部分，有重叠的部分使用融合算法进行融合，从而得到融合图像。
73.所述背景图像块的尺寸小于所述第一图像。但是背景图像块的尺寸不能过小，以免融合后的图像出现空洞，因此，所述背景图像块至少要包括：步骤24中未被从第一图像中提取的部分。并且，所述背景图像块包括所述第一图像中除了所述局部图像块之外的部分，所述背景图像块的尺寸小于所述第一图像。
74.需要说明的是，本实施例是基于roi从所述第一图像中获取图像块。然而，图像块的获得方式不止依靠roi一种方式，例如还可以有这样一种方式：把第一图像的中心区域作为需要使用降噪声算法的区域(例如第一图像块)，其余区域作为背景区域；或者，如果车辆往往从摄像机监控范围的上方进入监控画面，则可以把第一图像的上1/2作为需要使用降噪声算法的区域(例如第一图像块)，下1/2作为背景区域。
75.还需要说明的是，本实施例借助第二图像的图像块划分来实现对第一图像的图像块划分。实际上，也可以由其他手段对第一图像进行图像块划分，这些划分方法包括：由计算机程序直接对第一图像进行图像块划分；借助人工对第一图像进行图像块划分；借助第三图像对第一图像进行图像块划分(例如：把摄像机所拍摄的、第一图像的前一帧图像的图像块划分，作为第一图像的图像块划分)。
76.参见图3，本发明还提供一种图像处理装置的实施例。所述图像处理装置可以是物理上的硬件设备例如摄像机，所述图像处理装置也可以是软件，例如运行在摄像机中的程序。所述图像处理装置包括图像块获取模块31降噪声模块32和融合模块33。由于细节内容在前述图像处理方法实施例中已经有具体说明，因此下面仅简单介绍各模块功能，不再详细描述。
77.图像块获取模块31，用于从第一图像中提取局部图像块，用于从第一图像中提取局部图像块，所述局部图像块的数量是一个或者多个。
78.降噪声模块32，用于对所述局部图像块使用降噪声算法生成局部降噪声图像块。
79.融合模块33，融合所述局部降噪声图像块和目标图像，生成融合图像，其中，所述目标图像根据所述第一图像获得。
80.其中，所述目标图像可以是下述四种情况中的一种：(1)所述第一图像；(2)对所述第一图像使用降噪声算法降噪声所生成的第一降噪声图像，其中所述第一图像使用所使用的降噪声算法的资源占用低于生成所述局部降噪声图像块所使用的降噪声算法的资源；(3)背景图像块，所述背景图像块包括所述第一图像中除了所述局部图像块之外的部分，所述背景图像块的尺寸小于所述第一图像；(4)对所述背景图像块使用第二降噪声算法降噪声所生成的第二降噪声图像块。其中，降噪声的操作可以由所述降噪声模块32实现。
81.可选的，所述局部图像块包括第一图像块和第二图像块，所述降噪声模块用于：对所述第一图像块使用第一降噪声算法降噪声生成第一降噪声图像块；对所述第二图像块使用第二降噪声算法降噪声生成第二降噪声图像块，其中：所述第一降噪声算法的资源占用高于所述第二降噪声算法的资源占用。
82.可选的，所述提取图像块获取模块具体用于：通过图像检测获得所述第二图像的感兴趣区域，所述第二图像是所述第一图像格式转换后图像；把所述第二图像的感兴趣区域在所述第二图像中的位置作为所述第一图像中感兴趣区域在所述第一图像中的位置，按照感兴趣区域从所述第一图像中提取所述局部图像块。
83.以上模块或单元的一个或多个可以软件、硬件或二者结合来实现。当以上任一模块或单元以软件实现的时候，所述软件以计算机程序指令的方式存在，并被存储在存储器中，处理器可以用于执行所述程序指令并实现以上方法流程。所述处理器可以包括但不限于以下至少一种：中央处理单元(central processing unit，cpu)、微处理器、数字信号处理器(dsp)、微控制器(microcontroller unit，mcu)、或人工智能处理器等各类运行软件的计算设备，每种计算设备可包括一个或多个用于执行软件指令以进行运算或处理的核。该处理器可以内置于soc(片上系统)或专用集成电路(application specific integrated circuit，asic)，也可是一个独立的半导体芯片。该处理器内处理用于执行软件指令以进行运算或处理的核外，还可进一步包括必要的硬件加速器，如现场可编程门阵列(field programmable gate array，fpga)、pld(可编程逻辑器件)、或者实现专用逻辑运算的逻辑电路。
84.当以上模块或单元以硬件实现的时候，该硬件可以是cpu、微处理器、dsp、mcu、人工智能处理器、asic、soc、fpga、pld、专用数字电路、硬件加速器或非集成的分立器件中的任一个或任一组合，其可以运行必要的软件或不依赖于软件以执行以上方法流程。