运算装置及视频图像的雨滴去除方法与流程

1.本发明有关于对象识别，特别是有关于一种运算装置及视频图像的雨滴去除方法。


背景技术：

2.随着科技进步，自动车驾驶的技术正在蓬勃发展。自动车驾驶软件往往需要依照车辆配置的照相机所拍摄的视频图像来判断路况。然而，当天气不佳时，车辆配置的照相机所拍摄的视频图像非常容易受到雨滴的影响，这会造成后端的车辆识别及路况识别的准确率降低，进而影响到自动车驾驶的决策。


技术实现要素：

3.有鉴于此，本发明提供一种运算装置及视频图像的雨滴去除方法以解决上述问题。
4.本发明提供一种视频图像的雨滴去除方法，该方法包括下列步骤：利用多张雨天场景图像中已标示的多张雨滴图像以训练一雨滴图像识别模型；利用该雨滴图像识别模型以识别在一视频序列中的多张场景图像中的多张雨滴图像；以及响应于该多张场景图像中的一目前场景图像中的特定雨滴图像满足一预定条件，将该特定雨滴图像由在该目前场景图像先前的该多张图像的一特定场景图像所对应的图像区域所取代以产生输出场景图像。
5.在一些实施例中，该方法还包括：记录已识别出的各雨滴图像在对应的该场景图像中相应的位置及尺寸；以及计算该目前场景图像中的该特定雨滴图像与该特定场景图像中的该特定雨滴图像的交并比。此外，该预定条件为该目前场景图像中的该特定雨滴图像与该特定场景图像中的该特定雨滴图像的交并比小于一预定比例阈值。
6.在一些实施例中，该特定雨滴图像是选择自该目前场景图像的一感兴趣区域。该目前场景图像中的该多张雨滴图像具有第一数量，且该方法还包括：响应于已成功取代的该多张雨滴图像的数量达到该第一数量的一预定比例时，停止取代在该目前场景图像中的剩余的该多张雨滴图像。
7.在一些实施例中，该方法还包括：当该目前场景图像中的该特定雨滴图像与该视频序列的多张先前场景图像中的该特定雨滴图像的交并比小于一预定比例阈值时，选择具有最小交并比的该先前场景图像以作为该特定雨滴图像在一可还原候选清单中所对应的该先前场景图像。
8.在一些实施例中，该方法还包括：当有多张的该多张先前场景图像中的该特定雨滴图像的交并比均小于一预定比例阈值时，选择时间点较接近该目前场景图像的该先前场景图像以作为该特定雨滴图像在一可还原候选清单中所对应的该先前场景图像。
9.本发明还提供一种运算装置，包括：一非易失性存储器，用于储存一雨滴去除程序；以及一运算单元，用于执行该雨滴去除程序以进行下列步骤：利用多张雨天场景图像中已标示的多张雨滴图像以训练一雨滴图像识别模型；利用该雨滴图像识别模型以识别在一
视频序列中的多张场景图像中的多张雨滴图像；以及响应于该多张场景图像中的一目前场景图像中的特定雨滴图像满足一预定条件，将该特定雨滴图像由在该目前场景图像先前的该多张图像的一特定场景图像所对应的图像区域所取代以产生输出场景图像。
附图说明
10.图1是显示依据本发明一实施例中的运算装置的方块图。
11.图2是显示依据本发明一实施例中在雨天场景图像标示雨滴训练图像的示意图。
12.图3是显示依据本发明一实施例中训练对象识别模型的示意图。
13.图4a为依据本发明一实施例中利用雨滴图像识别模型对输入场景图像进行雨滴识别的示意图。
14.图4b为依据本发明一实施例中的雨滴去除处理的示意图。
15.第5a、5c图是显示依据本发明一实施例中的目前场景图像的示意图。
16.第5b、5d图是显示依据本发明一实施例中的输出场景图像的示意图。
17.图6是显示依据本发明一实施例中视频图像的雨滴去除方法的流程图。
具体实施方式
18.以下说明为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用于限定本发明。实际的发明内容必须参考之后的权利要求范围。
19.必须了解的是，使用于本说明书中的“包含”、“包括”等词，用于表示存在特定的技术特征、数值、方法步骤、作业处理、组件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、组件、组件，或以上的任意组合。
20.于权利要求中使用如“第一”、“第二”、“第三”等词系用来修饰权利要求中的组件，并非用来表示之间具有优先权顺序，先行关系，或者是一个组件先于另一个组件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的组件。
21.图1是显示依据本发明一实施例中的运算装置的方块图。
22.在一实施例中，运算装置100例如可由个人计算机、车用计算机、服务器、或便携装置所实现，且可设置于一车辆上。运算装置100包括一运算单元110、图像捕获装置120、一储存单元130、及一显示器150。
23.运算单元110可通过多种方式实施，例如以专用硬件电路或者通用硬件(例如：单处理器、具平行处理能力的多处理器、图形处理器或者其它具有运算能力的处理器)，且在执行与本发明各个模型以及流程有关的程序代码或者软件时，提供之后所描述的功能。图像捕获装置120例如为一照相机，图像捕获装置120用于拍摄该车辆前方的一预定视角(field of view)内的场景图像，例如拍摄车辆窗户。在一些实施例中，运算装置100可包括多个图像捕获装置120，且各图像捕获装置120可设置在车辆上的不同的预定位置以获取车辆周围的不同预定视角的场景图像。
24.储存单元130包括一易失性存储器131及一非易失性存储器132。非易失性存储器132用于储存雨滴图像数据库136、以及在对象识别流程中所需要的数据以及各种程序代码，例如雨滴去除程序133、雨滴图像识别模型135等等。非易失性存储器132例如可为一硬盘驱动器(hard disk drive)、一固态硬盘(solid-state disk)、一闪存(flash memory)、
或一只读存储器(read-only memory)，但本发明并不限于此。易失性存储器131可为一随机存取存储器，例如是一静态随机存取存储器(sram)或一动态随机存取存储器(dram)，但本发明并不限于此。易失性存储器131例如可暂存在对象识别流程中的中间数据及图像。
25.在一实施例中，非易失性存储器132储存一雨滴去除程序133，且运算单元110将雨滴去除程序133由该非易失性存储器132读取至易失性存储器131并执行。
26.显示单元150可为显示面板(例如，薄膜液晶显示面板、有机发光二极管面板或者其它具显示能力的面板)，用于显示应用程序所提供的用户接口。在一些实施例中，显示单元150例如可与触控装置整合为触控面板，且用户可在显示单元150所显示的用户接口进行触控操作。
27.在一实施例中，非易失性存储器132还包括雨滴图像数据库136及雨滴图像识别模型135。举例来说，雨滴图像数据库136储存多张雨天场景图像中已标示的多张雨滴图像。各雨天场景图像例如可为预先取得或是实时拍摄的雨天街景图，可包含或不包含街道上的车辆，也就是说各雨天场景图像包含多个雨滴图像，且用户可在雨滴去除程序133的用户接口上标示(框选)在雨天场景图像中的各雨滴图像的位置及尺寸。
28.图2是显示依据本发明一实施例中在雨天场景图像标示雨滴训练图像的示意图。
29.如图2所示，雨天场景图像200例如为预先储存于图像数据库135之中。举例来说，雨天场景图像200中的像素坐标是以左上角为原点，且x轴往右为正，y轴往下为正。雨天场景图像200的左上角、右上角、左下角、及右下角的坐标分别为(0,0)、(1,0)、(0,1)、(1,1)。用户可在雨滴去除程序133的用户接口上先藉由标示在雨天场景图像200中的各雨滴训练图像210的位置及尺寸，且雨滴去除程序133可将各雨滴训练图像210的位置及尺寸以各雨滴图像210在雨天场景图像200所占的水平/垂直比例表示，其中水平/垂直比例为介于0到1之间的数值。
30.在标示完成后，雨滴去除程序133可将雨天场景图像200中的各雨滴训练图像210的位置及尺寸转换为一文本文件，如图2的下半部分所示。此外，雨滴去除程序133可进一步将雨天场景图像200中所标示的各雨滴训练图像210进行裁切，以取得单独的雨滴训练图像210，并且将各雨滴训练图像210及相应的位置/尺寸信息(例如可为单独的文本文件)储存于雨滴图像数据库136。
31.接着，用户可将储存于雨滴图像数据库136中的各雨滴训练图像210及相应的位置/尺寸信息输入至一对象识别模型300进行深度学习(deep learning)，例如雨滴图像1.png及相应的位置/尺寸信息1.txt为第一笔数据，雨滴图像1.png及相应的位置/尺寸信息1.txt为第二笔资料，依此类推。对象识别模型300例如可为一卷积神经网络(convolutional neural network，cnn)、深度神经网络(deep neural network)等等，但本发明并不限于此。本领域技术人员也可使用其他已知的对象识别技术。
32.举例来说，如图3所示，雨滴图像数据库136中的各雨滴训练图像210(例如为png文件)及相应的位置/尺寸信息(例如为txt文件)输入至对象识别模型300中的输入层310的各偏移神经元(bias neuron)x1～xr，且各偏移神经元具有相应的权重w1～wr，经过对象识别模型300的隐藏层(hidden layer)320或全连接层(full connected layer)对输入层的数据进行偏置(bias)运算及激活函数(activation function)处理后可以在输出层330得到识别结果。
33.当输入足够数量的训练数据后，对象识别模型300对于雨滴图像的识别已训练完成，故此时对象识别模型300可称为雨滴图像识别模型135，并且可用来识别输入至对象识别模型300的视频序列中的各场景图像中的雨滴图像。
34.图4a为依据本发明一实施例中利用雨滴图像识别模型对输入场景图像进行雨滴识别的示意图。图4b为依据本发明一实施例中的雨滴去除处理的示意图。
35.如图4a所示，假定图像捕获装置120每秒可拍摄5张场景图像，例如分别为场景图像401～405、以及后续的场景图像(图4a未绘示)。为了便于说明，场景图像401～405中仅绘示一雨滴图像420，且雨滴图像420在场景图像401～405中会随着时间往下移动，但在实际的场景图像401～405中，可包含多雨滴图像。场景图像401～405会随着拍摄顺序输入至雨滴图像识别模型400以作为“目前场景图像”，且雨滴图像识别模型400可依序识别出场景图像401～405中的雨滴图像421。所谓目前场景图像代表正被识别的图像，例如若场景图像403目前正被识别中，则场景图像403即为“目前场景图像”，先前已识别的场景图像401及402，则称为“先前场景图像”。
36.当雨滴图像识别模型400识别完成目前场景图像中的所有雨滴图像后，可得知目前场景图像中的各雨滴图像421的数量及位置，并且可依据一预定顺序或随机挑选以去除各雨滴图像421。需注意的是，在各场景图像中原本的雨滴图像420的位置及尺寸系接近于识别出的雨滴图像421的位置及尺寸。在一些实施例中，雨滴图像识别模型400可设定一停止条件以停止继续识别并取代在各场景图像中的雨滴图像421，其中上述停止条件例如可为：(1)雨滴图像识别模型400在目前场景图像中已识别出一预定数量的雨滴图像421；或(2)雨滴图像识别模型400在目前场景图像中已识别出所有雨滴图像421(例如为第一数量n)，且已成功去除第一数量的一预定比例(例如0.5)的雨滴图像421，即n/2数量的雨滴图像421已被成功去除。
37.举例来说，若场景图像405为目前场景图像，当雨滴图像识别模型400已从场景图像405识别出雨滴图像421，将会记录雨滴图像421的位置及尺寸，例如类似于图2下半部分所绘示的位置及尺寸信息。雨滴去除程序133接着判断所识别出雨滴图像421是否可由先前场景图像(即场景图像401～404)中的相应区域所取代。
38.详细而言，雨滴去除程序133例如可计算在目前场景图像(例如场景图像405)中的雨滴图像与先前场景图像(例如场景图像401～404)中任一者的雨滴图像421的重迭程度，其中重迭程度例如可用交并比(intersection over union，iou)来表示，意即交集区域占联集区域的比例。举例来说，为了便于说明，假定在目前场景图像及先前场景图像中的雨滴图像421的尺寸均为a，且两者的重迭区域占雨滴图像421的面积的2/3(即)，表示联集区域为雨滴图像的面积的4/3(即)，此时，在目前场景图像及先前场景图像中的雨滴图像421相应的交并比
39.然而，即使是同一个雨滴，因为车辆在行进间进行拍摄，所以在不同时间点的场景图像中的雨滴图像的大小也可能会不同。但是，经由上述方式，雨滴去除程序133仍然可以计算出在目前场景图像及先前场景图像中的雨滴图像421的交并比。
40.在此实施例中，雨滴去除程序133还可设定一预定比例阈值(例如为0.5)，并判断
雨滴图像421的交并比是否小于该预定比例阈值。当交并比小于一预定比例阈值，表示目前场景图像及先前场景图像中的雨滴图像421的重迭程度较小，故雨滴去除程序133可判断此雨滴图像421为可还原，并将此雨滴图像421放入可还原的候选清单。换句话说，雨滴去除程序133可将目前场景图像中的雨滴图像与先前场景图像中的雨滴图像未重迭的部分由未重迭的部分在先前场景图像中的相应区域的像素所取代。因此，在目前场景图像中的雨滴图像的全部或一部分即可由先前场景图像中的相应区域的像素所取代。
41.在一些实施例中，雨滴去除程序133会先计算在目前场景图像(例如场景图像405，t＝n)中的雨滴图像与先前场景图像(例如场景图像404，t＝n-1)的雨滴图像421的交并比。若雨滴去除程序133判断上述交并比小于预定比例阈值，则雨滴去除程序133将目前场景图像中的该雨滴图像置入可还原候选列表中，并记录相应的先前场景图像404的信息。若雨滴去除程序133判断上述交并比大于或等于预定比例阈值时，雨滴去除程序133会再计算在目前场景图像(例如场景图像405，t＝n)中的雨滴图像与先前场景图像(例如场景图像403，t＝n-2)的雨滴图像421的交并比。类似地，若雨滴去除程序133判断上述交并比小于预定比例阈值，则雨滴去除程序133将目前场景图像中的该雨滴图像置入可还原候选列表中，并记录相应的先前场景图像403的信息。若雨滴去除程序133判断上述交并比大于或等于预定比例阈值时，雨滴去除程序133会再计算在目前场景图像(例如场景图像405，t＝n)中的雨滴图像与先前场景图像(例如场景图像402，t＝n-3)的雨滴图像421的交并比。
42.上述判断目前场景图像中的雨滴图像是否可置入可还原候选列表的流程可重复执行，且雨滴去除程序133最多往前比对一预定数量(例如4张)的先前场景图像为止，但本发明并不限于此。因此，雨滴去除程序133可依据目前场景图像中的雨滴图像421与各先前场景图像中的雨滴图像421之间的交并比以判断出雨滴图像421的移动轨迹。
43.换句话说，若目前场景图像中(例如场景图像405)的雨滴图像421与先前场景图像的任一者中的雨滴图像421的交并比均大于或等于预定比例阈值，则雨滴去除程序133不会将目前场景图像中的此雨滴图像置入可还原候选清单中。
44.在一些实施例中，若目前场景图像中(例如场景图像405)的雨滴图像421与多张先前场景图像的雨滴图像421的交并比小于预定比例阈值，则雨滴去除程序133会优先选择时间点较接近目前场景图像的先前场景图像以作为雨滴图像421在可还原候选清单中对应的先前场景图像。
45.在另一些实施例中，当有多张先前图像中的雨滴图像421相应的交并比小于预定比例阈值，雨滴去除程序133会先比较上述多个交并比，并选择具有最小交并比(即重迭部分最少)的先前场景图像以作为雨滴图像421在可还原候选清单中对应的先前场景图像。若有多张先前场景图像中的雨滴图像同时具有最小交并比，则雨滴去除程序133会优先选择时间点较接近目前场景图像的上述先前场景图像以作为雨滴图像421在可还原候选清单中对应的先前场景图像。
46.详细而言，当目前场景图像中的雨滴图像421被雨滴图像识别模型400识别出来，并且雨滴去除程序133将上述雨滴图像置入可还原候选清单中，表示雨滴去除程序133可对上述雨滴图像421进行雨滴去除处理。如图4b所示，目前场景图像(例如场景图像405)的雨滴图像421与先前场景图像(例如场景图像403)的雨滴图像421并未重迭，故相应的交并比为0。此即表示目前场景图像(例如场景图像405)的雨滴图像421在先前场景图像(例如场景
图像403)的相应的图像区域422中的像素可以完全取代在目前场景图像中的雨滴图像421以得到输出场景图像405’。需注意的是，为了便于计算，雨滴图像识别模型400识别出来的雨滴图像一般都是以长方形图像表示，且雨滴图像在先前场景图像中的相应图像区域则对应于雨滴图像的形状。经由视频序列中的不同时间点拍摄的场景图像，可以找出较适合取代目前场景图像中的雨滴图像的先前场景图像的对应图像区域。因此，本发明中的视频图像的雨滴去除方法可达到较佳的雨滴去除效果。
47.如图5a及图5c所示，图像捕获装置120所拍摄的目前场景图像510及530中有许多雨滴图像，且经过雨滴图像识别模型以识别出雨滴图像并且进行雨滴去除处理后可分别得到如图5b及图5d所示的输出场景图像511及531。
48.在一些实施例中，雨滴去除程序133可设定一感兴趣区域(region of interest，roi)或一优先区域，例如可设定位于场景图像的中心周围的预定区域作为感兴趣区域。若场景图像的高度为h、宽度为w，则感兴趣区域例如可为场景图像的中心点往上下延伸h/4以及往左右延伸w/4的区域，此感兴趣区域也是驾驶人注意力最集中的区域，故需要优先去除场景图像中的雨滴以改善后端图像处理及自动车驾驶决策的准确性及可靠性。
49.当目前场景图像相应的可还原候选列表中的雨滴图像的数量相当多时，若运算单元110有运算效能或功耗上的考虑，则运算单元110并不一定需要对目前场景图像中的所有雨滴图像进行雨滴去除处理。因此，雨滴去除程序133可优先对在可还原候选列表且位于感兴趣区域中的雨滴图像进行雨滴去除处理。若在可还原候选列表且位于感兴趣区域中的雨滴图像的数量仍然很多时，雨滴去除程序133可在感兴趣区域中以一预定顺序(例如循序扫描)或是随机挑选在可还原候选列表中的雨滴图像以进行雨滴去除处理。
50.类似于前述实施例，在此实施例中，雨滴图像识别模型400也可设定一停止条件以停止继续识别并取代在目前场景图像中的雨滴图像421，其中上述停止条件例如可为：(1)雨滴图像识别模型400在目前场景图像的感兴趣区域已识别出一预定数量的雨滴图像421；(2)雨滴图像识别模型400在目前场景图像的感兴趣区域中已识别出所有雨滴图像421(例如为第一数量n)，且已成功去除第一数量n的一预定比例(例如0.5)的雨滴图像421，即在感兴趣区域中有n/2数量的雨滴图像421已被成功去除。
51.在一具体实施例中，图1的非易失性存储器132可仅储存雨滴图像识别模型135。雨滴图像数据库136以及雨滴去除程序133可由其他运算装置储存并执行，而后将产生的雨滴图像识别模型135储存于运算装置100以进行上述操作，如此可减少运算装置100的所需资源。
52.图6是显示依据本发明一实施例中视频图像的雨滴去除方法的流程图。请同时参考图1及图6。
53.在步骤s610，利用多张雨天场景图像中已标示的多张第一雨滴图像以训练一雨滴图像识别模型。举例来说，使用者可在雨滴去除程序133的用户接口上标示在雨天场景图像200中的各雨滴图像210的位置及尺寸，且雨滴去除程序133可将各雨滴图像210的位置及尺寸以各雨滴图像210在雨天场景图像200所占的水平/垂直比例表示，其中水平/垂直比例为介于0到1之间的数值。
54.在步骤s620，利用该雨滴图像识别模型以识别在一视频序列中的多张场景图像中的多张雨滴图像，并记录各雨滴图像在该目前场景图像中的位置及尺寸。举例来说，图像捕
获装置120可用于获取上述视频序列，如图4a所示，假定图像捕获装置120每秒可拍摄5张场景图像，例如分别为场景图像401～405，且场景图像401～405会随着拍摄顺序输入至雨滴图像识别模型400以作为目前场景图像。
55.当场景图像401～405随着拍摄顺序输入至雨滴图像识别模型400以作为目前场景图像，雨滴图像识别模型400可依序识别出场景图像401～405中的雨滴图像421并记录各雨滴图像421的位置及尺寸。
56.在步骤s630，响应于该多张场景图像中的一目前场景图像中的特定雨滴图像满足一预定条件，将该特定雨滴图像由在该目前场景图像先前的该多张图像的一特定场景图像所对应的图像区域所取代以产生输出场景图像。举例来说，雨滴去除程序133可先分析在目前场景图像中的各雨滴图像的移动轨迹，例如可计算在目前场景图像(例如场景图像405)中的雨滴图像与先前场景图像(例如场景图像401～404)中任一者的雨滴图像421的重迭程度，其中重迭程度例如可用交并比(iou)来表示。雨滴去除程序133可重复执行判断目前场景图像中的雨滴图像是否可置入可还原候选列表的流程，且雨滴去除程序133最多往前比对一预定数量(例如4张)的先前场景图像为止，但本发明并不限于此。该预定条件例如为该目前场景图像中的该特定雨滴图像与该特定场景图像中的该特定雨滴图像的交并比小于一预定比例阈值(例如为0.5)。
57.此外，雨滴去除程序133依据各雨滴图像的移动轨迹以对目前场景图像中的各雨滴图像进行雨滴去除处理以得到去除雨滴后的输出场景图像。举例来说，雨滴去除程序133将在目前场景图像的可还原列表中的雨滴图像相应的先前场景图像的对应区域中的像素取代目前场景图像中的雨滴图像以得到去除雨滴后的输出场景图像。选择可还原列表中的雨滴图像的机制则可依据不同的情况进行调整，例如可针对整张目前场景图像中在可还原列表中的雨滴图像以一预定顺序或是随机挑选，亦或是可针对在目前场景图像的感兴趣区域中在可还原列表中的雨滴图像以一预定顺序或是随机挑选。
58.综上所述，本发明提供一种使用运算装置及视频图像的雨滴去除方法，其中经由视频序列中的不同时间点拍摄的场景图像，找出较适合取代目前场景图像中的雨滴图像的先前场景图像的对应图像区域。因此，本发明中的视频图像的雨滴去除方法可达到较佳的雨滴去除效果。当去除场景图像中的雨滴后，可进一步改善后端图像处理及自动车驾驶决策的准确性及可靠性。
59.本发明的方法，或特定型态或其部份，可以以程序代码的型态包含于实体介质，如软盘、光盘、硬盘、或是任何其他机器可读取(如计算机可读取)储存介质，其中，当程序代码被机器，如计算机加载且执行时，此机器变成用于参与本发明的装置或系统。本发明的方法、系统与装置也可以以程序代码型态通过一些传送介质，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当程序代码被机器，如计算机接收、加载且执行时，此机器变成用于参与本发明的装置或系统。当在一般用途处理器实作时，程序代码结合处理器提供一操作类似于应用特定逻辑电路的独特装置。
60.本发明虽以较佳实施例揭示如上，然其并非用于限定本发明的范围，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视后附的权利要求所界定者为准。
61.[符号说明]
[0062]
100:运算装置
[0063]
100:运算装置
[0064]
110:运算单元
[0065]
120:图像捕获装置
[0066]
130:储存单元
[0067]
131:易失性存储器
[0068]
132:非易失性存储器
[0069]
133:雨滴去除程序
[0070]
135:雨滴图像识别模型
[0071]
136:雨滴图像数据库
[0072]
150:显示器
[0073]
200:雨天场景图像
[0074]
210:雨滴训练图像
[0075]
300:对象识别模型
[0076]
310:输入层
[0077]
320:隐藏层
[0078]
330:输出层
[0079]
400:雨滴图像识别模型
[0080]
401-405:场景图像
[0081]
420、421:雨滴图像
[0082]
422:图像区域
[0083]
405’:输出场景图像
[0084]
510、530:目前场景图像
[0085]
511、531:输出场景图像
[0086]
s610－s630～步骤