一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像去噪处理方法、装置、存储介质与电子设备与流程

2022-02-23 01:44:25 来源:中国专利 TAG:
1.本公开涉及图像与视频处理
技术领域
:,尤其涉及一种图像去噪处理方法、图像去噪处理装置、计算机可读存储介质与电子设备。
背景技术
::2.图像噪声是指存在于图像数据中的干扰信息,通常来自于外部对图像系统的影响以及图像系统内部的误差、抖动等,会影响图像的视觉效果。相关技术中,图像去噪处理的效果有待提升。3.需要说明的是,在上述
背景技术
:部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域技术人员已知的现有技术的信息。技术实现要素:4.本公开提供一种图像去噪处理方法、图像去噪处理装置、计算机可读存储介质与电子设备,以至少在一定程度上提升图像去噪处理的效果。5.根据本公开的第一方面,提供一种图像去噪处理方法,包括:获取待处理图像,并获取所述待处理图像对应的惯性传感数据与所述待处理图像的场景信息;根据所述惯性传感数据与所述场景信息,确定所述待处理图像的运动信息;基于所述待处理图像的运动信息对所述待处理图像与参考图像进行融合,得到所述待处理图像对应的去噪图像;所述参考图像是与所述待处理图像针对相同拍摄场景并在不同时间拍摄的图像。6.根据本公开的第二方面,提供一种图像去噪处理装置,包括:图像获取模块,被配置为获取待处理图像,并获取所述待处理图像对应的惯性传感数据与所述待处理图像的场景信息;运动信息确定模块,被配置为根据所述惯性传感数据与所述场景信息,确定所述待处理图像的运动信息;图像融合模块,被配置为基于所述运动信息对所述待处理图像与参考图像进行融合,得到所述待处理图像对应的去噪图像;所述参考图像是与所述待处理图像针对相同拍摄场景并在不同时间拍摄的图像。7.根据本公开的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面的图像去噪处理方法及其可能的实现方式。8.根据本公开的第四方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述第一方面的图像去噪处理方法及其可能的实现方式。9.本公开的技术方案具有以下有益效果:10.基于上述方法,一方面,结合惯性传感数据与场景信息这两类信息来确定待处理图像的运动信息,能够匹配待处理图像对应的实际运动状况以及对于图像去噪力度的需求与偏好,从而准确指导图像时域去噪中待处理图像与参考图像的融合比例,提升了去噪效果。另一方面,本方案所采用的运动信息对应于合适的融合比例,相当于时域去噪处理中合适的图像去噪力度,由此能够减少由于去噪力度过大导致的运动模糊,或者去噪力度不足导致的图像噪声被保留较多的情况,提高了去噪处理后的图像质量。11.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。附图说明12.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。13.图1示出本示例性实施方式中一种系统架构的示意图;14.图2示出本示例性实施方式中一种电子设备的结构示意图;15.图3示出本示例性实施方式中一种图像去噪处理方法的流程图;16.图4示出本示例性实施方式中一种确定运动信息的流程图;17.图5示出本示例性实施方式中一种确定全局运动程度值的示意图;18.图6示出本示例性实施方式中一种确定运动信息的流程图;19.图7示出本示例性实施方式中一种图像去噪处理方法的示意图;20.图8示出本示例性实施方式中一种图像去噪处理装置的结构示意图。具体实施方式21.现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。22.此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。23.时域去噪(temporalnoisereduction,简称tnr)是指基于图像信号在时间域内的连续性进行去噪,通常是将时间上连续的多帧图像进行融合,以抑制单帧图像的噪声。相关技术中,在融合多帧图像时,难以确定合适的融合比例,从而影响去噪效果。24.鉴于上述问题,本公开的示例性实施方式提供一种图像去噪处理方法。下面结合图1对本示例性实施方式运行环境的系统架构与应用场景进行示例性说明。25.图1示出了系统架构的示意图,该系统架构100可以包括终端110与服务器120。其中,终端110可以是智能手机、平板电脑、台式电脑、笔记本电脑等终端设备,服务器120泛指提供本示例性实施方式中图像去噪处理相关服务的后台系统,可以是一台服务器或多台服务器形成的集群。终端110与服务器120之间可以通过有线或无线的通信链路形成连接,以进行数据交互。26.在一种实施方式中,可以由终端110执行本示例性实施方式中的图像去噪处理方法。例如,用户使用终端110拍摄视频图像或视频,或者用户在终端110的本地库中选取图像或视频时,终端110对该图像或该视频中的一帧或多帧图像进行去噪处理,输出去噪后的图像或视频。27.在一种实施方式中,可以由服务器120可以执行图像去噪处理方法。例如,用户使用终端110拍摄图像或视频,或者用户在终端110的本地库中选取图像或视频后,终端110将该图像或视频上传至服务器120,由服务器120对该图像或该视频中的一帧或多帧图像进行去噪处理,向终端110返回去噪后的图像或视频。28.由上可知,本示例性实施方式中的图像去噪处理方法的执行主体可以是上述终端110或服务器120,本公开对此不做限定。29.本公开的示例性实施方式还提供一种用于执行图像去噪处理方法的电子设备,该电子设备可以是上述终端110或服务器120。一般的,该电子设备可以包括处理器与存储器,存储器用于存储处理器的可执行指令,处理器配置为经由执行可执行指令来执行上述图像去噪处理方法。30.下面以图2中的移动终端200为例,对该电子设备的构造进行示例性说明。本领域技术人员应当理解,除了特别用于移动目的的部件之外,图2中的构造也能够应用于固定类型的设备。31.如图2所示,移动终端200具体可以包括:处理器201、存储器202、总线203、移动通信模块204、天线1、无线通信模块205、天线2、显示屏206、摄像模块207、音频模块208、电源模块209与传感器模块210。32.处理器201可以包括一个或多个处理单元,例如:处理器201可以包括ap(applicationprocessor,应用处理器)、调制解调处理器、gpu(graphicsprocessingunit,图形处理器)、isp(imagesignalprocessor,图像信号处理器)、控制器、编码器、解码器、dsp(digitalsignalprocessor,数字信号处理器)、基带处理器和/或npu(neural-networkprocessingunit,神经网络处理器)等。本示例性实施方式中的图像去噪处理方法可以由ap、gpu或dsp来执行,当方法涉及到神经网络相关的处理时,可以由npu来执行,例如npu可以加载神经网络参数并执行神经网络相关的算法指令。33.编码器可以对图像或视频进行编码(即压缩),以减小数据大小,便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩),以还原出图像或视频数据。移动终端200可以支持一种或多种编码器和解码器,例如:jpeg(jointphotographicexpertsgroup,联合图像专家组)、png(portablenetworkgraphics,便携式网络图形)、bmp(bitmap,位图)等图像格式,mpeg(movingpictureexpertsgroup,动态图像专家组)1、mpeg2、h.263、h.264、hevc(highefficiencyvideocoding,高效率视频编码)等视频格式。34.处理器201可以通过总线203与存储器202或其他部件形成连接。35.存储器202可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器201通过运行存储在存储器202的指令,执行移动终端200的各种功能应用以及数据处理。存储器202还可以存储应用数据,例如存储图像,视频等文件。36.移动终端200的通信功能可以通过移动通信模块204、天线1、无线通信模块205、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块204可以提供应用在移动终端200上2g、3g、4g、5g等移动通信解决方案。无线通信模块205可以提供应用在移动终端200上的无线局域网、蓝牙、近场通信等无线通信解决方案。37.显示屏206用于实现显示功能,如显示用户界面、图像、视频等。摄像模块207用于实现拍摄功能,如拍摄图像、视频等。音频模块208用于实现音频功能,如播放音频,采集语音等。电源模块209用于实现电源管理功能,如为电池充电、为设备供电、监测电池状态等。38.传感器模块210可以包括惯性传感器2101,用于检测移动终端200的运动位姿,输出惯性传感数据。在一种实施方式中,惯性传感器2101可以包括陀螺仪,其可以输出移动终端200在运动过程中的三轴角速度。在一种实施方式中,惯性传感器2101也可以包括加速度计,其可以输出移动终端200在运动过程中的三轴加速度。39.此外,传感器模块210还可以包括其他类型的传感器,用于实现相应的感应检测功能。40.下面结合图3对本示例性实施方式中的图像去噪处理方法进行说明,图3示出了该图像去噪处理方法的示例性流程,可以包括:41.步骤s310,获取待处理图像,并获取待处理图像对应的惯性传感数据与待处理图像的场景信息;42.步骤s320,根据惯性传感数据与场景信息,确定待处理图像的运动信息;43.步骤s330,基于待处理图像的运动信息对待处理图像与参考图像进行融合,得到待处理图像对应的去噪图像。44.基于上述方法,一方面,结合惯性传感数据与场景信息这两类信息来确定待处理图像的运动信息,能够匹配待处理图像对应的实际运动状况以及对于图像去噪力度的需求与偏好,从而准确指导图像时域去噪中待处理图像与参考图像的融合比例,提升了去噪效果。另一方面,本方案所采用的运动信息对应于合适的融合比例,相当于时域去噪处理中合适的图像去噪力度,由此能够减少由于去噪力度过大导致的运动模糊,或者去噪力度不足导致的图像噪声被保留较多的情况,提高了去噪处理后的图像质量。45.下面对图3中的每个步骤进行具体说明。46.参考图3,在步骤s310中,获取待处理图像,并获取待处理图像对应的惯性传感数据与待处理图像的场景信息。47.待处理图像是需要进行去噪处理的图像。本公开对于待处理图像的来源不做限定,例如待处理图像可以是当前拍摄的图像,或者是用户在本地库中选取的图像,或者是从其他设备获取的图像。48.在一种实施方式中,待处理图像可以是连续多帧图像中的一帧图像,例如可以是视频中的当前帧图像。49.待处理图像对应的惯性传感数据是指设备拍摄待处理图像时的惯性传感数据。例如,上述移动终端200在拍摄待处理图像时,其惯性传感器2101同步输出惯性传感数据。50.在一种实施方式中,待处理图像与惯性传感数据均携带有时间戳,待处理图像的时间戳表示拍摄或输出待处理图像的时间,惯性传感数据的时间戳表示检测或输出惯性传感数据的时间。通过将待处理图像的时间戳与惯性传感数据的时间戳进行对应,可以将待处理图像与惯性传感数据对应起来。51.场景信息是反映待处理图像的拍摄场景(本文中的拍摄场景包括拍摄对象)的信息。在一种实施方式中,待处理图像的场景信息可以包括场景标签(scenetag),场景标签表示待处理图像的拍摄场景的分类标签,例如可以是风景、海滩、蓝天、绿草、雪景、夜景、日落、烟火、聚光灯、室内、文本、人像、婴儿、猫、狗、美食等。在一种实施方式中,待处理图像的场景信息可以包括多个场景标签,例如待处理图像包括多个拍摄对象,不同拍摄对象可以对应于不同场景标签,或者待处理图像中的前景与背景对应于不同场景标签。示例性的,待处理图像的场景信息可以包括人像与其他场景标签,如待处理图像为在雪地中拍摄的人像,则场景信息可以包括人像与雪景两个场景标签。52.本公开对于获取场景信息的方式不做限定。例如,用户在拍摄待处理图像时,提供多种可选的拍摄模式,如可以包括人像、夜景、室内、文本等拍摄模式,由此可以根据用户选择的拍摄模式确定待处理图像的场景信息。53.在一种实施方式中,可以在获取待处理图像后对其进行场景检测,以得到场景信息。可以通过人工智能的方式或者非人工智能的图像处理方式实现场景检测。示例性的,人工智能的方式可以包括采用预先训练的神经网络对待处理图像进行场景检测,以输出场景信息。非人工智能的图像处理方式可以包括对待处理图像进行色彩检测,根据色彩检测结果确定场景信息,如检测出待处理图像中包括大片区域的天蓝色,则确定待处理图像的场景为蓝天。54.在一种实施方式中,可以结合上述人工智能的方式与非人工智能的图像处理方式来实现场景检测。例如分别采用神经网络与色彩检测进行场景检测后,综合两方面的检测结果来确定场景信息。55.在一种实施方式中,场景信息可以包括待处理图像的全局场景信息和/或待处理图像中至少一个局部区域的局部场景信息。56.全局场景信息是指针对整张待处理图像的场景信息。一般的,待处理图像在宏观上表现为某种拍摄场景,该场景的信息即为待处理图像的全局场景信息。与之相对的,局部场景信息是指针对待处理图像的局部区域的场景区域,通常是局部的某个拍摄对象对应的场景信息。举例来说,待处理图像为人和狗在雪地中拍摄的图像,当人和狗在待处理图像中所占的比例不高时,待处理图像的全局场景信息可以是雪地,人所在的局部区域的局部场景信息可以是人像,狗所在的局部区域的局部场景信息可以是狗;当人在待处理图像中所占的比例较高时,待处理图像的全局场景信息可以是人像,狗所在的局部区域的局部场景信息可以是狗,雪地部分的局部区域的局部场景信息可以是雪地。57.在一种实施方式中,可以训练全局场景检测模型与局部场景检测模型,分别用于检测待处理图像的全局场景信息与局部场景信息。例如,全局场景检测模型可以是图像分类模型,用于输出对待处理图像在全局上进行分类的场景标签;局部场景检测模型可以是语义分割模型,用于输出待处理图像中每个局部区域(或每个像素点)的语义分类结果(即场景标签)。58.在一种实施方式中,也可以训练一个模型,同时用于进行全局的场景分类与局部的场景分类,输出全局场景信息与局部场景信息。59.在一种实施方式中,也可以通过全局场景检测模型确定待处理图像的全局场景信息,进而采用非人工智能的图像处理方式(如色彩检测)确定待处理图像的局部场景信息。60.继续参考图3,在步骤s320中,根据惯性传感数据与场景信息,确定待处理图像的运动信息。61.运动信息表示待处理图像中的拍摄内容(如人、动物、建筑等)或整体的运动程度。在一种实施方式中,运动信息可以表示待处理图像中不同部分的拍摄内容的运动程度。也就是说,对于待处理图像中的不同部分,可以确定不同的运动程度。示例性的,可以将运动信息通过运动图像(motionmap)的方式加以表示,运动图像可以与待处理图像的像素数相同,运动图像中的每个像素点表示待处理图像中对应像素点的运动程度。62.运动信息可用于后续的图像时域去噪处理。一般的,待处理图像中某个像素点或某个区域的运动程度越高,则在融合待处理图像与参考图像时,该像素点或该区域内越容易产生运动模糊,因此该像素点或该区域内参考图像所占的比例可以越低,表示图像去噪力度越小。63.本示例性实施方式根据惯性传感数据与场景信息这两类信息来确定待处理图像的运动信息。其中,惯性传感数据表示拍摄待处理图像的设备的运动位姿,其可以量化为待处理图像整体的运动程度。场景信息可以从两方面影响待处理图像的运动信息。一方面,待处理图像的拍摄场景可能属于动态场景或静态场景,由此可以在一定程度上确定待处理图像的运动信息。另一方面,待处理图像的场景信息可以反映在待处理图像的拍摄场景中可能存在的噪声程度,以及待处理图像对于图像去噪力度的需求与偏好,实质上表示在待处理图像的拍摄场景中,图像去噪或运动模糊对于视觉效果的影响大小。基于该思想,可以根据待处理图像的场景信息对运动信息进行调整,以实现对图像去噪力度的调整。64.在一种实施方式中,场景信息可以包括待处理图像的全局场景信息。参考图4所示,上述根据惯性传感数据与场景信息,确定待处理图像的运动信息,可以包括以下步骤s410至s430:65.步骤s410,根据全局场景信息确定对应的全局运动判别信息。66.其中,全局运动判别信息是用于对待处理图像的全局运动程度进行判别的信息。例如,全局运动判别信息可以是惯性传感数据与全局运动程度间的数值映射参数。67.在一种实施方式中,全局运动判别信息可以包括n个全局运动判别数值区间,n为不小2的正整数。该n个全局运动判别数值区间可以按照由小到大的顺序排列,分别表示不同程度的运动。例如最小的全局运动判别数值区间可以表示待处理图像基本为静止状态,不容易产生运动模糊;中间的全局运动判别数值区间可以表示待处理图像为中等运动状态,可能产生运动模糊;最大的全局运动判别数值区间可以表示待处理图像为剧烈运动状态,容易产生运动模糊。68.上述n个全局运动判别数值区间可以分别对应n个运动程度值。举例来说,可以确定4个全局运动判别数值区间,由小到大依次为[0,th1)、[th1,th2)、[th2,th3)、[th3,∞),其中th1、th2、th3表示用于确定全局运动判别数值区间的分割阈值,4个全局运动判别数值区间分别对应依次递增的运动程度值k1、k2、k3、k4。[0069]在一种实施方式中,可以根据全局场景信息确定上述分割阈值th1、th2、th3,以得到n个全局运动判别数值区间。可见,分割阈值或全局运动判别数值区间实际上表示对于全局运动程度的判别标准。根据全局场景信息,可以判断在待处理图像的拍摄场景下,可能存在的噪声程度和对于图像去噪的需求与偏好,进而对全局运动判别数值区间进行相应设置。举例来说,当全局场景信息为天空时,对于图像细节的偏好较低,可以确定对应的th1=10,th2=20,th3=40,从而得到相对较大的全局运动判别数值区间,倾向于将待处理图像的全局运动程度判别为较低的数值,以提高图像去噪力度。当全局场景信息为草地时,对于图像细节的偏好较高,可以确定对应的th1=5,th2=15,th3=25,从而得到相对较小的全局运动判别数值区间,倾向于将待处理图像的全局运动程度判别为较高的数值,以降低图像去噪力度。[0070]步骤s420,根据惯性传感数据与全局运动判别信息的关系,确定第一中间运动信息。[0071]第一中间运动信息是指不采用图像帧间差别信息,而是通过场景信息、惯性传感数据等其他信息确定的运动信息。相对应的,第二中间运动信息是指采用图像帧间差别信息(通常是待处理图像与其参考图像间的差别)所确定的运动信息。第一中间运动信息与第二中间运动信息均可以单独作为待处理图像的运动信息,也可以将两者融合,得到待处理图像的运动信息。[0072]在一种实施方式中,第一中间运动信息可以用于表示待处理图像的全局运动程度值。例如第一中间运动信息可以是第一中间运动图像,该图像与待处理图像的尺寸相同,图像中各个点的数值相同,均为全局运动程度值。[0073]基于全局运动判别信息,可以判别惯性传感数据对应于哪个或哪些全局运动程度值,从而得到第一中间运动信息。[0074]在一种实施方式中,上述根据惯性传感数据与全局运动判别信息的关系,确定第一中间运动信息,可以包括以下步骤:[0075]将多个维度的惯性传感数据进行融合,得到惯性传感数据量化值;[0076]根据惯性传感数据量化值所处的全局运动判别数值区间,确定第一中间运动信息。[0077]其中,每个维度的惯性传感数据可以表征在特定方向上的运动程度。多个维度的惯性传感数据可以包括三轴角速度,或者三轴角速度与三轴加速度。通过将多个维度的惯性传感数据进行融合,得到能够表征设备整体运动程度的惯性传感数据量化值。[0078]在一种实施方式中,可以将多个维度的惯性传感数据归一化后相加,以作为惯性传感数据量化值。还可以对不同维度设置相应的权重,并在对多个维度的惯性传感数据归一化后加权求和,得到惯性传感数据量化值。例如三轴角速度表示设备的转动,三轴加速度表示设备的平移,相较而言转动比平移更容易引入图像噪声,因此可以对三轴角速度设置较大的权重,对三轴加速度设置较小的权重。[0079]通过比较惯性传感数据量化值与上述n个全局运动判别数值区间,确定其所处的那个区间,进而将该区间对应的运动程度值作为待处理图像的全局运动程度值,以得到第一中间运动信息。[0080]参考图5进行具体说明。对待处理图像对应的惯性传感数据进行多维度融合,得到惯性传感数据量化值,假设其值为18。如果待处理图像的全局场景信息为天空,天空场景对应的全局运动判别数值区间分别为[0,10)、[10,20)、[20,40)、[40,∞),惯性传感数据量化值18属于区间[10,20),对应的全局运动程度值为k2,由此得到第一中间运动信息。如果待处理图像的全局场景信息为草地,草地场景对应的全局运动判别数值区间分别为[0,5)、[5,15)、[15,25)、[25,∞),相比于天空场景下的区间来说,整体上向左(向数值更小的方向)偏移。惯性传感数据量化值18属于区间[15,25),对应的全局运动程度值为k3,由此得到第一中间运动信息。可见,同样是惯性传感数据量化值18,在天空场景下对应的全局运动程度值为k2,在草地场景下对应的全局运动程度值为k3,因此在天空场景下倾向于提高图像去噪力度,在草地场景下倾向于降低图像去噪力度。由此能够根据具体的场景针对性地确定全局运动程度值,从而有利于在图像时域去噪中采用合适的融合比例,提升去噪效果。[0081]在一种实施方式中,全局运动判别信息可以是惯性传感数据与全局运动程度间的数值映射参数。则在步骤s420中,可以利用该数值映射参数将惯性传感数据映射为对应的全局运动程度值,以得到第一中间运动信息。例如,全局运动判别信息可以是数值映射比例,天空场景对应的数值映射比例较低,草地场景对应的数值映射比例较高,则对于相同的惯性传感数据而言,在天空场景下可以映射为较低的全局运动程度值,在草地场景下可以映射为较高的全局运动程度值。进而得到适合于具体场景的图像融合比例,以提升去噪效果。[0082]步骤s430,基于第一中间运动信息确定待处理图像的运动信息。[0083]可以将第一中间运动信息单独作为待处理图像的运动信息。也可以结合第一中间运动信息与其他方面的运动信息(如第二中间运动信息),以确定待处理图像的运动信息。[0084]在一种实施方式中,场景信息还可以包括待处理图像中至少一个局部区域的局部场景信息。参考图6所示,上述基于第一中间运动信息确定待处理图像的运动信息,可以包括以下步骤s610和s620:[0085]步骤s610,根据待处理图像与参考图像间的差别以及局部区域的局部场景信息,确定第二中间运动信息。[0086]参考图像是与待处理图像针对相同拍摄场景并在不同时间拍摄的图像。参考图像与待处理图像的拍摄时间通常处于一定的时间域内,以避免两图像的拍摄时间间隔过远。本公开对于该时间域的大小不做限定,可以根据图像拍摄的帧率以及实际情况确定,如该时间域可以是1秒,则参考图像与待处理图像的拍摄时间间隔不会超过1秒。[0087]示例性的,待处理图像为连续多帧图像中的某一帧图像,参考图像可以是该连续多帧图像中的其他帧图像,如可以是待处理图像的相邻帧图像。在一种实施方式中,待处理图像为视频中的当前帧图像,参考图像可以是当前图像的前m帧图像,m为正整数。[0088]如上所述,第二中间运动信息是指采用图像帧间差别信息所确定的运动信息,图像帧间差别信息可以包括待处理图像与参考图像间的差别。本示例性实施方式中,还可以结合局部区域的局部场景信息,来确定第二中间运动信息。[0089]在一种实施方式中,第二中间运动信息可以用于表示待处理图像的局部运动程度值。例如第二中间运动信息可以是第二中间运动图像,该图像与待处理图像的尺寸相同,图像中各个点的数值分别为各个点的局部运动程度值。[0090]一般的,在待处理图像的某个像素点或某个区域内,如果待处理图像与参考图像的差别较大,说明该像素点或该区域的局部运动程度较高。而从局部区域的局部场景信息来考虑,可以根据该局部区域对于图像去噪的需求与偏好,来对局部运动程度值产生影响。由此综合待处理图像与参考图像间的差别以及局部区域的局部场景信息两方面信息来得到局部运动程度值,有利于提高局部运动程度值的精细度与准确度。[0091]在一种实施方式中,上述根据待处理图像与参考图像间的差别以及局部区域的局部场景信息,确定第二中间运动信息,可以包括以下步骤:[0092]根据局部区域的局部场景信息确定对应的局部运动判别信息;[0093]根据待处理图像与参考图像间的差别以及局部运动判别信息,确定第二运动信息。[0094]其中,局部运动判别信息用于对待处理图像的局部运动程度进行判别的信息。例如,局部运动判别信息可以是图像差值(即待处理图像与参考图像间的差值)与局部运动程度间的数值映射参数。[0095]在一种实施方式中,局部运动判别信息可以包括h个局部运动判别数值区间,h为不小2的正整数。该h个局部运动判别数值区间可以按照由小到大的顺序排列,分别表示不同程度的运动。例如最小的局部运动判别数值区间可以表示待处理图像基本为静止状态,不容易产生运动模糊;中间的局部运动判别数值区间可以表示待处理图像为中等运动状态,可能产生运动模糊;最大的局部运动判别数值区间可以表示待处理图像为剧烈运动状态,容易产生运动模糊。[0096]上述h个局部运动判别数值区间可以分别对应h个运动程度值。举例来说,可以确定3个局部运动判别数值区间,由小到大依次为[0,th4)、[th4,th5)、[th5,∞),其中th4、th5表示用于确定局部运动判别数值区间的分割阈值,3个局部运动判别数值区间分别对应依次递增的运动程度值k5、k6、k7。[0097]在一种实施方式中,可以根据局部场景信息确定上述分割阈值th4、th5,以得到h个局部运动判别数值区间。可见,分割阈值或局部运动判别数值区间实际上表示对于局部运动程度的判别标准。根据局部场景信息,可以判断在待处理图像的拍摄场景下,可能存在的噪声程度和对于图像去噪的需求与偏好,进而对局部运动判别数值区间进行相应设置。[0098]基于局部运动判别信息,可以判别图像差值对应于哪个或哪些局部运动程度值,从而得到第二中间运动信息。[0099]在一种实施方式中,在确定局部区域的图像差值后,确定该图像差值处于上述h个局部运动判别数值区间中的哪个区间,进而将该区间对应的局部运动程度值作为该局部区域的局部运动程度值,以得到第二中间运动信息。[0100]在一种实施方式中,局部运动判别信息可以是图像差值与局部运动程度间的数值映射参数。则可以利用该数值映射参数将图像差值映射为对应的局部运动程度值,以得到第二中间运动信息。[0101]步骤s620,融合第一中间运动信息与第二中间运动信息,得到待处理图像的运动信息。[0102]可以将第一中间运动信息与第二中间运动信息进行像素级融合。示例性的,将第一中间运动信息与第二中间运动信息在每个点上取平均值或最大值等,得到融合后的运动信息。[0103]在一种实施方式中,可以根据第一中间运动信息对第二中间运动信息进行调整,相当于融合第一中间运动信息与第二中间运动信息,得到待处理图像的运动信息。例如,第一中间运动信息用于表示待处理图像的全局运动程度值,可以计算第二中间运动信息的平均值或中值,将其与全局运动程度值进行比较,如计算差值等,从而得到调整量;进而按照该调整量对第二中间运动信息进行整体调整,得到最终的运动信息。[0104]通过融合第一中间运动信息与第二中间运动信息,相当于结合惯性传感数据、场景信息、图像差值等多方面信息来确定运动信息,有利于提高运动信息的准确度以及图像去噪质量。[0105]在一种实施方式中,场景信息可以包括待处理图像中至少一个局部区域的局部场景信息。上述根据惯性传感数据与场景信息,确定待处理图像的运动信息,可以包括以下步骤:[0106]根据惯性传感数据确定待处理图像的全局运动信息;[0107]基于局部区域的局部场景信息对全局运动信息进行调整,得到第一中间运动信息;[0108]基于第一中间运动信息确定待处理图像的运动信息。[0109]由上可知,可以不使用场景信息,而仅根据惯性传感数据确定待处理图像的全局运动信息,该全局运动信息用于表示待处理图像的全局运动程度。[0110]示例性的,可以预先设置固定的全局运动判别信息,得到惯性传感数据后,根据该惯性传感数据与全局运动判别信息确定全局运动信息。[0111]局部区域的局部场景信息反映了该局部区域对于图像去噪的需求与偏好,从而可以对局部运动程度值产生影响。由此,可以基于局部区域的局部场景信息对全局运动信息进行调整,得到局部区域的局部运动程度值,从而得到第一中间运动信息。[0112]需要说明的是,本实施方式中的第一中间运动信息可用于表示待处理图像中局部区域的局部运动程度。[0113]在得到第一中间运动信息后,可以将第一中间运动信息单独作为待处理图像的运动信息,也可以结合第一中间运动信息与其他方面的运动信息(如第二中间运动信息),以确定待处理图像的运动信息。[0114]在一种实施方式中,上述基于第一中间运动信息确定待处理图像的运动信息,可以包括以下步骤:[0115]根据待处理图像与参考图像间的差别,确定第二中间运动信息;[0116]融合第一中间运动信息与第二中间运动信息,得到待处理图像的运动信息。[0117]由于在确定第一中间运动信息时已经使用了局部区域的局部场景信息,因此在确定第二中间运动信息时,可以不使用局部区域的局部场景信息,而仅根据待处理图像与参考图像间的差别确定第二中间运动信息。[0118]示例性的,可以预先设置固定的局部运动判别信息,得到待处理图像与参考图像间的差别后,根据该差别与局部运动判别信息确定第二中间运动信息。[0119]进而,可以将第一中间运动信息与第二中间运动信息进行融合,将融合后的运动信息作为待处理图像的运动信息。[0120]在确定待处理图像的运动信息后,继续参考图3,在步骤s330中,基于待处理图像的运动信息对待处理图像与参考图像进行融合,得到待处理图像对应的去噪图像。[0121]其中,待处理图像的运动信息包括待处理图像中每个像素点的运动程度值。由此,可以根据每个像素点的运动程度值,确定每个像素点对应的融合比例,然后基于融合比例对待处理图像与参考图像进行像素级融合,得到去噪图像,从而完成图像时域去噪处理。[0122]在一种实施方式中,还可以在图像时域去噪处理之前或之后,进行图像空域去噪处理。示例性的,可以根据待处理图像的场景信息确定滤波参数,根据该滤波参数对待处理图像进行空域去噪处理。进而以空域去噪处理后的图像作为新的待处理图像,执行图像时域去噪处理。[0123]图7示出了根据本示例性实施方式的一种图像去噪处理方法的示意图。[0124]如图7所示,该图像去噪处理方法可以包括:[0125]步骤s701,获取第i帧原始图像,记为原始图像i,对原始图像i进行空域去噪处理,得到待处理图像i;并获取对应的惯性传感数据i;[0126]步骤s702,对待处理图像i进行场景检测,得到全局场景信息与局部场景信息;[0127]步骤s703,根据全局场景信息确定全局运动判别信息;[0128]步骤s704,根据惯性传感数据i与全局运动判别信息的关系,确定第一中间运动信息;[0129]步骤s705,根据待处理图像i与参考图像i-1的差别确定图像差别信息;参考图像可以是原始图像i的前一帧或多帧图像,记为参考图像i-1;[0130]步骤s706,根据图像差别信息与局部场景信息确定第二中间运动信息,例如可以根据局部场景信息确定局部运动判别信息,并根据图像差别信息与局部运动判别信息的关系确定第二中间运动信息;[0131]步骤s707,将第一中间运动信息与第二中间运动信息融合,得到待处理图像i的运动信息,记为运动信息i;[0132]步骤s708,基于运动信息i,将待处理图像i与参考图像i-1进行融合,以进行时域去噪处理,得到去噪图像,该去噪图像可用于输出,从而完成图像去噪处理流程。[0133]本公开的示例性实施方式还提供一种图像去噪处理装置。参考图8所示,该图像去噪处理装置800可以包括:[0134]图像获取模块810,被配置为获取待处理图像,并获取待处理图像对应的惯性传感数据与待处理图像的场景信息;[0135]运动信息确定模块820,被配置为根据惯性传感数据与场景信息,确定待处理图像的运动信息;[0136]图像融合模块830,被配置为基于运动信息对待处理图像与参考图像进行融合,得到待处理图像对应的去噪图像;参考图像是与待处理图像针对相同拍摄场景并在不同时间拍摄的图像。[0137]在一种实施方式中,场景信息包括待处理图像的全局场景信息。上述根据惯性传感数据与场景信息,确定待处理图像的运动信息,包括:[0138]根据全局场景信息确定对应的全局运动判别信息;[0139]根据惯性传感数据与全局运动判别信息的关系,确定第一中间运动信息;[0140]基于第一中间运动信息确定待处理图像的运动信息。[0141]在一种实施方式中,全局运动判别信息包括n个全局运动判别数值区间,n为不小2的正整数;上述根据惯性传感数据与全局运动判别信息的关系,确定第一中间运动信息,包括:[0142]将多个维度的惯性传感数据进行融合,得到惯性传感数据量化值;[0143]根据惯性传感数据量化值所处的全局运动判别数值区间,确定第一中间运动信息。[0144]在一种实施方式中,场景信息还包括待处理图像中至少一个局部区域的局部场景信息。上述基于第一中间运动信息确定待处理图像的运动信息,包括:[0145]根据待处理图像与参考图像间的差别以及局部区域的局部场景信息,确定第二中间运动信息;[0146]融合第一中间运动信息与第二中间运动信息,得到待处理图像的运动信息。[0147]在一种实施方式中,上述根据待处理图像与参考图像间的差别以及局部区域的局部场景信息,确定第二中间运动信息,包括:[0148]根据局部区域的局部场景信息确定对应的局部运动判别信息;[0149]根据待处理图像与参考图像间的差别以及局部运动判别信息,确定第二运动信息。[0150]在一种实施方式中,场景信息包括待处理图像中至少一个局部区域的局部场景信息。上述根据惯性传感数据与场景信息,确定待处理图像的运动信息,包括:[0151]根据惯性传感数据确定待处理图像的全局运动信息;[0152]基于局部区域的局部场景信息对全局运动信息进行调整,得到第一中间运动信息;[0153]基于第一中间运动信息确定待处理图像的运动信息。[0154]在一种实施方式中,上述基于第一中间运动信息确定待处理图像的运动信息,还包括:[0155]根据待处理图像与参考图像间的差别,确定第二中间运动信息;[0156]融合第一中间运动信息与第二中间运动信息,得到待处理图像的运动信息。[0157]上述装置中各部分的具体细节在方法部分实施方式中已经详细说明,未披露的细节内容可以参见方法部分的实施方式内容,因而不再赘述。[0158]本公开的示例性实施方式还提供了一种计算机可读存储介质,可以实现为一种程序产品的形式,其包括程序代码,当程序产品在电子设备上运行时,程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。在一种可选的实施方式中,该程序产品可以实现为便携式紧凑盘只读存储器(cd-rom)并包括程序代码,并可以在电子设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。[0159]程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。[0160]计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。[0161]可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、rf等等,或者上述的任意合适的组合。[0162]可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如java、c 等,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(lan)或广域网(wan),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。[0163]应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的示例性实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。[0164]所属
技术领域
:的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方式。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本
技术领域
:中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的,本公开的真正范围和精神由权利要求指出。[0165]应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。当前第1页12当前第1页12
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献