一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像融合方法、装置、终端设备以及存储介质与流程

2021-12-04 01:26:00 来源:中国专利 TAG:
图像融合方法、装置、终端设备以及存储介质【
技术领域
:】1.本技术实施例涉及图像处理
技术领域
:,尤其涉及一种图像融合方法、装置、终端设备以及存储介质。
背景技术
::2.为了获得目标场景细节更丰富的影像,许多成像设备针对目标场景在连续时间拍摄多张影像,再对多张连拍影像进行融合,以抑制单帧图像的噪声,增强图像的细节,得到亮部和暗部细节丰富且色彩清晰的融合图像,具有十分重要的意义。3.在目标场景存在移动目标,移动目标在每帧图像的位置不同;或者融合多帧图像过程中出现配准偏差,都会造成由多帧图像融合得到的融合图像会出现鬼影或重影。技术实现要素:4.本技术实施例提供了一种图像融合方法、装置、终端设备以及存储介质,采用影响图像块像素点差异的偏差修正参数,调整图像块的融合权重,使得图像块以调整后的融合权重,与参考图像进行融合,以实现复杂度较低的方法保证图像融合更加准确。5.第一方面,本技术实施例提供一种图像融合方法,所述方法包括:6.获得参考图像块和待融合图像块;7.获得所述待融合图像块中每个像素点的偏差修正参数,利用每个像素点的偏差修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值,得到调整后的差值所对应的待融合图像块的融合权重;8.根据所述待融合图像块的融合权重,对所述待融合图像块和所述参考图像块进行融合。9.上述图像融合方法中,获得影响待融合图像块像素点差异的偏差修正参数,采用偏差修正参数调整待融合图像块像素点与参考图像块像素点的差异,还原得到待融合图像块像素点与参考图像块像素点的真实差异,根据待融合图像块像素点与参考图像块像素点的真实差异,对图像块设置符合图像块像素点与参考图像块真实差异的融合权重,使得图像融合不会受配准偏差和运动目标的影响,进而保证待融合图像块像素点与参考图像块像素点的图像融合更加准确,解决融合图像出现鬼影的问题。10.其中一种可能的实现方式中,所述获得所述待融合图像块中每个像素点的偏差修正参数,包括:11.获得所述待融合图像块中每个像素点的对齐偏差修正参数和像素点亮度修正参数;12.在所述对齐偏差修正参数和所述像素点亮度修正参数中取较大者作为所述偏差修正参数。13.其中一种可能的实现方式中,所述偏差修正参数包括对齐偏差修正参数,所述获得所述待融合图像块中每个像素点的偏差修正参数,包括:14.根据所述参考图像块和所述待融合图像块在对齐过程中出现的对齐偏差,获得所述待融合图像块中每个像素点的对齐偏差修正参数;15.所述利用每个像素点的所述偏差修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值,包括:16.利用每个像素点的所述对齐偏差修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值。17.其中一种可能的实现方式中,所述待融合图像块为待融合图像帧中的一个图像块,所述待融合图像块附近的图像块和所述待融合图像块组成一个图像区域,根据所述参考图像块和所述待融合图像块在对齐过程中出现的对齐偏差,获得所述待融合图像块中每个像素点的对齐偏差修正参数,包括:18.计算所述待融合图像块所位于的图像区域中对齐向量相差最大的两个图像块的对齐向量差异强度;其中,所述对齐向量差异强度表征所述图像区域中所有图像块整体的对齐准确性;19.将所述待融合图像块对应的所有图像区域的对齐向量差异强度的平均值,带入预先设置的对齐曲线,获得所述待融合图像块中每个像素点的对齐偏差修正参数。20.其中一种可能的实现方式中,所述偏差修正参数包括像素点亮度修正参数,所述获得所述待融合图像块中每个像素点的偏差修正参数,包括:21.获得所述待融合图像块中每个像素点的亮度信息值;22.将每个像素点的亮度信息值带入依据场景感光度值预先设置的亮度曲线,获得所述待融合图像块中每个像素点的所述像素点亮度修正参数;23.所述利用每个像素点的所述偏差修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值,包括:24.所述利用每个像素点的所述像素点亮度修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值。25.其中一种可能的实现方式中,所述方法还包括:26.计算所述待融合图像块中像素点平均值与所述参考图像块中像素点平均值的差值,获得所述待融合图像块的像素均值差;27.根据场景亮度信息值,设置所述待融合图像块的图像块亮度修正参数;28.利用预先设置的图像块亮度修正参数,调整所述待融合图像块的像素均值差,得到所述待融合图像块的相似权重,其中,所述图像块亮度修正参数和所述场景亮度信息值成反比;29.利用所述图像块相似权重,调整所述融合权重;30.根据所述待融合图像块的融合权重,对所述待融合图像块和所述参考图像块进行融合,包括:31.根据所述待融合图像块调整后的融合权重,对所述待融合图像块和所述参考图像块进行融合。32.其中一种可能的实现方式中,所述待融合图像块所位于的图像区域包括水平区域和垂直区域;所述计算所述待融合图像块所位于所述的图像区域中对齐向量相差最大的两个图像块的对齐向量差异强度,包括:33.对所述水平区域中所有图像块的水平位移进行排序,获得所述水平区域中具有最大水平位移的图像块,和具有最小水平位移的图像块;34.对所述垂直区域中所有图像块的垂直位移进行排序,获得所述垂直区域中具有最大垂直位移的图像块,和具有最小垂直位移的图像块;35.计算所述最大水平位移与所述最小水平位移的差值,获得所述水平区域的对齐向量差异强度;36.计算所述最大垂直位移与所述最小垂直位移的差值,获得所述垂直区域的对齐向量差异强度;37.将所述待融合图像块对应的所有图像区域的对齐向量差异强度的平均值,带入预先设置的对齐曲线,获得所述待融合图像块中每个像素点的对齐偏差修正参数,包括:38.对所述水平区域的对齐向量差异强度的平方与所述垂直区域的对齐向量差异强度的平方之和开根号,得到所述水平区域的对齐向量差异强度和所述垂直区域的对齐向量的平均值;39.将所述水平区域的对齐向量差异强度和所述垂直区域的对齐向量的平均值,带入预先设置的对齐曲线,获得所述待融合图像块中每个像素点的对齐偏差修正参数。40.其中一种可能的实现方式中,所述方法还包括:41.获得所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值组成的差值矩阵;42.利用每个像素点的所述偏差修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值,得到调整后的差值所对应的待融合图像块的融合权重,包括:43.将所述偏差修正参数带入公式(1)调整所述差值矩阵;44.其中,dpix表示所述差值矩阵,sigmapix表示所述偏差修正参数,表示所述调整后的差值所对应的待融合图像块的融合权重。45.其中一种可能的实现方式中,利用预先设置的图像块亮度修正参数,调整所述待融合图像块的像素均值差,得到所述待融合图像块的相似权重,包括:46.将所述图像块亮度修正参数带入(2)式,调整所述待融合图像块的像素均值差;47.其中,dblk表示所述像素均值差,sigmablk表示所述图像块亮度修正参数,表示待融合图像块的相似权重。48.第二方面,本技术实施例提供一种图像融合装置,所述装置包括:49.获得模块,用于获得参考图像块和待融合图像块;50.第一调整模块,用于获得所述待融合图像块中每个像素点的偏差修正参数,利用每个像素点的偏差修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值,得到调整后的差值所对应的待融合图像块的融合权重;51.融合模块,用于根据所述待融合图像块的融合权重,对所述待融合图像块和所述参考图像块进行融合。52.其中一种可能的实现方式中,所述第一调整模块包括:53.第一修正参数获得子模块,用于获得所述待融合图像块中每个像素点的对齐偏差修正参数和像素点亮度修正参数;54.第二修正参数获得子模块,在所述对齐偏差修正参数和所述像素点亮度修正参数中取较大者作为所述偏差修正参数。55.其中一种可能的实现方式中,所述偏差修正参数包括对齐偏差修正参数,所述第一调整模块包括:56.第三修正参数获得子模块,根据所述参考图像块和所述待融合图像块在对齐过程中出现的对齐偏差,获得所述待融合图像块中每个像素点的对齐偏差修正参数;57.第一调整子模块,用于利用每个像素点的所述对齐偏差修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值。58.其中一种可能的实现方式中,所述待融合图像块为待融合图像帧中的一个图像块,所述待融合图像块附近的图像块和所述待融合图像块组成一个图像区域,所述第三修正参数获得子模块包括:59.计算子单元,用于计算所述待融合图像块所位于的图像区域中对齐向量相差最大的两个图像块的对齐向量差异强度;其中,所述对齐向量差异强度表征所述图像区域中所有图像块整体的对齐准确性;60.带入子单元,用于将所述待融合图像块对应的所有图像区域的对齐向量差异强度的平均值,带入预先设置的对齐曲线,获得所述待融合图像块中每个像素点的对齐偏差修正参数。61.其中一种可能的实现方式中,所述偏差修正参数包括像素点亮度修正参数,所述第一调整模块包括:62.亮度信息值获得子模块,用于获得所述待融合图像块中每个像素点的亮度信息值;63.带入子模块,用于将每个像素点的亮度信息值带入依据场景感光度值预先设置的亮度曲线,获得所述待融合图像块中每个像素点的所述像素点亮度修正参数;64.第二调整子模块,所述利用每个像素点的所述像素点亮度修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值。65.其中一种可能的实现方式中,所述装置还包括:66.计算模块,用于计算所述待融合图像块中像素点平均值与所述参考图像块中像素点平均值的差值,获得所述待融合图像块的像素均值差;67.设置模块,用于根据场景亮度信息值,设置所述待融合图像块的图像块亮度修正参数;68.第二调整模块,利用预先设置的图像块亮度修正参数,调整所述待融合图像块的像素均值差,得到所述待融合图像块的相似权重,其中,所述图像块亮度修正参数和所述场景亮度信息值成反比;69.第三调整模块,用于利用所述图像块相似权重,调整所述融合权重;70.所述融合模块包括:71.融合子模块,用于根据所述待融合图像块调整后的融合权重,对所述待融合图像块和所述参考图像块进行融合。72.其中一种可能的实现方式中,述待融合图像块所位于的图像区域包括水平区域和垂直区域;所述计算子单元包括:73.第一排序子单元,用于对所述水平区域中所有图像块的水平位移进行排序,获得所述水平区域中具有最大水平位移的图像块,和具有最小水平位移的图像块;74.第二排序子单元,用于对所述垂直区域中所有图像块的垂直位移进行排序,获得所述垂直区域中具有最大垂直位移的图像块,和具有最小垂直位移的图像块;75.第一对齐向量差异强度获得子单元,用于计算所述最大水平位移与所述最小水平位移的差值,获得所述水平区域的对齐向量差异强度;76.第二对齐向量差异强度获得子单元,用于计算所述最大垂直位移与所述最小垂直位移的差值,获得所述垂直区域的对齐向量差异强度;77.所述带入子单元包括:78.平均值获得子单元,用于对所述水平区域的对齐向量差异强度的平方与所述垂直区域的对齐向量差异强度的平方之和开根号,得到所述水平区域的对齐向量差异强度和所述垂直区域的对齐向量的平均值;79.对齐偏差修正参数获得子单元,用于将所述水平区域的对齐向量差异强度和所述垂直区域的对齐向量的平均值,带入预先设置的对齐曲线,获得所述待融合图像块中每个像素点的对齐偏差修正参数。80.其中一种可能的实现方式中,所述装置还包括:81.差值矩阵获得模块,用于获得所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值组成的差值矩阵;82.所述第一调整模块包括:83.第三调整子模块,用于将所述偏差修正参数带入公式(1)调整所述差值矩阵;84.其中,dpix表示所述差值矩阵,sigmapix表示所述偏差修正参数,表示所述调整后的差值所对应的待融合图像块的融合权重。85.其中一种可能的实现方式中,所述第二调整模块包括:86.第四调整子模块,用于将所述图像块亮度修正参数带入(2)式,调整所述待融合图像块的像素均值差;87.其中,dblk表示所述像素均值差,sigmablk表示所述图像块亮度修正参数,表示待融合图像块的相似权重。88.第三方面,本技术实施例提供一种终端设备,包括:至少一个处理器;以及与所述处理器通信连接的至少一个存储器,其中:所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第一方面提供的方法。89.第四方面,本技术实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面提供的方法。90.应当理解的是,本技术实施例的第二~四方面与本技术实施例的第一方面的技术方案一致,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。【附图说明】91.为了更清楚地说明本技术实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。92.图1是多帧图像融合的流程图;93.图2是本发明实施例提出的图像融合方法的步骤流程图;94.图3是本发明一种实施例中图像区域的示意图;95.图4是本发明再一种实施例中图像区域的另一种示意图;96.图5是本发明一种示例中预先设置的对齐曲线的示意图;97.图6是本发明一种示例中预先设置的亮度曲线的示意图;98.图7是本发明一种示例执行图像融合方法的流程图;99.图8是本发明实施例提出的图像融合装置的功能模块图;100.图9为本发明实施例提供的一种电子终端设备的结构示意图;101.图10为本发明实施例提供的电子终端设备的硬件结构示意图。【具体实施方式】102.为了更好的理解本说明书的技术方案,下面结合附图对本技术实施例进行详细描述。103.应当明确,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本说明书保护的范围。104.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。105.多帧图像融合可以指将针对同一目标场景拍摄的多帧图像融合为一张亮部和暗部细节丰富且色彩清晰的融合图像。本发明实施例融合的多帧图像为同一成像设备在连续时间采集的多帧图像。106.图1是多帧图像融合的流程图,如图1所示;107.对于多帧图像融合,先对采集的多帧图像进行图像预处理,图像预处理包括:图像去噪、图像颜色校正、图像坏点去除以及无效帧剔除等操作,具体可根据成像系统自身的情况来进行相应处理。108.再对多帧图像进行图像分割,把每一帧图像划分为均匀相等的正方形块,以防止图像出现旋转或者拉伸等几何变形,将图像划分为相对小的块后,以块为单位进行对齐或者融合时可以认为图像之间仅存在不同方向的平移。后续对齐配准及融合操作均可以分割后的图像块为单位进行。块的大小一般根据图像的原始大小来进行设置。109.从多帧图像中选取一帧图像作为参考帧,一般默认选择成像设备采集的第1帧图像作为参考帧,也可根据不同帧的图像成像质量,选择质量最佳的一帧作为参考帧,多帧图像中除参考帧外的其他图像帧可以作为待融合图像帧。分割参考帧得到的图像块可以作为参考图像块,分割待融合图像帧得到的图像块可以作为待融合图像块。110.得到参考图像块,以及分别对应不同图像帧的待融合图像块后,对参考图像块和待融合图像块进行对齐配准。以选择的参考帧为基准,对其余帧的图像进行配准与对齐。配准与对齐的方法可以采用基于orb特征的方法、光流法、多尺度对齐算法等。经过对齐配准操作后,对于每个参考图像块,在其余每一帧图像中都可以找到与它相匹配的图像块。例如,分割拍摄目标场景猫得到图像帧1、图像帧2以及图像帧3,将图像帧1作为参考图像帧,分割参考图像帧,得到参考图像块1、参考图像块2以及参考图像块3,分割图像帧2得到待融合图像块1、待融合图像块2以及待融合图像块3,分割图像帧3得到待融合图像块4、待融合图像块5以及待融合图像块6,参考图像块1对应猫耳朵,待融合图像块1和待融合图像块5对应猫耳朵,那么待融合图像块1和待融合图像块5分别是图像帧2和图像帧3中,与参考图像块1匹配的图像块。111.最后将对齐配准后的参考图像块和待融合图像块进行融合,得到融合图像。现有技术还会根据待融合图像块与参考图像块之间的差异,例如,根据待融合图像块与参考图像块的特征不同,对不同的待融合图像块设置不同的融合权重,以在图像融合过程中,选择保留与参考图像块更相似或相同的图像块的信息。112.但如果拍摄的目标场景包括运动目标,或者图像块的对齐配准出现偏差,都会造成由多帧图像融合得到的融合图像会出现鬼影或重影。相关技术为解决上述问题,提出以下解决方法:在图像融合过程中采用了检测运动区域,对运动的区域单独处理、不同图像均与基准图像进行互噪声估计、或利用多帧图像的相似冗余信息,在多帧图像的类似像素点位置进行加权平均。但上述方法涉及复杂的迭代运算,计算复杂度高,增加设备运行功耗和时间成本。113.本发明实施例发现无论是运动目标导致融合图像出现鬼影,还是对齐配准导致融合图像出现鬼影,根本原因是将参考图像块和待融合图像块中各自对应不同目标点的像素点当作是对应同一目标点的像素点,导致分别位于参考图像块和待融合图像块的像素点之间的相似性计算出现错误;或计算参考图像块和待融合图像块中对应同一目标点的像素点之间的相似性出现误差,从而造成待融合图像块融合权重设置不合理。114.基于上述发现,本发明实施例从导致鬼影的根本原因出发,针对每个像素点获得偏差修正参数,对待融合图像块中每个像素点与在参考图像块中对应同一场景位置的像素点之间的差值进行调整,修正待融合图像块中当前像素点与在参考图像块中与当前像素点对应同一场景位置的像素点之间的相似性误差,得到待融合图像块中当前像素点与在参考图像块中与当前像素点对应同一场景位置的像素点之间真实的相似性,保证待融合图像块的融合权重是依据待融合图像块中每个像素点与在参考图像块中对应同一场景位置的像素点之间的真实相似性得到的,进而解决融合图像出现鬼影的问题。115.本发明实施例提出的图像融合方法应用于电子设备终端,电子设备终端可以是计算机、计算机集群、手机或服务器等,图2是本发明实施例提出的图像融合方法的步骤流程图,如图2所示,图像融合步骤如下:116.步骤s110:获得参考图像块和待融合图像块。117.参考图像块是参考帧中进行图像融合操作的当前图像块。待融合图像块是待融合图像帧中与参考图像块匹配的图像块。一个待融合图像帧中只有一个图像块与参考图像块匹配。待融合图像帧可以是多个,待融合图像块的数量与待融合图像帧的数量相同。118.步骤s111:获得所述待融合图像块中每个像素点的偏差修正参数,利用每个像素点的偏差修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值,得到调整后的差值所对应的待融合图像块的融合权重。119.待融合图像块中的像素点a与参考图像块中的像素点b对应同一场景位置的c点,可以计算像素点a和像素点b的色度(chrominance,uv)差异值,得到待融合图像块中每个像素点与在参考图像块中对应同一场景位置的像素点之间的差值。也可以计算素点a和像素点b的三原色(rgb)差异值,得到待融合图像块中每个像素点与在参考图像块中对应同一场景位置的像素点之间的差值。120.对齐配准过程可以是对于每个参考图像块,在其余每一帧图像中都可以找到与它相匹配的待融合图像块,可以是对于每个参考图像块的每个像素点,在与它匹配的待融合图像块中,找到与它匹配的像素点。示例地,待融合图像块1与参考图像块1对应猫耳朵拍摄目标,待融合图像块1是与参考图像块1匹配的图像块,待融合图像块1中的像素点a与参考图像块1的像素点b对应猫耳朵拍摄目标的位置点c,那么待融合图像块1中的像素点a是与参考图像块1的像素点b相匹配的像素点。121.可以计算影响待融合图像块中像素点与其匹配的参考图像块中的像素点之间的差异的因素,得到像素点的偏差修正参数。示例地,获得待融合图像块中的像素点a的偏差修正参数是依据,导致像素点a与参考图像块中与像素点a匹配的像素点b出现相似度被放大、缩小或者偏差的因素得到的。122.本发明实施例提出利用每个像素点的所述偏差修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值的一种可选方式。123.步骤s111‑1:获得所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值组成的差值矩阵。124.在本技术一种示例中,待融合图像块由像素点1、像素点2、像素点3组成,参考图像块由像素点4、像素点5、像素点6组成,得到差值矩阵包括元素:像素点1与像素点4的差值、像素点2和像素点5的差值、像素点3和像素点6的差值。125.步骤s111‑2:将所述偏差修正参数带入公式(1)调整所述差值矩阵。126.其中,dpix表示所述差值矩阵,sigmapix表示所述偏差修正参数,表示所述调整后的差值所对应的待融合图像块的融合权重。127.步骤s112:根据所述待融合图像块的融合权重,对所述待融合图像块和所述参考图像块进行融合。128.上述步骤s110‑步骤s112可以针对不同待融合图像帧中的待融合图像块并行运行。129.本发明实施例获得影响待融合图像块像素点与参考图像块像素点相似性的偏差修正参数,采用偏差修正参数调整待融合图像块像素点与参考图像块像素点的差异,还原得到待融合图像块像素点与参考图像块像素点的真实差异,根据待融合图像块像素点与参考图像块像素点的真实差异,对图像块设置符合图像块像素点与参考图像块像素点之间真实差异的融合权重,使得图像融合不会受配准偏差和运动目标的影响,进而保证待融合图像块像素点与参考图像块像素点的图像融合更加准确,解决融合图像出现鬼影的问题。130.本发明另一种实施例发现影响待融合图像块中像素点与其匹配的参考图像块中的像素点之间的差异的因素包括图像亮度和对齐配准过程中待融合图像块和参考图像块的对齐准确性。因此获取对齐偏差修正参数和像素点亮度修正参数,并依据对齐偏差修正参数和像素点亮度修正参数的比较结果,确定偏差修正参数。131.本发明另一种实施例提出的图像融合方法包括如下步骤:132.步骤s120:获得参考图像块和待融合图像块。133.步骤s121:获得所述待融合图像块中每个像素点的对齐偏差修正参数和像素点亮度修正参数。134.在待融合图像块和参考图像块的对齐配准过程中,会出现对齐偏差的现象,例如在对齐配准过程中,电子设备终端误将待融合图像块中对应场景位置1点的像素点a,与参考图像块中对应场景位置2点的像素点a’对齐,并计算了像素点a与像素点a’的差值,但像素点a与像素点a’的差值并不能表示待融合图像块与参考图像块中显示同一场景位置点的相似性,所以可以获取对齐偏差修正参数作为偏差修正参数,调整待融合图像块中每个像素点与在参考图像块中对应同一场景位置的像素点之间的差值。135.不同待融图像块中对应同一场景位置点的不同像素点的亮度不同,亮度会影响两个不同像素点之间的差值,例如在基于颜色编码yuv计算像素点的差值时,yuv中y表示像素点明亮度(luminance),uv表示像素点色度(chrominance),两个像素点的亮度值会影响两个像素点的色度差异值,较大明亮度可能放大两个像素点的色度差异值,较小差异值可能缩小两个像素点的色度差异值。因此可以获取像素点亮度修正参数作为偏差修正参数,调整待融合图像块中每个像素点与在参考图像块中对应同一场景位置的像素点之间的差值,以将由明亮度导致的放大或缩小后的待融合图像块中像素点与参考图像块中像素点的差值,修正为真实的待融合图像块中像素点与参考图像块中像素点的差值。136.步骤s122:在所述对齐偏差修正参数和所述像素点亮度修正参数中取较大者作为所述偏差修正参数。137.依据本技术其他实施例调整待融合图像块中每个像素点与在参考图像块中对应同一场景位置的像素点之间的差值,得到调整后的差值所对应的待融合图像块的融合权重的计算方式可知,待融合图像块中像素点与在参考图像块中对应同一场景位置的像素点之间差值越大,融合权重越小;偏差修正参数越大,调整后的差值越大,待融合图像块的融合权重越小,因此取对齐偏差修正参数和像素点亮度修正参数中的较大者作为偏差修正参数,减小待融合图像块的权重,能在不引入复杂计算的情况下,直接将由对齐偏差导致的像素点相似度计算错误,或将由像素点明亮度导致的像素点相似度计算误差消除,保证不相似的图像信息不会叠加到参考图像块上。138.步骤s123:获得所述待融合图像块中每个像素点的偏差修正参数,利用每个像素点的偏差修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值,得到调整后的差值所对应的待融合图像块的融合权重。139.步骤s124:根据所述待融合图像块的融合权重,对所述待融合图像块和所述参考图像块进行融合。140.本发明实施例另一种实施例提出获取对齐偏差修正参数作为偏差修正参数,以调整待融合图像块中每个像素点与在参考图像块中对应同一场景位置的像素点之间的差值的可选方法。所述偏差修正参数包括对齐偏差修正参数,获得所述待融合图像块中每个像素点的偏差修正参数,包括:141.步骤s210:根据所述参考图像块和所述待融合图像块在对齐过程中出现的对齐偏差,获得所述待融合图像块中每个像素点的对齐偏差修正参数。142.本发明实施例可以依据直接在对齐配准过程中,获取的待融合图像块与参考图像块的对齐偏差,获得对齐偏差修正参数,不需要复杂的计算。143.步骤s220:所述利用每个像素点的所述对齐偏差修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值。144.以对齐偏差修正参数调整待融合图像块中每个像素点与在参考图像块中对应同一场景位置的像素点之间的差值,能够在待融合图像的像素点与参考图像块中的像素点出现匹配误差时,消除这种匹配误差导致的差值计算误差。示例地,待融合图像块的像素点a对应场景位置a点,参考图像块的像素点b点对应场景位置b点,在待融合图像块和参考图像块的对齐配准过程中,出现对齐偏差,错误将像素点a与像素点b点匹配,而无论像素点a与像素点b具有多少相似度,像素点a与像素点b的差值是否大,都不能将像素点a的信息叠加到像素点b;因此在获取待融合图像块和参考图像块在对齐配准过程中将像素点a与像素点b点匹配的偏差,以该偏差调整像素点a与像素点b的差值,待融合图像块能够得到足够小的融合权重,从而保证像素点a的信息不会叠加到像素点b。145.本发明另一种实施例提出获取对齐偏差修正参数的可选方法,图3是本发明一种实施例中图像区域的示意图。如图3所示,待融合图像帧32在图像分割过程中被分割为多个图像块,待融合图像块31为待融合图像帧32中的一个图像块,待融合图像块附近的图像块和待融合图像块组成一个图像区域33。可以预先设置待融合图像块的领域范围,图3设置的领域范围为3×3,以图3所示为例,待融合图像块附近的图像块是在3×3领域范围内的图像块。待融合图像块32附近的图像块包括图像块34、图像块35、图像块36、图像块37、图像块38、图像块39、图像块40、图像块41。146.获取对齐偏差修正参数的步骤如下:147.步骤s310:计算所述待融合图像块所位于的图像区域中对齐向量相差最大的两个图像块的对齐向量差异强度;其中,所述对齐向量差异强度表征所述图像区域中所有图像块整体的对齐准确性。148.一张图像与另一张图像对齐配准后,如果一张图像的部分图像与在另一张图像中对应同一目标对象的部分图像对齐准确时,一张图像的部分图像中的所有图像块的对齐向量变化平滑,无较大差异。本发明实施例基于上述发现,以图像区域中对齐向量相差最大的两个图像块的对齐向量的差值,作为表征图像区域的对齐向量差异强度,从而以图像区域中对齐向量相差最大的两个图像块的对齐向量的差值,表征图像区域中所有图像块整体的对齐准确性。149.待融合图像块所位于的图像区域的数量可以是一个或多个,具体根据接收的指令自动生成。图4是本发明再一种实施例中图像区域的另一种示意图,电子设备终端接收到用户输入的参数3×3、水平划分、垂直划分后,生成如图4所示的图像范围为3×3水平区域41和图像范围为3×3垂直区域42,水平区域41和垂直区域42都是待融合图像块43所位于的图像区域。150.在本发明再一种实施例中待融合图像块所位于的图像区域包括水平区域和垂直区域,提出计算待融合图像块所位于所述的图像区域中对齐向量相差最大的两个图像块的对齐向量差异强度的一种可选方法,步骤如下:151.步骤s310‑1:对所述水平区域中所有图像块的水平位移进行排序,获得所述水平区域中具有最大水平位移的图像块,和具有最小水平位移的图像块。152.图像块的水平位移是图像块对齐配准过程中的对齐向量的水平分量。153.对水平区域中所有图像块的水平位移排序后,得到图像范围为3×3的水平区域中具有最大水平位移的图像块i,图像范围为3×3的水平区域中具有最小水平位移的图像块j。154.步骤s310‑2:对所述垂直区域中所有图像块的垂直位移进行排序,获得所述垂直区域中具有最大垂直位移的图像块,和具有最小垂直位移的图像块。155.图像块的垂直位移是图像块对齐配准过程中的对齐向量的垂直分量。对水平区域中所有图像块的垂直位移排序后,得到图像范围为3×3的水平区域中具有最大垂直位移的图像块p,图像范围为3×3的水平区域中具有最小水平位移的图像块g。156.步骤s310‑3:计算所述最大水平位移与所述最小水平位移的差值,获得所述水平区域的对齐向量差异强度。157.采用公式(3)计算最大水平位移与所述最小水平位移的差值:158.其中,mx为水平区域的对齐向量差异强度,υx(i)为图像范围为3×3的水平区域中具有最大水平位移的图像块i的对齐向量的水平分量,集合n3的元素包括图像范围为3×3的水平区域中所有的图像块;υx(j)为图像范围为3×3的水平区域中具有最小水平位移的图像块j的对齐向量的水平分量。159.步骤s310‑4:计算所述最大垂直位移与所述最小垂直位移的差值,获得所述垂直区域的对齐向量差异强度。160.采用公式(4)计算最大垂直位移与所述最小垂直位移的差值:161.其中,my为垂直区域的对齐向量差异强度,υy(p)为图像范围为3×3的直区域中具有最大垂直位移的图像块p的对齐向量的垂直分量,集合n3的元素包括图像范围为3×3的垂直区域中所有的图像块;υy(g)为图像范围为3×3的垂直区域中具有最小垂直位移的图像块g的对齐向量的垂直分量。162.步骤s310‑5:对所述水平区域的对齐向量差异强度的平方与所述垂直区域的对齐向量差异强度的平方之和开根号,得到所述水平区域的对齐向量差异强度和所述垂直区域的对齐向量的平均值。163.水平区域的对齐向量差异强度和垂直区域的对齐向量的平均值可以作为:待融合图像块对应的所有图像区域的对齐向量差异强度的平均值。水平区域的对齐向量差异强度和垂直区域的对齐向量的平均值也可以作为待融合图像块相对于所有图像区域的整体对齐向量差异强度。164.采用公式(5)对所述水平区域的对齐向量差异强度的平方与所述垂直区域的对齐向量差异强度的平方之和开根号,得到水平区域的对齐向量差异强度和垂直区域的对齐向量的平均值:165.其中,m表示待融合图像块所位于的所有图像区域的整体对齐向量差异强度。166.步骤s320:将所述水平区域的对齐向量差异强度和所述垂直区域的对齐向量的平均值,带入预先设置的对齐曲线,获得所述待融合图像块中每个像素点的对齐偏差修正参数。167.图5是本发明一种示例中预先设置的对齐曲线的示意图。图5横坐标为m,纵坐标为对齐偏差修正参数sigma2,v1、v2、v3为sigma2的具体取值。图5中thr1表示有必要修正的最小对齐偏差,thr4表示能够修正的最大对齐偏差;thr2和thr3为按照经验设置的节点值,可根据图像分辨率、图像对比度等设置多个如thr2和thr3的节点值。168.将待融合图像块所位于的水平区域的对齐向量差异强度和垂直区域的对齐向量的平均值m带入图5所示的对齐曲线,获得待融合图像块的对齐偏差修正参数sigma2,将对齐偏差修正参数sigma2作为待融合图像块中所有像素点的对齐偏差修正参数。169.本技术实施例计算待融合图像临近图像块的对齐向量差值,获得待融合图像所位于图像区域的对齐向量差异强度,以对齐向量差异强度表征待融合图像所位于图像区域的对齐准确性,再将对齐向量差异强度带入预先设置的对齐曲线,得到对齐偏差修正参数。无需复杂的计算,就能获得用于修正“由对齐配准偏差导致的待融合图像块中像素点与参考图像块中像素点相似度计算偏差”的对齐偏差修正参数。170.本发明实施例另一种实施例提出获取像素点亮度修正参数作为偏差修正参数,以调整待融合图像块中每个像素点与在参考图像块中对应同一场景位置的像素点之间的差值的可选方法。所述偏差修正参数包括像素点亮度修正参数,所述获得所述待融合图像块中每个像素点的偏差修正参数,包括:171.步骤s410:获得所述待融合图像块中每个像素点的亮度信息值。172.可以基于参考图像块中每个像素点的亮度信息值,依次对待融合图像块中每个像素点进行滤波计算,获取待融合图像块中每个像素点的亮度值。173.步骤s420:将每个像素点的亮度信息值带入依据场景感光度值预先设置的亮度曲线,获得所述待融合图像块中每个像素点的所述像素点亮度修正参数。174.图6是本发明一种示例中预先设置的亮度曲线的示意图,图6横坐标为亮度信息值,以流明(lum)表示亮度信息值,lum衡量光源的照明强度。图6纵坐标为像素点亮度修正参数sigma1。t0为依据场景感光度值设置的像素点最低亮度信息值,t1为依据场景感光度值设置的像素点最高亮度信息值。r0为t0对应的像素点亮度修正参数,r1为t1对应的像素点亮度修正参数。175.步骤s430:所述利用每个像素点的所述像素点亮度修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值。176.本技术实施例依据场景感光度值设置表征亮度信息值和像素点亮度修正参数之间对应关系的亮度曲线,在获取待融合图像中像素点的亮度信息值后,带入亮度曲线,无需复杂的计算,可以直接获得像素点亮度修正参数,从而采用像素点亮度修正参数修正由像素点亮度导致的“待融合图像块中像素点与参考图像块中像素点之间相似性计算误差”。177.本发明另一种实施例提出在采用其他实施例的方法计算参考图像块和待融合图像块像素点相似性的基础上,计算参考图像块和待融合图像块的整体相似性,利用整体相似性对依据像素点相似性得到的融合权重进行调整,得到待融合图像块的综合融合权重,以避免在待融合图像块和参考图像块不是针对同一场景目标的图像,但个别像素点相似性极高的情况而导致的融合权重计算错误,进而避免将其他场景目标的图像信息错误叠加到参考图像块的情况。178.步骤s510:计算所述待融合图像块中像素点平均值与所述参考图像块中像素点平均值的差值,获得所述待融合图像块的像素均值差。179.以计算待融合图像块中像素点平均值为例,计算方法可以是,计算待融合图像块中每个像素点的uv值或rgb值,再对所有像素点的uv值或rgb值求均值。180.可以采用公式(6)计算待融合图像块的像素均值差:181.dblk=|mean(ref_blk)‑mean(cur_blk)|ꢀꢀꢀꢀꢀ(6);其中,mean(ref_blk)表示待融合图像块中像素点平均值,mean(cur_blk)表示参考图像块中像素点平均值的差值,dblk表示待融合图像块的像素均值差。182.步骤s520:根据场景亮度信息值,设置所述待融合图像块的图像块亮度修正参数。183.本技术一种示例以sigmablk表示图像块亮度修正参数,根据场景亮度信息值,设置待融合图像块的图像块亮度修正参数的配置原则是,当前场景的亮度信息值越高,sigmablk越小。184.步骤s530:利用预先设置的图像块亮度修正参数,调整所述待融合图像块的像素均值差,得到所述待融合图像块的相似权重,其中,所述图像块亮度修正参数和所述场景亮度信息值成反比。185.可以采用公式(2)利用预先设置的图像块亮度修正参数,调整待融合图像块的像素均值差,得到所述待融合图像块的相似权重;将所述图像块亮度修正参数带入(2)式,调整所述待融合图像块的像素均值差。186.其中,dblk表示所述像素均值差,sigmablk表示所述图像块亮度修正参数,表示待融合图像块的相似权重。187.步骤s540:利用所述图像块相似权重,调整所述融合权重。188.可以采用公式(7)以图像块相似权重调整融合权重,得到调整后的融合权重。在本发明一种示例中,调整后的融合权重可以作为综合融合权重,根据综合融合权重,对待融合图像块和参考图像块进行融合。189.其中,表示调整后的融合权重。190.步骤s550:根据所述待融合图像块调整后的融合权重,对所述待融合图像块和所述参考图像块进行融合。191.图7是本发明一种示例执行图像融合方法的流程图,如图7所示,执行图像融合的步骤如下:192.步骤a:获取针对目标场景采集得多帧图像;193.步骤b:对多帧图像进行预处理;194.步骤c:从多帧图像中确定参考图像帧;195.步骤d:对参考图像帧和其他图像帧进行图像分割,得到多个参考图像块,和多个其他图像帧各自对应得待融合图像块。196.步骤e:针对每个其他图像帧,将分割每个其他图像帧得到得待融合图像块与参考图像块进行对齐配准,确定每个待融合图像块匹配的参考图像块。197.步骤f:计算待融合图像块所在图像区域的对齐向量差异强度,带入堆区曲线,得到对齐偏差修正参数;198.步骤g:获取每个待融合图像块中每个像素点的亮度信息值,带入亮度曲线,得到像素点亮度修正参数;199.步骤h:在像素点亮度修正参数和对齐偏差修正参数中取较大者作为偏差修正参数,对待融合图像块和参考图像块一一对应的像素点的差值进行修正,计算待融合图像块和参考图像块的逐点相似性,得到融合权重200.步骤i:获得待融合图像块的像素均值差,采用依据场景亮度信息设置的图像块亮度修正参数,调整像素均值差,得到图像块相似权重201.步骤j:融合图像块相似权重和融合权重得到每个待融合图像块综合融合权重,也就是调整后的融合权重202.步骤k:按照调整后的融合权重对待融合图像块和参考图像块进行融合,得到融合后的单帧图像,输出单帧图像。203.图8是本发明实施例提出的图像融合装置的功能模块图,图8所示,实施例提供的图像融合装置可用于执行本说明书图1‑图7所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。204.本实施例中,获得模块81,用于获得参考图像块和待融合图像块;205.调整模块82,用于获得所述待融合图像块中每个像素点的偏差修正参数,利用每个像素点的偏差修正参数,调整所述待融合图像块中每个像素点与在所述参考图像块中对应同一场景位置的像素点之间的差值,得到调整后的差值所对应的待融合图像块的融合权重;206.融合模块83,用于根据所述待融合图像块的融合权重,对所述待融合图像块和所述参考图像块进行融合。207.图9为本发明实施例提供的一种电子终端设备的结构示意图,该电子终端设备200包括处理器201,存储器202,存储在存储器202上并可在所述处理器201上运行的计算机程序,所述处理器201执行所述程序时实现前述方法实施例中的步骤,实施例提供的电子终端设备可用于执行本上述所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述,在此不再赘述。208.图10为本发明实施例提供的电子终端设备的硬件结构示意图,参阅附图10,上述电子终端设备可以包括至少一个处理器;以及与上述处理器通信连接的至少一个存储器,其中:存储器存储有可能被处理器执行的程序指令,上述处理器调用上述程序指令能够执行本说明书图1~图7所示实施例提供的图像融合方法。209.其中,上述终端设备可以为智能手机、平板电脑或笔记本电脑等智能电子设备,本实施例对上述终端设备的形式不作限定。210.示例性的,图10以智能手机为例示出了终端设备的结构示意图,如图8所示,终端设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universalserialbus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentificationmodule,sim)卡接口195等。211.可以理解的是,本技术实施例示意的结构并不构成对终端设备100的具体限定。在本技术另一些实施例中,终端设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。212.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(applicationprocessor,ap),调制解调处理器,图形处理器(graphicsprocessingunit,gpu),图像信号处理器(imagesignalprocessor,isp),控制器,视频编解码器,数字信号处理器(digitalsignalprocessor,dsp),基带处理器,和/或神经网络处理器(neural‑networkprocessingunit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。213.控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。214.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。215.处理器110通过运行存储在内部存储器121中的程序,从而执行各种功能应用以及数据处理,例如实现本技术图1~图7所示实施例提供的图像融合方法。216.在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter‑integratedcircuit,i2c)接口,集成电路内置音频(inter‑integratedcircuitsound,i2s)接口,脉冲编码调制(pulsecodemodulation,pcm)接口,通用异步收发传输器(universalasynchronousreceiver/transmitter,uart)接口,移动产业处理器接口(mobileindustryprocessorinterface,mipi),通用输入输出(general‑purposeinput/output,gpio)接口,用户标识模块(subscriberidentitymodule,sim)接口,和/或通用串行总线(universalserialbus,usb)接口等。217.充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过终端设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为终端设备100供电。218.电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。219.终端设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。220.天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。221.移动通信模块150可以提供应用在终端设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoiseamplifier,lna)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。222.调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a,受话器170b等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。223.无线通信模块160可以提供应用在终端设备100上的包括无线局域网(wirelesslocalareanetworks,wlan)(如无线保真(wirelessfidelity,wi‑fi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(globalnavigationsatellitesystem,gnss),调频(frequencymodulation,fm),近距离无线通信技术(nearfieldcommunication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。224.在一些实施例中,终端设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得终端设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(globalsystemformobilecommunications,gsm),通用分组无线服务(generalpacketradioservice,gprs),码分多址接入(codedivisionmultipleaccess,cdma),宽带码分多址(widebandcodedivisionmultipleaccess,wcdma),时分码分多址(time‑divisioncodedivisionmultipleaccess,td‑scdma),长期演进(longtermevolution,lte),bt,gnss,wlan,nfc,fm,和/或ir技术等。所述gnss可以包括全球卫星定位系统(globalpositioningsystem,gps),全球导航卫星系统(globalnavigationsatellitesystem,glonass),北斗卫星导航系统(beidounavigationsatellitesystem,bds),准天顶卫星系统(quasi‑zenithsatellitesystem,qzss)和/或星基增强系统(satellitebasedaugmentationsystems,sbas)。225.终端设备100通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。226.显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquidcrystaldisplay,lcd),有机发光二极管(organiclight‑emittingdiode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active‑matrixorganiclightemittingdiode的,amoled),柔性发光二极管(flexlight‑emittingdiode,fled),miniled,microled,micro‑oled,量子点发光二极管(quantumdotlightemittingdiodes,qled)等。在一些实施例中,终端设备100可以包括1个或n个显示屏194,n为大于1的正整数。227.终端设备100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。228.isp用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头193中。229.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(chargecoupleddevice,ccd)或互补金属氧化物半导体(complementarymetal‑oxide‑semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,终端设备100可以包括1个或n个摄像头193,n为大于1的正整数。230.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当终端设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。231.视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种视频编解码器。这样,终端设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(movingpictureexpertsgroup,mpeg)1,mpeg2,mpeg3,mpeg4等。232.npu为神经网络(neural‑network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现终端设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。233.外部存储器接口120可以用于连接外部存储卡,例如microsd卡,实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。234.内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universalflashstorage,ufs)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行终端设备100的各种功能应用以及数据处理。235.终端设备100可以通过音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,以及应用处理器等实现音频功能。例如音乐播放,录音等。236.音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。237.扬声器170a,也称“喇叭”,用于将音频电信号转换为声音信号。终端设备100可以通过扬声器170a收听音乐,或收听免提通话。238.受话器170b,也称“听筒”,用于将音频电信号转换成声音信号。当终端设备100接听电话或语音信息时,可以通过将受话器170b靠近人耳接听语音。239.麦克风170c,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170c发声,将声音信号输入到麦克风170c。终端设备100可以设置至少一个麦克风170c。在另一些实施例中,终端设备100可以设置两个麦克风170c,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,终端设备100还可以设置三个,四个或更多麦克风170c,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。240.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130,也可以是3.5mm的开放移动电子设备平台(openmobileterminalplatform,omtp)标准接口,美国蜂窝电信工业协会(cellulartelecommunicationsindustryassociationoftheusa,ctia)标准接口。241.按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备100可以接收按键输入,产生与终端设备100的用户设置以及功能控制有关的键信号输入。242.马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。243.指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。244.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195,或从sim卡接口195拔出,实现和终端设备100的接触和分离。终端设备100可以支持1个或n个sim卡接口,n为大于1的正整数。sim卡接口195可以支持nanosim卡,microsim卡,sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。终端设备100通过sim卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,终端设备100采用esim,即:嵌入式sim卡。esim卡可以嵌在终端设备100中,不能和终端设备100分离。245.本技术实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行本说明书图1~图7所示实施例提供的图像融合方法。246.上述非暂态计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(readonlymemory,rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory,eprom)或闪存、光纤、便携式紧凑磁盘只读存储器(cd‑rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。247.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。248.计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、射频(radiofrequency,rf)等等,或者上述的任意合适的组合。249.可以以一种或多种程序设计语言或其组合来编写用于执行本说明书操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(localareanetwork,lan)或广域网(wideareanetwork,wan)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。250.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。251.在本发明实施例的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。252.此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。253.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本说明书的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本说明书的实施例所属
技术领域
:的技术人员所理解。254.取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。255.需要说明的是,本技术实施例中所涉及的终端可以包括但不限于个人计算机(personalcomputer,pc)、个人数字助理(personaldigitalassistant,pda)、无线手持设备、平板电脑(tabletcomputer)、手机、mp3播放器、mp4播放器等。256.在本说明书所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。257.另外,在本说明书各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。258.上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(processor)执行本说明书各个实施例所述方法的部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom)、随机存取存储器(ram)、磁碟或者光盘等各种可以存储程序代码的介质。259.以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。当前第1页12当前第1页12
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献