一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像处理方法、智能终端及存储介质与流程

2022-02-24 17:54:29 来源:中国专利 TAG:
1.本技术涉及计算机
技术领域
:,具体涉及一种图像处理方法、智能终端及存储介质。
背景技术
::2.不同于单一视点的视频,多视点视频通过多个摄像头从不同视角拍摄同一场景,能够向观众提供丰富的动态场景和真实的感官体验。随着视频压缩技术的发展,面向多视点视频的视频编码技术的研究也在逐步深入。目前,在视频编码标准hevc(highefficiencyvideocoding,高效率视频编码)的基础之上提出的3d-hevc编码技术,可以高效压缩多视点视频和其对应的深度数据。3.然而,在构思及实现本技术过程中,发明人发现至少存在如下问题:在多视点视频编码技术中,环路滤波处理(例如基于神经网络的环路滤波处理)阶段为了降低重建帧的失真度,通常会利用同一时刻不同视点的参考帧对重建帧进行增强处理,产生的增强帧用于后续的编码流程中,但是由于滤波过程中没有充分利用相关信息,导致重建帧的图像块和参考帧的图像块之间不能很好地匹配,影响多视点视频编码质量。4.前面的叙述在于提供一般的背景信息,并不一定构成现有技术。技术实现要素:5.针对上述技术问题,本技术提供一种图像处理方法、智能终端及存储介质,可以充分利用不同视点的图像块的信息,减少重建图像或解码图像的失真,进而有效提高多视点视频的编码质量。6.为解决上述技术问题,本技术提供一种图像处理方法,包括:获取第一辅助信息;根据对应于第二视点的参考图像和所述第一辅助信息,对对应于第一视点的第一图像块进行处理。7.本技术提供另一种图像处理方法,包括:获取第二重建图像块;根据所述第二重建图像块、第一重建图像块的属性信息和所述第二重建图像块的属性信息中的至少一种,对所述第一重建图像块进行滤波,以得到滤波后的第一重建图像块。8.可选地,所述根据所述第二重建图像块、第一重建图像块的属性信息和所述第二重建图像块的属性信息中的至少一种,对所述第一重建图像块进行滤波,以得到滤波后的第一重建图像块,包括以下至少一种:根据所述第二重建图像块,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。9.根据第一重建图像块的属性信息,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。10.根据所述第二重建图像块的属性信息,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。11.根据所述第二重建图像块和第一重建图像块的属性信息,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。12.根据所述第二重建图像块和所述第二重建图像块的属性信息,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。13.根据第一重建图像块的属性信息和所述第二重建图像块的属性信息,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。14.根据所述第二重建图像块、第一重建图像块的属性信息和所述第二重建图像块的属性信息,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。15.本技术提供一种图像处理装置,包括:获取模块,用于获取第一辅助信息;处理模块,用于根据对应于第二视点的参考图像和所述第一辅助信息,对对应于第一视点的第一图像块进行处理。16.本技术提供另一种图像处理装置,包括:获取模块,用于获取第二重建图像块;处理模块,用于根据所述第二重建图像块、第一重建图像块的属性信息和所述第二重建图像块的属性信息中的至少一种,对所述第一重建图像块进行滤波,以得到滤波后的第一重建图像块。17.本技术还提供一种智能终端,包括:存储器、处理器,其中,所述存储器上存储有图像处理程序,所述图像处理程序被所述处理器执行时实现如上述方法的步骤。18.本技术还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述方法的步骤。19.如上所述,本技术的图像处理方法,包括步骤:获取第一辅助信息;根据对应于第二视点的参考图像和第一辅助信息,对对应于第一视点的第一图像块进行处理。通过上述技术方案,可以利用辅助信息和不同于当前正在编码的视点的图像块对当前正在编码的视点的图像块进行处理。其得到的处理结果有助于确定当前正在编码的视点的图像块的重建图像或解码图像,降低视频编码失真,提升视频编码质量,进而提升用户体验。附图说明20.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施例,并与说明书一起用于解释本技术的原理。为了更清楚地说明本技术实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。21.图1为实现本技术各个实施例的一种智能终端的硬件结构示意图;图2为本技术实施例提供的一种通信网络系统架构图;图3是本技术实施例提供的一种多视点视频编码器的结构示意图;图4是本技术实施例提供的一种多视点视频解码器的结构示意图;图5是根据第一实施例示出的一种图像处理方法的流程示意图;图6是根据第一实施例示出的基于神经网络的环路滤波器的结构示意图;图7是根据第二实施例示出的一种图像处理方法的流程示意图;图8a是根据第二实施例示出的一种特征提取网络的结构示意图;图8b是根据第二实施例示出的另一种特征提取网络的结构示意图图9a是根据第二实施例示出的一种第一预设处理模块的结构示意图;图9b是根据第二实施例示出的另一种第一预设处理模块的结构示意图;图10是根据第二实施例示出的一种结合特征提取网络和第一预设处理模块的结构示意图;图11是根据第二实施例示出的一种包括特征融合网络的结构示意图;图12a是根据第二实施例示出的一种第三预设处理模块的结构示意图;图12b是根据第二实施例示出的另一种第三预设处理模块的结构示意图;图13是根据第二实施例示出的一种基于神经网络的滤波处理模块的结构示意图;图14是根据第三实施例示出的一种图像处理方法的流程示意图;图15是根据第三实施例示出的一种基于神经网络的环路滤波器的结构示意图;图16是根据第三实施例示出的另一种基于神经网络的环路滤波器的结构示意图;图17是根据第三实施例示出的又一种基于神经网络的环路滤波器的结构示意图;图18是根据第四实施例示出的一种图像处理装置的结构示意图。22.本技术目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。通过上述附图,已示出本技术明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围,而是通过参考特定实施例为本领域技术人员说明本技术的概念。具体实施方式23.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。24.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本技术不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。25.应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本技术使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的,或意味着任一个或任何组合。例如,“包括以下至少一个:a、b、c”意味着“以下任一个:a;b;c;a和b;a和c;b和c;a和b和c”,再如,“a、b或c”或者“a、b和/或c”意味着“以下任一个:a;b;c;a和b;a和c;b和c;a和b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。26.应该理解的是,虽然本技术实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。27.取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。28.需要说明的是,在本文中,采用了诸如s501、s502等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行s502后执行s501等,但这些均应在本技术的保护范围之内。29.应当理解,此处所描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。30.在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本技术的说明,其本身没有特定的意义。因此,“模块”、“部件”或者“单元”可以混合地使用。31.智能终端可以以各种形式来实施。例如,本技术中描述的智能终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(personaldigitalassistant,pda)、便捷式媒体播放器(portablemediaplayer,pmp)、导航装置、可穿戴设备、智能手环、计步器等智能终端,以及诸如数字tv、台式计算机等固定终端。32.后续描述中将以移动终端为例进行说明,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本技术的实施方式的构造也能够应用于固定类型的终端。33.请参阅图1,其为实现本技术各个实施例的一种移动终端的硬件结构示意图,该移动终端100可以包括:rf(radiofrequency,射频)单元101、wifi模块102、音频输出单元103、a/v(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图1中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。34.下面结合图1对移动终端的各个部件进行具体的介绍:射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于gsm(globalsystemofmobilecommunication,全球移动通讯系统)、gprs(generalpacketradioservice,通用分组无线服务)、cdma2000(codedivisionmultipleaccess2000,码分多址2000)、wcdma(widebandcodedivisionmultipleaccess,宽带码分多址)、td-scdma(timedivision-synchronouscodedivisionmultipleaccess,时分同步码分多址)、fdd-lte(frequencydivisionduplexing‑ꢀlongtermevolution,频分双工长期演进)、tdd-lte(timedivisionduplexing‑ꢀlongtermevolution,分时双工长期演进)和5g等。35.wifi属于短距离无线传输技术,移动终端通过wifi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图1示出了wifi模块102,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。36.音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元101或wifi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。37.a/v输入单元104用于接收音频或视频信号。a/v输入单元104可以包括图形处理器(graphicsprocessingunit,gpu)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或wifi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。38.移动终端100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。可选地,光传感器包括环境光传感器及接近传感器,可选地,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。39.显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板1061。40.用户输入单元107可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。可选地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。41.可选地,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能,具体此处不做限定。42.接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。43.存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,可选地,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。44.处理器110是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,可选地,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。45.移动终端100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。46.尽管图1未示出,移动终端100还可以包括蓝牙模块等,在此不再赘述。47.为了便于理解本技术实施例,下面对本技术的移动终端所基于的通信网络系统进行描述。48.请参阅图2,图2为本技术实施例提供的一种通信网络系统架构图,该通信网络系统为通用移动通信技术的lte系统,该lte系统包括依次通讯连接的ue(userequipment,用户设备)201,e-utran(evolvedumtsterrestrialradioaccessnetwork,演进式umts陆地无线接入网)202,epc(evolvedpacketcore,演进式分组核心网)203和运营商的ip业务204。49.可选地,ue201可以是上述终端100,此处不再赘述。50.e-utran202包括enodeb2021和其它enodeb2022等。可选地,enodeb2021可以通过回程(backhaul)(例如x2接口)与其它enodeb2022连接,enodeb2021连接到epc203,enodeb2021可以提供ue201到epc203的接入。51.epc203可以包括mme(mobilitymanagemententity,移动性管理实体)2031,hss(homesubscriberserver,归属用户服务器)2032,其它mme2033,sgw(servinggateway,服务网关)2034,pgw(pdngateway,分组数据网络网关)2035和pcrf(policyandchargingrulesfunction,政策和资费功能实体)2036等。可选地,mme2031是处理ue201和epc203之间信令的控制节点,提供承载和连接管理。hss2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能,并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过sgw2034进行发送,pgw2035可以提供ue201的ip地址分配以及其它功能,pcrf2036是业务数据流和ip承载资源的策略与计费控制策略决策点,它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。52.ip业务204可以包括因特网、内联网、ims(ipmultimediasubsystem,ip多媒体子系统)或其它ip业务等。53.虽然上述以lte系统为例进行了介绍,但本领域技术人员应当知晓,本技术不仅仅适用于lte系统,也可以适用于其他无线通信系统,例如gsm、cdma2000、wcdma、td-scdma以及未来新的网络系统(如5g)等,此处不做限定。54.基于上述移动终端硬件结构以及通信网络系统,提出本技术各个实施例。55.为便于理解,下面先对本技术实施例可能涉及到的专业术语进行解释。56.1)多视点视频由多个摄像头(可以是同一设备的多个摄像头,或者不同设备的一个或多个摄像头)组成的阵列在同一时刻从不同视角对同一场景进行拍摄得到的,是一种有效的三维(three-dimensional,3d)视频表示方法,能够更加生动地再现场景,提供立体感和交互功能。对多视点视频进行压缩编码和解压解码的过程称为多视点视频编码和多视点视频解码。在3d-hevc中,视点可以被分成了两类:独立视点(如下述2)的介绍)与非独立视点(如下述3)的介绍)。57.2)独立视点独立视点也可称为基础视点,该视点的编码是独立的,不依赖于其他视点。也即独立视点的视频图像可以不依赖于其他视点而利用传统的视频编码器(例如hevc视频编码器)进行编码,对应的比特流可以单独提取出来形成二维比特流,从而恢复二维视频。58.3)非独立视点也可称为依赖视点,该视点的编码通常是利用已编码的独立视点的信息来预测当前编码视点的信息,从而降低视点间冗余,提高编码效率。59.4)视点合成预测(viewsynthesisprediction,vsp)一种三维视频序列的预测编码技术,用于自其他视点预测当前视点的图像。与帧间预测的主要区别在于:视点合成预测产生的预测图像是一个由不同于当前编码(或解码)视点的一个已编码(或已解码)视点的重建图像和重建深度生成的视点合成图像,而帧间预测产生的预测图像是当前编码(或解码)视点另一时刻的重建图像。60.5)深度图(depthimage)即深度图像,也被称为距离影像(rangeimage),是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像,根据深度图像能够直接反映了场景中物体的可见表面的几何形状。深度图由于能够记录场景中物体距离摄像头的距离,可以用以测量、三维重建、虚拟视点合成等。对于深度图的获取可以是可以利用双目相机拍摄同一场景的左、右两幅视点图像,运用(双目)立体匹配算法获取视差图,进而获取深度图。61.6)编码树单元(codingtreeunit,ctu)依次编码成hevc比特流的编码逻辑单元,通常包括三个块,即两个色度块和一个亮度块,这样的一个块叫做ctb(codingtreeblock,编码树块),除此之外,ctu还包括相关的语法元素。62.可选地,术语“重建”和“解码”可以互换使用,术语“图像”、“图片”和“帧”可以互换使用。通常但并非必须,术语“重建”在编码器侧使用,而“解码”在解码器侧使用。63.基于上述内容,下面对用于编码多视点视频的多视点编码器进行介绍。请参见图3,是本技术实施例提供的一种多视点编码器的结构示意图。以存在视点v0~v1的多视点视频来举例说明,可选地,v0是独立视点,v1是依赖视点,每个视点的纹理图像与相应的深度图像相关联。本领域技术人员可知,可以利用独立视点的纹理图像的重建纹理块和对应的深度图像的重建深度块来生成依赖视点的纹理图像的预测纹理块。此外,可以利用独立视点的重建深度块来生成依赖视点的预测深度块。利用多视点编码器对独立视点和依赖视点的编解码处理如下。64.(1.1)利用多视点编码器300a对独立视点v0的编码处理说明如下:在接收独立视点v0的输入视频数据之后,将原始图像块(包括纹理图像的纹理图像块和深度图像的深度图像块)减去通过帧内预测和/或帧间预测得到的预测块(包括纹理图像的纹理预测块和深度图像的深度预测块),得到残差块(包括纹理图像的纹理残差块和深度图像的深度残差块)。之后,对残差块进行变换和量化处理,再由熵编码器进行编码,形成已编码的比特流。除此之外,残差块会进行逆量化和逆变换处理,并与通过帧内预测和/或帧间预测得到的预测块相加得到重建块。由于变换和量化的原因,重建块与输入帧(输入视频数据的图像)中的图像块之间存在失真。因此,需要对重建块进行环路滤波处理。例如,基于神经网络的环路滤波处理。此外,环路滤波处理也可以包括dbf(deblockingfilter,去块效应滤波)、sao(sample-adaptiveoffset,采样自适应补偿)、alf(adaptiveloopfilter,自适应环路滤波)中的至少一个(图3未示出);基于神经网络的环路滤波处理还可以增加基于神经网络的滤波器,该神经网络可以是超分辨率神经网络、基于密集残差卷积神经网络、一般的卷积神经网络等等,在此不做限制。例如由dbf、drnlf(denseresidualconvolutionalneuralnetworkbasedin-loopfilter,基于密集残差卷积神经网络的环路滤波器)、sao、alf构成基于神经网络的环路滤波处理(图3未示出)。经过环路滤波处理的重建块会进一步合成重建图像并被存储于图像缓冲器中,以用于后续图像块的预测处理。65.(1.2)利用多视点编码器300a对依赖视点v1的编码处理说明如下:在接收依赖视点v1的输入视频数据之后,将原始图像块(包括纹理图像的纹理图像块和深度图像的深度图像块)减去通过帧内预测和/或帧间预测得到的预测块(包括纹理图像的纹理预测块和深度图像的深度预测块),得到残差块(包括纹理图像的纹理残差块和深度图像的深度残差块)。之后,对残差块进行变换和量化处理,再由熵编码器进行编码,形成已编码的比特流。除此之外,残差块会进行逆量化和逆变换处理,并与通过帧内预测和/或帧间预测得到的预测块相加得到重建块。由于变换和量化的原因,重建块与输入帧中的图像块之间存在失真。因此,需要对重建块进行环路滤波处理,例如,基于神经网络的环路滤波处理,该基于神经网络的环路滤波处理还可以包括dbf、sao、alf中的至少一个(图3未示出),还可以增加基于神经网络的滤波器进一步提升滤波图像质量,例如drnlf。经过环路滤波处理的重建块会进一步合成重建图像并被存储与图像缓冲器中,以用于后续图像块的预测处理。66.此外,依赖视点v1的图像还可进行视点合成预测。具体来说,可以从图像缓冲器中读取依赖视点v1对应的独立视点v0的图像块,包括纹理图像的纹理图像块和深度图像的深度图像块。进一步,依据对应的独立视点v0的深度图像块可以生成对应的依赖视点v1的深度图像的预测深度图像块,以及依据对应的独立视点v0的纹理图像的纹理图像块和深度图像的深度图像块,可以生成依赖视点v1的纹理图像的预测纹理块。接下来,将与视点合成预测相关的控制数据(即图3中的预测数据包括的用于指示解码端和编码端保持相同的预测方式的控制数据)和其他相关数据(例如滤波器控制数据)进行熵编码,并在已编码的比特流中进行传输。67.(2.1)对于多视点视频的解码处理,可以视为多视点视频的编码处理的逆过程,结合图4示出的多视点视频解码器300b对独立视点v0和依赖视点v1的解码处理说明如下:对独立视点v0和依赖视点v1的解码处理会经历如下过程:视频解码器对接收到的已编码的比特流(例如独立视点v0的比特流或依赖视点v1的比特流)进行熵解码,得到预测数据、编码端指示的滤波器控制数据以及量化后的变换系数;之后,量化后的变换系数经过逆量化和逆变换得到残差块,该残差块和预测数据经过多种预测方式(例如,包括帧内预测、帧间预测、视点合成预测)中的一种处理后输出的预测块进行求和处理,再根据滤波器控制数据对环路滤波处理的指示,采用和多视频编码器相同的滤波方式对解码图像块进行滤波处理,滤波后的解码图像块会进一步合成解码图像,将解码图像缓存到解码图像缓冲器,用于后续图像块的预测处理,同时输出解码的视频数据。68.在此需要注意的是,依赖视点v1的比特流在多视点视频解码器中进行解码时,依赖视点v1解码得到的预测参数可以包括用于指示解码器使用视点合成预测的控制数据,多视点视频解码器根据该控制数据的指示采用视频合成预测方式得到预测块,例如依据对应的独立视点v0的深度图像块可以生成对应的依赖视点v1的深度图像的预测深度图像块,以及依据对应的独立视点v0的纹理图像的纹理图像块和深度图像的深度图像块,可以生成依赖视点v1的纹理图像的预测纹理块,然后将预测深度图像块、预测纹理块、与它们对应的残差块进行求和等一系列处理得到各自的解码图像。69.基于上述对多视频编码器和多视频解码器的介绍,下面结合附图,对本技术实施例提供的图像处理方法进行阐述。70.第一实施例请参见图5,图5是根据第一实施例示出的一种图像处理方法的流程示意图,该实施例中的执行主体可以是一个计算机设备或者是多个计算机设备构成的集群,该计算机设备可以是智能终端(如前述移动终端100),也可以是服务器,此处,以本实施例中的执行主体为智能终端为例进行说明。71.s501,获取第一辅助信息。72.在一个实施例中,所述第一辅助信息包括深度信息或视差信息,所述深度信息包括以下至少一种:深度特征信息、基于深度值的统计信息、深度切片、预处理后的深度切片、深度特征信息和基于深度值的统计信息的组合信息。73.对于视差信息和深度信息存在如下关系:由于视差和三维空间上的点到投影中心平面的距离成反比,因此只要知道场景中某点的视差信息,就可以知道该点的深度信息。深度信息或视差信息可以自对应的深度图像中确定,深度特征信息可以是关于深度的点特征、线特征、面特征、感兴趣区域的深度轮廓信息中的任一种或多种;基于深度值的统计信息可以为对应深度切片的深度值的统计信息。基于深度值的统计信息可以用于计算第一视点的深度切片和第二视点的深度切片之间的相似度;深度切片是指深度图中和纹理切片对应的切片区域;预处理的深度切片例如是经过量化处理后的深度切片。可选地,深度信息可以用矩阵表示,矩阵的尺寸和对应纹理切片相关联,示例性地,对于感兴趣深度区域或者关于深度的特定面特征标记为1,对于其他区域标记为0。如此有助于提取感兴趣深度区域或关于深度的特定面特征对应的纹理区域的特征,并进一步对这些特征进行环路滤波处理,以提高重建图像或解码图像的品质。74.第一辅助信息可以是来自第一视点和/或第二视点的辅助信息,第一视点可以是依赖视点,第二视点可以是独立视点。75.s502,根据对应于第二视点的参考图像和所述第一辅助信息,对对应于第一视点的第一图像块进行处理。76.在一个实施例中,还包括:获取所述对应于第一视点的第一图像块;和/或,获取所述对应于第一视点的第一图像块。可选地,所述第二视点不同于所述第一视点。可选地,参考图像和第一图像块所在的图像属于同一时刻不同视点的图像。77.在一个实施例中,对应前述介绍的多视点视频编码器和多视点视频解码器,此处的第一视点可以为依赖视点,第二视点可以为独立视点;第一图像块为输入基于神经网络的环路滤波处理之前的重建块,可选地,重建块为重建纹理图像块(也可简称重建纹理块),重建纹理块可以是ctu、切片(slice)、方块(tile)、子图像中的任一种;第一图像块所在的图像可以称为依赖视点的当前帧,当前帧可以为当前纹理帧f1,当前纹理帧f1为重建图像。可选地,参考图像是从图像缓冲器(或解码图像缓冲器)中获取的参考帧,该参考帧为第二视点对应的重建图像(或第二视点对应的解码图像),且参考图像先于第一图像块所在的图像完成编码。例如参考图像为独立视点的参考帧。78.例如,第一图像块为依赖视点当前纹理帧f1的当前重建的纹理切片s1(或当前重建纹理切片s1),当前重建的纹理切片s1可以为帧内预测切片(islice)或帧间预测切片(pslice),可选地,当前纹理帧f1没有完全重建完成,而独立视点的参考帧fr1(对应参考图像)已经重建完成,后续可以匹配参考帧中的纹理切片对当前重建的纹理切片s1进行处理。需要说明的是,在获取到的当前重建的纹理切片s1为通过帧内预测处理获得的重建纹理切片(即帧内预测切片islice),或者为通过帧间预测处理获得的重建纹理切片(即帧间预测切片pslice),而非通过视点间预测(例如视点合成预测)得到的纹理切片时,当前重建纹理切片由于在重建过程中没有参考独立视点的纹理信息,因此,在环路滤波处理阶段可以通过融合来自独立视点的参考帧的纹理信息,增强环路滤波处理后的重建纹理切片的质量。然而本发明并非限于此,当前重建的纹理切片s1也可以为视点间预测处理获得的重建纹理切片。在获取到的当前重建纹理切片为通过视点间预测处理获得的重建纹理切片时,后续参考独立视点的纹理信息也可以进一步提高滤波处理后的重建纹理切片的质量。79.上述获取到的第一视点的第一图像块的图像区域的尺寸小于第二视点的参考图像的图像区域的尺寸,这样可以从第二视点的参考图像这一较大的图像区域中确定与第一视点的第一图像块相匹配的第二图像块,从而提高匹配程度。第一视点和第二视点可以对应为依赖视点和独立视点,第一图像块和第二图像块均可以是重建纹理块,具体的匹配方式可以参见图7对应实施例介绍的内容,在此先不做详述。80.可选地,可以根据所述参考图像的第二图像块和第一辅助信息,确定或生成对应于所述第一图像块的一处理结果。81.在一个实施例中,可以从参考图像中获取第二图像块。对于第二图像块获取可以遵循以下预设规则,即:在第二视点的参考图像划分的较大的图像区域中确定与第一视点的第一图像块匹配的第二图像块。假设第一视点为依赖视点,第二视点为独立视点,第一图像块为重建纹理块,可以根据获取到的重建纹理块和参考帧确定第二图像块,或者,可以根据获取到的重建纹理块和参考帧中的图像区域确定第二图像块。更多地,由于重建纹理块为ctu、切片、方块、子图像中的任一种,根据上述预设规则,有如下确定第二图像块的情形:①当第一图像块为依赖视点的当前帧的重建纹理块,第二图像块从独立视点参考帧中的重建切片中确定(可选地,该重建纹理块的尺寸小于重建切片的尺寸);②当第一图像块为依赖视点的当前帧的重建纹理块且重建图像块为ctu时,可以获取独立视点的参考图像的切片(slice)、方块(tile)、子图像中的任一种以确定第二图像块;③当第一图像块为依赖视点的当前帧的重建纹理块且重建图像块为切片(slice)或方块(tile)时,可以获取独立视点的参考图像中的子图像,并从中确定第二图像块。82.在一个实施例中,第一图像块和第二图像块之间的关系包括以下至少一种:所述第二图像块和所述第一图像块的尺寸相同,所述第一图像块和所述第二图像块的类型相同,当所述第二图像块为切片时,所述第二图像块由多个编码树单元构成。这里的尺寸相同是指图像块的图像区域大小相同,例如第一图像块和第二图像块的尺寸都是8×8,类型相同例如是当所述第一图像块为切片时,所述第二图像块对应为切片,当所述第一图像块为编码树块(ctu)时,所述第二图像块对应为编码树块(ctu)。83.上述切片具体为纹理切片(或重建纹理切片),可选地,第二视点的纹理切片(例如独立视点的纹理切片sr)可以不是通常意义上包含在nal(networkabstractionlayer,网络提取层,在视频编标准h.264中负责将编码后的数据以网络要求的格式进行打包和传输)中的纹理切片,而是尺寸、形状和第一视点的纹理切片(例如依赖视点的纹理切片)相同,由多个ctu组成的图像区域。84.可选地,可以根据第一图像块的第一辅助信息从参考图像中确定第二图像块。示例性地,第一图像块为当前重建纹理块,具体为当前重建的纹理切片s1(或纹理切片s1),第一视点为依赖视点,第一辅助信息为深度信息或视差信息,例如,依赖视点当前纹理帧f1中的纹理切片s1对应的深度信息可以是深度切片本身或经过预处理的深度切片,还可以是当前重建的纹理切片s1对应的深度切片的深度值的统计信息。当前重建的纹理切片s1对应的深度信息ds1或视差信息ds2自纹理切片s1对应的深度图像确定。根据当前重建的纹理切片s1对应的深度信息ds1或视差信息ds2可以确定在独立视点的参考纹理帧fr1中对应的参考纹理切片sr1,具体可以参见下述介绍。85.可选地,步骤s502包括:获取所述第一图像块的第一辅助信息,可选地,所述第一辅助信息包括深度信息,可选地,所述深度信息根据所述第一图像块对应的深度图像确定;计算或获取所述参考图像中各个图像块的第一辅助信息和所述第一图像块的第一辅助信息的相似度;将所述参考图像中所述相似度最大的图像块确定为与所述第一图像块匹配的第二图像块。86.可选地,所述第一图像块的第一辅助信息包括深度信息或视差信息,所述深度信息或所述视差信息自所述第一图像块对应的深度图像确定。例如,当第一图像块为依赖视点的当前纹理帧f1的当前重建纹理切片s1时,第一辅助信息可以从当前重建纹理切片s1对应的深度切片中确定。87.可选地,第二视点的参考图像中各个图像块与第一图像块类型相同,例如均为纹理切片;与第一图像块的第一辅助信息类似,参考图像中各个图像块的第一辅助信息也包括深度信息或视差信息,深度信息或视差信息自参考图像对应的深度图像确定。对于第二图像块与第一图像块的相似度,通过各自的第一辅助信息之间的相似度来衡量。例如,依据深度信息计算独立视点的纹理切片和依赖视点的纹理切片之间的相似度,深度信息包括以下至少一种:深度特征信息、基于深度值的统计信息、深度切片、预处理后的深度切片、深度特征信息和基于深度值的统计信息的组合信息。88.可选地,通过确定与第一视点的第一图像块对应的第一辅助信息相似度最大的第二视点的参考图像中的图像块,可以在对应的第二视点的参考图像的各图像块中查找到与第一视点的第一图像块匹配的第二图像块,该第二图像块的第一辅助信息和第一图像块的第一辅助信息之间最相似。89.所述处理结果用于获得所述第一图像块对应的重建图像或解码图像。需要说明的是,当本方案应用在多视点视频编码端时,处理结果用于获取第一图像块对应的重建图像;当本方案应用在多视点视频解码端时,处理结果用于获取第一图像块对应的解码图像。90.在一个实施例中,处理结果包括滤波后的第一图像块,可以利用图6示出的基于神经网络的环路滤波处理器,根据第一辅助信息和参考图像的第二图像块对第一图像块进行处理,确定或生成处理结果。91.如图6所示,基于神经网络的环路滤波器包括融合模块和基于神经网络的滤波处理模块,可选地,融合模块可以接收第一辅助信息(例如深度信息或视差信息)、第一图像块(例如依赖视点的当前帧的当前重建纹理块)、参考图像(例如独立视点参考帧)进行处理,融合模块可以从参考图像中确定第二图像块(例如匹配纹理块),第一图像块和第二图像块在融合模块中经过一系列处理之后,再将融合模块处理得到的结果输入到基于神经网络的滤波处理模块中进行处理,得到滤波后的第一图像块。需要说明的是,基于神经网络的环路滤波器可以设置于图3所示的多视点编码器或图4所示的多视点解码器中,基于神经网络的滤波处理模块采用下述图13所示出的结构示意图。在一个实施例中,融合模块可以独立于基于神经网络的滤波处理模块存在,即设置为一个单独的功能模块。在另一个实施例中,融合模块与基于神经网络的滤波处理模块一起包含于图3或图4中的基于神经网络的环路滤波处理器中,用来确定或生成环路滤波处理的处理结果,后续根据该处理结果可以进一步合成重建图像或解码图像。在一实施例中,该处理结果也可以称为依赖视点的已环路滤波的纹理块,或依赖视点的已环路滤波的重建纹理块。92.在一种实施方式中,融合模块接收依赖视点的纹理块、独立视点的参考帧以及深度信息或视差信息。在另一实施方式中,融合模块也可以接收依赖视点的当前帧的当前重建纹理块、独立视点参考帧中的重建纹理切片以及深度信息或视差信息。可选地,依赖视点的当前帧的重建纹理块可以是ctu、切片(slice)、方块(tile)、子图像中的一种,当融合模块接收依赖视点的当前帧的重建纹理块是ctu时,融合模块可以自图像缓冲器中接收来自独立视点的参考帧的切片、方块、或子图像中的一种,当融合模块接收依赖视点的当前帧的重建纹理块是切片(slice)或方块(tile)时,融合模块可以自图像缓冲器中接收来自独立视点的参考帧的子图像。93.有关融合模块和基于神经网络的滤波处理模块的更详细的处理方式可见图7对应实施例阐述的内容,在此先不做详述。94.综上所述,本技术实施例提供的图像处理方案可以应用于多视点视频编解码的场景中,通过参考第一辅助信息(包括深度信息或视差信息),将不同视点的图像块的信息利用起来,可以减小同一时刻不同视点的帧之间的视差影响,以实现不同视点的图像块较好的匹配效果,根据匹配度较高的第二图像块辅助第一图像块确定或生成对应的处理结果,能够降低处理结果的失真度,从而获取高质量的重建图像或解码图像。95.第二实施例请参见图7,图7是根据第二实施例示出的一种图像处理方法的流程示意图,该实施例中的执行主体可以是一个计算机设备或者是多个计算机设备构成的集群,该计算机设备可以是智能终端(如前述移动终端100),也可以是服务器,此处,以本实施例中的执行主体为智能终端为例进行说明。96.s701,获取第一辅助信息、对应于第一视点的第一图像块以及对应于第二视点的参考图像。此步骤可以参见第一实施例中相关描述,在此不做赘述。97.s702,根据所述第一辅助信息从所述参考图像中确定第二图像块。98.当第一视点的第一图像块是ctu时,可以自图像缓冲器中获取来自第二视点的参考图像的切片、方块、或子图像中的一种中确定第二图像块,当第一视点的第一图像块为切片或方块时,可以自图像缓冲器中获取来自第二视点的参考图像的子图像中确定第二图像块。即此处从第二视点的参考图像中确定第二图像块的处理规则为:第二视点的图像区域的尺寸大于第一视点的第一图像块的图像区域的尺寸。99.在一个实施例中,所述第二图像块和所述第一图像块的类型是相同的,例如第一图像块为重建纹理切片,从参考图像的子图像中确定的第二图像块也是重建纹理切片;所述第二图像块和所述第一图像块匹配,第二图像块也可称为匹配图像块,例如当第一图像块为重建纹理块时,第二图像块为匹配纹理块,具体的,重建纹理块为重建纹理切片时,可以将第二视点的参考图像的重建纹理切片与第一视点的重建纹理切片进行粗略匹配(slicetosliceregistration),得到的第二图像块为第二视点的参考图像中符合匹配条件的重建纹理切片(即匹配纹理切片)。100.在一个实施例中,s702对应是将第一视点的第一图像块和第二视点的第二图像块进行粗略匹配,可选实现步骤如下①~③:①获取所述第一图像块的第一辅助信息;②获取所述参考图像中各个图像块的第一辅助信息和所述第一图像块的第一辅助信息的相似度;③将所述参考图像中所述相似度最大的图像块确定为与所述第一图像块匹配的第二图像块。具体内容可以参见第一实施例中相同步骤的描述,这里不再赘述。101.示例性地,所述第一图像块为依赖视点的当前纹理帧f1的当前重建纹理切片s1,所述参考图像为独立视点的参考帧,将独立视点的参考纹理帧fr1中的纹理切片sr和依赖视点的当前帧的当前重建纹理片s1进行粗略匹配:首先,获取到当前重建纹理切片s1对应的深度信息ds1或视差信息ds2,接着,可以在对应的独立视点的参考帧fr1中查找与当前重建纹理切片s1对应的深度信息ds1或视差信息ds2最相似的参考纹理切片sr1。例如,确定与依赖视点的纹理切片s1对应的深度信息的相似度最大的独立视点的纹理切片为参考纹理切片sr1,该参考纹理切片sr1和依赖视点的纹理切片s1相匹配。需要说明的是,独立视点的纹理切片sr可以不是通常意义上包含在nal中的纹理切片,而是尺寸和形状与依赖视点中的纹理切片相同的、多个ctu组成的图像区域。102.s703,确定所述第一图像块对应的第一特征图以及所述第二图像块对应的第二特征图。103.第一图像块和第二图像块各自对应的特征图可以是直接对图像块进行特征提取得到的,也可以是第一图像块和第二图像块经过精细匹配后,对精细匹配输出的图像子块进行特征提取得到的。针对这两种不同的方式,可以参见下述的介绍。104.方式1:基于特征提取网络和所述第一辅助信息对所述第一图像块和所述第二图像块进行特征提取处理,得到所述第一图像块对应的第一特征图以及所述第二图像块对应的第二特征图。105.此处的第一辅助信息和前述粗略匹配使用的第一辅助信息是相同的,可以来自第一图像块或第二图像块;该第一辅助信息包括深度信息或视差信息,深度信息或视差信息可以通过矩阵来表示,或者也可以是深度图或视差图,或者是经过预处理(例如量化处理、归一化处理)的深度图或视差图来表示。第一辅助信息可以作为特征提取网络的参考信息,能够在对第一图像块和第二图像块进行特征提取处理时,使得提取的第一图像块和第二图像块的特征与深度信息以及/或者视差信息之间建立映射关系,以使得后续进行第一预设处理时能够更精确地确定第一预设处理模型和/或第一预设处理参数。在一实施例中,第一预设处理为扭曲处理,第一预设处理模型为扭曲模型,第一预设处理参数为扭曲参数。106.在另一实施方式中,可以对需要监督的特定深度的纹理图像区域对应的深度信息设置为1,而对其他深度的纹理图像区域对应的深度信息设置为0。进一步,将此种方式得到的深度信息或视差信息作为第一辅助信息。可选地,第一辅助信息可以为特征提取网络的监督信息,能够使得仅提取第一图像块和第二图像块中对应于需要监督的特定深度的纹理图像区域的特征而生成各自对应的特征图。如此,可以在计算资源或者传输带宽有限的情况下,优先处理或仅处理需要监督的特定深度的纹理图像区域。107.特征提取网络包括神经网络,例如卷积神经网络、残差卷积神经网络、深度学习神经网络等中的任一种或多种的组合,通过训练好的神经网络的处理,可以提取图像块对应的特征图,特征图为多维(例如二维)矩阵。对应的特征提取单元可以为卷积层,下采样单元可以为池化层。108.方式2:获取所述第一图像块的第一图像子块和所述第二图像块的第二图像子块;所述第二图像子块的第二辅助信息和所述第一图像子块的第二辅助信息匹配;基于特征提取网络和所述第二辅助信息对所述第一图像子块和所述第二图像子块进行特征提取处理,得到所述第一图像子块的第一子特征图和所述第二图像子块的第二子特征图;通过所述第一子特征图,确定或生成所述第一图像块对应的第一特征图,以及通过所述第二子特征图,确定或生成所述第二图像块对应的第二特征图;可选地,所述第二辅助信息与所述第一辅助信息不同。在一实施例中,将第一图像块的所有第一图像子块对应的第一子特征图组合/拼接成第一特征图,以及将第二图像块的所有第二图像子块对应的第二子特征图拼接成第二特征图。109.此方式下,第二图像子块对应是在粗略匹配之后,将第一图像子块和第二图像块中的图像子块进行精细匹配得到的结果,第二图像子块也可以称为匹配图像子块,第一图像子块和第二图像子块的类型相同。示例性地,第一视点的第一图像块为重建纹理块,第二视点的第二图像块对应为重建纹理块(或称为匹配纹理块),第一图像子块为第一视点的重建纹理块中的重建纹理子块,第二图像子块为第二视点的重建纹理块中的重建纹理子块(或称为匹配纹理子块)。110.第二图像子块和第一图像子块各自的第二辅助信息匹配是指不同图像子块的第二辅助信息之间的相似度最大。和粗略匹配的方式类似,精细匹配是利用第二辅助信息进行相似度计算的。第二辅助信息可以包括深度信息或视差信息,第二辅助信息为深度信息时,深度信息可以包括但不限于以下至少一种:①深度特征信息,例如,关于深度的点特征、线特征、面特征、边界特征、感兴趣部分的深度轮廓信息;②基于深度值的统计信息,例如,重建纹理编码树块ctbd对应的重建深度块的深度值的统计信息,此时深度信息可以用于计算第二视点的重建深度块和第一视点的重建深度块之间的相似度;③深度特征信息和基于深度值的统计信息的组合;④重建深度块本身或经过预处理的重建深度块。111.需要说明的是,精细匹配使用的第二辅助信息和粗略匹配使用的第一辅助信息不同。精细匹配时使用的第二辅助信息的内容不同,或者精度更高。在一实施方式中,第一辅助信息和第二辅助信息都为深度信息,可以包括的内容不同,例如,粗略匹配时纹理切片对应的深度信息为深度特征信息,精细匹配时重建纹理子块对应的深度信息是基于深度值的统计信息;或者,粗略匹配时纹理切片对应的深度信息为深度特征信息,精细匹配时重建纹理子块对应的深度信息是深度特征信息和基于深度值的统计信息的组合。在另一实施方式中,第一辅助信息和第二辅助信息的精度不同,例如,粗略匹配时纹理切片对应的深度信息是n个深度特征信息,精细匹配时重建纹理子块对应的深度信息是m个深度特征信息,可选地,m大于n且为大于等于1的整数。如此,在粗略匹配时,可以利用一种深度信息(例如,低精度深度信息)对纹理切片进行匹配,而在精细匹配时,可以利用另一种深度信息(高精度深度信息)对重建纹理编码树块进行匹配,通过两次不同维度的匹配,可以保持较好的计算复杂度和匹配结果之间的平衡。112.在一个可行的实施例中,所述第一图像子块和所述第二图像子块为相同类型的图像子块,例如,所述第一图像子块和所述第二图像子块为编码树块或扩展的编码树块。第一图像块为重建纹理块,重建纹理块可以是重建纹理切片,即第一图像块为重建纹理切片;第一图像子块为重建纹理子块,重建纹理子块可以是重建纹理编码树块ctb,即第一图像子块为重建纹理编码树块ctb,第二图像块和第二图像子块的类型与第一图像块以及第一图像子块对应。获取重建纹理子块的方式可以为:依据预定的处理顺序,对第一视点的重建纹理切片s1中的重建纹理编码树块ctbd与第二视点的重建纹理切片sr1中的重建纹理编码树块ctbi进行精细匹配(blocktoblockregistration)。例如,第一视点为依赖视点,第二视点为独立视点,可以依据光栅扫描的顺序,通过依赖视点的重建纹理切片中的重建纹理编码树块对应的深度信息或视差信息,确定在独立视点的参考纹理帧fr1中对应的参考纹理切片中的重建纹理编码树块ctbi。113.可选地,可以依据深度信息计算第一视点的重建纹理编码树块和第二视点的重建纹理编码树块之间的相似度,即确定与第一视点的重建纹理编码树块ctbd对应的深度信息相似程度最大的第二视点的重建纹理编码树块ctbi,并将其作为和第一视点的重建纹理编码树块ctbd相匹配的重建纹理编码树块,此处,深度信息的相似程度可以利用关于相似概率的函数来表示。114.重建纹理子块还可以是扩展的重建纹理编码树块ctbex,即第一图像子块和第二图像子块均为扩展的重建纹理编码树块,扩展的重建纹理编码树块ctbex是对重建纹理编码树块ctb的块边缘进行扩展的编码树块,扩展的重建编码树块ctbex包括重建纹理编码树块ctb。可选地,扩展区域可以利用与重建纹理编码树块相邻的其他重建纹理编码树块的像素进行填充,因此,扩展的重建纹理编码树块ctbex的尺寸比重建纹理编码树块的尺寸大。由于对于编码图像的分割是以编码树块为基础,重建的编码图像或解码图像会产生块效应,但是此处利用扩展的重建纹理编码树块进行环路滤波时,扩展区域是相邻的其他重建纹理编码树块的像素进行填充的,这样可以有效降低分割带来的块效应。因此,第一图像子块和第二图像子块为扩展的重建纹理编码树块,可以从图像划分的本质上减轻块效应,进而提高滤波效果和编解码的质量。115.在方式2下,和第一辅助信息类似,第二辅助信息除了作为精细匹配的参考信息,使得提取的第一图像子块和第二图像子块的特征与深度信息以及/或者视差信息之间建立映射关系,还可以作为监督信息,使得特征提取网络能够仅提取第一图像子块和第二图像子块中对应于需要监督的特定深度的纹理图像区域的特征而生成各自对应的特征图。116.上述两种方式都可以通过特征提取网络提取得到对应的特征图(包括第一特征图和第二特征图),区别仅在于特征提取网络接收的处理对象的不同:在精细匹配下,特征提取网络接收的是第一图像子块(例如重建纹理子块)、第二图像子块(例如匹配纹理子块)、第二辅助信息。在只有粗略匹配时,特征提取网络接收的是第一图像块(例如当前重建纹理块)、第二图像块(例如匹配纹理块)、第一辅助信息。接下来对特征提取网络所包括的详细内容以及处理原理进行介绍。117.在一个实施例中,特征提取网络包括n个级联的特征提取模块,所述n为大于或等于1的整数,前n-1个特征提取模块中每个特征提取模块包括串联的特征提取单元和下采样单元,第n个特征提取模块包括特征提取单元;所述n个级联的特征提取模块中第一个特征提取模块,用于处理所述第一图像块和所述第二图像块,或者所述第一图像子块和所述第二图像子块;所述n个级联的特征提取模块中除所述第一个特征提取模块之外的各个特征提取模块,用于处理前一个特征提取模块的输出;针对所述每个特征提取模块,所述下采样单元的输入和所述特征提取单元的输出连接,所述下采样单元的输出和后一个特征提取模块中特征提取单元的输入连接;可选地,所述第一辅助信息或所述第二辅助信息作为所述n个级联的特征提取模块中至少一个特征提取模块的参考信息和/或监督信息。118.基于上述对特征提取网络的介绍,请参见图8a,是本技术实施例提供的一种特征提取网络的结构示意图。下面将结合图8a对特征提取网络采用金字塔分层处理的方式提取第一图像块的特征进行如下说明,在此以特征提取网络接收第一辅助信息处理第一图像块和第二图像块为示例。119.首先,第一图像块(例如重建纹理块)、第二图像块(例如匹配纹理块)以及第一辅助信息被输入至特征提取模块1中,通过特征提取单元1中的卷积操作,输出特征图fd1和特征图fi1。之后,下采样单元1对输出特征图fd1和特征图fi1,得到经过下采样的特征图fdd1和经过下采样的特征图fid1。特征提取模块1包括的特征提取单元1和下采样单元1的处理为第一层级的处理。120.接下来,经过下采样的特征图fdd1和经过下采样的特征图fid1被输入至特征提取模块2,通过特征提取单元2中的卷积操作,输出特征图fd2和特征图fi2。之后,下采样单元2对输出的特征图fd2和特征图fi2进行下采样操作,得到经过下采样的特征图fdd2和特征图fid2。特征提取模块2包括的特征提取单元2和下采样单元2的处理为第二层级的处理。121.同理,对于接下来的每一层级的特征提取模块的操作类似,直到第n-1层级的处理。对于第n层级的处理,经过下采样的特征图fdd(n-1)和经过下采样的特征图fid(n-1)被输入至特征提取模块n,通过卷积操作,输出特征图fdn和特征图fin。122.此处将特征图fd1~fdn统称为第一特征图,特征图fi1~fin统称为第二特征图。在上述实施例中,每经过一个特征提取单元处理后再进行下采样单元的下采样处理,可以降低特征图的尺寸大小,通过串联的特征提取模块特征图的尺寸大小会逐渐缩小,进而使得特征图表达的语义更加抽象,这一过程也即金字塔特征提取。在金字塔特征提取处理中,每一层级的特征提取模块产生的特征图都是不同尺度的特征图,后续利用不同尺度的特征图进行扭曲、融合处理,可以丰富特征图的表达,进而使得最终融合得到的特征图更全面准确地描述第一视点的第一图像块的信息,从而更好地还原第一图像块对应的原始图像。123.特征提取网络中的部分或全部特征提取模块可接收第一辅助信息/第二辅助信息,第一辅助信息/第二辅助信息可以作为参考信息或监督信息,参考信息可以使得提取得到的特征和辅助信息之间建立映射关系,监督信息可以用于对特征提取单元进行监督训练,这样可以使得训练后的特征提取网络精确地提取不同深度信息的图像块,进而获取得到准确的特征图。在上述示例中,可以仅是第一层级的特征提取模块(具体是特征提取单元1)接收第一辅助信息/第二辅助信息(例如深度信息或视差信息),这样计算相对简单,适用于深度信息较简单的场景。在其他示例中,还可以每一层级的特征提取模块的所有模块或部分模块接收第一辅助信息/第二辅助信息(例如深度信息或视差信息),从而适用于高精度的深度变化范围的场景,有利于得到高质量的环路滤波处理后的重建纹理块。此外,还可以是对于不同的场景,不同的时刻,在每一层级使能或禁能接收第一辅助信息/第二辅助信息(例如深度信息或视差信息),以使得可以自适应地控制计算的复杂度,满足不同应用的要求。请参见图8b示出的另一种特征提取网络的示意图,如图8b所示,在特征提取网络提取第一图像块和第二图像块对应的特征图时,各个特征提取单元均接收第一辅助信息,以更好地提取高精度的深度信息的图像块的特征图。124.需要说明的是,如图8a或图8b所示出的特征提取网络还可以接收第二辅助信息处理第一图像子块和第二图像子块,具体处理流程和前述接收第一辅助信息处理第一图像块和第二图像块示例的内容相同,在此不做详述。各个特征提取单元输出的特征图可以为子特征图,例如特征图fd1~fdn统称为第一子特征图,特征图fi1~fin统称为第二子特征图。在一实施例中,可以将第一图像块的所有第一图像子块对应的第一子特征图组合/拼接成第一特征图,以及将第二图像块的所有第二图像子块对应的第二子特征图拼接成第二特征图,后续基于第一特征图和第二特征图进行第一预设处理和第二预设处理;在另一实施例中,也可以直接对第一子特征图和第二子特征图进行第一预设处理以及第二预设处理。125.在一实施例中,以第一预设处理为扭曲处理,第二预设处理为特征融合处理为例,对子特征图的处理进行如下说明:将第一图像块的所有第一图像子块对应的第一子特征图组合/拼接成第一特征图,以及将第二图像块的所有第二图像子块对应的第二子特征图拼接成第二特征图。接下来,将第二特征图进行扭曲处理。最后,将扭曲后的第二特征图和第一特征图进行特征融合处理,以得到融合后的特征图。需要说明的是,也可以先不用确定第一特征图和第二特征图,而直接将第二子特征图进行扭曲处理。在将第二子特征图进行扭曲处理,得到扭曲后的第二子特征图之后,可以将所有第二子特征图进行组合/拼接,从而确定或生成扭曲后的第二特征图。以及将第一子特征图进行组合/拼接,从而确定或生成第一特征图。最后,将扭曲后的第二子特征图和第一特征图进行特征融合处理,以得到融合后的特征图。再或者,也可以先不用确定第一特征图和第二特征图,而直接将第二子特征图进行扭曲处理。在将第二子特征图进行扭曲处理,得到扭曲后的第二子特征图之后,将扭曲后的第二子特征图和第一子特征图进行特征融合处理,以得到融合后的子特征图。最后,将融合后的子特征图进行组合/拼接处理,以得到融合后的特征图。126.s704,根据所述第一特征图以及所述第二特征图,确定或生成对应于所述第一图像块的一处理结果。处理结果用于生成所述第一图像块对应的重建图像或解码图像。127.在一个可行的实施例中,s704的具体实现步骤包括(1)~(3):(1)根据所述第一特征图对所述第二特征图进行第一预设处理,得到目标第二特征图。128.在一实施例中,基于所述第一特征图和所述第二特征图确定第一预设处理参数;或者,基于所述第一特征图、所述第二特征图以及所述第一辅助信息确定第一预设处理参数;基于第一预设处理模型对所述第二特征图进行第一预设处理,得到目标第二特征图;所述第一预设处理模型包括根据所述第一预设处理参数确定的第一处理模型。129.在另一实施例中,所述第一预设处理模型包括所述第一处理模型和第二处理模型,所述基于所述第一预设处理模型对所述第二特征图进行第一预设处理,得到目标第二特征图,包括:根据所述第一处理模型和所述第二处理模型确定所述第二特征图中的采样点坐标;根据所述第二特征图以及采样核函数,确定所述采样点坐标对应的目标像素值;根据所述采样点坐标对应的目标像素值生成目标第二特征图。130.可选地,第一预设处理为扭曲处理,目标第二特征图为扭曲后的第二特征图,第一预设处理参数为扭曲参数,第一预设处理模型为扭曲模型。131.通过对第二视点的第二图像块对应的第二特征图进行扭曲处理,可以将不同视点的特征图相互映射,此处将第二视点的第二特征图映射到第一视点,可以使得扭曲后的第二特征图和第一视点的第一特征图中的对象形状、大小等属性相似。通过将扭曲后的第二特征图和第一特征图进行融合,从而在滤波阶段可以提高第一图像块对应的重建图像的质量,降低重建图像的失真,以更好地还原第一图像块对应的原始图像。132.在一种实施方式中,步骤(1)中第一预设处理为扭曲处理,可以包括以下内容:基于所述第一特征图和所述第二特征图确定扭曲参数;或者,基于所述第一特征图、所述第二特征图以及所述第一辅助信息确定扭曲参数;或者,基于所述第一特征图、所述第二特征图以及所述第二辅助信息确定扭曲参数;基于扭曲模型对所述第二特征图进行扭曲处理,得到扭曲后的第二特征图;所述扭曲模型包括根据所述扭曲参数确定的第一处理模型。133.可选地,特征提取网络中每层级的特征提取模块中的特征提取单元输出的特征图为第一特征图和第二特征图,例如前述图8a中示出的特征图fd1~fdn(对应为第一特征图)和特征图fi1~fin(对应为第二特征图)。可选地,对于采取金字塔分层提取得到的第二特征图来说,每一层的第二特征图都可以进行第一预设处理(例如扭曲处理),得到目标第二特征图(例如扭曲后的第二特征图)。134.下面以第x(x∈[1~n])层的特征提取模块中的特征提取单元x输出的第一特征图fdx和第二特征图fix作为示例,对第二特征图fix的扭曲处理原理进行如下说明:通过扭曲参数确定模块接收来自第一视点的第一特征图fdx和来自第二视点的第二特征图fix,输出扭曲参数。可选地,第一视点的第一特征图fdx的宽度为wdx,高度为hdx,以及通道数为cdx;第二视点的第二特征图fix的宽度为wix,高度为hix,以及通道数为cix;扭曲参数确定模块是基于神经网络构建的。例如扭曲参数确定模块可以利用全连接层或卷积层来实现,需要说明的是,扭曲参数确定模块还包括一个回归层,该回归层用于产生扭曲参数。[0135]可选地,通过神经网络学习算法,可以构建基于神经网络的扭曲参数确定模块,扭曲处理模块能够建立输入变量(包括第一特征图、第二特征图)到扭曲参数的映射关系。例如在训练基于神经网络的扭曲参数确定模块的过程中,首先,建立训练样本,训练样本包括输入和输出,可选地,输入包括第一特征图、第二特征图,输出包括扭曲参数,此处的扭曲参数包括对不同扭曲类型(例如裁剪、平移、旋转、缩放和倾斜)的第二特征图标记的扭曲参数。然后,利用训练样本进行正向传播计算,得到各层神经元的输入和输出。接着,计算神经网络输出的估计的扭曲参数和标记的扭曲参数之间的误差,通过调整各层网络的权重和偏移值,使得网络的误差平方和最小。最终,当误差达到预设精度时,将得到的各层网络的权重和偏移值作为最后取值,完成神经网络的训练。在预测阶段,当基于神经网络的扭曲参数确定模块接收第一特征图、第二特征图时,扭曲参数确定模块包括的训练后的神经网络能够准确地确定出扭曲参数。需要说明的是,上述扭曲参数确定模块还可以接收第一视点的第一子特征图和第二视点的第二子特征图,确定扭曲参数。[0136]可选地,通过第一特征图和第二特征图中各特征之间的相似性,可以确定网格中目标像素坐标(即扭曲后的特征图的像素坐标)与第二特征图中对应的像素坐标之间的对应关系。可选地,该对应关系用于确定扭曲参数。[0137]在一个实施例中,扭曲参数包括以下至少一种:关于仿射变换的参数、关于投影变换的参数。需要说明的是,采用金字塔分层提取处理,对于不同层输出的第一特征图和第二特征图来说,扭曲参数可以不同。[0138]在扭曲参数确定之后,依据确定的扭曲参数可以得到扭曲模型,扭曲模型能够反映第二特征图fix和扭曲后的第二特征图fiwx的对应像素坐标之间的映射关系。[0139]在一个可行的实施方式中,扭曲模型包括第一处理模型和第二处理模型,所述第一处理模型是根据所述扭曲参数确定的扭曲模型,所述第二处理模型包括目标像素坐标,利用扭曲模型对第二特征图进行扭曲处理,得到扭曲后的第二特征图的实现方式可以包括:根据所述第一处理模型和所述第二处理模型确定所述第二特征图中的采样点坐标;根据所述第二特征图以及采样核函数,确定所述采样点坐标对应的目标像素值;根据所述采样点坐标对应的目标像素值生成扭曲后的第二特征图。[0140]所述扭曲参数确定的第一处理模型包括仿射变换矩阵、投影变换矩阵、以及所述仿射变换矩阵和所述投影变换矩阵的组合中的任一种;第二处理模型为像素网格(grid)模型g,假设g={gi},gi为输出特征图中的网格的目标像素坐标(xit,yit),可选地,这些像素为经过扭曲处理的输出像素。在一实施例中,像素网格模型g为预先定义的网格模型。在其他实施例中,像素网格模型g可以根据第一特征图中的特征和/或辅助信息来确定。根据第一特征图中的特征和/或辅助信息来确定像素网格模型g可以使得像素网格模型的设置更灵活。[0141]根据第一处理模型和第二处理模型可以得到第二特征图中的采样点坐标,假设第一处理模型为仿射变换矩阵,第二特征图fix中定义的采样点坐标为(xis,yis),则像素式的仿射变换为:可选地,θij为扭曲参数,其组成的矩阵为仿射变换矩阵,第二处理模型在像素网格包括的目标像素坐标基础上加入一个常量1,构成齐次坐标。通过齐次坐标,能够表示一些常见的扭曲变换。[0142]在优选的实施例中,还可以使用标准化的坐标系。例如,通过标准化的坐标系,可以将输出特征图(即扭曲后的第二特征图)中的网格的目标像素坐标(xit,yit)的取值限制在-1到1的范围内,以及将第二特征图中定义的采样点坐标(xis,yis)的取值限制在-1到1的范围内。如此,可以使得后续的采样和变换均应用于标准化的坐标系下。[0143]通过扭曲模型可以使得输入的第二特征图被裁剪、平移、旋转、缩放和倾斜,以形成输出特征图(即扭曲后的第二特征图)。[0144]在另一个可行的实施方式中,所述扭曲模型包括多个扭曲子模型,每个扭曲子模型分配有对应的权重。通过对每个扭曲子模型分配不同的权重,可以获取较优的扭曲模型组合,通过扭曲模型组合可以侧重不同方面对第二特征图进行扭曲处理,使得扭曲效果更好。[0145]上述基于扭曲模型对第二特征图进行扭曲得到采样点坐标的原理,可以视为对第二特征图进行采样处理的一部分,接着可以依据采样结果(即采样点坐标)产生扭曲后的第二特征图fiwx。可选地,在确定出第二特征图的采样点坐标之后,可以在第二特征图中定义的采样点坐标(xis,yis)处应用采样核函数,来得到输出特征图中的采样点坐标对应的像素点的像素值。具体可参见如下表达式:可选地,和为采样核函数k()的参数,其是关于图像插值的函数。在一个实施例中,可以是双线性插值函数。是输入的第二特征图的通道c中位置在(n,m)处的值,是通道c中的采样点坐标(xis,yis)处的像素i的像素值。和是网格的宽度和高度。h和w是第二特征图的宽度和高度。c是通道数。最终扭曲后的第二特征图就包括采样点坐标对应的目标像素值。[0146]针对上述介绍的步骤(1)中的扭曲处理的逻辑,可以通过如下扭曲处理模块实现,请参见图9a和图9b,是本技术实施例提供的第一预设处理模块的结构示意图,该第一预设处理模块具体为扭曲处理模块,包括扭曲参数确定模块、扭曲模型确定模块、采样模块。对于各个模块的功能如下:扭曲参数确定模块前述已做相关介绍,这里不再赘述,扭曲模型确定模块可以接收扭曲参数确定模块输出的扭曲参数,进而输出扭曲模型,例如扭曲参数为关于仿射变换的参数,扭曲模型对应包括仿射变换矩阵,采样模块用于结合扭曲模型对第二特征图进行扭曲和采样处理,包括获取采样点坐标,以及利用采样核函数计算在第二特征图的采样点坐标处的目标像素值,进而输出扭曲后的第二特征图fiwx。[0147]如图9a和图9b示出的扭曲处理模块不同的之处在于:接收的输入不同。图9a示出的扭曲处理模块接收第一特征图和第二特征图,以确定扭曲模型。而图9b示出的扭曲处理模块除了接收第一特征图和第二特征图之外,还可以接收辅助信息(包括第一辅助信息/第二辅助信息,例如深度信息或视差信息),以确定扭曲模型。在一个实施例中,通过扭曲参数确定模块接收来自第一视点的第一特征图fdx、来自第二视点的第二特征图fix、和辅助信息,输出扭曲参数。可选地,第一视点的第一特征图fdx的宽度为wdx,高度为hdx,以及通道数为cdx;第二视点的第二特征图fix的宽度为wix,高度为hix,以及通道数为cix;扭曲参数确定模块是基于神经网络构建的。例如扭曲参数确定模块可以利用全连接层或卷积层来实现,需要说明的是,扭曲参数确定模块还包括一个回归层,该回归层用于产生扭曲参数。[0148]可选地,通过神经网络学习算法,可以构建基于神经网络的扭曲参数确定模块,扭曲处理模块能够建立输入变量(包括第一特征图、第二特征图、第一辅助信息)到扭曲参数的映射关系。例如在训练基于神经网络的扭曲参数确定模块的过程中,首先,建立训练样本,训练样本包括输入和输出,可选地,输入包括第一特征图、第二特征图、和第一辅助信息,输出包括扭曲参数,此处的扭曲参数包括对不同扭曲类型(例如裁剪、平移、旋转、缩放和倾斜)的第二特征图标记的扭曲参数。然后,利用训练样本进行正向传播计算,得到各层神经元的输入和输出。接着,计算神经网络输出的估计的扭曲参数和标记的扭曲参数之间的误差,通过调整各层网络的权重和偏移值,使得网络的误差平方和最小。最终,当误差达到预设精度时,将得到的各层网络的权重和偏移值作为最后取值,完成神经网络的训练。在预测阶段,当基于神经网络的扭曲参数确定模块接收第一特征图、第二特征图时,扭曲参数确定模块包括的训练后的神经网络能够准确地确定出扭曲参数。[0149]可选地,通过辅助信息(例如,第一辅助信息和第二辅助信息),可以确定网格中目标像素坐标(即扭曲后的特征图的像素坐标)与第二特征图中对应的像素坐标之间的对应关系。可选地,该对应关系用于确定扭曲参数。由前述可知,在特征提取阶段可以建立第一图像块和第二图像块的特征与深度信息和/或视差信息之间的映射关系。进一步地,通过上述第一图像块和第二图像块的特征与深度信息和/或视差信息之间的映射关系,可以确定网格中目标像素坐标(即扭曲后的特征图的像素坐标)与第二特征图中对应的像素坐标之间的关系。[0150]由于第一视点和第二视点的图像之间的差异(例如,形状大小尺寸的差异)主要是由视差或深度造成的,因此,参考深度信息或视差信息的扭曲处理可以使得扭曲后的第二特征图更匹配对应的第一视点的第一特征图,从而使得后续融合特征图的质量更高。[0151]在一实施例中,上述扭曲处理模块对特征提取网络中每个特征提取单元输出的第一特征图和第二特征图的处理都是相同的,即利用第一特征图对第二特征图进行扭曲处理,得到扭曲后的第二特征图。请参见图10示出的一种特征提取网络和第一预设处理模块结合的结构示意图,是基于图8a示出的特征提取网络的结构示意图所提出的,第一预设处理模块具体为扭曲处理模块。如图10所示,包括n个扭曲处理模块和n个特征提取模块,特征提取网络处理第一图像块和第二图像块,得到对应的第一特征图和第二特征图,每个特征提取单元输出的特征图fdx(x∈[1,n])和fix都对应由扭曲处理模块进行处理,得到扭曲后的第二特征图fiwx,也即最终包括n个扭曲后的第二特征图。可以理解的是,相同标号的特征提取模块和扭曲处理模块属于同一层级的处理,例如特征提取模块1和扭曲处理模块1属于第1层级,特征提取模块2和扭曲处理模块2属于第2层级,依次类推,包括n个层级,构成金字塔分层结构,每个层级都有特征提取模块和扭曲处理模块。[0152](2)根据所述第一特征图和所述目标第二特征图进行第二预设处理,得到目标特征图。[0153]在一实施例中,可以利用特征融合网络对所述第一特征图和所述目标第二特征图进行第二预设处理,得到目标特征图。[0154]可选地,第一预设处理为扭曲处理,第二预设处理为特征融合处理,目标第二特征图为扭曲后的第二特征图,第一预设处理参数为扭曲参数,第一预设处理模型为扭曲模型,目标特征图为融合特征图。[0155]此处的第一特征图可以为金字塔分层提取得到的特征图,对应为特征提取网络中任一特征提取模块中的特征提取单元的输出,扭曲后的第二特征图为对应扭曲处理模块对每层特征提取单元输出的第二特征图进行扭曲处理后得到的结果。[0156]在一实施例中,得到融合特征图的实现方式可以为:利用特征融合网络对所述第一特征图和所述扭曲后的第二特征图进行特征融合处理,得到融合特征图;可选地,所述特征融合网络包括n个特征融合模块和m个上采样模块,所述m为大于或等于1的整数,m 1=n;所述特征融合网络中第i个特征融合模块的输入和n个扭曲处理模块中第i个扭曲处理模块的输出连接,第i个特征融合模块的输出和第j个上采样模块的输入连接,j为大于等于1的整数且j小于等于m,i=j 1;第j个上采样模块的输出和第j个特征融合模块的输入连接;所述第i个扭曲处理模块用于对所述特征提取网络中第i个特征提取模块输出的第二特征图进行扭曲处理,i为大于等于1的整数,且i小于或等于n;第n个特征融合模块用于融合第n个扭曲处理模块输出的扭曲后的第二特征图和所述第n个特征提取单元输出的第一特征图;当i不等于n时,所述第i个特征融合模块用于融合第i个扭曲处理模块输出的扭曲后的第二特征图、所述第i个特征提取单元输出的第一特征图以及所述第i个上采样模块输出的特征图。[0157]这里的特征融合网络用于融合扭曲处理模块输出的扭曲后的第二特征图和特征提取网络输出的第一特征图。在前述金字塔分层提取得到的第一特征图和第二特征图基础之上,特征融合网络和特征提取网络对应,也可以分为n个层级,每个层级包括特征融合模块和/或上采样模块,各个层级共有n个特征融合模块和m(即n-1)个上采样模块。以及对应有n个扭曲处理模块对第二特征图进行扭曲处理。基于上述内容,请参见图11示出的一种包括特征融合网络的结构示意图,每个特征融合模块输出的结果输入到上一个上采样模块中,也就是第n个特征融合模块的输出即第n-1个上采样模块的输入,这样由金字塔分层结构中的第1层级特征融合模块输出的特征图即为最终滤波使用的融合特征图。[0158]下面结合图11示出的结构示意图对融合处理的具体处理流程进行如下说明:第n层级:扭曲处理模块n接收并处理特征提取模块n输出的第一特征图fdn和第二特征图fin,输出扭曲后的第二特征图fiwn,接着,特征融合模块n对第一特征图fdn和扭曲后的fiwn进行特征融合,得到融合特征图fdfn,融合特征图fdfn之后被输入第n-1层级的上采样模块m,即上采样模块(n-1)进行上采样处理。[0159]第n-1层级:上采样模块(n-1)对融合特征图fdfn进行上采样处理,得到经过上采样的特征图fun,经过上采样的特征图fun输出给第n-1层级的特征融合模块n-1,同时扭曲处理模块(n-1)接收并处理特征提取模块(n-1)输出的第一特征图fd(n-1)和第二特征图fi(n-1),输出扭曲后的第二特征图fiw(n-1)。接下来,特征融合模块(n-1)对第一特征图fd(n-1)、扭曲后的特征图fiw(n-1)和经过上采样的特征图fun进行特征融合,得到融合特征图fdf(n-1)。该融合特征图fdf(n-1)将输入第n-2层级的上采样模块(n-2)进行上采样处理。[0160]第n-2层级:上采样模块(n-2),即上采样模块(m-1)对融合特征图fdf(n-1)进行上采样,得到经过上采样的特征图fu(n-1),并将经过上采样的特征图fu(n-1)输出给第n-2层级的特征融合模块(n-2),特征融合模块(n-2)对扭曲处理模块(n-2)输出的扭曲后的第二特征图fiw(n-2)、特征提取模块(n-2)输出的第一特征图fd(n-2)以及经过上采样的特征图fu(n-1)进行特征融合,得到融合特征图fdf(n-2)。[0161]以此类推,后续的层级都是采用相同的处理方式,直到第1层级。[0162]第1层级:扭曲处理模块1接收并处理特征提取模块1输出的第一特征图fd1和第二特征图fi1,输出扭曲后的第二特征图fiw1,接下来,融合特征模块1对第一特征图fd1、扭曲后的第二特征图fiw1以及来自第2层级的经过上采样的特征图fu2进行特征融合,得到融合特征图fdf。该融合特征图fdf最终可以用于确定第一图像块的以处理结果。在上述过程中,通过对融合后的特征图的上采样可以放大特征图的尺寸大小,进而最后得到和输入特征图的尺寸相同的融合特征图,对该融合特征图进行滤波,以得到更优质的重建图像。[0163]可以理解的是,在图11示出的结构图中,从横向看,包括n个层级,可选地,第1层级至第n-1层级中的每个层级均包括特征提取模块、扭曲处理模块、特征融合模块以及上采样模块,第n层级中包括特征提取模块、扭曲处理模块、特征融合模块,每个层级由特征融合模块输出处理的数据,即融合特征图。从纵向看,n个层级中的特征提取模块以及扭曲处理模块对应的处理逻辑由上至下,即从第1层级至第n层级,特征融合模块以及上采样模块的处理由下至上,即从第n层级至第1层级,构成的金字塔处理模型可以实现特征图的准确提取。此外,需要说明的是,对于层级的数量n或者说各个模块的数量可以按需设定,也可以根据经验值设定,在此不做限制。[0164]在一实施例中,各个特征融合模块对第一特征图和扭曲后的第二特征图进行特征融合,得到融合后的特征图fdf(即融合特征图)的可选方式可以是:将对应通道上的第一特征图和扭曲后的第二特征图相加,通道数不变(即,add操作);也可以是:将扭曲后的第二特征图fiw和第一特征图fd输入连接层(concatenate),通过连接操作,输出融合后的特征(即,concat操作),例如,连接层的每个输出通道为:可选地,*表示卷积,c表示通道数,xi表示第i通道的第一特征图,yi表示第i通道的第二特征图,ki表示第一特征图对应的卷积核,ki c表示第二特征图对应的卷积核。[0165]基于上述内容,可以将上述步骤s702和s703中涉及的粗略匹配、精细匹配、特征提取、扭曲处理以及特征融合的具体示例总结为如图12a所示的内容,对应为图6所示的融合模块的详细的结构示意图,例如根据第二图像块和辅助信息对第一图像块进行处理,即可以包括精细匹配、特征提取、扭曲处理。在另一种实施例中,还可以包括不做精细匹配,即对应图12b所示出的结构示意图。在此将融合模块的处理逻辑称为第三预设处理,融合模块对应称为第三预设处理模块。[0166](3)根据所述目标特征图确定或生成对应于所述第一图像块的处理结果。[0167]在一个实施例中,可以对所述目标特征图进行滤波处理,得到滤波后的目标特征图;以及根据所述滤波后的目标特征图确定对应于所述第一图像块的所述处理结果。进一步地,可以利用目标滤波处理模型对所述目标特征图进行滤波处理,得到滤波后的目标特征图。可选地,所述目标滤波处理模型包括至少一个处理单元,所述处理单元包括第一处理单元和第二处理单元中的一种或两种。利用目标滤波处理模型对所述目标特征图进行滤波处理,得到滤波后的目标特征图的步骤,包括:对至少一个所述第一处理单元处理后的目标特征图进行下采样处理,得到下采样后的目标特征图;对所述下采样后的目标特征图进行上采样处理,得到目标融合特征图;利用所述第二处理单元处理所述目标融合特征图,得到滤波后的目标特征图。[0168]可选地,目标特征图为融合特征图。处理结果用于生成所述第一图像块对应的重建图像或解码图像。本实施例提供的方案应用于多视点编码器端时,处理结果用于生成第一图像块对应的重建图像,应用于多视点解码器端时,处理结果用于生成第一图像块对应的解码图像。在一个实施例中,步骤(3)的可选实现方式包括:对所述融合特征图进行滤波处理,得到滤波后的融合特征图;根据所述滤波后的融合特征图确定对应于所述第一图像块的一处理结果。该处理结果包括第一视点滤波后的第一图像块,例如当第一图像块为依赖视点的当前帧的当前重建纹理图像时,此处得到的处理结果可以为依赖视点当前帧滤波后的重建纹理块。后续该处理结果还可能经过其他滤波处理(例如alf),根据滤波处理得到的结果进一步合成重建图像或解码图像。[0169]在一可行的实施方式中,对融合特征图的滤波处理可以是:利用目标滤波处理模型对所述融合特征图进行滤波处理,得到滤波后的融合特征图;可选地,所述目标滤波处理模型包括根据率失真代价从多个候选模型中选择的目标候选模型,所述多个候选模型中每个候选模型和量化参数存在映射关系。[0170]目标滤波处理模型包括的目标候选模型可以为神经网络模型,该神经网络模型设置于基于神经网络的滤波处理模块中。可选地,基于神经网络的滤波处理模块的结构可以如图13所示,包括至少一个卷积层和至少一个残差单元。融合后的特征图fdf(即融合特征图)被馈入卷积层1,经过d个残差单元,以及一个卷积层2之后,输出第一视点滤波后的第一图像块。可选地,d为大于等于1的整数,该基于神经网络的滤波处理模块对应为基于神经网络的环路滤波器(例如drnlf)中的处理模块。[0171]在一个实施例中,每个基于神经网络的滤波处理模块具有多个候选模型,每个候选模型对应于不同的量化参数,该量化参数自量化参数图(qpmap)得到,量化参数图是填充有多个量化参数的矩阵。在训练阶段,可以针对不同的量化参数训练多个候选模型,并将最佳的候选模型与量化参数对应,在编码阶段,可以从多个候选模型中选择出率失真代价最低的目标候选模型,利用该目标候选模型对融合特征图进行滤波处理。[0172]在一个实施例中,所述目标滤波处理模型包括至少一个处理单元,所述处理单元包括第一处理单元和第二处理单元中的一种或两种;所述利用目标滤波处理模型对所述融合特征图进行滤波处理,得到滤波后的融合特征图,包括:对至少一个所述第一处理单元处理后的融合特征图进行下采样处理,得到下采样后的融合特征图;对所述下采样后的融合特征图进行上采样处理,得到目标融合特征图;利用所述第二处理单元处理所述目标融合特征图,得到滤波后的融合特征图。[0173]可选地,目标滤波处理模型包括的第一处理单元为卷积单元(或卷积层),第二处理单元为残差单元,目标滤波处理模型如图13所示,融合特征图输入残差单元1~d-1中,对至少一个残差单元输出的残差数据进行缩放处理a(例如下采样处理,或者除以缩放因子),优选地,可以通过缩放处理将残差单元1~d-1残差单元中的至少一个残差单元输出的残差数据缩放至0~1的范围内;之后,在卷积层2中,卷积层2接收残差单元d输出的残差数据之后,将残差单元d的残差数据进行缩放处理b(例如上采样处理,或者乘以缩放处理a对应的缩放因子),再将经过缩放处理b的残差数据和融合特征图fdf在卷积层2进行对应关系的映射和合成,得到第一视点当前帧滤波后的第一图像块。这样通过对至少一个残差单元输出的残差数据进行缩放处理,将残差数据的处理量缩小到一定范围,可以极大地减低用于多视点编码的神经网络的环路滤波器的计算复杂度,提高滤波处理的效率。[0174]综上所述,通过本技术实施例提供的图像处理方案,在基于神经网络的环路滤波阶段,考虑到同一时刻不同视点之间的图像之间存在的视差的影响,在滤波之前融入图像的深度信息或视差信息,利用深度信息或视差信息从参考帧中查找到与第一图像块匹配的第二图像块,从而能够准确精细地确定最合适的第二图像块;通过在第一图像块中融合第二图像块的特征信息,可以进一步获得纹理和边缘更加清晰的增强图像块,进而减少视频的压缩失真,提高视频压缩质量。此外,在特征提取处理的过程中采用金字塔分层处理,构建不同尺度的特征金字塔,结合下采样处理,减小计算量的同时将更全面的描述不同视点的图像块的信息,通过扭曲第二特征图、融合第一特征图和扭曲后的第二特征图,将不同视点的特征信息加以结合,更好地还原第一视点的特征信息,提高多视点视频压缩编码的质量。[0175]第三实施例请参见图14,图14是根据第三实施例示出的一种图像处理方法的流程示意图,该实施例中的执行主体可以是一个计算机设备或者是多个计算机设备构成的集群,该计算机设备可以是智能终端(如前述移动终端100),也可以是服务器,此处,以本实施例中的执行主体为智能终端为例进行说明。[0176]s1401,获取第二重建图像块。可选地,还可以获取第一重建图像块。可选地,所述第一重建图像块和所述第二重建图像块对应于相同或不同的重建图像。[0177]在一实施例中,所述第一重建图像块和所述第二重建图像块对应于不同的重建图像。此处不同的重建图像是指同一时刻不同视点的重建帧。第一重建图像块和第二重建图像块匹配,例如第一重建图像块为依赖视点的当前帧的当前重建纹理块,第二重建图像块为独立视点的参考图像中的匹配纹理块,其深度信息或视差信息和当前重建纹理块相似。重建纹理块可以是ctu、切片(slice)、方块(tile)、子图像中的任一种,匹配纹理块对应为ctu、切片(slice)、方块(tile)、子图像中的任一种。可选地,第一重建图像块可以是前述对应于第一视点的第一图像块,第二重建图像块可以是前述对应于第二视点的参考图像中的图像块,例如第二图像块。第二重建图像块对应的重建图像和第二视点的参考图像对应。[0178]对于第二重建图像块的获取方式,可以是:根据第一重建图像块的属性信息,从第一重建图像块对应的参考图像块中确定出第二重建图像块。属性信息可以是一辅助信息,包括但不限于深度信息或视差信息,可选地,属性信息可以对应于前述的第一辅助信息或者第二辅助信息,具体方式可参见前述第二实施例中介绍的获取第二图像块的方式,在此不做赘述。[0179]s1402,根据所述第二重建图像块、第一重建图像块的属性信息和所述第二重建图像块的属性信息中的至少一种,对所述第一重建图像块进行滤波,以得到滤波后的第一重建图像块。[0180]在一实施例中,第一重建图像块的属性信息为一辅助信息,所述第一重建图像块的属性信息,包括以下至少一种:所述第一重建图像块的帧间预测信息、所述第一重建图像块的深度信息、所述第一重建图像块的视差信息。可选地,第一重建图像块的属性信息可以对应为前述对应于第一视点的第一图像块的第一辅助信息。[0181]第一重建图像块的深度信息或视差信息自对应的深度图像确定,深度信息可以包括:深度特征信息、基于深度值的统计信息、深度切片本身、预处理后的深度切片中的任一种或多种的组合。此外,属性信息还可以包括图像分割信息、量化参数信息等,在此不做限制。第二重建图像块的属性信息同理,可以包括第二重建图像块的帧间预测信息、所述第二重建图像块的深度信息、所述第二重建图像块的视差信息。第二重建图像块的深度信息或视差信息自对应的深度图像确定。即属性信息可以来自第一重建图像块或第二重建图像块。[0182]在一个实施例中,若根据第二重建图像块和第一重建图像块的属性信息,对所述第一重建图像块进行滤波,得到滤波后的第一重建图像块,可以对应参考前述第二实施例中介绍的有关根据第二图像块和第一图像块的第一辅助信息,对对应于第一视点的第一图像块进行处理并得到处理结果的过程,即将第一图像块和第二图像块依次对应为第一重建图像块和第二重建图像块,得到的处理结果即此处的滤波后的第一重建图像块。在此不做赘述。可选地,还可以根据第二重建图像块和第二重建图像块的属性信息,或者根据第二重建图像块的属性信息和第一重建图像块的属性信息,或者,根据第二图像块的属性信息(此处未列举完)对第一重建图像块进行滤波。[0183]在另一个实施例中,还可以获取其他重建图像块,结合更多的信息对第一重建图像块进行滤波处理,以提高滤波后的第一重建图像块的质量。即s1402更详细的实现步骤还可以包括:a、获取第三重建图像块,所述第三重建图像块对应的图像为所述第一重建图像块对应的图像的参考重建图像;b、根据所述第三重建图像块、第二重建图像块和所述第一重建图像块的属性信息中的至少一种,对所述第一重建图像块进行滤波,以得到滤波后的第一重建图像块。[0184]第一重建图像块和第三重建图像块属于同一视点不同时刻编码的图像块,例如第一重建图像块为依赖视点当前帧的当前重建纹理块,第三重建图像块为依赖视点参考帧对应的纹理块。对应地,第三重建图像块对应的(或所在的)图像和第一重建图像块对应的图像为同一视点不同时刻的图像,在此,将第三重建图像块对应的图像称为参考重建图像。该参考重建图像为已编码的重建图像,属于第一视点,可以从图像缓冲器中读取,第三重建图像块可以根据第一重建图像块所在的图像和参考重建图像之间的帧间预测信息,从该第一视点的参考重建图像中获取到。[0185]由第一重建图像块和第二重建图像块为同一时刻不同视点的图像块,以及第一重建图像块和第三重建图像块为同一视点不时刻点的图像块,可知,第三重建图像块和第二重建图像块为不同时刻不同视点的图像块。通过参考同一时刻不同视点的图像块、同一视点不同时刻的图像块以及有关的属性信息,对第一重建图像块进行滤波处理,可以从空间上不同的拍摄角度以及时间上不同的编码时刻,全面地使用有利于第一图像块滤波的信息,从而有效提高第一重建图像块的滤波质量,进而降低第一重建图像块对应的重建图像的失真。这里的属性信息可以包括帧间预测信息、深度信息或视差信息、量化参数信息等等。在不同的阶段,可以适应性地使用相应的属性信息,以使得第一重建图像块参考不同的属性信息更好地进行滤波。[0186]在一可行的实施方式中,步骤b更详细的实现步骤可以包括:根据所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行第三预设处理,得到第一目标特征图;根据所述第一重建图像块的帧间预测信息,对所述第三重建图像块和所述第一目标特征图进行第三预设处理,得到第二目标特征图;对所述第二目标特征图进行滤波处理,以得到滤波后的第一重建图像块。[0187]可选地,所述第三预设处理为融合处理,所述第一目标特征图为第一融合特征图,所述第二目标特征图为第二融合特征图。[0188]对第一重建图像块和第二重建图像块的融合处理具体是指根据第一重建图像块对应的特征图和第二重建图像块的特征图进行一系列处理,得到的特征图称为第一融合特征图,通过参考深度信息或视差信息可以让融合得到第一融合特征图对第一重建图像块的信息描述更加全面。在得到第一融合特征图之后,可以对第三重建图像块和第一融合特征图进行融合处理,具体是根据第三重建图像块对应的特征图和第一融合特征图进行融合处理,进而得到第二融合特征图,第二融合特征图经过滤波之后,得到滤波后的第二融合特征图,该滤波后的第二融合特征图用于确定滤波后的第一重建图像块。需要说明的是,可以使用基于神经网络的环路滤波器实现上述内容,而基于神经网络的环路滤波器中集成相应的功能模块,各个功能模块按照上述内容执行,以增加第一重建图像块的滤波质量。对于具体的融合处理方式,可以参见下述结合图15的相关介绍。[0189]请参见图15,是本实施例提供的一种基于神经网络的环路滤波器的结构示意图,该结构示意图包括融合模块1和融合模块2,以及基于神经网络的滤波处理模块,这里基于神经网络的滤波处理模块可以包括环路滤波处理中的一种或多种滤波器(例如dbf、sao、alf、drnlf)的滤波处理。[0190]在一个实施例中,融合模块1和融合模块2可以包括相同的功能单元,例如包括前述图12a示出的融合模块中的精细匹配、特征提取、扭曲处理以及特征融合这几个功能单元,又例如图12b示出的包括特征提取、扭曲处理以及特征融合这几个功能单元。在另一个实施例中,融合模块1和融合模块2也可以不同,例如融合模块1包括精细匹配、特征提取、扭曲处理以及特征融合这几个功能单元,融合模块2包括特征提取、扭曲处理以及特征融合这几个功能单元;又例如,融合模块1包括特征提取、扭曲处理以及特征融合这几个功能单元,融合模块2包括精细匹配、特征提取、扭曲处理以及特征融合这几个功能单元。需要说明的是,上述功能单元对应的具体处理逻辑和第二实施例中相关描述是相同的,区别仅在于对应的输入输出结果的不同。[0191]融合模块1用于根据深度信息或视差信息对第一重建图像块和第二重建图像块进行融合处理,融合模块2用于根据帧间预测信息对第三重建图像块和第一融合特征图进行融合处理。结合上述内容,例如:在融合模块1中,可以根据深度信息或视差信息进行精细匹配,接着提取对应重建图像块的特征图,经过融合处理之后,得到第一融合特征图。然后融合模块2接收帧间预测信息,提取第三重建纹理块对应的特征图,对该特征图处理之后和第一融合特征图融合,得到第二融合特征图,此处在融合不同的特征图时参考帧间预测信息,可以使得第二融合特征图对第一重建图像块的特征图进行更准确地表达。之后将第二融合重建特征图经过基于神经网络的滤波处理,得到滤波后的第一重建图像块。[0192]示例性地,第一重建图像块为依赖视点当前帧的当前重建纹理块,第二重建图像为独立视点参考帧对应重建纹理块,第三重建图像块为依赖视点参考帧对应重建纹理块,经过图15所示的基于神经网络的环路滤波器的处理,最终滤波得到的是依赖视点当前帧滤波后的当前重建纹理块。[0193]在一个实施例中,对第一重建图像块和第二重建图像块进行第三预设处理的步骤为:根据所述第一重建图像块的深度信息或视差信息,确定所述第一重建图像块对应的第一重建特征图和所述第二重建图像块对应的第二重建特征图;根据所述第一重建特征图对所述第二重建特征图进行第一预设处理,得到第一预设处理后的第二重建特征图;根据第一预设处理后的第二重建特征图和所述第一重建特征图进行第二预设处理,得到第一目标特征图。[0194]可选地,所述第三预设处理为融合处理,包括第一预设处理和第二预设处理,所述第一预设处理为扭曲处理,所述第二预设处理为特征融合处理,所述第一预设处理后的第二重建特征图为扭曲后的第二重建特征图,所述第一目标特征图为第一融合特征图。[0195]需要说明的是,第三预设处理还包括特征提取处理。本实施例下述涉及的第三预设处理的具体处理方式,同样可以采用以上步骤实现,例如对第一重建图像块和第三重建图像块的第三预设处理,此处不再展开阐述。本实施例中第三预设处理所指代的融合处理和第二预设处理所指代的特征融合处理为不同的处理逻辑。[0196]可选地,上述确定重建图像块各自对应的特征图、对第二重建特征图进行扭曲处理以及对重建特征图进行融合的内容,和前述第二实施例中确定第一特征图和第二特征图、对第二特征图进行扭曲处理以及将其与第一特征图融合所涉及的处理逻辑是相同的。例如可以采用如图8a或图8b示出的特征提取网络提取重建图像块的特征图,利用图9a或图9b示出的扭曲处理模块得到扭曲后的第二重建特征图,利用图11示出的特征融合网络进行融合处理。相应的处理原理可以参见第二实施例中的描述内容,将其中的处理对象和处理结果代入本实施例中的相关内容即可,具体请参见如下内容,是相应内容的简要介绍:在一实施例中,可以:基于特征提取网络和所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行特征提取处理,得到所述第一重建图像块对应的第一重建特征图和所述第二重建图像块对应的第二重建特征图。[0197]在另一实施例中,所述第一重建图像块为切片,所述第二重建图像块对应为切片;此时可以精细匹配之后再确定第一重建特征图和第二重建特征图,即:获取所述第一重建图像块的第一重建图像子块和所述第二重建图像块的第二重建图像子块;所述第二重建图像子块的属性信息和所述第一重建图像子块的属性信息匹配;基于特征提取网络和所述第一重建图像子块的属性信息,对所述第一重建图像子块和所述第二重建图像子块进行特征提取处理,得到所述第一重建图像块对应的第一重建特征图和所述第二重建图像块对应的第二重建特征图;可选地,所述属性信息包括深度信息或视差信息,所述第一重建图像块的属性信息和所述第一重建图像子块的属性信息不同。[0198]上述第一重建图像子块和第二重建图像子块各自对应的属性信息匹配是指两个图像子块的属性信息相似度最大,例如深度信息或视差信息的相似程度最大,属性信息不同包括以下至少一种:所述第一重建图像块的属性信息和所述第一重建图像子块的属性信息的内容不同,例如是第一重建图像子块的深度信息为深度特征信息,第二图像子块的深度信息为基于深度值的统计信息;所述第一重建图像子块的属性信息的精度大于所述第一重建图像块的属性信息的精度,例如第一重建图像块的深度信息为n个深度特征信息,第一重建图像子块的属性信息为m个深度特征信息,且m大于n。[0199]可选地,所述第一重建图像子块和所述第二重建图像子块为编码树块或者扩展的编码树块;所述扩展的编码树块为所述编码树块的边缘扩展之后得到的,所述扩展的编码树块尺寸大于所述编码树块。这样输入的图像块具有编码单元的相邻像素,在滤波阶段可以有效降低图像块划分的块效应影响。[0200]可选地,所述特征提取网络包括n个级联的特征提取模块,所述n为大于或等于1的整数,前n-1个特征提取模块中每个特征提取模块包括串联的特征提取单元和下采样单元,第n个特征提取模块包括特征提取单元。对于特征提取网络的具体结构设计,可以采用图8a或图8b所示的结构,不同的是:所述n个级联的特征提取模块中第一个特征提取模块,用于处理所述第一重建图像块和所述第二重建图像块,或者所述第一重建图像子块和所述第二重建图像子块。特征提取单元处理对应重建图像块或重建图像子块得到的特征图称为重建特征图,包括第一重建特征图和第二重建特征图,属性信息可以作为监督信息或参考信息,包括深度信息或视差信息,作用和第一辅助信息或第二辅助信息类似,此处不赘述,在处理第三重建图像块的场景下,特征提取网络接收的还可以是帧间预测信息。[0201]对第二重建特征图的第一预设处理,也即:基于所述第一重建特征图和所述第二重建特征图确定第一预设处理参数;或者,基于所述第一重建特征图、所述第二重建特征图、所述属性信息确定第一预设处理参数;基于第一预设处理模型对所述第二重建特征图进行第一预设处理,得到第一预设处理后的第二重建特征图,所述第一预设处理模型包括根据所述第一预设处理参数确定的第一处理模型。[0202]在一实施例中,第一预设处理为扭曲处理,第一预设处理模型为扭曲模型,第一预设处理参数为扭曲参数。[0203]可选地,基于第一预设处理模型的第一预设处理如下:根据所述第一处理模型和所述第二处理模型确定所述第二重建特征图的采样点坐标,可选地,所述第二处理模型包括的目标像素坐标;根据所述第二重建特征图以及采样核函数,确定所述采样点坐标对应的目标像素值;根据所述采样点坐标对应的目标像素值生成第一预设处理后的第二重建特征图。可参见前述对第二特征图的第一预设处理,将对应的内容代入此处的第二重建特征图即可得到相应的结果,这里不再赘述。[0204]得到第一预设处理后的第二重建特征图之后,再将其和第一重建特征图进行第二预设处理,包括:利用特征融合网络对所述第一重建特征图和所述第一预设处理后的第二重建特征图进行第二预设处理,得到第一融合重建特征图。第二预设处理为特征融合处理,此处的特征融合网络可以采用图11中包括的特征融合网络,该特征融合网络结合第一预设处理模块以及特征提取网络进行第二预设处理,对金字塔分层处理得到的第一重建特征图以及第一预设处理后的第二重建特征图进行融合,最终由特征融合模块输出第一融合重建特征图。对于具体的处理流程这里也不再赘述。[0205]对第二目标特征图进行滤波处理的实现方式,可以是:利用目标滤波处理模型对所述第二目标特征图进行滤波处理,得到滤波后的第二目标特征图;根据所述滤波后的第二目标特征图生成滤波后的第一重建图像块;可选地,所述目标滤波处理模型包括根据率失真代价从多个候选模型中选择的目标候选模型,所述多个候选模型中每个候选模型和量化参数存在映射关系。在一个实施例中,目标滤波处理模型包括至少一个处理单元,所述处理单元包括第一处理单元和第二处理单元中的一种或两种;所述利用目标滤波处理模型对所述第二目标特征图进行滤波处理,得到滤波后的第二目标特征图,包括:对至少一个所述第一处理单元处理后的第二目标特征图进行下采样处理,得到下采样后的第二目标特征图;对所述下采样后的第二目标特征图进行上采样处理,得到目标融合重建特征图;利用第二处理单元处理所述目标融合重建特征图,得到滤波后的第二目标特征图。[0206]对第二目标特征图的滤波处理可以参见第二实施例中对目标特征图的滤波处理,其处理逻辑是相同的,此处不再赘述。[0207]在另一可行的实施方式中,上述步骤b更详细的实现步骤可以包括:根据所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行第三预设处理,得到第一目标特征图;对所述第二目标特征图进行滤波处理,得到滤波后的第一目标特征图;根据所述第一重建图像块的帧间预测信息,对所述滤波后的第一目标特征图和所述第三重建图像块进行第三预设处理,得到第二目标特征图;对所述第二目标特征图进行滤波处理,以得到滤波后的第一重建图像块。[0208]可选地,所述第三预设处理为融合处理,包括第一预设处理和第二预设处理,所述第一预设处理为扭曲处理,所述第二预设处理为特征融合处理,所述第一目标特征图为第一融合特征图,所述第二目标特征图为第二融合特征图。此外,第三预设处理模块还包括特征提取处理。[0209]对第一重建图像块和第二重建图像块的融合处理,前述已进行相关介绍,在此不做赘述;滤波后的第一融合特征图和第三重建图像块的融合处理,具体是根据第一融合特征图和第三重建图像块对应的特征图一系列处理得到第二融合特征图,方式同对第一重建图像块和第二重建图像块的融合,相应的内容也可以参考对第一重建图像块和第二重建图像块的融合,此处不展开说明;对第一融合特征图以及第二融合特征图的滤波处理可以采用如图13示出的基于神经网络的滤波处理模块来实现,相应的处理方式前述也已介绍,这里不再赘述。[0210]请参见图16,是本技术实施例提供的另一种基于神经网络的环路滤波器的结构示意图,包括两个融合模块和两个基于神经网络的滤波处理模块,其中融合模块1和融合模块2可以包括相同的功能单元,也可以包括不同的功能单元,具体可参考图15有关融合模块1和融合模块2的介绍内容,在此不做赘述。基于神经网络的滤波处理模块1和基于神经网络的滤波处理模块2均可以采用图13示出的内容。和图15不同的是,按照如图16示出的基于神经网络的环路滤波器的结构进行滤波处理,融合模块1得到的第一融合特征图是在经过基于神经网络的滤波处理之后再输入融合模块2中进行处理,得到第二融合特征图,再将第二融合特征图经过基于神经网络的滤波处理模块进行滤波处理,此实施方式下,通过两个融合模块和基于神经网络的滤波处理模块组合的串联,可以在第一次融合处理时参考同一不同视点的帧的信息,并通过基于神经网络的滤波处理有效维护原始图像的特征信息,然后经过再一次融合处理和基于神经网络的滤波处理可以进一步参考同一视点的参考帧的信息,充分融合和第一重建图像块有关的各种信息,进一步降低第一重建图像块对应的重建图像的失真度。[0211]需要说明的是,对于本实施例中图15至图17示出的基于神经网络的环路滤波器中包括的融合模块和基于神经网络的滤波处理模块的数量,以及组合方式仅作为示例性地说明和展示,还可以包括其他组合方式,例如在图16的基础上再串联一个融合模块和基于神经网络的滤波处理模块,在此不做限定。[0212]在又一可行的实施方式中,上述步骤b更详细的实现步骤可以包括:根据所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行第三预设处理,得到第一目标特征图;根据所述第三重建图像块和所述第一重建图像块的帧间预测信息,对所述第一重建图像块和所述第三重建图像块进行第三预设处理,得到第二目标特征图;根据所述第一目标特征图和所述第二目标特征图确定滤波后的第一重建图像块。[0213]可选地,所述第三预设处理为融合处理,包括第一预设处理和第二预设处理,所述第一预设处理为扭曲处理,所述第二预设处理为特征融合处理,所述第一目标特征图为第一融合特征图,所述第二目标特征图为第二融合特征图。需要说明的是,第三预设处理还可以包括特征提取处理。[0214]此处对第一重建图像块和第二重建图像块进行融合处理,具体是根据第一重建图像块对应的特征图和第二重建图像块对应的特征图进行一系列处理,可选地,在具体的处理过程中,首先,可以通过深度信息或视差信息进行精细匹配,从第二重建图像块中查找到和第一重建图像块的重建图像子块匹配的重建图像子块,然后再参考深度信息或视差信息对各自的重建图像子块进行特征提取,得到对应的特征图,在一实施例中,也可以不做精细匹配,而是直接提取重建图像块的特征,得到对应的特征图;接着参考深度信息或视差信息对第二重建图像块对应的第二重建特征图进行扭曲处理后,再和第一重建图像块对应的第一重建特征图融合,得到第一融合特征图。同理,按照同样的方式可以根据帧间预测信息,对第一重建图像块和第三重建图像块融合,得到第二融合特征图。[0215]需要说明的是,采用金字塔分层处理方式可以提取图像块或图像子块的特征图,详细过程可以参见前述的介绍,在此不做赘述。[0216]在一个实施例中,根据第一目标特征图和第二目标特征图确定滤波后的第一重建图像块的步骤可以包括:对所述第一目标特征图和所述第二目标特征图进行滤波处理,得到滤波后的第一目标特征图和滤波后的第二目标特征图;根据所述滤波后的第一目标特征图和所述滤波后的第二目标特征图进行第三预设处理,得到目标融合重建图像块;将所述目标融合重建图像块作为滤波后的第一重建图像块。[0217]可选地,所述第三预设处理为融合处理,包括第一预设处理和第二预设处理,所述第一预设处理为扭曲处理,所述第二预设处理为特征融合处理,所述第一目标特征图为第一融合特征图,所述第二目标特征图为第二融合特征图,所述滤波后的第一目标特征图为滤波后的第一融合特征图,所述滤波后的第二目标特征图为滤波后的第二融合特征图。此外,第三预设处理还包括特征提取处理。[0218]这里的滤波处理可以包括对第一融合特征图和第二融合特征图分别采用不同的神经网络模型进行滤波处理,第一融合特征图和第二融合特征图都滤波之后再进行融合处理的方式可以是:对滤波后的第二融合特征图进行扭曲处理之后再和滤波后的第一融合特征图进行融合,也可以是直接对滤波后的融合特征图进行融合处理,根据融合的特征图得到目标融合重建图像块,也即滤波后的第一重建图像块。[0219]请参见图17,是申请实施例提供的又一种基于神经网络的环路滤波器的结构示意图,包括融合模块1、融合模块2和融合模块3,以及基于神经网络的滤波处理模块1和基于神经网络的滤波处理模块2。各个融合模块的内部结构可以相同,也可以不同,例如融合模块3包括特征提取、扭曲处理、特征融合这三个功能单元,而融合模块1和融合模块2包括精细匹配、特征提取、扭曲处理、特征融合这四个功能单元。融合模块1用于根据深度信息或视差信息处理第一重建图像块和第二重建图像块,得到第一融合特征图,第一重建图像块可以为依赖视点当前帧的当前重建纹理块,第二重建图像块可以为独立视点参考帧对应的匹配纹理块。融合模块2用于根据帧间预测信息对第一重建图像块和第三重建图像块进行处理,得到第二融合特征图,第三重建图像块可以为依赖视点参考帧对应的纹理块。融合模块3可以根据第一融合特征图和第二融合特征图进行融合处理,例如是将第一特征图和扭曲后的第二融合特征图进行融合处理,根据融合的特征图得到滤波后的第一重建图像块,例如依赖视点当前帧滤波后的当前重建纹理块。[0220]这一实施方式通过并列的融合模块和基于神经网络的滤波处理模块,参考不同的属性信息、第二重建图像块的特征信息和第三重建图像块的特征信息对第一重建图像块进行处理,得到滤波后的第一重建图像块,这样可以从不同视点的图像以及同一视点的已编码图像中获取有利于滤波的辅助信息,进而提高第一重建图像块所在的重建图像的质量,降低视频失真。[0221]综上所述,通过本技术实施例提供的方案,可以根据已编码的重建图像块(包括同一视点不同时刻的重建图像块以及同一时刻不同视点的重建图像块),并结合关于第一重建图像块的属性信息(包括深度信息或视差信息、帧间预测信息),对当前正在编码的重建图像块进行滤波处理,可以包括特征提取处理、扭曲处理、特征融合处理等,在具体的实现中,可以不同数量的融合模块和基于神经网络的滤波处理模块的组合,这样能够通过多次融合以及滤波处理的结合,充分地参考其他重建图像块中有用的信息,将其他有关的特征信息融入最终的滤波结果中,进而有效提高滤波的第一重建图像块的质量,降低重建图像的失真。[0222]第四实施例请参见图18,图18是根据第四实施例示出的一种图像处理装置的结构示意图,该图像处理装置可以是运行于服务器中的一个计算机程序(包括程序代码),例如图像处理装置为一个应用软件;该装置可以用于执行本技术实施例提供的方法中的相应步骤。该图像处理装置1800包括:获取模块1801、处理模块1802。[0223]获取模块1801,用于获取第一辅助信息在一实施例中,获取模块1801,还用于进一步获取对应于第一视点的第一图像块,和/或,获取对应于第二视点的参考图像。[0224]处理模块1802,用于根据对应于第二视点的参考图像和所述第一辅助信息,对对应于第一视点的第一图像块进行处理。确定或生成一处理结果可以用于获得所述第一图像块对应的重建图像或解码图像;所述参考图像为对应于第二视点的图像;以及所述第二视点不同于所述第一视点。[0225]在一个实施例中,处理模块1802,具体用于:根据所述参考图像的第二图像块和第一辅助信息,确定或生成对应于所述第一图像块的一处理结果。[0226]在一个实施例中,处理模块1802,具体用于:根据所述第一辅助信息从所述参考图像中确定第二图像块;确定所述第一图像块对应的第一特征图以及所述第二图像块对应的第二特征图;根据所述第一特征图以及所述第二特征图确定或生成对应于所述第一图像块的一处理结果。[0227]在一个实施例中,处理模块1802,具体用于:根据所述第一特征图对所述第二特征图进行第一预设处理,得到目标第二特征图;根据所述第一特征图和所述目标第二特征图进行第二预设处理,得到目标特征图;根据所述目标特征图确定或生成对应于所述第一图像块的处理结果。[0228]在一个实施例中,处理模块1802,具体用于:获取所述第一图像块的第一辅助信息,所述第一辅助信息包括深度信息,所述深度信息根据所述第一图像块对应的深度图像确定;获取所述参考图像中各个图像块的第一辅助信息和所述第一图像块的第一辅助信息的相似度;将所述参考图像中所述相似度最大的图像块确定为与所述第一图像块匹配的第二图像块。[0229]在一个实施例中,所述第一辅助信息包括深度信息或视差信息;所述深度信息为以下至少一种:深度特征信息、基于深度值的统计信息、深度切片、预处理之后的深度切片。[0230]在一个实施例中,包括以下至少一种:所述第二图像块与所述第一图像块的尺寸相同;当所述第一图像块为切片或编码树块时,所述第二图像块对应为切片或编码树块;当所述第二图像块为切片时,所述第二图像块由多个编码树单元构成。[0231]在一个实施例中,处理模块1802,具体用于:基于特征提取网络和所述第一辅助信息对所述第一图像块和所述第二图像块进行特征提取处理,得到所述第一图像块对应的第一特征图以及所述第二图像块对应的第二特征图。[0232]在一个实施例中,所述第一图像块为切片,所述第二图像块对应为切片;处理模块1802,具体用于:获取所述第一图像块的第一图像子块和所述第二图像块的第二图像子块;所述第二图像子块的第二辅助信息和所述第一图像子块的第二辅助信息匹配;基于特征提取网络和所述第二辅助信息对所述第一图像子块和所述第二图像子块进行特征提取处理,得到所述第一图像子块的第一子特征图和所述第二图像子块的第二子特征图;通过所述第一子特征图,确定或生成所述第一图像块对应的第一特征图,以及通过所述第二子特征图,确定或生成所述第二图像块对应的第二特征图;可选地,所述第二辅助信息与所述第一辅助信息不同。[0233]在一个实施例中,所述特征提取网络包括n个级联的特征提取模块,所述n为大于或等于1的整数,前n-1个特征提取模块中每个特征提取模块包括串联的特征提取单元和下采样单元,第n个特征提取模块包括特征提取单元;所述n个级联的特征提取模块中第一个特征提取模块,用于处理所述第一图像块和所述第二图像块,或者所述第一图像子块和所述第二图像子块;所述n个级联的特征提取模块中除所述第一个特征提取模块之外的各个特征提取模块,用于处理前一个特征提取模块的输出;针对所述每个特征提取模块,所述下采样单元的输入和所述特征提取单元的输出连接,所述下采样单元的输出和后一个特征提取模块中特征提取单元的输入连接;可选地,所述第一辅助信息或所述第二辅助信息作为所述n个级联的特征提取模块中至少一个特征提取模块的监督信息。[0234]在一个实施例中,所述第一图像子块和所述第二图像子块为编码树块或者扩展的编码树块;所述扩展的编码树块为所述编码树块的边缘扩展之后得到的,所述扩展的编码树块的尺寸大于所述编码树块的尺寸。[0235]在一个实施例中,处理模块1802,具体用于:基于所述第一特征图和所述第二特征图确定第一预设处理参数;或者,基于所述第一特征图、所述第二特征图以及所述第一辅助信息确定第一预设处理参数;基于第一预设处理模型对所述第二特征图进行第一预设处理,得到目标第二特征图;所述第一预设处理模型包括根据所述第一预设处理参数确定的第一处理模型。[0236]在一个实施例中,所述第一预设处理模型包括所述第一处理模型和第二处理模型,处理模块1802,具体用于:根据所述第一处理模型和所述第二处理模型确定所述第二特征图中的采样点坐标,可选地,所述第二处理模型包括目标像素坐标;根据所述第二特征图以及采样核函数,确定所述采样点坐标对应的目标像素值;根据所述采样点坐标对应的目标像素值生成目标第二特征图。[0237]可选地,第一预设处理为扭曲处理,第二预设处理为特征融合处理,目标第二特征图为扭曲后的第二特征图,第一预设处理参数为扭曲参数,第一预设处理模型为扭曲模型,目标特征图为融合特征图。[0238]在一个实施例中,处理模块1802,具体用于:利用特征融合网络对所述第一特征图和所述目标第二特征图进行第二预设处理,得到目标特征图;可选地,所述特征融合网络包括n个特征融合模块和m个上采样模块,所述m为大于或等于1的整数,m 1=n;所述特征融合网络中第i个特征融合模块的输入和n个第一预设处理模块中第i个第一预设处理模块的输出连接,第i个特征融合模块的输出和第j个上采样模块的输入连接,j为大于等于1的整数且j小于等于m,i=j 1;第j个上采样模块的输出和第j个特征融合模块的输入连接;所述第i个第一预设处理模块用于对所述特征提取网络中第i个特征提取模块输出的第二特征图进行第一预设处理,i为大于等于1的整数,且i小于或等于n;第n个特征融合模块用于融合第n个第一预设处理模块输出的目标第二特征图和所述第n个特征提取单元输出的第一特征图;当i不等于n时,所述第i个特征融合模块用于融合第i个第一预设处理模块输出的目标第二特征图、所述第i个特征提取单元输出的第一特征图以及所述第i个上采样模块输出的特征图。[0239]在一个实施例中,处理模块1802,具体用于:对所述目标特征图进行滤波处理,得到滤波后的目标特征图;根据所述滤波后的目标特征图确定对应于所述第一图像块的处理结果。[0240]在一个实施例中,处理模块1802,具体用于:利用目标滤波处理模型对所述目标特征图进行滤波处理,得到滤波后的目标特征图;可选地,所述目标滤波处理模型包括根据率失真代价从多个候选模型中选择的目标候选模型,所述多个候选模型中每个候选模型和量化参数存在映射关系。[0241]在一个实施例中,所述目标滤波处理模型包括至少一个处理单元,所述处理单元包括第一处理单元和第二处理单元中的一种或两种;处理模块1802,具体用于:对至少一个所述第一处理单元处理后的目标特征图进行下采样处理,得到下采样后的目标特征图;对所述下采样后的目标特征图进行上采样处理,得到目标融合特征图;利用所述第二处理单元处理所述目标融合特征图,得到滤波后的目标特征图。[0242]在一个可行的实施例中,上述图像处理装置还可以用于实现以下方法的步骤:获取模块1801,还用于获取第一重建图像块和第二重建图像块;处理模块1802,还用于根据所述第二重建图像块和所述第一重建图像块和/或所述第二重建图像块的属性信息,对所述第一重建图像块进行滤波,以得到滤波后的第一重建图像块;可选地,所述第一重建图像块和所述第二重建图像块对应于不同或相同的重建图像。[0243]在一个实施例中,所述第一重建图像块的属性信息,包括以下至少一种:所述第一重建图像块的帧间预测信息、所述第一重建图像块的深度信息、所述第一重建图像块的视差信息。[0244]在一个实施例中,处理模块1802,具体用于:获取第三重建图像块,所述第三重建图像块对应的图像为所述第一重建图像块对应的图像的参考重建图像;根据所述第三重建图像块、第二重建图像块和所述第一重建图像块的属性信息,对所述第一重建图像块进行滤波,以得到滤波后的第一重建图像块。[0245]在一个实施例中,处理模块1802,具体用于:根据所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行第三预设处理,得到第一目标特征图;根据所述第一重建图像块的帧间预测信息,对所述第三重建图像块和所述第一目标特征图进行第三预设处理,得到第二目标特征图;对所述第二目标特征图进行滤波处理,以得到滤波后的第一重建图像块。[0246]在一个实施例中,处理模块1802,具体用于:根据所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行第三预设处理,得到第一目标特征图;对所述第一目标特征图进行滤波处理,得到滤波后的第一目标特征图;根据所述第一重建图像块的帧间预测信息,对所述滤波后的第一目标特征图和所述第三重建图像块进行第三预设处理,得到第二目标特征图;对所述第二目标特征图进行滤波处理,以得到滤波后的第一重建图像块。[0247]在一个实施例中,处理模块1802,具体用于:根据所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行第三预设处理,得到第一目标特征图;根据所述第三重建图像块和所述第一重建图像块的帧间预测信息,对所述第一重建图像块和所述第三重建图像块进行第三预设处理,得到第二目标特征图;根据所述第一目标特征图和所述第二目标特征图确定滤波后的第一重建图像块。[0248]在一个实施例中,处理模块1802,具体用于:对所述第一目标特征图和所述第二目标特征图进行滤波处理,得到滤波后的第一目标特征图和滤波后的第二目标特征图;根据所述滤波后的第一目标特征图和所述滤波后的第二目标特征图进行第三预设处理,得到目标融合重建图像块;将所述目标融合重建图像块作为滤波后的第一重建图像块。[0249]在一个实施例中,处理模块1802,具体用于:根据所述第一重建图像块的深度信息或视差信息,确定所述第一重建图像块对应的第一重建特征图和所述第二重建图像块对应的第二重建特征图;根据所述第一重建特征图对所述第二重建特征图进行第一预设处理,得到第一预设处理后的第二重建特征图;根据第一预设处理后的第二重建特征图和所述第一重建特征图进行第二预设处理,得到第一目标特征图。[0250]在一个实施例中,处理模块1802,具体用于:基于特征提取网络和所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行特征提取处理,得到所述第一重建图像块对应的第一重建特征图和所述第二重建图像块对应的第二重建特征图。[0251]在一个实施例中,所述第一重建图像块为切片,所述第二重建图像块对应为切片;处理模块1802,具体用于:获取所述第一重建图像块的第一重建图像子块和所述第二重建图像块的第二重建图像子块;所述第二重建图像子块的属性信息和所述第一重建图像子块的属性信息匹配;基于特征提取网络和所述第一重建图像子块的属性信息,对所述第一重建图像子块和所述第二重建图像子块进行特征提取处理,得到所述第一重建图像块对应的第一重建特征图和所述第二重建图像块对应的第二重建特征图;可选地,所述属性信息包括深度信息或视差信息,所述第一重建图像块的属性信息和所述第一重建图像子块的属性信息不同。[0252]在一个实施例中,所述特征提取网络包括n个级联的特征提取模块,所述n为大于或等于1的整数,前n-1个特征提取模块中每个特征提取模块包括串联的特征提取单元和下采样单元,第n个特征提取模块包括特征提取单元;所述n个级联的特征提取模块中第一个特征提取模块,用于处理所述第一重建图像块和所述第二重建图像块,或者所述第一重建图像子块和所述第二重建图像子块;所述n个级联的特征提取模块中除所述第一个特征提取模块之外的各个特征提取模块,用于处理前一个特征提取模块的输出;针对所述每个特征提取模块,所述下采样单元的输入和所述特征提取单元的输出连接,所述下采样单元的输出和后一个特征提取模块中特征提取单元的输入连接;可选地,所述属性信息作为所述n个级联的特征提取模块中至少一个特征提取模块的监督信息。[0253]在一个实施例中,所述第一重建图像子块和所述第二重建图像子块为编码树块或者扩展的编码树块;所述扩展的编码树块为所述编码树块的边缘扩展之后得到的,所述扩展的编码树块尺寸大于所述编码树块。[0254]在一个实施例中,处理模块1802,具体用于:基于所述第一重建特征图和所述第二重建特征图确定第一预设处理参数;或者,基于所述第一重建特征图、所述第二重建特征图、所述属性信息确定第一预设处理参数;基于第一预设处理模型对所述第二重建特征图进行第一预设处理,得到第一预设处理后的第二重建特征图,所述第一预设处理模型包括根据所述第一预设处理参数确定的第一处理模型。[0255]在一个实施例中,处理模块1802,具体用于:根据所述第一处理模型和所述第二处理模型确定,得到所述第二重建特征图的采样点坐标,可选地,所述第二处理模型包括的目标像素坐标;根据所述第二重建特征图以及采样核函数,确定所述采样点坐标对应的目标像素值;根据所述采样点坐标对应的目标像素值生成第一预设处理后的第二重建特征图。[0256]可选地,第一预设处理为扭曲处理,第二预设处理为特征融合处理,目标第二特征图为扭曲后的第二特征图,第一预设处理参数为扭曲参数,第一预设处理模型为扭曲模型,目标特征图为融合特征图。[0257]在一个实施例中,处理模块1802,具体用于:利用特征融合网络对所述第一重建特征图和所述第一预设处理后的第二重建特征图进行第二预设处理,得到第一目标特征图;可选地,所述特征融合网络包括n个特征融合模块和m个上采样模块,所述m为大于或等于1的整数,m 1=n;所述特征融合网络中第i个特征融合模块的输入和n个第一预设处理模块中第i个第一预设处理模块的输出连接,第i个特征融合模块的输出和第j个上采样模块的输入连接,j为大于等于1的整数且j小于等于m,i=j 1;第j个上采样模块的输出和第j个特征融合模块的输入连接;所述第i个第一预设处理模块用于对所述特征提取网络中第i个特征提取模块输出的第二特征图进行第一预设处理,i为大于等于1的整数,且i小于或等于n;第n个特征融合模块用于融合第n个第一预设处理模块输出的目标第二特征图和所述第n个特征提取单元输出的第一重建特征图;当i不等于n时,所述第i个特征融合模块用于融合第i个第一预设处理模块输出的第一预设处理后的第二重建特征图、所述第i个特征提取单元输出的第一重建特征图以及所述第i个上采样模块输出的特征图。[0258]在一个实施例中,处理模块1802,具体用于:利用目标滤波处理模型对所述第二目标特征图进行滤波处理,得到滤波后的第二目标特征图;根据所述滤波后的第二目标特征图生成滤波后的第一重建图像块;可选地,所述目标滤波处理模型包括根据率失真代价从多个候选模型中选择的目标候选模型,所述多个候选模型中每个候选模型和量化参数存在映射关系。[0259]在一个实施例中,所述目标滤波处理模型包括至少一个处理单元,所述处理单元包括第一处理单元和第二处理单元中的一种或两种;处理模块1802,具体用于:对至少一个所述第一处理单元处理后的第二目标特征图进行下采样处理,得到下采样后的第二目标特征图;对所述下采样后的第二目标特征图进行上采样处理,得到目标融合重建特征图;利用第二处理单元处理所述目标融合重建特征图,得到滤波后的第二目标特征图。[0260]可以理解的是,本技术实施例所描述的图像处理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。[0261]本技术实施例还提供一种图像处理方法,所述方法包括以下步骤:s10:获取第二重建图像块;s20:根据所述第二重建图像块、第一重建图像块的属性信息和所述第二重建图像块的属性信息中的至少一种,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。[0262]可选地,所述s20步骤包括以下至少一种:根据所述第二重建图像块,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。[0263]根据第一重建图像块的属性信息,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。[0264]根据所述第二重建图像块的属性信息,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。[0265]根据所述第二重建图像块和第一重建图像块的属性信息,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。[0266]根据所述第二重建图像块和所述第二重建图像块的属性信息,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。[0267]根据第一重建图像块的属性信息和所述第二重建图像块的属性信息,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。[0268]根据所述第二重建图像块、第一重建图像块的属性信息和所述第二重建图像块的属性信息,对第一重建图像块进行滤波,以得到滤波后的第一重建图像块。[0269]可选地,所述s10步骤,还包括:获取所述第一重建图像块。[0270]可选地,所述第一重建图像块和所述第二重建图像块对应于相同或不同的重建图像。[0271]可选地,所述s20步骤,包括以下步骤:s201:获取第三重建图像块,所述第三重建图像块对应的图像为所述第一重建图像块对应的图像的参考重建图像;s202:根据所述第三重建图像块、第二重建图像块和所述第一重建图像块的属性信息中的至少一种,对所述第一重建图像块进行滤波,以得到滤波后的第一重建图像块。[0272]可选地,所述s202步骤,包括以下至少一种:根据所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行第三预设处理,得到第一目标特征图,根据所述第一重建图像块的帧间预测信息,对所述第三重建图像块和所述第一目标特征图进行第三预设处理,得到第二目标特征图,对所述第二目标特征图进行滤波处理,以得到滤波后的第一重建图像块;根据所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行第三预设处理,得到第一目标特征图,对所述第一目标特征图进行滤波处理,得到滤波后的第一目标特征图,根据所述第一重建图像块的帧间预测信息,对所述滤波后的第一目标特征图和所述第三重建图像块进行第三预设处理,得到第二目标特征图,对所述第二目标特征图进行滤波处理,以得到滤波后的第一重建图像块;根据所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行第三预设处理,得到第一目标特征图,根据所述第三重建图像块和所述第一重建图像块的帧间预测信息,对所述第一重建图像块和所述第三重建图像块进行第三预设处理,得到第二目标特征图,根据所述第一目标特征图和所述第二目标特征图确定滤波后的第一重建图像块。[0273]可选地,所述根据所述第一目标特征图和所述第二目标特征图确定滤波后的第一重建图像块,包括:对所述第一目标特征图和所述第二目标特征图进行滤波处理,得到滤波后的第一目标特征图和滤波后的第二目标特征图;根据所述滤波后的第一目标特征图和所述滤波后的第二目标特征图进行第三预设处理,得到目标融合重建图像块;将所述目标融合重建图像块作为滤波后的第一重建图像块。[0274]可选地,所述根据所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行第三预设处理,得到第一目标特征图,包括:根据所述第一重建图像块的深度信息或视差信息,确定所述第一重建图像块对应的第一重建特征图和所述第二重建图像块对应的第二重建特征图;根据所述第一重建特征图对所述第二重建特征图进行第一预设处理,得到第一预设处理后的第二重建特征图;根据第一预设处理后的第二重建特征图和所述第一重建特征图进行第二预设处理,得到第一目标特征图。[0275]可选地,所述根据所述第一重建图像块的深度信息或视差信息,确定所述第一重建图像块对应的第一重建特征图和所述第二重建图像块对应的第二重建特征图,包括:基于特征提取网络和所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行特征提取处理,得到所述第一重建图像块的第一重建特征图和所述第二重建图像块的第二重建特征图。[0276]可选地,所述第一重建图像块为切片,所述第二重建图像块对应为切片;所述根据所述第一重建图像块的深度信息或视差信息,确定所述第一重建图像块对应的第一重建特征图和所述第二重建图像块对应的第二重建特征图,包括:获取所述第一重建图像块的第一重建图像子块和所述第二重建图像块的第二重建图像子块;基于特征提取网络和所述第一重建图像子块的属性信息,对所述第一重建图像子块和所述第二重建图像子块进行特征提取处理,得到所述第一重建图像块对应的第一重建特征图和所述第二重建图像块对应的第二重建特征图。[0277]可选地,所述特征提取网络包括n个级联的特征提取模块,所述n为大于或等于1的整数,前n-1个特征提取模块中每个特征提取模块包括串联的特征提取单元和下采样单元,第n个特征提取模块包括特征提取单元。[0278]可选地,所述根据所述第一重建特征图对所述第二重建特征图进行第一预设处理,得到第一预设处理后的第二重建特征图,包括:基于所述第一重建特征图和所述第二重建特征图确定第一预设处理参数;或者,基于所述第一重建特征图、所述第二重建特征图、所述属性信息确定第一预设处理参数;基于第一预设处理模型对所述第二重建特征图进行第一预设处理,得到第一预设处理后的第二重建特征图,所述第一预设处理模型包括根据所述第一预设处理参数确定的第一处理模型。[0279]可选地,所述第一预设处理模型包括所述第一处理模型和第二处理模型,所述基于第一预设处理模型对所述第二重建特征图进行第一预设处理,得到第一预设处理后的第二重建特征图,包括:根据所述第一处理模型和所述第二处理模型确定所述第二重建特征图的采样点坐标;根据所述第二重建特征图以及采样核函数,确定所述采样点坐标对应的目标像素值;根据所述采样点坐标对应的目标像素值生成第一预设处理后的第二重建特征图。[0280]可选地,所述对所述第二目标特征图进行滤波处理,以得到滤波后的第一重建图像块,包括:利用目标滤波处理模型对所述第二目标特征图进行滤波处理,得到滤波后的第二目标特征图;根据所述滤波后的第二目标特征图生成滤波后的第一重建图像块。[0281]可选地,所述目标滤波处理模型包括至少一个处理单元,所述处理单元包括第一处理单元和第二处理单元中的一种或两种;所述利用目标滤波处理模型对所述第二目标特征图进行滤波处理,得到滤波后的第二目标特征图,包括:对至少一个所述第一处理单元处理后的第二目标特征图进行下采样处理,得到下采样后的第二目标特征图;对所述下采样后的第二目标特征图进行上采样处理,得到目标融合重建特征图;利用第二处理单元处理所述目标融合重建特征图,得到滤波后的第二目标特征图。[0282]本技术实施例还提供一种智能终端,智能终端包括存储器、处理器,存储器上存储有图像处理程序,该图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。该智能终端可以是如图1所示的移动终端100。[0283]应当理解,本技术实施例中所描述的移动终端可执行上述任一实施例的方法描述,也可执行上述所对应实施例中对该图像处理装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。[0284]在一可行的实施例中,如图1所示的移动终端100的处理器110可以用于调用存储器109中存储的图像处理程序,以执行如下操作:获取第一辅助信息;根据对应于第二视点的参考图像和所述第一辅助信息,对对应于第一视点的第一图像块进行处理。确定或生成的处理结果可以用于获得所述第一图像块对应的重建图像或解码图像;以及所述第二视点不同于所述第一视点。[0285]在一实施例中,处理器110,具体用于:进一步获取对应于第一视点的第一图像块,和/或对应于第二视点的参考图像。[0286]在一个实施例中,处理器110,具体用于:根据所述参考图像的第二图像块和第一辅助信息,确定或生成对应于所述第一图像块的一处理结果。[0287]在一个实施例中,处理器110,具体用于:根据所述第一辅助信息从所述参考图像中确定第二图像块;确定所述第一图像块对应的第一特征图以及所述第二图像块对应的第二特征图;根据所述第一特征图以及所述第二特征图确定或生成对应于所述第一图像块的一处理结果。[0288]在一个实施例中,处理器110,具体用于:根据所述第一特征图对所述第二特征图进行第一预设处理,得到目标第二特征图;根据所述第一特征图和所述目标第二特征图进行第二预设处理,得到目标特征图;根据所述目标特征图确定或生成对应于所述第一图像块的所述处理结果。[0289]在一个实施例中,处理器110,具体用于:获取所述第一图像块的第一辅助信息,所述第一辅助信息包括深度信息,所述深度信息根据所述第一图像块对应的深度图像确定;获取所述参考图像中各个图像块的第一辅助信息和所述第一图像块的第一辅助信息的相似度;将所述参考图像中所述相似度最大的图像块确定为与所述第一图像块匹配的第二图像块。[0290]在一个实施例中,所述第一辅助信息包括深度信息或视差信息;所述深度信息为以下至少一种:深度特征信息、基于深度值的统计信息、深度切片、预处理之后的深度切片。[0291]在一个实施例中,包括以下至少一种:所述第二图像块与所述第一图像块的尺寸相同;当所述第一图像块为切片或编码树块时,所述第二图像块对应为切片或编码树块;当所述第二图像块为切片时,所述第二图像块由多个编码树单元构成。[0292]在一个实施例中,处理器110,具体用于:基于特征提取网络和所述第一辅助信息对所述第一图像块和所述第二图像块进行特征提取处理,得到所述第一图像块对应的第一特征图以及所述第二图像块对应的第二特征图。[0293]在一个实施例中,所述第一图像块为切片,所述第二图像块对应为切片;处理器110,具体用于:获取所述第一图像块的第一图像子块和所述第二图像块的第二图像子块;所述第二图像子块的第二辅助信息和所述第一图像子块的第二辅助信息匹配;基于特征提取网络和所述第二辅助信息对所述第一图像子块和所述第二图像子块进行特征提取处理,得到所述第一图像子块的第一子特征图和所述第二图像子块的第二子特征图;通过所述第一子特征图,确定或生成所述第一图像块对应的第一特征图,以及通过所述第二子特征图,确定或生成所述第二图像块对应的第二特征图;可选地,所述第二辅助信息与所述第一辅助信息不同。[0294]在一个实施例中,所述特征提取网络包括n个级联的特征提取模块,所述n为大于或等于1的整数,前n-1个特征提取模块中每个特征提取模块包括串联的特征提取单元和下采样单元,第n个特征提取模块包括特征提取单元;所述n个级联的特征提取模块中第一个特征提取模块,用于处理所述第一图像块和所述第二图像块,或者所述第一图像子块和所述第二图像子块;所述n个级联的特征提取模块中除所述第一个特征提取模块之外的各个特征提取模块,用于处理前一个特征提取模块的输出;针对所述每个特征提取模块,所述下采样单元的输入和所述特征提取单元的输出连接,所述下采样单元的输出和后一个特征提取模块中特征提取单元的输入连接;可选地,所述第一辅助信息或所述第二辅助信息作为所述n个级联的特征提取模块中至少一个特征提取模块的监督信息。[0295]在一个实施例中,所述第一图像子块和所述第二图像子块为编码树块或者扩展的编码树块;所述扩展的编码树块为所述编码树块的边缘扩展之后得到的,所述扩展的编码树块的尺寸大于所述编码树块的尺寸。[0296]在一个实施例中,处理器110,具体用于:基于所述第一特征图和所述第二特征图确定第一预设处理参数;或者,基于所述第一特征图、所述第二特征图以及所述第一辅助信息确定第一预设处理参数;基于第一预设处理模型对所述第二特征图进行第一预设处理,得到目标第二特征图;所述第一预设处理模型包括根据所述第一预设处理参数确定的第一处理模型。[0297]在一个实施例中,所述第一预设处理模型包括所述第一处理模型和第二处理模型,处理器110,具体用于:根据所述第一处理模型和所述第二处理模型确定所述第二特征图中的采样点坐标,可选地,所述第二处理模型包括目标像素坐标;根据所述第二特征图以及采样核函数,确定所述采样点坐标对应的目标像素值;根据所述采样点坐标对应的目标像素值生成目标第二特征图。[0298]可选地,第一预设处理为扭曲处理,第二预设处理为特征融合处理,目标第二特征图为扭曲后的第二特征图,第一预设处理参数为扭曲参数,第一预设处理模型为扭曲模型,目标特征图为融合特征图。[0299]在一个实施例中,处理器110,具体用于:利用特征融合网络对所述第一特征图和所述目标第二特征图进行第二预设处理,得到目标特征图;可选地,所述特征融合网络包括n个特征融合模块和m个上采样模块,所述m为大于或等于1的整数,m 1=n;所述特征融合网络中第i个特征融合模块的输入和n个第一预设处理模块中第i个第一预设处理模块的输出连接,第i个特征融合模块的输出和第j个上采样模块的输入连接,j为大于等于1的整数且j小于等于m,i=j 1;第j个上采样模块的输出和第j个特征融合模块的输入连接;所述第i个第一预设处理模块用于对所述特征提取网络中第i个特征提取模块输出的第二特征图进行第一预设处理,i为大于等于1的整数,且i小于或等于n;第n个特征融合模块用于融合第n个第一预设处理模块输出的目标第二特征图和所述第n个特征提取单元输出的第一特征图;当i不等于n时,所述第i个特征融合模块用于融合第i个第一预设处理模块输出的目标第二特征图、所述第i个特征提取单元输出的第一特征图以及所述第i个上采样模块输出的特征图。[0300]在一个实施例中,处理器110,具体用于:对所述目标特征图进行滤波处理,得到滤波后的目标特征图;根据所述滤波后的目标特征图确定对应于所述第一图像块的所述处理结果。[0301]在一个实施例中,处理器110,具体用于:利用目标滤波处理模型对所述目标特征图进行滤波处理,得到滤波后的目标特征图;可选地,所述目标滤波处理模型包括根据率失真代价从多个候选模型中选择的目标候选模型,所述多个候选模型中每个候选模型和量化参数存在映射关系。[0302]在一个实施例中,所述目标滤波处理模型包括至少一个处理单元,所述处理单元包括第一处理单元和第二处理单元中的一种或两种;处理器110,具体用于:对至少一个所述第一处理单元处理后的目标特征图进行下采样处理,得到下采样后的目标特征图;对所述下采样后的目标特征图进行上采样处理,得到目标融合特征图;利用所述第二处理单元处理所述目标融合特征图,得到滤波后的目标特征图。[0303]在另一个可行的实施例中,上如图1所示的移动终端100的处理器110可以用于调用存储器109中存储的图像处理程序,以执行如下操作:获取第一重建图像块和第二重建图像块;根据所述第二重建图像块和所述第一重建图像块和/或所述第二重建图像块的属性信息,对所述第一重建图像块进行滤波,以得到滤波后的第一重建图像块;可选地,所述第一重建图像块和所述第二重建图像块对应于相同或不同的重建图像。[0304]在一个实施例中,所述第一重建图像块的属性信息,包括以下至少一种:所述第一重建图像块的帧间预测信息、所述第一重建图像块的深度信息、所述第一重建图像块的视差信息。[0305]在一个实施例中,处理器110,具体用于:获取第三重建图像块,所述第三重建图像块对应的图像为所述第一重建图像块对应的图像的参考重建图像;根据所述第三重建图像块、第二重建图像块和所述第一重建图像块的属性信息,对所述第一重建图像块进行滤波,以得到滤波后的第一重建图像块。[0306]在一个实施例中,处理器110,具体用于:根据所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行第三预设处理,得到第一目标特征图;根据所述第一重建图像块的帧间预测信息,对所述第三重建图像块和所述第一目标特征图进行第三预设处理,得到第二目标特征图;对所述第二目标特征图进行滤波处理,以得到滤波后的第一重建图像块。[0307]在一个实施例中,处理器110,具体用于:根据所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行第三预设处理,得到第一目标特征图;对所述第一目标特征图进行滤波处理,得到滤波后的第一目标特征图;根据所述第一重建图像块的帧间预测信息,对所述滤波后的第一目标特征图和所述第三重建图像块进行第三预设处理,得到第二目标特征图;对所述第二目标特征图进行滤波处理,以得到滤波后的第一重建图像块。[0308]在一个实施例中,处理器110,具体用于:根据所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行第三预设处理,得到第一目标特征图;根据所述第三重建图像块和所述第一重建图像块的帧间预测信息,对所述第一重建图像块和所述第三重建图像块进行第三预设处理,得到第二目标特征图;根据所述第一目标特征图和所述第二目标特征图确定滤波后的第一重建图像块。[0309]在一个实施例中,处理器110,具体用于:对所述第一目标特征图和所述第二目标特征图进行滤波处理,得到滤波后的第一目标特征图和滤波后的第二目标特征图;根据所述滤波后的第一目标特征图和所述滤波后的第二目标特征图进行第三预设处理,得到目标融合重建图像块;将所述目标融合重建图像块作为滤波后的第一重建图像块。[0310]在一个实施例中,处理器110,具体用于:根据所述第一重建图像块的深度信息或视差信息,确定所述第一重建图像块对应的第一重建特征图和所述第二重建图像块对应的第二重建特征图;根据所述第一重建特征图对所述第二重建特征图进行第一预设处理,得到第一预设处理后的第二重建特征图;根据第一预设处理后的第二重建特征图和所述第一重建特征图进行第二预设处理,得到第一目标特征图。[0311]在一个实施例中,处理器110,具体用于:基于特征提取网络和所述第一重建图像块的深度信息或视差信息,对所述第一重建图像块和所述第二重建图像块进行特征提取处理,得到所述第一重建图像块对应的第一重建特征图和所述第二重建图像块对应的第二重建特征图。[0312]在一个实施例中,所述第一重建图像块为切片,所述第二重建图像块对应为切片;处理器110,具体用于:获取所述第一重建图像块的第一重建图像子块和所述第二重建图像块的第二重建图像子块;所述第二重建图像子块的属性信息和所述第一重建图像子块的属性信息匹配;基于特征提取网络和所述第一重建图像子块的属性信息,对所述第一重建图像子块和所述第二重建图像子块进行特征提取处理,得到所述第一重建图像块对应的第一重建特征图和所述第二重建图像块对应的第二重建特征图;可选地,所述属性信息包括深度信息或视差信息,所述第一重建图像块的属性信息和所述第一重建图像子块的属性信息不同。[0313]在一个实施例中,所述特征提取网络包括n个级联的特征提取模块,所述n为大于或等于1的整数,前n-1个特征提取模块中每个特征提取模块包括串联的特征提取单元和下采样单元,第n个特征提取模块包括特征提取单元;所述n个级联的特征提取模块中第一个特征提取模块,用于处理所述第一重建图像块和所述第二重建图像块,或者所述第一重建图像子块和所述第二重建图像子块;所述n个级联的特征提取模块中除所述第一个特征提取模块之外的各个特征提取模块,用于处理前一个特征提取模块的输出;针对所述每个特征提取模块,所述下采样单元的输入和所述特征提取单元的输出连接,所述下采样单元的输出和后一个特征提取模块中特征提取单元的输入连接;可选地,所述属性信息作为所述n个级联的特征提取模块中至少一个特征提取模块的监督信息。[0314]在一个实施例中,所述第一重建图像子块和所述第二重建图像子块为编码树块或者扩展的编码树块;所述扩展的编码树块为所述编码树块的边缘扩展之后得到的,所述扩展的编码树块尺寸大于所述编码树块。[0315]在一个实施例中,处理器110,具体用于:基于所述第一重建特征图和所述第二重建特征图确定第一预设处理参数;或者,基于所述第一重建特征图、所述第二重建特征图、所述属性信息确定第一预设处理参数;基于第一预设处理模型对所述第二重建特征图进行第一预设处理,得到第一预设处理后的第二重建特征图,所述第一预设处理模型包括根据所述第一预设处理参数确定的第一处理模型。[0316]在一个实施例中,处理器110,具体用于:根据所述第一处理模型和所述第二处理模型确定,得到所述第二重建特征图的采样点坐标,可选地,所述第二处理模型包括的目标像素坐标;根据所述第二重建特征图以及采样核函数,确定所述采样点坐标对应的目标像素值;根据所述采样点坐标对应的目标像素值生成第一预设处理后的第二重建特征图。[0317]可选地,第一预设处理为扭曲处理,第二预设处理为特征融合处理,目标第二特征图为扭曲后的第二特征图,第一预设处理参数为扭曲参数,第一预设处理模型为扭曲模型,目标特征图为融合特征图。[0318]在一个实施例中,处理器110,具体用于:利用特征融合网络对所述第一重建特征图和所述第一预设处理后的第二重建特征图进行第二预设处理,得到第一目标特征图;可选地,所述特征融合网络包括n个特征融合模块和m个上采样模块,所述m为大于或等于1的整数,m 1=n;所述特征融合网络中第i个特征融合模块的输入和n个第一预设处理模块中第i个第一预设处理模块的输出连接,第i个特征融合模块的输出和第j个上采样模块的输入连接,j为大于等于1的整数且j小于等于m,i=j 1;第j个上采样模块的输出和第j个特征融合模块的输入连接;所述第i个第一预设处理模块用于对所述特征提取网络中第i个特征提取模块输出的第二特征图进行第一预设处理,i为大于等于1的整数,且i小于或等于n;第n个特征融合模块用于融合第n个第一预设处理模块输出的目标第二特征图和所述第n个特征提取单元输出的第一重建特征图;当i不等于n时,所述第i个特征融合模块用于融合第i个第一预设处理模块输出的第一预设处理后的第二重建特征图、所述第i个特征提取单元输出的第一重建特征图以及所述第i个上采样模块输出的特征图。[0319]在一个实施例中,处理器110,具体用于:利用目标滤波处理模型对所述第二目标特征图进行滤波处理,得到滤波后的第二目标特征图;根据所述滤波后的第二目标特征图生成滤波后的第一重建图像块;可选地,所述目标滤波处理模型包括根据率失真代价从多个候选模型中选择的目标候选模型,所述多个候选模型中每个候选模型和量化参数存在映射关系。[0320]在一个实施例中,所述目标滤波处理模型包括至少一个处理单元,所述处理单元包括第一处理单元和第二处理单元中的一种或两种;处理器110,具体用于:对至少一个所述第一处理单元处理后的第二目标特征图进行下采样处理,得到下采样后的第二目标特征图;对所述下采样后的第二目标特征图进行上采样处理,得到目标融合重建特征图;利用第二处理单元处理所述目标融合重建特征图,得到滤波后的第二目标特征图。[0321]应当理解,本技术实施例中所描述的移动终端可执行上述任一实施例的方法描述,也可执行上述所对应实施例中对该图像处理装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。[0322]本技术实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有图像处理程序,图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。[0323]在本技术提供的智能终端和计算机可读存储介质的实施例中,可以包含任一上述图像处理方法实施例的全部技术特征,说明书拓展和解释内容与上述方法的各实施例基本相同,在此不再做赘述。[0324]本技术实施例还提供一种计算机程序产品,计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行如上各种可能的实施方式中的方法。[0325]本技术实施例还提供一种芯片,包括存储器和处理器,存储器用于存储计算机程序,处理器用于从存储器中调用并运行计算机程序,使得安装有芯片的设备执行如上各种可能的实施方式中的方法。[0326]可以理解,上述场景仅是作为示例,并不构成对于本技术实施例提供的技术方案的应用场景的限定,本技术的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。[0327]上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。[0328]本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。[0329]本技术实施例设备中的单元可以根据实际需要进行合并、划分和删减。[0330]在本技术中,对于相同或相似的术语概念、技术方案和/或应用场景描述,一般只在第一次出现时进行详细描述,后面再重复出现时,为了简洁,一般未再重复阐述,在理解本技术技术方案等内容时,对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等,可以参考其之前的相关详细描述。[0331]在本技术中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。[0332]本技术技术方案的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本技术记载的范围。[0333]通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本技术每个实施例的方法。[0334]在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本技术实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络,或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、存储盘、磁带)、光介质(例如,dvd),或者半导体介质(例如固态存储盘solidstatedisk(ssd))等。[0335]以上仅为本技术的优选实施例,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的
技术领域
:,均同理包括在本技术的专利保护范围内。当前第1页12当前第1页12
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献