一种适于图像恢复的数据处理方法和设备与流程

1.本技术涉及图像恢复领域，尤其涉及一种适于图像恢复的数据处理方法和设备。


背景技术：

2.随着社会和计算机技术的不断进步，数字图像处理技术已广泛应用在扫描仪、数码相机、数字电视、移动智能终端、汽车智能辅助或自动驾驶、监控、目标检测和识别等领域。但是图像在获取、传输及保存的过程往往会受到各种不可控因素的影响导致图像质量下降，例如摄像设备与被摄物体的相对运动、衍射现象、湍流效应、电子线路的噪声、雨雪雾等恶劣天气的影响等。图像质量下降有很多种因素，比如模糊、局部缺失、亮度或清晰度下降等等，统称为图像退化，而图像恢复就是图像退化的逆问题。
3.目前主流的图像恢复为了提高图像恢复模型的普适性，依赖于通过大量数据训练图像恢复模型，或者通过加深卷积深度、增加神经网络模型的复杂度等等方式，这些方式使得图像恢复模型的训练成本急剧提高，所得到的图像恢复模型仍然无法对各类图像退化进行普适性地恢复效果，投入产出比较低。
4.因此，现有的图像恢复技术存在效率低、成本高、普适性较差的技术问题。


技术实现要素：

5.本技术实施例提供一种适于图像恢复的数据处理方法和设备，用以解决现有的图像恢复技术中存在的效率低、成本高、普适性较差的技术问题。
6.本技术实施例的第一方面，提供一种适于图像恢复的数据处理方法，包括：获取待恢复图像和三维点云数据，待恢复图像对应的平面区域包含在三维点云数据对应的空间区域中；利用特征提取模型，提取三维点云数据在平面区域的投影所形成的图像纹理特征和图像结构特征；根据图像纹理特征和图像结构特征，将待恢复图像分割成多个特征区域，每个特征区域对应一种图像纹理特征或一种图像结构特征，每个特征区域中包括多个几何图块；利用迭代优化匹配模型，在每个特征区域中搜寻与各个几何图块的纹理和/或结构相匹配的目标匹配图块，并将所有目标匹配图块组合成待选修复图块集；根据图像结构特征确定待恢复图像中的待恢复区域，并通过预设恢复模型，调用待选修复图块集中的待选修复图块对待恢复区域进行图像恢复，得到恢复后的目标图像。
7.在一种可能的设计中，利用迭代优化匹配模型，在每个特征区域中搜寻与各个几何图块的纹理和/或结构相匹配的目标匹配图块，包括：为每个特征区域中的各个几何图块随机分配初始偏移值，并根据初始偏移值以及几何图块的坐标，确定待选匹配图块，待选匹配图块与几何图块在同一个特征区域中；任选一个几何图块作为当前图块，并根据当前图块所在的特征区域对应的图像纹理特征，确定当前图块所在的特征区域的纹理传播方向；
利用相似性判别模型判断当前图块对应的待选匹配图块与当前图块的差异度是否大于预设差异阈值；若是，则根据纹理传播方向，在当前图块所在的特征区域内搜索当前图块对应的目标匹配图块，当前图块对应的目标匹配图块与当前图块的差异度小于或等于预设差异阈值。
8.可选的，在利用相似性判别模型判断待选匹配图块与几何图块的差异度是否大于预设差异阈值之后，还包括：若否，则确定待选匹配图块为几何图块的目标匹配图块，并将几何图块与目标匹配图块的相对位置关系传递给几何图块相邻的各个相邻图块；将沿纹理传播方向的相邻图块作为当前几何图块，循环利用相似性判别模型验证当前几何图块对应的待选匹配图块的差异度是否大于预设差异阈值，直至到达特征区域的边缘为止。
9.在一种可能的设计中，根据当前图块所在的特征区域对应的图像纹理特征，确定当前图块所在的特征区域的纹理传播方向，包括：利用预设曲率模型算出当前图块所在的特征区域的边界上的最大曲率点：其中，q为曲率，为特征区域的梯度，为梯度的模，为散度；将最大曲率点对应的等照度线上指向当前图块所在的特征区域内部的方向作为纹理传播方向：其中，为最大曲率点上的等照度线方向，为最大曲率点处的梯度。
10.在一种可能的设计中，根据纹理传播方向，在当前图块所在的特征区域内搜索当前图块对应的目标匹配图块，包括：将纹理传播方向上的各个几何图块作为当前图块的各个第一待选匹配图块：重复多次利用相似性判别模型判断各个第一待选匹配图块与当前图块的第一差异度是否大于预设差异阈值，直至满足预设结束条件，确定当前图块对应的目标匹配图块。
11.可选的，预设结束条件包括：将纹理传播方向上所有在当前图块所在特征区域的内的第一待选匹配图块都计算出第一差异度，并将最小的第一差异度对应的第一待选匹配图块作为当前图块对应的目标匹配图块；或者，只要出现第一差异度小于或等于预设差异阈值，就停止判断，并将其对应的第一待选匹配图块作为当前图块对应的目标匹配图块。
12.在一种可能的设计中，在确定了当前图块对应的目标匹配图块之后，还包括：根据当前图块与当前图块对应的目标匹配图块之间的第一偏移值，确定与当前图
块相邻的第一几何图块的第二偏移值，第二偏移值用于表征重新分配给第一几何图块的待选匹配图块与第一几何图块的相对位置；将第一几何图块作为新的当前图块，继续根据纹理传播方向，在当前图块所在的特征区域内搜索当前图块对应的目标匹配图块，直至完成对所有几何图块对应的目标匹配图块的优化。
13.在一种可能的设计中，当特征区域对应一种图像纹理特征时，特征区域中的几何图块为纹理图块，相似性判别模型包括：纹理相似性模型；利用相似性判别模型判断待选匹配图块与几何图块的差异度是否大于预设差异阈值的具体步骤包括：判断待选匹配图块的第一平均灰度值与几何图块的第二平均灰度值的差值是否大于预设差异阈值：其中，为以（x，y）为中心的几何图块，为以为中心的待选匹配图块，为预设差异阈值，和为横坐标偏移量和纵坐标偏移量，为平均灰度值。
14.在一种可能的设计中，当特征区域对应一种图像结构特征时，特征区域中的几何图块为结构图块，相似性判别模型包括：结构相似性模型；利用相似性判别模型判断待选匹配图块与几何图块的差异度是否大于预设差异阈值的具体步骤包括：判断待选匹配图块的第一结构向量与几何图块的第二结构向量的夹角是否大于预设差异阈值：其中，为以（x，y）为中心的所述几何图块的第二结构向量，以为中心的所述待选匹配图块的第一结构向量，为所述预设差异阈值，和为横坐标偏移量和纵坐标偏移量。
15.本技术实施例的第二方面，提供一种适于图像恢复的数据处理装置，包括：获取模块，用于获取待恢复图像和三维点云数据，待恢复图像对应的平面区域包含在三维点云数据对应的空间区域中；处理模块，用于：利用特征提取模型，提取三维点云数据在平面区域的投影所形成的图像纹理特征和图像结构特征；根据图像纹理特征和图像结构特征，将待恢复图像分割成多个特征区域，每个特征区域对应一种图像纹理特征或一种图像结构特征，每个特征区域中包括多个几何图块；利用迭代优化匹配模型，在每个特征区域中搜寻与各个几何图块的纹理和/或结构相匹配的目标匹配图块，并将所有目标匹配图块组合成待选修复图块集；
恢复模块，用于根据图像结构特征确定待恢复图像中的待恢复区域，并通过预设恢复模型，调用待选修复图块集中的待选修复图块对待恢复区域进行图像恢复，得到恢复后的目标图像。
16.本技术实施例的第三方面，提供一种适于图像恢复的数据处理的设备，包括：存储器，用于存储程序指令；处理器，用于调用并执行所述存储器中的程序指令，执行第一方面所提供的任意一种可能的方法。
17.本技术实施例的第四方面，提供一种存储介质，可读存储介质中存储有计算机程序，计算机程序用于执行第一方面所提供的任意一种可能的方法。
18.本技术实施例的第五方面，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所提供的任意一种可能的方法。
19.本技术提供的一种适于图像恢复的数据处理方法和设备，通过获取待恢复图像和三维点云数据，待恢复图像对应的平面区域包含在三维点云数据对应的空间区域中；利用特征提取模型，提取三维点云数据在平面区域的投影所形成的图像纹理特征和图像结构特征；根据图像纹理特征和图像结构特征，将待恢复图像分割成多个特征区域，每个特征区域对应一种图像纹理特征或一种图像结构特征，每个特征区域中包括多个几何图块；利用迭代优化匹配模型，在待恢复图像中搜寻与各个几何图块的纹理和/或结构相匹配的目标匹配图块，并将所有目标匹配图块组合成待选修复图块集；根据图像结构特征确定待恢复图像中的待恢复区域，并通过预设恢复模型，调用待选修复图块集中的待选修复图块对待恢复区域进行图像恢复，得到恢复后的目标图像。本技术通过利用图像所属三维空间的三维点云数据，提取三维点云数据中的特征，为图像恢复提供了准确地有监督学习数据，降低了对图像恢复模型的训练要求，三维点云数据还能够为图像恢复提供修复图块，从而达到提高图像恢复的效率和准确性的技术效果。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
21.图1为本技术实施例提供的一种适于图像恢复的数据处理方法的流程示意图；图2为本技术实施例提供的一种待恢复图像分割成多个特征区域的示意图；图3为本技术实施例提供的一种对于步骤s140中搜寻目标匹配图块的流程示意图；图4为本技术实施例提供的一种适于图像恢复的数据处理装置的结构示意图；图5为本技术实施例提供的一种适于图像恢复的数据处理设备的结构示意图。
22.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
23.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例
中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
24.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
25.应当理解，在本技术的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
26.应当理解，在本技术中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
27.应当理解，在本技术中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、b、c”是指a、b、c三者都包含，“包含a、b或c”是指包含a、b、c三者之一，“包含a、b和/或c”是指包含a、b、c三者中任1个或任2个或3个。
28.应当理解，在本技术中，“与a对应的b”、“与a相对应的b”、“a与b相对应”或者“b与a相对应”，表示b与a相关联，根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。a与b的匹配，是a与b的相似度大于或等于预设的阈值。
29.取决于语境，如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
30.下面以具体地实施例对本技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
31.随着社会和计算机技术的不断进步，数字图像处理技术已广泛应用在扫描仪、数码相机、数字电视、移动智能终端、汽车智能辅助或自动驾驶、监控、目标检测和识别等领域。但是图像在获取、传输及保存的过程往往会受到各种不可控因素的影响导致图像质量下降，例如摄像设备与被摄物体的相对运动、衍射现象、湍流效应、电子线路的噪声、雨雪雾等恶劣天气的影响等。图像质量下降有很多种因素，比如模糊、局部缺失、亮度或清晰度下降等等，统称为图像退化，而图像恢复就是图像退化的逆问题。
32.目前主流的图像恢复为了提高图像恢复模型的普适性，依赖于通过大量数据训练图像恢复模型，或者通过加深卷积深度、增加神经网络模型的复杂度等等方式，这些方式使得图像恢复模型的训练成本急剧提高，所得到的图像恢复模型仍然无法对各类图像退化进行普适性地恢复效果，投入产出比较低。
33.因此，现有的图像恢复技术存在效率低、成本高、普适性较差的技术问题。
34.为解决上述技术问题，本技术的发明构思是：在采集图像时，同时通过雷达采集对应的空间区域的三维点云数据，利用雷达不
易受雨雪雾天气因素干扰，且其采样周期短不易受运动影响造成运动模糊的特性，将三维点云数据投影到图像所在的平面区域，对该投影进行特征提取，就能够还原出图像内部的特征。这样对于退化的图像，就不需要依靠图像恢复模型来模拟或猜测其特征，即降低了对图像恢复模型的训练要求。其次，基于还原出的图像内部的特征，在待恢复图像即退化的图像中找出与待修复区域相似的图块，这样就能够更为精准地恢复待修复区域，完成对图像的恢复。相比于现有技术，由于三维点云数据与待恢复图像是同时采集的，这样就能够尽可能多地提取出待恢复图像中缺失的特征信息，并且两者是精准匹配的，这样就无需图像恢复模型根据自身结构预测待恢复图像的相关特征信息，图像恢复模型仅仅需要关注如何利用图块来填补待修复区域，并使得填补的内容与四周的图像区域良好融合。这样通过三维点云数据就破解了现有技术需要大量数据训练图像恢复模型的惯用思维，同时实现了图像恢复处理的普适性，即图像恢复处理方法的普适性与图像恢复模型解耦，不再受其限制。
35.图1为本技术实施例提供的一种适于图像恢复的数据处理方法的流程示意图。如图1所示，该数据处理方法的具体步骤包括：s110、获取待恢复图像和三维点云数据。
36.在本步骤中，通过二维图像采集器，如摄像头，采集待恢复图像，同时通过三维点云采集器，如雷达，采集三维点云数据。值得注意的是，待恢复图像对应的平面区域包含在所述三维点云数据对应的空间区域中。
37.需要说明的是，可以通过实验标定二维图像采集器与三维点云采集器的安装位置和采集方向，使得待恢复图像对应的平面区域包含在所述三维点云数据对应的空间区域中。
38.例如，可以将二维图像采集器与三维点云采集器安装在同一个位置上，且两者的采集方向相同。当然，如果两者安装在不同位置上时，就需要调整两者的采集方向，以使待恢复图像对应的平面区域包含在所述三维点云数据对应的空间区域中。
39.s120、利用特征提取模型，提取三维点云数据在平面区域的投影所形成的图像纹理特征和图像结构特征。
40.需要说明的是，图像可以分解为结构和纹理两大部分，其中的结构信息体现的是图像的整体框架，包含的是图像的边缘等重要的描述信息，而纹理信息体现的就是图像框架中的细节部分。图像中的纹理常常用来描述自然界中各种物体的表面，如沙土、皮肤、毛发、植物等，即纹理可以理解为在无限二维空间内的某些区域有着稳定分布的可视图案，有一定的规则性、随机性和方向性，并具有以下特质：1、某种局部序列性在较大的区域内的不断重复；2、纹理具有区域特性，主要由引起视觉感知的纹理基元组成；3、纹理区域的各个部分大致是具有相似尺寸的均匀统一体。
41.在本步骤中，首先根据预设坐标变换公式确定三维点云数据在平面区域的投影，具体的，预设坐标变换公式可以用公式（1）来表示：
（1）其中，为平面区域在三维空间区域中的坐标，为二维图像采集器（如摄像头）的焦距，为像素坐标系中的坐标，为待恢复图像的图像坐标系的原点，在像素坐标系中的坐标，dx和dy为二维图像采集器（如摄像头）中每个像素点的尺寸，为三维点云采集器（如雷达）的离地高度，为二维图像采集器（如摄像头）的离地高度，为三维点云采集器（如雷达）与二维图像采集器（如摄像头）的纵向距离。
42.通过公式（1）就可以在三维点云数据中提取到待恢复图像所在平面区域的投影，该投影也可以理解为一张尺寸与待恢复图像相同的二维图像。
43.然后，利用特征提取模型提取投影对应的图像纹理特征和图像结构特征，具体的，特征提取模型可以通过神经网络模型中的一个或多个卷积层来实现特征提取。
44.s130、根据图像纹理特征和所述图像结构特征，将待恢复图像分割成多个特征区域。
45.在本步骤中，将待恢复图像按相同或相近的图像纹理特征或图像结构特征进行分割，得到多个特征区域。即每个特征区域对应一种图像纹理特征或一种图像结构特征，即特征区域有两类：一类是纹理特征区域，另一类是结构特征区域，每个特征区域中包括多个几何图块，则几何图块也分成两类，即纹理图块和结构图块。
46.需要说明的是，几何图块是由多个连续的像素组成的具备一定几何形状的区域，例如，3x3的四边形区域，或者5x5的四边形区域。
47.在一种可能的实施方式中，对于每个特征区域，当该特征区域中具备相同的图像纹理特征或图像结构特征的几何图块所占比例大于或等于预设比例阈值（如80%）时，就可以认定该特征区域对应与该图像纹理特征或图像结构特征。
48.图2为本技术实施例提供的一种待恢复图像分割成多个特征区域的示意图。如图2所示，用不同灰度或填充图案代表不同的特征区域，特征区域中的六边形即为几何图块，需要说明的是，图2中仅示意性地画出了若干几何图块，而省略了其它几何图块，实际上几何图块是遍布整个待恢复图像的，即待恢复图像》特征区域》几何图块》像素。
49.值得注意的是，本步骤作用效果是将三维点云数据提取的图像纹理特征和图像结构特征作为先验信息对后续筛选用于填补待恢复区域的各个待选修复图块，即步骤s140中的搜索范围进行约束，以提高搜索效率和准确性。
50.s140、利用迭代优化匹配模型，在每个特征区域中搜寻与各个几何图块的纹理和/或结构相匹配的目标匹配图块，并将所有目标匹配图块组合成待选修复图块集。
51.在本步骤中，几何图块与目标匹配图块的纹理相似度或结构相似度满足预设相似度要求，即两者间的差异度小于预设差异阈值，这样目标匹配图块就能够替换几何图块，以
实现待恢复图像的重建或恢复。
52.基于每个特征区域内具备相似或相同的纹理或结构，因此，对于纹理信息丰富的待恢复图像，几何图块和对应的目标匹配图块应该在相同的特征区域内。在本实施例中，通过将特征区域的边界设置为搜索约束条件，相比于在整个待恢复图像中进行随机搜索，能够有效提高搜索效率、搜索精度和准确率。
53.s150、根据图像结构特征确定待恢复图像中的待恢复区域，并通过预设恢复模型，调用待选修复图块集中的待选修复图块对待恢复区域进行图像恢复，得到恢复后的目标图像。
54.在本步骤中，在待选修复图块集中的多个待选修复图块中筛选出待恢复区域中各个几何图块对应的目标匹配图块或者与该几何图块最为相似的待选修复图块，然后利用该待选修复图块替换待恢复区域中的几何图块。
55.进一步地，不同于现有技术仅考虑图像的颜色信息而不考虑图像结构信息，然而在图像修复过程中经常先修复图像的几何结构部分以保持整体图像一致性，若忽略几何结构信息的重要性，就先进行纹理图块填充，会出现细节相似但整体产生偏差的情况。本实施例在图像恢复的过程中，引入梯度因子来约束图像的恢复，这样可以突出图像的几何结构信息的重要性，可以有效提高修复算法的修复质量，因为图像的几何结构信息通常表现为图像的梯度变化，几何结构相似的图像，梯度变化也相似。
56.具体的，可以根据公式（2）来进行图像恢复：（2）其中，表示损失函数，表示待恢复区域，表示像素点的4邻域，表示像素点与待选修复图块的映射，即代表把以（x i）为中心的待选修复图块填充到以像素点为中心的几何图块中，若待选修复图块的修复是完全有效的，则此时数据项的取值为0，r(x)代表以像素点x为中心的几何图块的rgb颜色值，代表为以像素点为中心的几何图块分配的第一待选修复图块的rgb颜色值，代表为以像素点为中心的几何图块分配第二待选修复图块的rgb颜色值，表示第一待选修复图块的梯度值，表示第二待选修复图块的梯度值，α为颜色权重值，β为结构权重值。
57.图像恢复的过程即为求解最小损失函数值min f（l）的过程。
58.综上，本实施例既考虑了相邻几何图块的颜色值之间的差异又考虑了梯度方向之间的差异，从而有利于目标图像保持整体结构一致性，提高图像恢复的恢复质量。
59.为了便于理解，将本实施例应用于自动驾驶领域时，在车辆上同时安装雷达和摄像头，由于车辆在运动时与路上的其它物体，如其它车辆、行人、障碍物等存在相对运动，摄像头拍摄到的图像就会存在运动模糊的问题，如果车辆在雨雪天气，或者大雾天气行驶，则摄像头拍摄到的图像也会受到天气的影响产生模糊。此时，车辆上的图像处理设备，就可以同时获取摄像头和雷达的数据，通过雷达实时采集的三维点云数据来对摄像头拍摄的图片进行恢复处理，以通过恢复后的高清图片实现更加精确的目标识别，如识别前方车辆的车
牌信息，或者识别路边警示标牌上的信息。
60.本实施例提供了一种适于图像恢复的数据处理方法，通过获取待恢复图像和三维点云数据，待恢复图像对应的平面区域包含在三维点云数据对应的空间区域中；利用特征提取模型，提取三维点云数据在平面区域的投影所形成的图像纹理特征和图像结构特征；根据图像纹理特征和图像结构特征，将待恢复图像分割成多个特征区域，每个特征区域对应一种图像纹理特征或一种图像结构特征，每个特征区域中包括多个几何图块；利用迭代优化匹配模型，在待恢复图像中搜寻与各个几何图块的纹理和/或结构相匹配的目标匹配图块，并将所有目标匹配图块组合成待选修复图块集；根据图像结构特征确定待恢复图像中的待恢复区域，并通过预设恢复模型，调用待选修复图块集中的待选修复图块对待恢复区域进行图像恢复，得到恢复后的目标图像。本技术通过利用图像所属三维空间的三维点云数据，提取三维点云数据中的特征，为图像恢复提供了准确地有监督学习数据，降低了对图像恢复模型的训练要求，三维点云数据还能够为图像恢复提供修复图块，从而达到提高图像恢复的效率和准确性的技术效果。
61.为了便于理解，下面进一步对步骤s140的可能的实施方式进行具体介绍。
62.图3为本技术实施例提供的一种对于步骤s140中搜寻目标匹配图块的流程示意图。如图3所示，具体的搜寻步骤包括：s141、为每个特征区域中的各个几何图块随机分配初始偏移值，并根据初始偏移值以及几何图块的坐标，确定待选匹配图块。
63.在本步骤中，待选匹配图块与几何图块在同一个特征区域中，偏移值是指几何图块的中心像素点在横向和纵向方向上移动的数值，待选匹配图块就是该中心像素点移动偏移值后，所得到的与几何图块相同大小的区域。初始偏移值是随机分配的，但是需要约束在几何图块所属的特征区域中，因为最终的目标匹配图块的筛选效果受初始偏移值的影响较为敏感，为了提高目标匹配图块的筛选精度和准确性，本实施例提出以三维点云数据中提取的图像纹理特征和图像结构特征为先验信息，即基于特征区域来约束初始偏移值的取值。
64.s142、任选一个几何图块作为当前图块，并根据当前图块所在的特征区域对应的图像纹理特征，确定当前图块所在的特征区域的纹理传播方向。
65.在本步骤中，具体包括：利用预设曲率模型算出当前图块所在的特征区域的边界上的最大曲率点，预设曲率模型可以用公式（3）表示：（3）其中，q为曲率，为特征区域的梯度，为梯度的模，为散度；将最大曲率点对应的等照度线上指向当前图块所在的特征区域内部的方向作为纹理传播方向，纹理传播方向可以用公式（4）来表示：（4）其中，为最大曲率点上的等照度线方向，为最大曲率点处的梯度。
66.s143、利用相似性判别模型判断当前图块对应的待选匹配图块与当前图块的差异
度是否大于预设差异阈值。
67.在本步骤中，当特征区域对应一种图像结构特征时，特征区域中的几何图块为结构图块，相似性判别模型包括：结构相似性模型，则本步骤具体包括：利用相似性判别模型判断待选匹配图块与几何图块的差异度是否大于预设差异阈值的具体步骤包括：判断待选匹配图块的第一结构向量与几何图块的第二结构向量的夹角是否大于预设差异阈值，具体计算方式如公式（5）所示：（5）其中，为以（x，y）为中心的几何图块的第二结构向量，以为中心的待选匹配图块的第一结构向量，为预设差异阈值，和为横坐标偏移量和纵坐标偏移量。
68.当特征区域对应一种图像纹理特征时，特征区域中的几何图块为纹理图块，相似性判别模型包括：纹理相似性模型，此时本步骤具体包括：判断待选匹配图块的第一平均灰度值与几何图块的第二平均灰度值的差值是否大于预设差异阈值，具体计算方式如公式（6）所示：（6）其中，为以（x，y）为中心的几何图块，为以为中心的待选匹配图块，为预设差异阈值，和为横坐标偏移量和纵坐标偏移量，为平均灰度值。
69.在本实施例中，对于s143的检验结果，若大于预设差异阈值，则证明待选匹配图块不是目标匹配图块，需要按预设方式进行搜索：根据所述纹理传播方向，在当前图块所在的特征区域内搜索当前图块对应的目标匹配图块，包括：将纹理传播方向上的各个几何图块作为当前图块的各个第一待选匹配图块：重复多次利用相似性判别模型判断各个第一待选匹配图块与当前图块的第一差异度是否大于预设差异阈值，直至满足预设结束条件，确定当前图块对应的目标匹配图块。
70.进一步地，在确定了当前图块对应的目标匹配图块之后，根据当前图块与当前图块对应的目标匹配图块之间的第一偏移值，确定与当前图块相邻的第一几何图块的第二偏移值，第二偏移值用于表征重新分配给第一几何图块的待选匹配图块与第一几何图块的相对位置；将第一几何图块作为新的当前图块，继续根据纹理传播方向，在当前图块所在的特征区域内搜索当前图块对应的目标匹配图块，直至完成对所有几何图块对应的目标匹配图块的优化。
71.可选的，预设结束条件包括：将纹理传播方向上所有在当前图块所在特征区域的内的第一待选匹配图块都计
算出第一差异度，并将最小的第一差异度对应的第一待选匹配图块作为当前图块对应的目标匹配图块；或者，只要出现第一差异度小于或等于预设差异阈值，就停止判断，并将其对应的第一待选匹配图块作为当前图块对应的目标匹配图块。
72.若小于或等于预设差异阈值，则确定待选匹配图块为几何图块的目标匹配图块，并将几何图块与目标匹配图块的相对位置关系传递给几何图块相邻的各个相邻图块；将沿纹理传播方向的相邻图块作为当前几何图块，循环利用相似性判别模型验证当前几何图块对应的待选匹配图块的差异度是否大于预设差异阈值，直至到达特征区域的边缘为止。
73.为了便于理解上述根据s143的检验结果进行的后续各个目标匹配图块的引导搜索，下面结合图3来进行说明。简单来说对于s143的判断，若是，则执行s144、若否，则执行s147。
74.s144、将纹理传播方向上的各个几何图块作为当前图块的各个第一待选匹配图块。
75.在本实施例中，从当前图块相邻的几何图块，且沿公式（4）确定的纹理传播方向，依次将这些几何图块作为各个第一待选匹配图块。
76.第一待选匹配图块的中心像素点与当前图块的中心像素点的偏移值，可以用公式（7）来表示：（7）其中，表示i=(x,y)为中心的几何图块，表示该几何图块的偏移值，为几何图块所在特征区域的纹理传播方向，n=1,2,3,
……
，直到偏移值处于特征区域的边缘位置。
77.s145、利用相似性判别模型判断各个第一待选匹配图块与当前图块的第一差异度是否大于预设差异阈值。
78.在本步骤中，若是，则执行s146；若否，则需要根据上述预设结束条件来决定循环的步骤，本实施例假设预设结束条件是：只要出现第一差异度小于或等于预设差异阈值，就停止判断，并将其对应的第一待选匹配图块作为当前图块对应的目标匹配图块，即执行s148。
79.s146、判断是否为最后一个第一待选匹配图块。
80.在本步骤中，若是，则执行s147，否则返回s145。
81.s147、将第一差异度最小的第一待选匹配图块作为当前图块对应的目标匹配图块。
82.s148、将当前的第一待选匹配图块作为当前图块对应的目标匹配图块，并根据目标匹配图块的位置确定当前图块的偏移值。
83.s149、根据当前图块的偏移值确定当前图块四周各个相邻图块的偏移值。
84.s1410、将相邻图块作为当前图块。
85.在执行s1410后，返回执行s144，直至遍历完所有几何图块，这个过程可以理解为对s141中分配的初始偏移值的优化过程。
86.为了便于理解，下面再将上述过程简要描述一遍：在s141对于各个几何图块的偏移值完成初始化后，每个几何图块块被分配了一个
偏移值即初始偏移值，通过这个初始偏移值就可以找到其待选匹配图块的相对位置。然后，利用公式（5）或公式（6）对各个待选匹配图块进行相似性判断。若判断结果为好的匹配块(例如，对于结构块夹角小于0.5或纹理块差值小于0.04定义为好的匹配块)，将匹配信息即偏移值向邻域图块传播（即将偏移值在相邻图块的方向上加1）,邻域图块获得其匹配信息后,沿纹理传播方向执行搜索看是否有更好的待选匹配图块，若找到更好的匹配块后,更新像该邻域图块的偏移值,向其相邻的其它邻域图块传播其更新后的匹配信息；若没有找到更好的匹配块，则直接将接收到匹配信息向其相邻的其它几何图块传播；若判断结果为坏的匹配块，直接在纹理传播方向上执行搜索找到好的匹配块后再执行匹配信息向相邻的其它几何图块传播。重复以上步骤直至收敛，得到优化的图像偏移映射，即待选修复图块集中各个待选修复图块与各几何图块的相对位置关系。
87.本实施例基于图像先验知识即从三维点云数据中提取的图像纹理特征和图像结构特征，以特征区域和纹理传播方向作为约束条件，对各个几何图块的偏移映射进行约束，以提高了目标匹配图块的匹配精度，进而为后续图像恢复提供了更为准确的修复信息，提高了图像恢复的质量。
88.图4为本技术实施例提供的一种适于图像恢复的数据处理装置的结构示意图。该适于图像恢复的数据处理装置400可以通过软件、硬件或者两者的结合实现。
89.如图4所示，该适于图像恢复的数据处理装置400包括：获取模块401，用于获取待恢复图像和三维点云数据，待恢复图像对应的平面区域包含在三维点云数据对应的空间区域中；处理模块402，用于：利用特征提取模型，提取三维点云数据在平面区域的投影所形成的图像纹理特征和图像结构特征；根据图像纹理特征和图像结构特征，将待恢复图像分割成多个特征区域，每个特征区域对应一种图像纹理特征或一种图像结构特征，每个特征区域中包括多个几何图块；利用迭代优化匹配模型，在每个特征区域中搜寻与各个几何图块的纹理和/或结构相匹配的目标匹配图块，并将所有目标匹配图块组合成待选修复图块集；恢复模块403，用于根据图像结构特征确定待恢复图像中的待恢复区域，并通过预设恢复模型，调用待选修复图块集中的待选修复图块对待恢复区域进行图像恢复，得到恢复后的目标图像。
90.在一种可能的设计中，处理模块402，用于：为每个特征区域中的各个几何图块随机分配初始偏移值，并根据初始偏移值以及几何图块的坐标，确定待选匹配图块，待选匹配图块与几何图块在同一个特征区域中；任选一个几何图块作为当前图块，并根据当前图块所在的特征区域对应的图像纹理特征，确定当前图块所在的特征区域的纹理传播方向；利用相似性判别模型判断当前图块对应的待选匹配图块与当前图块的差异度是否大于预设差异阈值；若是，则根据纹理传播方向，在当前图块所在的特征区域内搜索当前图块对应的目标匹配图块，当前图块对应的目标匹配图块与当前图块的差异度小于或等于预设差异阈值。
91.可选的，处理模块402，还用于：若否，则确定待选匹配图块为几何图块的目标匹配图块，并将几何图块与目标匹配图块的相对位置关系传递给几何图块相邻的各个相邻图块；将沿纹理传播方向的相邻图块作为当前几何图块，循环利用相似性判别模型验证当前几何图块对应的待选匹配图块的差异度是否大于预设差异阈值，直至到达特征区域的边缘为止。
92.在一种可能的设计中，处理模块402，用于：利用预设曲率模型算出当前图块所在的特征区域的边界上的最大曲率点：其中，q为曲率，为特征区域的梯度，为梯度的模，为散度；将最大曲率点对应的等照度线上指向当前图块所在的特征区域内部的方向作为纹理传播方向：其中，为最大曲率点上的等照度线方向，为最大曲率点处的梯度。
93.在一种可能的设计中，处理模块402，用于：将纹理传播方向上的各个几何图块作为当前图块的各个第一待选匹配图块：重复多次利用相似性判别模型判断各个第一待选匹配图块与当前图块的第一差异度是否大于预设差异阈值，直至满足预设结束条件，确定当前图块对应的目标匹配图块。
94.可选的，预设结束条件包括：将纹理传播方向上所有在当前图块所在特征区域的内的第一待选匹配图块都计算出第一差异度，并将最小的第一差异度对应的第一待选匹配图块作为当前图块对应的目标匹配图块；或者，只要出现第一差异度小于或等于预设差异阈值，就停止判断，并将其对应的第一待选匹配图块作为当前图块对应的目标匹配图块。
95.在一种可能的设计中，处理模块402，还用于：根据当前图块与当前图块对应的目标匹配图块之间的第一偏移值，确定与当前图块相邻的第一几何图块的第二偏移值，第二偏移值用于表征重新分配给第一几何图块的待选匹配图块与第一几何图块的相对位置；将第一几何图块作为新的当前图块，继续根据纹理传播方向，在当前图块所在的特征区域内搜索当前图块对应的目标匹配图块，直至完成对所有几何图块对应的目标匹配图块的优化。
96.在一种可能的设计中，当特征区域对应一种图像纹理特征时，特征区域中的几何图块为纹理图块，相似性判别模型包括：纹理相似性模型；处理模块402，用于：
architecture， eisa）总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
105.可选的，在具体实现上，如果存储器502和处理器501集成在一块芯片上实现，则存储器502和处理器501可以通过内部接口完成通信。
106.本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器（read-only memory ，rom）、随机存取存储器（random access memory，ram）、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序指令，程序指令用于实现上述各方法实施例中的方法。
107.本技术实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的方法。
108.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。