一种立体匹配加速电路、图像处理器及三维成像电子设备的制作方法

1.本实用新型涉及图像处理技术领域，具体涉及一种立体匹配加速电路、图像处理器及三维成像电子设备。


背景技术：

2.随着三维视觉技术发展及应用，立体匹配作为三维重建、立体导航等3d 视觉应用中的关键技术，已得到较快发展，匹配精度与速度也有显著提高，正逐步应用于工业应用中，比如工业机器人视觉、无人驾驶的测距及导航等。
3.但现有3d视觉技术中的传统算法处理架构，比如全局立体匹配算法、局部立体匹配算法等，算法关注重点仍在于匹配精度，而在处理速度、效率等方面，仍不理想，导致3d视觉应用中需要高性能的图像处理设备进行立体匹配。
4.另外，人们日常生活中已使用到大量智能电子设备，如智能手机、平板电脑、智能门锁、人脸识别及支付装置等，这些设备已开始作为一些图像应用中的设备，比如人脸识别、人脸支付、照片搜索等，但鉴于3d视觉应用对设备性能有较高要求，目前这些设备仍未能用于3d视觉应用中。


技术实现要素：

5.有鉴于此，本实用新型提供一种立体匹配加速电路、图像处理器及电子设备，以在获得高匹配精度的同时，提高立体匹配的处理速度和效率，降低3d 图像处理中对图像处理设备的性能要求，提高3d视觉技术的推广应用灵活性和适应性。
6.本实用新型提供以下技术方案：
7.一种立体匹配加速电路，包括：第一数量的并行匹配代价计算电路、初始代价缓存模块、代价聚合模块和视差选择电路模块；所述并行匹配代价计算电路用于对待识别目标对应的参考图像和目标图像，按预设的匹配指令对所述参考图像的像素和所述目标图像的像素进行代价匹配并行计算以获得初始匹配代价；所述初始代价缓存模块用于将所述初始匹配代价缓存后输出；所述代价聚合模块用于将所述初始代价缓存模块输出的初始匹配代价进行代价聚合；所述视差选择电路模块根据所述代价聚合模块的代价聚合结果进行视差选择输出视差图。
8.优选地，所述并行匹配代价计算电路包括第二数量的子匹配电路；所述子匹配电路用于在每个操作周期，对输入图像块在行或列方向上的所述第二数量的像素进行初始代价匹配计算，其中所述输入图像块为所述参考图像的子图像块或所述目标图像的子图像块。
9.优选地，所述子匹配电路包括第一延时寄存器组、第二延时寄存器组和初始代价计算电路，所述初始代价计算电路包括公共端口、若干目标端口和若干相似度算子计算单元，其中所述若干目标端口的数量与所述若干相似度算子计算单元的数量相等；所述第一延时寄存器组用于接收所述参考图像的像素，并在每个操作周期，将所述参考图像的像素
送入所述公共端口；所述第二延时寄存器组用于接收所述目标图像的像素，并在每个操作周期，将所述目标图像的像素送入对应的目标端口；所述相似度算子计算单元用于根据预设的匹配代价算法，对所述公共端口和所述目标端口的数据进行匹配代价计算以获得初始匹配代价，并输出所获得的初始匹配代价。
10.优选地，所述第一延时寄存器组包括串行输入串行输出的移位寄存器，所述第二延时寄存器组包括串行输入并行输出的移位寄存器；所述子匹配电路还包括：延时单元用于对所述串行输入串行输出的移位寄存器中的所述参考图像的像素进行延时移位以送入所述公共端口，对所述串行输入并行输出的移位寄存器中的所述目标图像的像素送入该寄存器对应的所述目标端口和该寄存器对应的下一个寄存器。
11.优选地，所述子匹配电路还包括：第一窗口变换电路，根据第一缓存策略将所述参考图像的像素缓存为第一像素数据，并将所述第一像素数据输出至所述第一延时寄存器组；第二窗口变换电路，根据第二缓存策略将所述目标图像的像素缓存为第二像素数据，并将所述第二像素数据输出至所述第二延时寄存器组。
12.优选地，所述并行匹配代价计算电路还包括：第一图像缓存电路，将所述参考图像的像素按第三缓存策略进行缓存，以将缓存的数据向对应的所述子匹配电路传输；第二图像缓存电路，将所述目标图像的像素按第四缓存策略进行缓存，以将缓存的数据向所述子匹配电路传输。
13.优选地，所述视差选择电路模块包括：并行wta电路，从所述代价聚合模块输出的代价聚合结果中，获得目标图像对应的第一视差；串行wta电路，从所述代价聚合模块输出的代价聚合结果中，获得参考图像对应的第二视差；交叉验证电路，对所述第一视差和所述第二视差进行像素对的交叉验证，以输出视差图。
14.优选地，所述视差选择电路模块还包括：视差优化电路，对所述交叉验证电路输出的视差图进行视差优化。
15.本说明书实施例还提供一种图像处理器，包括：前述任意一项所述的立体匹配加速电路和至少一个处理单元；所述立体匹配加速电路根据待识别目标对应的参考图像和目标图像，输出待识别目标对应的视差图；所述至少一个处理单元对所述视差图进行处理，以获得所述待识别目标对应的三维信息。
16.本说明书实施例还提供一种电子设备，包括：前述任意一项所述的图像处理器和处理系统；所述图像处理器用于根据待识别目标对应的参考图像和目标图像，输出所述待识别目标对应的三维信息；所述至少一个处理系统对所述三维信息进行处理，以对所述待识别目标进行三维视觉应用。
17.与现有技术相比，本实用新型能够达到的有益效果至少包括：
18.基于本说明书实施例提供的一种立体匹配加速电路，通过多个并行匹配代价计算电路可并行地获取到多个初始匹配代价，即对初始匹配代价的计算进行了加速处理，通过初始代价缓存模块重新组织这些初始匹配代价以形成代价聚合时所需的缓存数据，这样代价聚合模块可快速地根据改缓存数据进行代价聚合处理，视差选择电路模块可根据代价聚合结果快速、准确地输出视差图，不仅可简化立体匹配处理结构，还能提高立体匹配处理的速度、效率和质量，降低3d视觉中图像处理对设备性能的要求，有利于在现有智能电子设备中推广应用3d视觉技术。
附图说明
19.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
20.图1是本实用新型实施例提供的一种立体匹配加速电路的结构示意图。
21.图2是本实用新型实施例提供的一种立体匹配加速电路中并行匹配代价计算电路的结构示意图。
22.图3是本实用新型实施例提供的一种立体匹配加速电路中并行匹配代价计算电路及子匹配电路的结构示意图。
23.图4是本实用新型实施例提供的一种立体匹配加速电路中初始代价计算电路的结构示意图。
24.图5是本实用新型实施例提供的一种立体匹配加速电路中视差选择电路模块的结构示意图。
25.图6是本实用新型实施例提供的一种图像处理器的结构示意图。
26.图7是本实用新型实施例提供的一种电子设备的结构示意图。
具体实施方式
27.下面结合附图对本技术实施例进行详细描述。
28.以下通过特定的具体实例说明本技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本技术的其他优点与功效。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。本技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
29.要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本技术，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
30.还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本技术的基本构想，图式中仅显示与本技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
31.另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
32.现有3d视觉方案中的传统立体匹配算法，比如全局立体匹配算法、局部立体匹配
算法等，算法关注重点仍在于匹配精度，而在处理速度、效率等方面，仍不理想，导致3d视觉应用中需要高性能的图像处理设备进行立体匹配。
33.而随着电子技术及人工智能发展，智能电子设备的处理能力和智能水平也得到了很大提升，如智能手机、平板电脑、智能门锁、人脸识别及支付装置等，这些设备已成为提高人们日常生活体验的设备，比如开始作为一些图像应用的前端设备，如作为人脸识别、人脸支付、照片搜索等应用中的图像采集、图像处理简易等，但因3d视觉在图像处理时有其特殊性，比如成像方式(比如单目、双目、多目等)各异，成像条件要求高，图像数据量大，图像处理架构复杂，对图像处理设备的性能要求高等，目前这些智能电子设备仍无法作为3d 视觉应用中的设备。
34.因此，发明人通过对图像处理中的关键环节，比如立体匹配环节，进行了改进，提出一种新的立体匹配方案，即通过对图像处理中的立体匹配进行加速处理，既可以提高图像处理中立体匹配的速度和效率，又能降低立体匹配处理对设备性能的要求。
35.基于此，本说明书实施例提供一种用于图像处理的立体匹配加速电路、图像处理器及电子设备，可针对3d视觉中的立体琵琶谱进行加速处理。
36.参考图1，本说明书实施例提供一种立体匹配加速电路的结构示意图。
37.如图1所示，该立体匹配加速电路可包括第一数量的并行匹配代价计算电路，比如第一数量可为如图中所示的第一并行匹配代价计算电路至第k并行匹配代价计算电路等k个，其中k为正整数，以及初始代价缓存模块、代价聚合模块和视差选择电路模块。
38.实施中，每个并行匹配代价计算电路可对待识别目标对应的双目图像，其中双目图像中包括参考图像和目标图像，按预设的匹配指令对所述参考图像的像素和所述目标图像的像素进行代价匹配并行计算以获得初始匹配代价。
39.需要说明的是，3d视觉通常可基于视差原理并利用成像设备从不同的位置获取到被测物体对应的双目图像，比如两幅图像，因而双目图像可为与采集模式相对应所采集的双目图像。
40.例如，基于单目结构光进行采集时，参考图像可为单目相机采集的图像，而目标图像可为不同深度距离下的散斑图像。
41.例如，基于结构光原理采集的双目相机进行采集时，参考图像可为外部双目相机采集的任一视角的图像，而目标图像可为不同深度距离下的散斑图像。
42.例如，基于双目相机(如rgb双目)进行采集时，参考图像可为双目相机中一个视角的图像，而目标图像可为双目相机中另一个视角的图像。
43.需要说明的是，散斑图像可为已存储于存储器中的散斑图像，也可为从其他途径处理后获得的散斑图像，这里不作限定。
44.具体实施中，可采用多个并行匹配代价计算电路，并行地对图像中不同区域进行像素的初始匹配代价，以快速获得图像中不同区域对应的初始匹配代价，进而通过不同区域中像素对应的初始匹配代价可共同反映整幅图像对应的初始匹配代价。
45.通过多个并行匹配代价计算电路对图像(如参考图像、目标图像)不同区域进行像素的匹配代价加速计算，可快速获得图像对应的若干初始匹配代价。
46.这时多个并行匹配代价计算电路输出的初始匹配代价为图像不用区域中像素的匹配代价，因而在进行代价聚合前，可对这些初始匹配代价进行重新组织，以形成可直接用
于代价聚合的数据。
47.实施中，可采用初始代价缓存模块将所述初始匹配代价缓存后输出。
48.需要说明的是，可在实际应用中根据代价聚合模块所采用的代价聚合算法，在初始代价缓存模块中对初始匹配代价(如代价矩阵)进行重新组织后形成对应的缓存数据，这里不对缓存进行限定。
49.通过将初始匹配代价重新组织形成缓存数据，这样缓存数据可直接用于代价聚合模块进行代价聚合，即快速地将这些初始匹配代价输出到代价聚合模块中进行快速聚合处理，提高3d视觉中立体匹配的速度、效率。
50.实施中，代价聚合模块可将初始代价缓存模块输出的初始匹配代价进行代价聚合。
51.需要说明的是，代价聚合的实质是建立邻接像素之间的联系，并以一定的准则，如相邻像素应该具有连续的视差值，来对代价矩阵进行优化，这种优化可以是全局的，这样每个像素在某个视差下的新代价值都会根据其相邻像素在同一视差值或者附近视差值下的代价值来重新计算，从而可得到聚合后更新矩阵。因此，代价聚合可采用自定义的算法，也可采用如扫描线法、动态规划法、 sgm(semi
‑
global matching，半全局匹配)算法中的路径聚合法等成熟算法，这里不作限定。
52.通过代价聚合相当于对初始匹配代价进行平滑处理，让代价值能够准确的反映像素之间的相关性，可以更准确的得到最优视差值，通过代价聚合传播至信噪比低、匹配效果不好的区域，最终使所有影像的代价值都能够准确反映真实相关性。
53.实施中，初始代价经过聚合后，可获得每个像素点相对最优视差，即聚合代价越小，表面像素越匹配，因而可对代价聚合结果进行视差选择，即可采用视差选择电路模块根据所述代价聚合模块的代价聚合结果进行视差选择，以输出视差图，从而通过视差图可获得待识别目标对应的三维信息。
54.通过采用多个并行匹配代价计算电路并行地对图形中不同区域像素获取到对应的初始匹配代价，即对初始匹配代价的计算进行了加速处理，并采用初始代价缓存模块重新组织这些初始匹配代价以形成代价聚合时所需的缓存数据，这样代价聚合模块可快速地根据该缓存数据进行代价聚合处理，提高代价聚合的速度、效率，以及视差选择电路模块可根据代价聚合结果快速、准确地输出视差图。
55.因此，采用本说明书实施例提供一种立体匹配加速电路替代3d视觉中的立体匹配电路，不仅可简化3d视觉中立体匹配的处理结构，还能通过多个并行匹配代价计算电路对图像中不同区域块的图像像素并行地进行匹配代价计算，提高立体匹配处理的速度、效率和质量，降低3d视觉中图像处理对设备性能的要求，有利于在现有智能电子设备中推广应用3d视觉技术。
56.在一些实施方式中，并行匹配代价计算电路为针对图像中某个区域的图像像素进行代价计算，这时可在针对一个区域的图像像素进行代价计算中，采用结构更简单的功能电路来完成。
57.参考图2，本说明书实施例提供一种立体匹配加速电路中并行匹配代价计算电路的结构示意图。
58.如图2，在并行匹配代价计算电路中采用第二数量的子匹配电路，比如如图中所示
的第一子匹配电路至第w子匹配电路，共w个子匹配电路，其中w 为正整数。
59.实施中，在并行匹配代价计算电路中，各个子匹配电路均对输入的某个图像块进行像素的匹配代价计算，其中输入图像块可为参考图像的子图像块或目标图像的子图像块。
60.具体实施中，子匹配电路可在每个操作周期，对输入图像块在行或列方向上的所述第二数量的像素进行初始代价匹配计算。
61.例如，每个操作周期并行地完成每个子图像块在列方向上w个像素的初始代价匹配计算。
62.例如，每个操作周期并行地完成每个子图像块在行方向上w个像素的初始代价匹配计算。
63.通过采用多个子匹配电路，既可简化匹配电路的结构，又能在每个操作周期完成图像块若干像素的匹配代价计算，提高电路的处理速度和效率，因而在提高匹配的速度、效率同时，可降低3d视觉中立体匹配对设备性能要求，便于3d视觉在各类智能设备中进行推广应用。
64.在一些实施方式中，在多个子匹配电路针对图像中行方向或列方向的w 个像素进行并行计算中，可采用寄存器和计算算子构成每个子匹配电路，进一步简化匹配计算电路结构，提高匹配的速度、效率，降低匹配计算对设备性能的要求。
65.参考图3至图4，本说明书实施例提供一种并行匹配代价计算电路中子匹配电路的结构示意图。
66.如图中所示，每个子匹配电路可包括第一延时寄存器组、第二延时寄存器组和初始代价计算电路，其中初始代价计算电路包括公共端口、若干目标端口和若干相似度算子计算单元，其中所述若干目标端口的数量与所述若干相似度算子计算单元的数量相等，比如如图中所示的d个，其中d为正整数。
67.实施中，第一延时寄存器组可接收所述参考图像的像素，并在每个操作周期，将所述参考图像的像素并行送入所述公共端口；第二延时寄存器组可接收所述目标图像的像素，并在每个操作周期，将所述目标图像的像素并行送入对应的目标端口；相似度算子计算单元可根据预设的匹配代价算法，对所述公共端口和所述目标端口的数据进行匹配代价计算以获得各个像素对应的初始匹配代价，并输出所获得的初始匹配代价。
68.例如，在第一个操作周期(如列处理周期)，可将参考图像在列方向上的一个像素，比如参考图像中心像素(y，x)，输入到公共端口，而在视差范围 d内对应的d个目标图像中心像素，比如像素(y，x d_min)、
…
、(y， x d_min i)、
…
、(y，x d_min d
‑
1)等，i依据对应的目标端口各自对应取值为0，1，
…
，d
‑
1，并行输入值各个对应的目标端口，这时各相似度算子计算单元可基于预设的匹配代价算法，同时获得该参考图像中心像素(y，x)对应的d个初始代价输出，来反映参考图像的像素在视差搜索范围d内的初始匹配代价。
69.同理，在第二个操作周期时，参考图像下一个像素也可获得对应的d个初始代价输出，这里不再展开。
70.通过将公共端口与目标端口分别与相似度算子计算单元连接，可计算参考像素和搜索视差范围d＝(x d_min d
‑
1)
‑
(x d_min) 1内目标像素之间的初始匹配代价，该原理是用参考像素窗口数据在视差搜索范围内的各像素数据进行相似度计算，而一般方法是每一
个操作周期完成一个参考像素与对应目标像素的相似度计算，因而通过所述子匹配电路，可并行地实现一个参考像素与视差范围d内的所有目标像素的相似度计算，不仅可简化代价计算的电路结构，还可并行地获得像素对应的初始代价，提高匹配的速度、效率和质量，因而在提高匹配的速度、效率同时，可降低3d视觉中立体匹配对设备性能要求，便于3d视觉在各类智能设备中进行推广应用。
71.在一些实施方式中，可采用移位寄存器构成前述的延时寄存器组，即延时寄存器组可包括若干移位寄存器，从而通过结构简单的移位寄存器，可将参考图像的像素、目标图像的像素高效地输入到初始代价计算电路中。
72.实施中，第一延时寄存器组可包括串行输入串行输出的移位寄存器，比如采用d组移位寄存器构成串行输入串行输出的移位寄存器组，这时可在按列方向进行像素匹配代价计算中，可利用该d组移位寄存器串行地存放参考图像的第一列至第d列的像素，以将参考图像的像素逐一地输入到公共端口。
73.第二延时寄存器组可包括串行输入并行输出的移位寄存器，比如采用d 组移位寄存器构成串行输入并行输出的移位寄存器组，这时可在按列方向进行像素匹配代价计算中，可利用该d组移位寄存器并行地存放目标图像的第一列至第d列的像素，以将在视差搜索范围d内参考图像的一个像素所对应的目标图像的像素并行地输入到d个目标端口。
74.通过移位寄存器将像素转换为比特串或一维向量，从而快速地输入到初始代价计算电路中，获取像素对应的初始代价(即匹配代价)。
75.在一些实施方式中，可对输入公共端口和目标端口之间的像素数据进行延时匹配，降低各个电路对数据延迟的影响，提高代价匹配计算的效率。
76.实施中，子匹配电路还可包括延时单元，该延时单元可对所述串行输入串行输出的移位寄存器中的所述参考图像的像素进行延时移位，比如图中所示的“延时n个列周期”，以将参考图像中当前要做代价匹配的像素数据送入到所述公共端口。
77.实施中，可根据延时单元对所述串行输入并行输出的移位寄存器中的所述目标图像的像素送入该寄存器对应的所述目标端口和该寄存器对应的下一个寄存器。
78.通过延时单元对参考图像的像素和目标图像的像素进行匹配，即参考图像的当前像素经延迟n个周期后输入公共端口，以及视差搜索范围[0:n]内的目标图像的像素也并行地输入到对应目标端口，从而可在一个计算周期内，完成参考图像的当前像素与目标图像在视差范围内的多个像素的初始代价计算，即参考图像的像素与目标图像在视差范围内的像素可在同一操作周期内完成并行的初始代价计算，既可简化匹配代价计算的电路结构，又能提高处理的速度、效率和质量。
[0079]
需要说明的是，“延时n个列周期”中n的取值可为视差搜索范围对应的取值，可根据实际应用需要确定，其中n为正整数，比如n可与延时寄存器组的寄存器数量相等，如串行输入串行输出的寄存器组按1～n列进行移位寄存时，n可取值为n，n为正整数。
[0080]
在一些实施方式中，基于子匹配电路为按行或列方向进行处理，这时子匹配电路中还可包括窗口变换电路，比如第一窗口变换电路可根据第一缓存策略将所述参考图像的像素缓存为第一像素数据，并将所述第一像素数据输出至所述第一延时寄存器组，比如第二窗口变换电路可根据第二缓存策略将所述目标图像的像素缓存为第二像素数据，并将所述第二像素数据输出至所述第二延时寄存器组。
[0081]
通过窗口变换电路可将参考图像的像素数据、目标图像的像素数据转换为比特串或者向量，可将像素数据直接输出至延时寄存器组进行代价计算。
[0082]
需要说明的是，窗口变换电路中对像素数据进行缓存的缓存策略，可与初始代价计算电路中采用的匹配代价算法相对应，从而窗口变换电路变换后的像素数据可直接用于相似度计算中，提高匹配代价计算的速度、效率。
[0083]
在一些实施方式中，相似度算子计算单元可根据窗口变换采用对应的匹配代价算法(即计算公式)。
[0084]
其中，窗口变换可包括但不限于：中心变换(census)、灰度差绝对值法、窗口数据均值法、零均值灰度互相换系数法等运算变换方式。
[0085]
示例1，窗口变换采用中心变换(census)，则可获得每个待匹配窗口的比特串数据，此时相似度算子计算单元为汉明距离计算单元，通过计算参考像素所在窗口和对应目标像素所在窗口的汉明距离，则可获得当前窗口的初始匹配代价。
[0086]
示例2，窗口变换为将窗口数据向量展开，则可将参考像素窗口向量和对应的目标像素窗口向量一次输入至初始代价计算电路，此时初始代价计算带路为乘加电路，可实现基于灰度互相关匹配代价算的实现。
[0087]
示例3，对于归一化灰度互相关算法，可将窗口向量输入初始代价计算单元通过数据复用器一路进行向量进行点积乘累加运算，另一路各向量元素先进行平方运算，然后累加，各自窗口向量累加完成后，然后进行乘法及开放运算。
[0088]
示例4，窗口变换操作可为计算每个窗口像素的均值偏差，并将该结果展开作为一维向量，此时初始代价计算单元同前述示例2，可基于相似度计算进行计算。
[0089]
需要说明的是，前述窗口变换方法可采用对应现有算法，也可为自定义的新算法，这里不作具体限定。
[0090]
在一些实施方式中，可在子匹配电路中采用缓存电路，比如采用参考图窗口缓存电路，可对输入的参考图像数据进行缓存，再输入到参考图像对应的窗口变换电路中，比如采用目标图窗口缓存电路，可对输入的目标图像数据进行缓存，再输入到目标图像对应的窗口变换电路中，简化窗口变换电路对数据的处理，提高处理速度、效率。
[0091]
在一些实施方式中，每个并行匹配代价计算电路为对图像块进行并行处理的思路，这时可在并行匹配代价计算电路中，采用缓存电路将图像分割为若干图像子块并进行缓存。
[0092]
例如，采用第一图像缓存电路(如图中标识的参考图像缓存模块)，将输入的所述参考图像的像素按第三缓存策略进行缓存，有序地将缓存的图像块的像素数据向对应的所述子匹配电路传输。
[0093]
例如，采用第二图像缓存电路(如图中标识的目标图像缓存模块)，将输入的所述目标图像的像素按第四缓存策略进行缓存，有序地将缓存的图像块的像素数据向对应的所述子匹配电路传输。
[0094]
需要说明的是，参考图像的子图像块的数量和目标图像的子图像块的数量，可以相等也可以不相等。
[0095]
在一些实施方式中，可将参考图像的子图像块的数量、目标图像的子图像块的数量设置为并行匹配代价计算电路的数量的整数倍，比如并行匹配代价计算电路的数量为k，
比如参考图像、目标图像各自的子图像块的数量均为g，即g最好为k的整数倍，从而可在g/k次完成全图立体匹配计算。
[0096]
通过上述不同尺度的加加速运算在多个循环周期后，可获得参考像素在视差搜索范围d内与目标像素的初始匹配代价，然后经过后续聚合电路、视差选择电路实现最终视差图输出，可实现双目立体匹配。
[0097]
在一些实施方式中，可在视差选择电路模块中采用wta(winner
‑
take
‑
all，赢者通吃)算法寻找最小匹配代价来输出视差图。
[0098]
参考图5，本说明书实施例提供一种视差选择电路的结构示意图。
[0099]
如图5所示，该视差选择电路模块可包括：并行wta电路、串行wta 电路和交叉验证电路。
[0100]
通过并行wta电路可从所述代价聚合模块输出的代价聚合结果中，获得目标图像对应的第一视差，即获取出目标图像的像素对应的最优视差。
[0101]
通过串行wta电路可从所述代价聚合模块输出的代价聚合结果中，获得参考图像对应的第二视差，即获取出参考图像的像素对应的最优视差。
[0102]
然后通过交叉验证电路可根据第一视差和第二视差，即根据参考图像的像素和目标图像的像素所对应的每个像素对进行的视差值交叉验证，以输出最终的视差图，其中最终视差图可为由通过交叉验证的像素对所构成的视差图。
[0103]
例如，像素对p和p
′
，比如一个参考像素p，可得到对应的目标像素p
′
，然后求取p点和p
′
点在水平坐标上的差，其数值可作为对应p点的视差dp。通过求取对应图像中每一像素点的视差便得到了一幅完整的原始视差图。然后基于该视差图进行视差筛选，进行左右图一致性验证，校验过程中可要求来自左右视图的一对像素对为匹配对，即只有在以左图和右图两次匹配过程中存在一致的匹配关系才认为是有效的匹配结果。
[0104]
比如，以左右图为例，先以左图作为参考图像，右图作为目标图像，获得以左图为参考图像时的视差，然后以右图为参考图像时重新计算以右图为参考图像时的视差，理论上在左图中一点p，在视差为dp时的匹配点p
′
在左图中对应点的视差应该也为dp。
[0105]
采用一致性验证电路后，当图像中的物体存在遮挡时，左右视图中像素对之间将不存在对应关系，即一致性校验时可发现该像素对可能为因遮挡而产生的错误匹配，因而可作为无效视差而抛弃，因而左右一致性校验的结果具有最高的检测率和最低的误检率，能有效地滤除无效视差。
[0106]
实施中，一致性验证电路可采用阈值法判断像素对两个视差的差值是否在小于一定的阈值，若小于则说明该点匹配正确，若大于，则说明该点可能是误匹配点。
[0107]
在一些实施方式中，可对一致性验证电路输出的视差图进一步优化，这时视差选择电路模块还可包括：视差优化电路，对所述交叉验证电路输出的视差图进行视差优化。
[0108]
实施中，视差优化可采用如二次曲线插值(视差为整数，而需要获得小数值，因此可插值)、孔洞填充等操作，这里不对视差优化的方式作限定。还有，可根据所选用的视差优化方式来采用相应的电路形式，这里不作限定。
[0109]
基于相同发明构思，本说明书实施例提供一种图像处理器。
[0110]
参考图6，本说明书实施例提供的一种图像处理器，可包括前述任意一个实施例所述的立体匹配加速电路，以及至少一个处理单元。
[0111]
实施中，立体匹配加速电路可根据待识别目标对应的参考图像和目标图像，输出待识别目标对应的视差图。所述至少一个处理单元可对所述视差图进行处理，以获得所述待识别目标对应的三维信息。
[0112]
通过在图像处理器中集成所述立体匹配加速电路，可以在图像处理中快速、高效地提取出三维信息，并降低了获取三维信息时对处理设备的性能要求，便于在各种智能设备中应用3d视觉应用。
[0113]
基于相同发明构思，本说明书实施例提供一种电子设备。
[0114]
参考图7，本说明书实施例提供的一种电子设备，可包括前述任意一个实施例所述的图像处理器和至少一个处理系统。
[0115]
实施中，所述图像处理器用于根据待识别目标对应的参考图像和目标图像，输出所述待识别目标对应的三维信息，所述至少一个处理系统对所述三维信息进行处理，以对所述待识别目标进行三维视觉应用。
[0116]
通过所述图像处理器，可便于在各种智能电子设备中推广应用各类3d视觉应用，比如人脸检测、物体检测等应用。
[0117]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。