一种图像处理方法、装置及电子设备与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及电子设备。


背景技术：

2.物体深度信息的计算是基于立体相机的智慧工地系统中最重要的功能。由于计算整个图像的深度信息需要大量的计算资源和时间，如何快速获得目标的深度信息进行智慧工地的危险检测是一个亟待解决的问题。
3.现有的基于深度学习的深度信息计算方法通常使用大量的已标记的训练数据来处理问题。
4.然而，这种方式要想获得准确、全面的物体深度信息，需要前期投入大量的人工标注工作和后处理工作，导致物体深度信息的计算效率低下，且成本较高，此外，训练好的模型往往依赖于具体的应用场景，无法满足不同场景的使用需求。


技术实现要素：

5.本技术实施例提供了一种图像处理方法、装置及电子设备，以快速获取到准确的物体深度信息，满足不同应用场景的需求。
6.本技术实施例采用下述技术方案：
7.第一方面，本技术实施例提供一种图像处理方法，所述方法包括：
8.获取双目相机采集的左图像和右图像；
9.对所述左图像和所述右图像进行物体检测，得到所述左图像的物体检测结果和所述右图像的物体检测结果，所述物体检测结果包括物体检测框的位置和类别；
10.将所述左图像的物体检测结果和所述右图像的物体检测结果进行匹配，得到匹配结果，所述匹配结果包括物体检测框对；
11.根据所述匹配结果自适应确定深度信息计算模型；
12.根据所述左图像的物体检测结果和所述右图像的物体检测结果以及所述深度信息计算模型，确定物体深度信息。
13.可选地，所述将所述左图像的物体检测结果和所述右图像的物体检测结果进行匹配，得到匹配结果包括：
14.基于预设匹配算法，将所述左图像的物体检测框的位置和类别与所述右图像的物体检测框的位置和类别进行匹配；
15.将匹配成功的左图像的物体检测框与右图像的物体检测框构成所述物体检测框对。
16.可选地，所述深度信息计算模型包括第一深度信息计算模型和第二深度信息计算模型，所述物体检测框对包括左物体检测框与右物体检测框，所述根据所述匹配结果自适应确定深度信息计算模型包括：
17.确定所述左物体检测框与所述右物体检测框是否水平对齐，且所述左物体检测框
与所述右物体检测框的视差值是否大于预设视差值阈值；
18.若是，则确定所述深度信息计算模型为第二深度信息计算模型；
19.否则，则确定所述深度信息计算模型为第一深度信息计算模型。
20.可选地，所述确定所述左物体检测框与右物体检测框是否水平对齐，且所述左物体检测框与所述右物体检测框的视差值是否大于预设视差值阈值包括：
21.提取所述左物体检测框和所述右物体检测框的位置坐标；
22.根据所述左物体检测框和所述右物体检测框的位置坐标中的纵坐标，确定所述左物体检测框与所述右物体检测框是否水平对齐；
23.根据所述左物体检测框和所述右物体检测框的位置坐标中的横坐标，确定所述左物体检测框与所述右物体检测框的视差值是否大于预设视差值阈值。
24.可选地，在确定所述深度信息计算模型为第一深度信息计算模型的情况下，所述根据所述左图像的物体检测结果和所述右图像的物体检测结果以及所述深度信息计算模型，确定物体深度信息包括：
25.根据所述左物体检测框的位置，分别提取所述左物体检测框在所述左图像上的第一左局部区域以及在所述右图像上对应的第一右局部区域；
26.根据所述右物体检测框的位置，分别提取所述右物体检测框在所述左图像上对应的第二左局部区域以及在所述右图像上的第二右局部区域；
27.根据所述第一左局部区域和所述第一右局部区域生成第一局部深度图，以及根据所述第二左局部区域和所述第二右局部区域生成第二局部深度图；
28.将所述第一局部深度图与所述第二局部深度图进行融合，得到所述物体深度信息。
29.可选地，在确定所述深度信息计算模型为第二深度信息计算模型的情况下，所述根据所述左图像的物体检测结果和所述右图像的物体检测结果以及所述深度信息计算模型，确定物体深度信息包括：
30.提取所述物体检测框对的角点位置坐标；
31.根据所述物体检测框对的角点位置坐标，确定所述物体深度信息。
32.可选地，所述根据所述物体检测框对的角点位置坐标，确定所述物体深度信息包括：
33.根据所述物体检测框对的角点位置坐标，确定所述物体检测框对的中心点位置坐标，所述物体检测框对的中心点位置坐标包括左物体检测框的中心点位置坐标和右物体检测框的中心点位置坐标；
34.确定所述左物体检测框的中心点位置坐标与所述右物体检测框的中心点位置坐标的差值，作为所述左物体检测框与所述右物体检测框的视差值；
35.根据所述左物体检测框与所述右物体检测框的视差值，以及所述双目相机的内参，确定所述物体深度信息。
36.可选地，所述物体检测框对包括左物体检测框与右物体检测框，所述物体深度信息包括物体深度图，在根据所述左图像的物体检测结果和所述右图像的物体检测结果以及所述深度信息计算模型，确定物体深度信息之后，所述方法还包括：
37.根据所述物体检测框对提取物体区域图像；
38.根据cam类激活图和所述物体区域图像，确定物体权重图；
39.根据所述物体权重图对所述物体深度图进行优化，得到优化后的物体深度图。
40.第二方面，本技术实施例还提供图像处理装置，所述装置用于实现前述之任一所述方法。
41.第三方面，本技术实施例还提供一种电子设备，包括：
42.处理器；以及
43.被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。
44.第四方面，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。
45.本技术实施例采用的上述至少一个技术方案能够达到以下有益效果：本技术实施例的图像处理方法在进行图像处理时，先获取双目相机采集的左图像和右图像；然后对左图像和右图像进行物体检测，得到左图像的物体检测结果和右图像的物体检测结果，物体检测结果包括物体检测框的位置和类别；之后将左图像的物体检测结果和右图像的物体检测结果进行匹配，得到匹配结果，匹配结果包括物体检测框对；再根据匹配结果自适应确定深度信息计算模型；最后根据深度信息计算模型确定物体深度信息。本技术实施例的图像处理方法通过在物体区域即感兴趣区域周围进行深度信息计算等相关操作，从而减少了不必要的计算开销，提高了深度信息的计算效率。此外，本技术实施例通过自适应确定深度信息计算模型控制了计算成本，保证了计算精度，使其可以适应于更广泛的应用场景。
附图说明
46.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
47.图1为本技术实施例中一种建筑工地场景下的物体深度信息示意图；
48.图2为现有技术中一种基于传统算法处理完整图像得到的物体深度图；
49.图3为本技术实施例中一种图像处理方法的流程示意图；
50.图4为本技术实施例中一种物体检测流程示意图；
51.图5为本技术实施例中一种图像处理方法的整体流程示意图；
52.图6为本技术实施例中一种物体检测框的匹配流程示意图；
53.图7为本技术实施例中一种自适应选择深度信息计算模型的流程示意图；
54.图8为本技术实施例中另一种自适应选择深度信息计算模型的流程示意图；
55.图9为本技术实施例中一种第一深度信息计算模型的计算流程示意图；
56.图10为本技术实施例中一种第二深度信息计算模型的计算流程示意图；
57.图11为本技术实施例中一种物体深度图的优化流程示意图；
58.图12为本技术实施例中一种图像处理装置的结构示意图；
59.图13为本技术实施例中一种电子设备的结构示意图。
具体实施方式
60.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
61.以下结合附图，详细说明本技术各实施例提供的技术方案。
62.在建筑工地、农田或其他需要测量距离等应用场景下，需要获得每个感兴趣的物体的深度信息，从而根据深度信息来反映物体与相机之间的距离，如图1所示，提供了本技术实施例中一种建筑工地场景下的物体深度信息示意图。目前计算物体深度信息的方案主要可以分为两类，一种是基于完整图像的传统算法，一种是基于深度学习的立体匹配算法。如图2所示，提供了现有技术中一种基于传统算法处理完整图像得到的物体深度图。
63.然而目前这两种方案均存在一定问题，对于第一种方案，对完整图像进行处理所需要耗费的时间成本是难以接受的，导致无法实现深度信息计算的实时性。而对于第二种方案，训练后的模型不能直接迁移到其他应用场景中进行使用，导致可扩展性不强。
64.基于此，本技术实施例提供了一种图像处理方法，如图3所示，提供了本技术实施例中一种图像处理方法的流程示意图，所述方法至少包括如下的步骤s310至步骤s350：
65.步骤s310，获取双目相机采集的左图像和右图像。
66.本技术实施例的图像处理方法在获取物体深度信息时，需要先获取到双目相机采集到的左图像和右图像，作为后续获取图像中的物体深度信息的基础。这里获取到的左图像和右图像可以是灰度图像，以降低后续处理所需要的资源消耗，提高处理效率。双目相机采集的左图像和右图像在相机坐标系下的纵轴方向即y方向上是对齐的，但在横轴方向即x方向上存在一定偏差。
67.步骤s320，对所述左图像和所述右图像进行物体检测，得到所述左图像的物体检测结果和所述右图像的物体检测结果，所述物体检测结果包括物体检测框的位置和类别。
68.在获取到左右图像后，需要利用事先训练好的物体检测模型分别对左右图像进行物体检测，这里采用的物体检测模型可以基于yolo v5网络训练得到，yolo v5是卷积神经网络(convolutional neural networks，cnn)中的一种，可以有效地平衡检测的速度和精度。当然，本领域技术人员也可以根据实际需求灵活选择其他类型的卷积神经网络，在此不作具体限定。
69.如图4所示，提供了本技术实施例中一种物体检测流程示意图，先将左图像和右图像输入到上述物体检测模型中，然后对左图像和右图像进行物体检测，进而可以分别输出左图像的物体检测结果和右图像的物体检测结果，这里的物体检测结果具体可以包括物体检测框的位置和类别。
70.步骤s330，将所述左图像的物体检测结果和所述右图像的物体检测结果进行匹配，得到匹配结果，所述匹配结果包括物体检测框对。
71.将左图像的物体检测结果和右图像的物体检测结果进行匹配，具体可以根据物体检测框的位置和类别匹配左右两幅图像中的物体检测框，它建立了在左右图像中检测到的物体之间的相关关系，从而输出物体检测框对。
72.步骤s340，根据所述匹配结果自适应确定深度信息计算模型。
73.在得到上述匹配结果之后，需要根据匹配结果自适应选择要适用的深度信息计算模型，本技术实施例可以根据实际应用场景事先设计不同的深度信息计算模型，实际应用场景下，具体采用哪种深度信息计算模型，取决于前述步骤中得到的物体检测框之间的匹配结果，也即根据匹配结果确定当前适合采用哪种深度信息检测模型，从而达到自适应控制计算量的效果，同时满足不同应用场景的需求。
74.步骤s350，根据所述左图像的物体检测结果和所述右图像的物体检测结果以及所述深度信息计算模型，确定物体深度信息。
75.在确定出所采用的深度信息计算模型后，需要根据左右图像的物体检测结果，利用选择好的深度信息计算模型来计算物体深度信息，从而根据物体深度信息来反映出物体与相机之间的距离，例如在建设工地场景下，可以根据计算出的物体深度信息确定当前场景下物体所在的位置是否可能出现危险情况。
76.如图5所示，提供了本技术实施例中一种图像处理方法的整体流程示意图。本技术实施例的图像处理方法通过在物体区域即感兴趣区域周围进行深度信息计算等相关操作，从而减少了不必要的计算开销，提高了深度信息计算效率。此外，本技术实施例通过自适应确定深度信息计算模型控制了计算成本，保证了计算精度，使其可以适应于更广泛的应用场景。
77.在本技术的一个实施例中，所述将所述左图像的物体检测结果和所述右图像的物体检测结果进行匹配，得到匹配结果包括：基于预设匹配算法，将所述左图像的物体检测框的位置和类别与所述右图像的物体检测框的位置和类别进行匹配；将匹配成功的左图像的物体检测框与右图像的物体检测框构成所述物体检测框对。
78.本技术实施例的左图像的物体检测框包含了在左图像中检测到的所有物体，右图像的物体检测框包含了在右图像中检测到的所有物体，在将两者进行匹配时，可以采用预设匹配算法如匈牙利算法来实现，即利用匈牙利算法将左图像的物体检测框的位置和类别分别与右图像的物体检测框的位置和类别进行匹配，从而根据匈牙利算法的输出结果确定出相关联的左图像的物体检测框与右图像的物体检测框。当检测到的左图像的物体检测框的位置和类别与右图像的物体检测框的位置和类别均相关时，匹配成功，由此可以得到一个物体检测框对。如图6所示，提供了本技术实施例中一种物体检测框的匹配流程示意图。
79.当然，需要说明的是，除了采用上述匈牙利算法，本领域技术人员也可以根据实际需求灵活采用其他匹配算法，在此不一一列举。
80.在本技术的一个实施例中，所述深度信息计算模型包括第一深度信息计算模型和第二深度信息计算模型，所述物体检测框对包括左物体检测框与右物体检测框，所述根据所述匹配结果自适应确定深度信息计算模型包括：确定所述左物体检测框与所述右物体检测框是否水平对齐，且所述左物体检测框与所述右物体检测框的视差值是否大于预设视差值阈值；若是，则确定所述深度信息计算模型为第二深度信息计算模型；否则，则确定所述深度信息计算模型为第一深度信息计算模型。
81.本技术实施例主要提供了两种深度信息计算模型，一种是基于物体局部区域计算深度信息的模型，一种是基于物体检测框的坐标信息来计算深度信息的模型。与基于完整图像的传统深度计算方法相比，基于物体局部区域计算深度信息的模型可以看作是一种快速的深度信息计算模型，而基于物体检测框的坐标信息来计算物体深度信息的模型则可以
看作是一种更快速的深度信息计算模型。
82.如图7所示，提供了本技术实施例中一种自适应选择深度信息计算模型的流程示意图。首先可以先判断当前的物体检测框对是否满足采用更快速的深度信息计算模型的条件，如果满足，则可以采用更快速的深度信息计算模型，否则采用快速的深度信息计算模型。
83.具体在判断采用上述哪种深度信息计算模型时，可以先确定左物体检测框与右物体检测框是否水平对齐，正常情况下，一个物体检测框对中的左物体检测框与右物体检测框应该是水平对齐的，如果不是，就意味着检测结果不够精确，不适合使用上述更快速的深度信息计算模型，因为更快速的深度信息计算模型依赖于物体检测框的坐标信息，这种方法不能接受过大的检测误差。
84.如果左物体检测框与右物体检测框是水平对齐的，那么可以进一步判断左物体检测框与右物体检测框的视差值是否大于一个预设视差值阈值，如果不是，说明视差值相当小，因此检测误差会对视差值产生很大影响。在这种情况下，如果使用更快速的深度信息计算模型，得出的物体深度信息将在真实值的很大范围内波动，因此这种情况下也不适合采用更快速的深度信息计算模型来计算这个物体深度信息。
85.上述自适应选择深度信息计算模型的方式使用两个判断条件来限制更快速的深度信息计算模型的使用范围，如果实际应用场景符合上述两个条件的约束，那么就可以使用更快速的深度信息计算模型，否则使用快速的深度信息计算模型来计算物体深度信息。
86.在本技术的一个实施例中，所述确定所述左物体检测框与右物体检测框是否水平对齐，且所述左物体检测框与所述右物体检测框的视差值是否大于预设视差值阈值包括：提取所述左物体检测框和所述右物体检测框的位置坐标；根据所述左物体检测框和所述右物体检测框的位置坐标中的纵坐标，确定所述左物体检测框与所述右物体检测框是否水平对齐；根据所述左物体检测框和所述右物体检测框的位置坐标中的横坐标，确定所述左物体检测框与所述右物体检测框的视差值是否大于预设视差值阈值。
87.如图8所示，提供了本技术实施例中另一种自适应选择深度信息计算模型的流程示意图。具体地，在判断左物体检测框与右物体检测框是否水平对齐时，可以先提取出左物体检测框的位置坐标和右物体检测框的位置坐标，然后比较左物体检测框和右物体检测框的纵坐标之间的偏差，如果偏差较大，则认为左物体检测框与右物体检测框没有水平对齐，那么说明物体检测模型的检测误差较大，检测结果不够精准，此时只能够适用上述快速的深度信息计算模型，而如果偏差较小，则认为左物体检测框与右物体检测框是水平对齐的，那么可以进行后续视差值的判断。
88.在判断视差值时，可以计算左物体检测框的位置坐标中的横坐标和右物体检测框的位置坐标中的横坐标的差值，将二者的绝对值作为左物体检测框与右物体检测框的视差值，然后将该视差值与事先设定好的视差值阈值进行比较，如果不大于视差值阈值，则采用快速的深度信息计算模型，如果大于视差值阈值，则采用更快速的深度信息计算模型。
89.上述提取的左物体检测框的纵坐标可以包括左物体检测框的上边框上任意一角点的纵坐标y1和左物体检测框的下边框上任意一角点的纵坐标y2，上述提取的右物体检测框的纵坐标可以包括右物体检测框的上边框上任意一角点的纵坐标和右物体检测框的
下边框上任意一角点的纵坐标当且时，认为左物体检测框与右物体检测框是水平对齐的。上述提取的左物体检测框的横坐标可以是指左物体检测框的中心点位置坐标x，右物体检测框的横坐标可以是指右物体检测框的中心点位置坐标当二者差值的绝对值大于预设视差值阈值thr时，则可以采用更快速的深度信息计算模型。
90.在本技术的一个实施例中，在确定所述深度信息计算模型为第一深度信息计算模型的情况下，所述根据所述左图像的物体检测结果和所述右图像的物体检测结果以及所述深度信息计算模型，确定物体深度信息包括：根据所述左物体检测框的位置，分别提取所述左物体检测框在所述左图像上的第一左局部区域以及在所述右图像上对应的第一右局部区域；根据所述右物体检测框的位置，分别提取所述右物体检测框在所述左图像上对应的第二左局部区域以及在所述右图像上的第二右局部区域；根据所述第一左局部区域和所述第一右局部区域生成第一局部深度图，以及根据所述第二左局部区域和所述第二右局部区域生成第二局部深度图；将所述第一局部深度图与所述第二局部深度图进行融合，得到所述物体深度信息。
91.如图9所示，提供了本技术实施例中一种第一深度信息计算模型的计算流程示意图。从图9中可以看出，左边的分支和右边的分支是对称的结构，对于左边的分支，先把左图像和右图像作为输入进行物体检测和匹配，在得到物体检测框对后，先根据左物体检测框提取左图像上检测到的物体局部区域，作为第一左局部区域，并在右图像上的相同位置提取出物体局部区域，作为第一右局部区域，之后根据第一左局部区域和第一右局部区域来计算第一局部深度图。
92.然而上述计算出来的第一局部深度图会存在一个问题，就是左侧有部分内容缺失，这是因为第一右局部区域包含的内容更偏右，以至于第一右局部区域没有这个相关的部分。基于此，本技术实施例可以利用图9中的右侧分支来补全第一局部深度图中缺失的部分，从而使得到的物体深度图更加全面和完整。
93.具体地，在右侧的分支中，同样可以先根据右物体检测框提取右图像上检测到的物体局部区域，作为第二右局部区域，并在左图像上的相同位置提取出物体局部区域，作为第二左局部区域，之后根据第二左局部区域和第二右局部区域来计算第二局部深度图。在得到第二局部深度图后，可以发现这次的深度图包含有之前缺失的部分，因此通过把这两个局部深度图进行融合，从而使得到的物体深度图包含的信息更加全面和完整。
94.在本技术的一个实施例中，在确定所述深度信息计算模型为第二深度信息计算模型的情况下，所述根据所述左图像的物体检测结果和所述右图像的物体检测结果以及所述深度信息计算模型，确定物体深度信息包括：提取所述物体检测框对的角点位置坐标；根据所述物体检测框对的角点位置坐标，确定所述物体深度信息。
95.本技术实施例的第二深度信息计算模型在整体处理流程上相比于第一深度信息计算模型更加简化，因此在前期检测精度比较高的情况下，采用此种模型能够进一步提升物体深度信息的计算效率，因此本技术实施例的第二深度信息计算模型又可以称为更快速的深度信息计算模型。
96.具体地，在利用第二深度信息计算模型进行深度信息计算时，可以先提取物体检测框对中左物体检测框和右物体检测框的角点位置坐标，然后根据左物体检测框和右物体
检测框的角点位置坐标来计算物体深度信息，最终得到的物体深度信息可以是一个具体的物体深度值，进而可以直接利用该物体深度值确定物体与相机之间的距离，从而在保证检测精度的情况下提高计算效率。
97.在本技术的一个实施例中，所述根据所述物体检测框对的角点位置坐标，确定所述物体深度信息包括：根据所述物体检测框对的角点位置坐标，确定所述物体检测框对的中心点位置坐标，所述物体检测框对的中心点位置坐标包括左物体检测框的中心点位置坐标和右物体检测框的中心点位置坐标；确定所述左物体检测框的中心点位置坐标与所述右物体检测框的中心点位置坐标的差值，作为所述左物体检测框与所述右物体检测框的视差值；根据所述左物体检测框与所述右物体检测框的视差值，以及所述双目相机的内参，确定所述物体深度信息。
98.如图10所示，提供了本技术实施例中一种第二深度信息计算模型的计算流程示意图。具体地，对于匹配得到的物体检测框对，可以先提取物体检测框对中左物体检测框和右物体检测框的位置坐标。其中，x1和分别用来表示左物体检测框和右物体检测框左上角点的横坐标。x2和分别用来表示左物体检测框和右物体检测框右下角点的横坐标。然后根据左物体检测框左上角点的横坐标x1和右下角点的横坐标x2计算得到左物体检测框的中心点的横坐标x，同样根据右物体检测框左上角点的横坐标和右下角点的横坐标计算得到右物体检测框的中心点的横坐标
99.之后对计算得到的两个横坐标作差，从而得到视差值，最后用相机的内参除以视差值，进而得到了物体深度值，具体可以采用如下公式：
100.depth＝(f*baseline)/disp，
ꢀꢀ
(1)
101.其中，depth表示深度值，f表示归一化的焦距，也就是内参中的fx，baseline是两个相机光心之间的距离，称作基线距离，disp是视差值。
102.上述这种方法能够更快、更直接的计算出物体深度信息，因为其仅仅使用了基于物体检测框的坐标信息进行计算，从而可以减少大量的计算开销，但其准确性依赖于前期检测结果的准确性。
103.在本技术的一个实施例中，所述物体检测框对包括左物体检测框与右物体检测框，所述物体深度信息包括物体深度图，在根据所述左图像的物体检测结果和所述右图像的物体检测结果以及所述深度信息计算模型，确定物体深度信息之后，所述方法还包括：根据所述物体检测框对提取物体区域图像；根据cam类激活图和所述物体区域图像，确定物体权重图；根据所述物体权重图对所述物体深度图进行优化，得到优化后的物体深度图。
104.如图11所示，提供了本技术实施例中一种物体深度图的优化流程示意图。基于物体检测模型输出的物体检测框，通过提取物体检测框的局部图像区域来得到物体局部区域图像。在进行物体深度图的优化时，可以先使用cam(classactivation map)类激活图来生成物体局部区域图像的物体权重图。物体权重图显示了图像的每个像素对分类网络的贡献量，类别特征越主导，激活水平就越高。因此可以用物体权重图对物体深度图进行加权，使优化后的物体深度图减少背景噪声对物体深度信息的影响，即最终优化后的物体深度图只包含前景的深度值。
105.在使用cam类激活图生成物体权重图时，可以先分别提取左物体检测框对应的左局部区域图像和右物体检测框对应的右局部区域图像，然后使用cam类激活图分别对左局部区域图像和右局部区域图像进行处理，得到左局部区域图像对应的左局部权重图和右局部区域图像对应的右局部权重图，将左局部权重图和右局部权重图进行融合，最终得到上述物体权重图。
106.本技术实施例还提供了一种图像处理装置1200，如图12所示，提供了本技术实施例中一种图像处理装置的结构示意图，所述装置1200包括：获取单元1210、检测单元1220、匹配单元1230、第一确定单元1240以及第二确定单元1250，其中：
107.获取单元1210，用于获取双目相机采集的左图像和右图像；
108.检测单元1220，用于对所述左图像和所述右图像进行物体检测，得到所述左图像的物体检测结果和所述右图像的物体检测结果，所述物体检测结果包括物体检测框的位置和类别；
109.匹配单元1230，用于将所述左图像的物体检测结果和所述右图像的物体检测结果进行匹配，得到匹配结果，所述匹配结果包括物体检测框对；
110.第一确定单元1240，用于根据所述匹配结果自适应确定深度信息计算模型；
111.第二确定单元1250，用于根据所述左图像的物体检测结果和所述右图像的物体检测结果以及所述深度信息计算模型，确定物体深度信息。
112.在本技术的一个实施例中，所述匹配单元1230具体用于：基于预设匹配算法，将所述左图像的物体检测框的位置和类别与所述右图像的物体检测框的位置和类别进行匹配；将匹配成功的左图像的物体检测框与右图像的物体检测框构成所述物体检测框对。
113.在本技术的一个实施例中，所述深度信息计算模型包括第一深度信息计算模型和第二深度信息计算模型，所述物体检测框对包括左物体检测框与右物体检测框，所述第一确定单元1240具体用于：确定所述左物体检测框与所述右物体检测框是否水平对齐，且所述左物体检测框与所述右物体检测框的视差值是否大于预设视差值阈值；若是，则确定所述深度信息计算模型为第二深度信息计算模型；否则，则确定所述深度信息计算模型为第一深度信息计算模型。
114.在本技术的一个实施例中，所述第一确定单元1240具体用于：提取所述左物体检测框和所述右物体检测框的位置坐标；根据所述左物体检测框和所述右物体检测框的位置坐标中的纵坐标，确定所述左物体检测框与所述右物体检测框是否水平对齐；根据所述左物体检测框和所述右物体检测框的位置坐标中的横坐标，确定所述左物体检测框与所述右物体检测框的视差值是否大于预设视差值阈值。
115.在本技术的一个实施例中，在确定所述深度信息计算模型为第一深度信息计算模型的情况下，所述第二确定单元1250具体用于：根据所述左物体检测框的位置，分别提取所述左物体检测框在所述左图像上的第一左局部区域以及在所述右图像上对应的第一右局部区域；根据所述右物体检测框的位置，分别提取所述右物体检测框在所述左图像上对应的第二左局部区域以及在所述右图像上的第二右局部区域；根据所述第一左局部区域和所述第一右局部区域生成第一局部深度图，以及根据所述第二左局部区域和所述第二右局部区域生成第二局部深度图；将所述第一局部深度图与所述第二局部深度图进行融合，得到所述物体深度信息。
116.在本技术的一个实施例中，在确定所述深度信息计算模型为第二深度信息计算模型的情况下，所述第二确定单元1250具体用于：提取所述物体检测框对的角点位置坐标；根据所述物体检测框对的角点位置坐标，确定所述物体深度信息。
117.在本技术的一个实施例中，所述第二确定单元1250具体用于：根据所述物体检测框对的角点位置坐标，确定所述物体检测框对的中心点位置坐标，所述物体检测框对的中心点位置坐标包括左物体检测框的中心点位置坐标和右物体检测框的中心点位置坐标；确定所述左物体检测框的中心点位置坐标与所述右物体检测框的中心点位置坐标的差值，作为所述左物体检测框与所述右物体检测框的视差值；根据所述左物体检测框与所述右物体检测框的视差值，以及所述双目相机的内参，确定所述物体深度信息。
118.在本技术的一个实施例中，所述物体检测框对包括左物体检测框与右物体检测框，所述物体深度信息包括物体深度图，所述装置还包括：提取单元，用于根据所述物体检测框对提取物体区域图像；第三确定单元，用于根据cam类激活图和所述物体区域图像，确定物体权重图；优化单元，用于根据所述物体权重图对所述物体深度图进行优化，得到优化后的物体深度图。
119.能够理解，上述图像处理装置，能够实现前述实施例中提供的由清算服务器执行的图像处理方法的各个步骤，关于图像处理方法的相关阐释均适用于图像处理装置，此处不再赘述。
120.图13是本技术的一个实施例电子设备的结构示意图。请参考图13，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random
‑
access memory，ram)，也可能还包括非易失性存储器(non
‑
volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
121.处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
122.存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
123.处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成图像处理装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
124.获取双目相机采集的左图像和右图像；
125.对所述左图像和所述右图像进行物体检测，得到所述左图像的物体检测结果和所述右图像的物体检测结果，所述物体检测结果包括物体检测框的位置和类别；
126.将所述左图像的物体检测结果和所述右图像的物体检测结果进行匹配，得到匹配结果，所述匹配结果包括物体检测框对；
127.根据所述匹配结果自适应确定深度信息计算模型；
128.根据所述左图像的物体检测结果和所述右图像的物体检测结果以及所述深度信
息计算模型，确定物体深度信息。
129.上述如本技术图12所示实施例揭示的图像处理装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
130.该电子设备还可执行图12中图像处理装置执行的方法，并实现图像处理装置在图3所示实施例的功能，本技术实施例在此不再赘述。
131.本技术实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图12所示实施例中图像处理装置执行的方法，并具体用于执行：
132.获取双目相机采集的左图像和右图像；
133.对所述左图像和所述右图像进行物体检测，得到所述左图像的物体检测结果和所述右图像的物体检测结果，所述物体检测结果包括物体检测框的位置和类别；
134.将所述左图像的物体检测结果和所述右图像的物体检测结果进行匹配，得到匹配结果，所述匹配结果包括物体检测框对；
135.根据所述匹配结果自适应确定深度信息计算模型；
136.根据所述左图像的物体检测结果和所述右图像的物体检测结果以及所述深度信息计算模型，确定物体深度信息。
137.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
138.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
139.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
140.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
141.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
142.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
143.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
144.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
145.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
146.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。