一种光流估计方法、终端以及存储介质与流程

1.本发明涉及计算机视觉技术领域，特别涉及一种光流估计方法、终端以及存储介质。


背景技术：

2.光流在计算机视觉领域中有广泛的应用，如视频编压缩、视频行为识别、视频插帧等，目前，已有用于估计光流的深度学习模型。在基于特征金字塔网络结构的光流估计网络模型中，在估计光流时，是根据原始图像建立特征金字塔，从底层特征开始逐层向上估计光流，然而，这种光流估计网络模型对于存在物体复杂运动的图像的光流估计误差较大。
3.因此，现有技术还有待改进和提高。


技术实现要素：

4.针对现有技术的上述缺陷，本发明提供一种光流估计方法、终端及存储介质，旨在解决现有技术中的基于金字塔网络结构的光流估计网络模型中对于复杂运动的光流估计误差大的问题。
5.为了解决上述技术问题，本发明所采用的技术方案如下：
6.一种光流估计方法，其中，所述光流估计方法包括：
7.获取待估计光流的目标图像对，对所述目标图像对中的各个目标图像进行特征提取，获取所述各个目标图像分别对应的第一特征，其中，所述第一特征包括n层特征层，n为大于等于2的正整数；
8.获取所述n层特征层中第一层特征层之外的m层特征层，根据所述m层特征层中其他的特征层对所述m层特征层中的各个特征层进行处理，获取所述目标图像对应的第二特征，其中，所述第二特征包括m层特征层，m＝n-1，m为正整数；
9.将所述目标图像对中所述各个目标图像分别对应的第二特征输入至预设光流估计网络，获取所述预设光流估计网络输出的光流。
10.所述的光流估计方法，其中，所述对所述目标图像对中的各个目标图像进行特征提取，获取所述各个目标图像分别对应的第一特征包括：
11.根据所述目标图像提取出所述n层特征层中的第一层特征层；
12.按照预设的分辨率缩放比例对第i层特征层进行卷积池化，得到第i 1层，其中i的数值依次取1、2、
…
、n-1，从而获取所述目标图像的所述n层特征层。
13.所述的光流估计方法，其中，所述m层特征层中各层的分辨率从第1层至第m层依次降低；所述根据所述m个特征层中其他的特征层对所述m个特征层中的各个特征层进行处理，获取所述目标图像对应的第二特征包括：
14.对于所述m层特征中的第m层特征层，根据所述m层特征层中的第1层特征层和/或第m 1层特征层对所述第m层特征层进行处理，获取所述目标图像对应的第二特征，其中，m为正整数，1≤m≤m。
15.所述的光流估计方法，其中，所述根据所述m层特征层中的第1层特征层和/或第m 1层特征层对所述第m层特征层进行处理包括：
16.根据第一中间特征层和/或第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层；
17.其中，所述第一中间特征层为对第m 1层特征层进行上采样后获取的与所述第m层特征层的分辨率一致的特征层，所述第二中间特征层为对所述m层特征层中的第1层特征层进行下采样后获取的与所述第m层特征层的分辨率一致的特征层。
18.所述的光流估计方法，其中，所述根据第一中间特征层和/或第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
19.当1＜m＜m时，根据所述第一中间特征层和所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层；
20.当m＝1时，根据所述第一中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第1层特征层；
21.当m＝m时，根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层。
22.所述的光流估计方法，其中，所述根据所述第一中间特征层和所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
23.分别对所述第一中间特征层和所述第二中间特征层进行卷积，生成第一卷积特征层和第二卷积特征层；
24.将所述第一卷积特征层和所述第二卷积特征层与所述第m层特征层相加，生成第三中间特征层；
25.对所述第三中间特征层进行卷积，生成所述第二特征中的第m层特征层。
26.所述的光流估计方法，其中，所述根据所述第一中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第1层特征层包括：
27.对所述第一中间特征层进行卷积，生成第一卷积特征层；
28.将所述第一卷积特征层与所述第m层特征层相加，生成第三中间特征层；
29.对所述第三中间特征层进行卷积，生成所述第二特征中的第1层特征层。
30.所述的光流估计方法，其中，所述根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
31.对所述第二中间特征层进行卷积，生成第二卷积特征层；
32.将所述第二卷积特征层与所述第m层特征层相加，生成第三中间特征层；
33.对所述第三中间特征层进行卷积，生成所述第二特征中的第m层特征层。
34.一种终端，其中，所述终端包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令，所述处理器适于调用所述存储介质中的指令，以执行实现上述任一项所述的光流估计方法的步骤。
35.一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的光流估计方法的步骤。
36.有益效果：与现有技术相比，本发明提供了一种光流估计方法、终端及存储介质，所述光流估计方法对待估计光流的图像中用于输入至光流估计网络中的每一层特征层，在
输入至光流估计网络进行光流估计之前，都利用其他的特征层进行处理，使得输入至光流估计网络中的每一层特征能够融合其他层的特征，光流估计网络能够有效利用更丰富的特征进行光流估计，提升光流估计的精度。
附图说明
37.图1为本发明提供的光流估计方法的实施例的流程图；
38.图2为pwc-net光流估计网络的工作示意图；
39.图3为本发明提供的光流估计方法中根据第一特征生成第二特征的示意图；
40.图4为本发明提供的光流估计方法与现有方法估计的光流epe值对比图；
41.图5为本发明提供的光流估计方法与现有方法估计的光流的可视化图对比图；
42.图6为本发明提供的终端的实施例的结构原理图。
具体实施方式
43.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
44.本发明提供的一种光流估计方法，是可以应用在终端中，终端可以但不限于是各种个人计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。所述终端在获取到待估计光流的图像对时，可以通过本发明提供的光流估计方法估计图像对对应的光流。
45.实施例一
46.发明人发现，在现有的基于特征金字塔网络结构的光流估计网络(如pwc-net、flownet2.0、liteflownet等)中，是根据原始图像建立特征金字塔，然后根据原始图像建立的特征金字塔来估计光流，如图2所示，图2是pwc-net光流估计网络的光流估计过程示意图，pwc-net是先根据原始图像提取6层金字塔特征，然后利用分辨率较小的后5层特征预测光流，从顶层特征开始逐层向下估计光流，光流越来越精细，分辨率也越来越高，每层估计光流时利用上一层上采样后的光流后再进行一系列的运算得到最终估计的光流。而从原始图像建立的特征金字塔中，由于从底层到顶层每一层特征层的分辨率逐渐减小，也就是说，底层的特征细节丰富，高层特征更抽象，语义信息更丰富，现有的基于特征金字塔网络结构的光流估计网络在每层估计光流是利用上一层上采样后的光流，这就导致在光流估计过程中会丢失较多的细节，造成在图像中存在复杂运动时得到的最终光流估计结果误差较大。
47.基于上述问题，本发明提供了一种光流估计方法，在根据原始图像得到金字塔特征层后，对其进行进一步处理，对于待输入至光流估计网络的各个特征层都融合其他特征层。
48.请参照图1，图1为本发明提供的光流估计方法的实施例一的流程图。
49.所述光流估计方法包括步骤：
50.s100、获取待估计光流的目标图像对，对所述目标图像对中的各个目标图像进行特征提取，获取所述各个目标图像分别对应的第一特征。
51.具体地，光流估计是根据两张图像之间的差异来确定两张图像之间的光流，在本
实施例中，首先获取待估计光流的目标图像对，所述目标图像对中包括两张目标图像，对各个目标图像均进行特征提取，获取所述各个目标图像分别对应的第一特征，所述第一特征n层特征层，n为大于等于2的正整数。所述第一特征包括的特征层的数量可以根据用于估计光流的光流估计网络对于特征层的数量设置而确定，具体地，本实施例提供的光流估计方法，在对所述目标图像进行处理后，是将所述目标图像对应的特征输入至预设的光流估计网络中，n可以为预设光流估计网络中对输入特征的特征层数设置值加一，例如pwc-net网络对于输入的特征的层数设置为5层，那么，n可以取6。
52.所述对所述目标图像对中的各个目标图像进行特征提取，获取所述各个目标图像分别对应的第一特征包括：
53.s110、根据所述目标图像提取出所述n层特征层中的第一层特征层；
54.在获取到所述目标图像后，对所述目标图像进行卷积池化，获取特征层，将对所述目标图像进行卷积池化后获得的特征层作为所述第一特征中的第一层特征层，对目标图像进行卷积池化为本领域的常见处理方式，在此不多赘述。
55.s120、按照预设的分辨率缩放比例对第i层特征层进行卷积池化，得到第i 1层，其中i的数值依次取1、2、
…
、n-1，从而获取所述目标图像的所述n层特征层。
56.在获取到所述n层特征层中的第一层特征层后，在第一层特征层的基础上依次进行卷积池化，在每次卷积池化时，按照预设的分辨率缩放比例获取更小分辨率的新的一层特征层，也就是说，在第一层特征层的基础上卷积池化得到第二层特征层，在第二层特征层的基础上卷积池化得到第三层特征层，直至获取到包括第一层特征层在内的n层特征层，每次对特征层进行卷积池化得到新的特征层时，新的特征层与前一层特征层的分辨率比例一定，这样，能够得到分辨率依次降低的n层特征层。即第一层特征层的分辨率最大，第n层特征层的分辨率最小。例如，预设的分辨率缩放比例可以为2：1，也就是说，每个特征层的分辨率为上一层特征层的分辨率的一半。
57.在根据所述目标图像获取所述第一特征的过程中，由于在获取每一层特征层时分辨率逐渐缩小，底层的特征层分辨率大，包含了更丰富的细节特征，而顶层的特征层虽然特征更集中，具有更丰富的语义信息，但是会丢失部分细节，因此，直接将所述第一特征输入值预设的光流估计网络进行光流估计，对于图像对中存在物体复杂运动的情形，会造成较大的估计误差。在本实施例中，在获取到所述第一特征之后，对所述第一特征进行进一步处理。
58.s200、获取所述n层特征层中第一层特征层之外的m层特征层，根据所述m层特征层中其他的特征层对所述m层特征层中的各个特征层进行处理，获取所述目标图像分别对应的第二特征。
59.在所述n层特征层中，由于第一层特征层的分辨率最大，用于光流估计会大大增加参数量和计算量，因此，在本实施例中，是对所述n层特征层中第一层特征层之外的m层特征层进行处理，获取用于估计光流的第二特征，其中，m＝n-1，m为正整数。
60.具体地，所述m层特征层中各层的分辨率是从第1层至第m层依次降低，所述根据所述m层特征层中其他的特征层对所述m层特征层中的各个特征层进行处理，获取所述目标图像分别对应的第二特征包括：
61.对于所述m层特征中的第m层特征层，根据所述m层特征层中的第1层特征层和/或
第m 1层特征层对所述第m层特征层进行处理，获取所述目标图像对应的第二特征，其中，m为正整数，1≤m≤m。
62.由于分辨率高的特征层具有更丰富的细节，而分辨率低的特征层更抽象，语义信息更丰富，在本实施例中，如图3所示，对于所述m层特征中的第m层特征层，是根据所述m层特征层中分辨率最大的特征层(即第1层特征层)和/或第m 1层特征层进行处理，获取目标图像对应的第二特征，具体为：根据第一中间特征层和/或第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层。所述第一中间特征层为对第m 1层特征层进行上采样后获取的于所述第m层特征层的尺寸一致的特征层，所述第二中间特征层为对所述m层特征层中的第1层特征层进行下采样后获取的于所述第m层特征层的尺寸一致的特征层。
63.根据所述m层特征层中的第1层特征层和/或第m 1特征层对所述第m层特征层进行特征融合处理时，是预先对所述m层特征层中的第1层特征层和/或第m 1特征层进行处理，生成与所述第m层特征层的分辨率一致的特征层，具体地，是对相邻的上一层特征层进行上采样实现分辨率的升高，生成所述第一中间特征层，对分辨率最大的特征层进行下采样实现分辨率的降低，生成所述第二中间特征层。
64.特征融合是指对特征层中的特征进行运算，生成融合了多个特征层的特征的新的特征层，所述根据第一中间特征层和/或第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
65.s210、当1＜m＜m时，根据所述第一中间特征层和所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层；
66.s220、当m＝1时，根据所述第一中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第1层特征层；
67.s230、当m＝m时，根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层。具体地，所述根据所述第一中间特征层和所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
68.s211、分别对所述第一中间特征层和所述第二中间特征层进行卷积，生成第一卷积特征层和第二卷积特征层；
69.s212、将所述第一卷积特征层和所述第二卷积特征层于所述第m层特征层相加，生成第三中间特征层；
70.s213、对所述第三中间特征层进行卷积，生成所述第二特征中的第m层特征层。
71.当1＜m＜m时，在获取到与所述第m层特征层分辨率一致的所述第一中间特征层和所述第二中间特征层后，由于所述第一中间特征层、所述第二中间特征层以及所述第m层特征层分辨率一致，可以直接进行相加运算，即可以直接将所述第一中间特征层、所述第二中间特征层与所述第m层特征层相加，进行特征融合，生成第三中间特征层。在一种可能的实现方式中，在将所述第一中间特征层、所述第二中间特征层与所述第m层特征层相加之前，是对所述第一中间特征层和所述第二中间特征层预先分别进行卷积处理，以对所述第一中间特征层和所述第二中间特征层进行升维或降维，以利于运算，具体地，可以是利用尺寸为1*1的卷积核对所述第一中间特征层和所述第二中间特征层分别进行卷积获述第一卷积特
征层和第二卷积特征层，再将所述第一卷积特征层和所述第二卷积特征层与所述第m层特征层进行相加，生成第三中间特征层。
72.在获取所述第三中间特征层后，可以直接将所述第三中间特征层直接作为所述第二特征中的第m层特征层，在一种可能的实现方式中，还可以对所述第三中间特征层进行进一步地卷积，进一步地提取特征，例如，可以用尺寸为3*3的卷积核对所述第三中间特征层进行卷积，生成所述第二特征中的第m层特征层。
73.所述根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
74.s221、所述第二中间特征层进行卷积，生成第二卷积特征层；
75.s222、将所述第二卷积特征层与所述第m层特征层相加，生成第三中间特征层；
76.s223、对所述第三中间特征层进行卷积，生成所述第二特征中的第m层特征层。
77.当m＝1时，在获取到与所述第m层特征层分辨率一致的所述第一中间特征层后，由于所述第一中间特征层与所述第m层特征层分辨率一致，可以直接进行相加运算，即可以直接将所述第一中间特征层与所述第m层特征层相加，进行特征融合，生成第三中间特征层。在一种可能的实现方式中，在将所述第一中间特征层与所述第m层特征层相加之前，是对所述第一中间特征层预先进行卷积处理，以对所述第一中间特征层进行升维或降维，以利于运算。具体地，可以是利用尺寸为1*1的卷积核对所述第一中间特征层进行卷积获取第一卷积特征层，再将所述第一卷积特征层与所述第m层特征层进行相加，生成第三中间特征层。
78.在获取所述第三中间特征层后，可以直接将所述第三中间特征层直接作为所述第二特征中的第1层特征层，在一种可能的实现方式中，还可以对所述第三中间特征层进行进一步地卷积，进一步地提取特征，例如，可以用尺寸为3*3的卷积核对所述第三中间特征层进行卷积，生成所述第二特征中的第1层特征层。
79.所述根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
80.s231、对所述第二中间特征层进行卷积，生成第二卷积特征层；
81.s232、将所述第二卷积特征层与所述第m层特征层相加，生成第三中间特征层；
82.s233、对所述第三中间特征层进行卷积，生成所述第二特征中的第m层特征层。
83.当m＝m时，在获取到与所述第m层特征层分辨率一致的所述第二中间特征层后，由于所述第二中间特征层以及所述第m层特征层分辨率一致，可以直接进行相加运算，即可以直接将所述第二中间特征层与所述第m层特征层相加，进行特征融合，生成第三中间特征层。在一种可能的实现方式中，在将所述第二中间特征层与所述第m层特征层相加之前，是对所述第二中间特征层预先分别进行卷积处理，以对所述第二中间特征层进行升维或降维，以利于运算，具体地，可以是利用尺寸为1*1的卷积核对所述第二中间特征层进行卷积获取第二卷积特征层，再将所述第二卷积特征层与所述第m层特征层进行相加，生成第三中间特征层。
84.在获取所述第三中间特征层后，可以直接将所述第三中间特征层直接作为所述第二特征中的第m层特征层，在一种可能的实现方式中，还可以对所述第三中间特征层进行进一步地卷积，进一步地提取特征，例如，可以用尺寸为3*3的卷积核对所述第三中间特征层进行卷积，生成所述第二特征中的第m层特征层。
85.对所述目标图像对中的各个目标图像分别对应的所述第一特征均进行处理，得到所述各个目标图像分别对应的所述第二特征之后，所述光流估计方法还包括：
86.s300、将所述目标图像对中所述各个目标图像分别对应的第二特征输入至预设光流估计网络，获取所述预设光流估计网络输出的光流。
87.根据前面所说明的，所述预设光流估计网络可以是现有的基于特征金字塔网络结构的光流估计网络，如pwc-net、flownet2.0、liteflownet等，由于m与所述预设光流估计网络中对于输入特征的层数设置值相等，可以直接将所述第二特征输入至所述预设光流估计网络，由所述预设光流估计网络输出所述目标图像对的光流。
88.为了验证本发明提供的光流估计方法的效果，进行了实验验证，通过本发明提供的光流估计方法(采用pwc-net作为所述预设光流估计网络)以及现有的pwc-net光流估计网络对同样的图像进行光流估计，实验的样本是从flying chairs测试集中选取的300张图像，结果如图4-图5所示，图4为利用本发明提供的光流估计方法与现有的光流估计网络进行光流估计的光流epe值对比图，epe为光流的评价指标，越小光流越精确。图5为部分实验样本的光流可视化图的对比图，图5中第一行为真实的光流可视化图，第二行为现有的光流估计网络估计的光流的可视化图，第三行为本发明提供的光流估计方法估计的光流的可视化图。从图4可以看出，本发明提供的光流估计方法估计出的光流epe值明显低于现有方法，即更精确，从图5可以看出，本发明提供的光流估计方法估计出的光流的可视化图的颜色与真实的光流的可视化图颜色更接近，即更接近真实值。
89.综上所述，本实施例提供一种光流估计方法，待估计光流的图像中用于输入至光流估计网络中的每一层特征层，在输入至光流估计网络进行光流估计之前，都利用其他的特征层进行处理，使得输入至光流估计网络中的每一层特征能够融合其他层的特征，光流估计网络能够有效利用更丰富的特征进行光流估计，提升光流估计的精度。
90.应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
91.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
92.实施例二
93.基于上述实施例，本发明还提供了一种终端，其原理框图可以如图6所示。该终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种光流估计方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端的温度传感器是预先在终端内部设置，用于检测内部设备的当前运行温度。
94.本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
95.在一个实施例中，提供了一种终端，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时至少可以实现以下步骤：
96.获取待估计光流的目标图像对，对所述目标图像对中的各个目标图像进行特征提取，获取所述各个目标图像分别对应的第一特征，其中，所述第一特征包括n层特征层，n为大于等于2的正整数；
97.获取所述n层特征层中第一层特征层之外的m层特征层，根据所述m层特征层中其他的特征层对所述m层特征层中的各个特征层进行处理，获取所述目标图像对应的第二特征，其中，所述第二特征包括m层特征层，m＝n-1，m为正整数；
98.将所述目标图像对中所述各个目标图像分别对应的第二特征输入至预设光流估计网络，获取所述预设光流估计网络输出的光流。
99.其中，所述对所述目标图像对中的各个目标图像进行特征提取，获取所述各个目标图像分别对应的第一特征包括：
100.根据所述目标图像提取出所述n层特征层中的第一层特征层；
101.按照预设的分辨率缩放比例对第i层特征层进行卷积池化，得到第i 1层，其中i的数值依次取1、2、
…
、n-1，从而获取所述目标图像的所述n层特征层。
102.其中，所述m层特征层中各层的分辨率从第1层至第m层依次降低，所述根据所述m个特征层中其他的特征层对所述m个特征层中的各个特征层进行处理，获取所述目标图像对应的第二特征包括：
103.对于所述m层特征中的第m层特征层，根据所述m层特征层中的第1层特征层和/或第m 1特征层对所述第m层特征层进行处理，获取所述目标图像对应的第二特征，其中，m为正整数，1≤m≤m。
104.其中，所述根据所述m层特征层中的第1层特征层和/或第m 1特征层对所述第m层特征层进行处理包括：
105.根据第一中间特征层和/或第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层；
106.其中，所述第一中间特征层为对第m 1层特征层进行上采样后获取的与所述第m层特征层的分辨率一致的特征层，所述第二中间特征层为对所述m层特征层中的第1层特征层
进行下采样后获取的与所述第m层特征层的分辨率一致的特征层。
107.其中，所述根据第一中间特征层和/或第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
108.当1＜m＜m时，根据所述第一中间特征层和所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层；
109.当m＝1时，根据所述第一中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第1层特征层；
110.当m＝m时，根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层。
111.其中，所述根据所述第一中间特征层和所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
112.分别对所述第一中间特征层和所述第二中间特征层进行卷积，生成第一卷积特征层和第二卷积特征层；
113.将所述第一卷积特征层和所述第二卷积特征层与所述第m层特征层相加，生成第三中间特征层；
114.对所述第三中间特征层进行卷积，生成所述第二特征中的第m层特征层。
115.其中，所述根据所述第一中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第1层特征层包括：
116.对所述第一中间特征层进行卷积，生成第一卷积特征层；
117.将所述第一卷积特征层与所述第m层特征层相加，生成第三中间特征层；
118.对所述第三中间特征层进行卷积，生成所述第二特征中的第1层特征层。
119.其中，所述根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
120.对所述第二中间特征层进行卷积，生成第二卷积特征层；
121.将所述第二卷积特征层与所述第m层特征层相加，生成第三中间特征层；
122.对所述第三中间特征层进行卷积，生成所述第二特征中的第m层特征层。
123.实施例三
124.本发明还提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例所述的光流估计方法的步骤。
125.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。