基于多层旋转记忆模型的光电信息处理方法与流程

1.本发明涉及一种光电信息处理方法，特别涉及一种基于多层旋转记忆模型的光电信息处理方法，属于计算机视觉领域。


背景技术：

2.运动目标跟踪是计算机视觉领域的一项重要研究内容，在很多领域都有着广泛的应用，如：视频监控，人机交互，无人驾驶等。
3.目前，目标跟踪方法主要包括生成式(generative trackers)和判别式(discriminative trackers)两类。其中，生成式目标跟踪方法基本思想是学习一个目标外观模型，然后在图像中搜索该外观模型最相似的区域作为跟踪目标；判别式跟踪方法(又称基于检测的跟踪)则将跟踪问题视为检测问题。该类方法在当前帧以目标区域为正样本，背景区域为负样本训练分类器，然后在下一帧用训练好的分类器寻找最优区域。判别式跟踪方法可通过相关滤波(correlation filter,cf)、深度学习和支持向量机(support vector machine,svm)等不同的方法对分类器进行训练。
4.其中，相关滤波由于其高速率和较好的鲁棒性等优势成为应用最为广泛的判别式跟踪方法。该方法从一组训练样本中学习一个分类器，然后通过在训练样本中执行循环滑动窗口操作来对分类器进行训练，即将此样本进行周期扩展，使得训练和检测过程可以通过快速傅立叶变换(fast fourier transform,fft)提高速度，从而获得更高的效率。然而，相关滤波在每次训练时只考虑当前帧的样本，因此，在面临目标被遮挡、目标发生形变或背景杂波较多等目标跟踪领域常见的问题时，由于相关滤波未考虑之前出现的样本的影响，训练出的分类器不够鲁棒，可能导致跟踪失败等问题。


技术实现要素：

5.本发明的目的是为了解决现有相关滤波方法进行目标跟踪是，存在目标姿态突变、目标短暂消失后重现以及目标遮挡等条件下不能准确跟踪目标的问题，本发明提供一种基于多层旋转记忆模型的光电信息处理方法，该方法建立一种多层旋转记忆模型，并将其用于相关滤波跟踪框架中，形成一种跟踪精度高、抗遮挡效果强的运动目标跟踪方法。
6.本发明的目的是通过下述技术方案实现的。
7.一种多层旋转记忆模型，所述模型包括三层同心圆环、过滤器单元、比较融合单元、比较单元和数据存储单元；所述数据存储单元包括记忆数据单元和空数据单元；同时在三层同心圆环的每层圆环中都有三种不同类型的窗口，分别为输入窗口、输出窗口和观察窗口；
8.各个组成部分的主要功能如下：
9.所述三层同心圆环：主要模拟人脑的各个不同记忆空间及人脑记忆空间中信息的动态更新；其中，每层同心圆环模拟一个记忆空间，从外层到内层分别为瞬时记忆空间、短时记忆空间和长时记忆空间；同时，每一层同心圆环都以各自恒定的速度旋转；
10.过滤器单元：主要用于对进入记忆空间的信息进行筛选；由于在目标跟踪任务中只考虑单一的目标，因此利用过滤器单元将每次的初始输入信息与外层同心圆环中所存储的信息进行比较，当距离处于预设的容忍距离之内，则初始输入信息进入记忆空间；
11.比较融合单元：主要用于筛选处于外层的记忆空间中的信息，并将合适的信息送入处于内层的记忆空间，用于模拟人脑中所记忆的信息由浅层记忆空间进入深层记忆空间的过程；所述筛选包括比较和融合两种操作；其中，比较操作模拟了人脑的联想性，通过计算处于外层的记忆空间中任意两个位置的信息之间归一化的欧氏距离来获得两信息的相似度；融合操作模拟了人脑的模糊性，通过计算两个或多个信息的平均值实现信息的融合；
12.在最外层
‑
中间层和中间层
‑
最内层之间分别有一个比较融合单元；
13.比较单元：主要用于评估每层记忆空间的输出信息与初始输入信息之间的相似性，从而保证输出与总输入信息最相似的信息，具体过程与比较融合单元中的比较操作相同；
14.数据空间：主要用于存储信息；每层同心圆环中都有多个数据空间，包括已存储信息的记忆数据单元和未存储信息的空数据单元；
15.窗口：用于模拟人脑记忆的不确定性；包括输入窗口、输出窗口和观察窗口；存在于每层同心圆环上，随着圆环的转动，在任何时刻都只有特定位置的数据空间出现在特定的窗口位置，这个过程模拟了人脑记忆的不确定性，即在任一时刻并不是记忆空间中存储的所有信息都可以被利用；
16.多层旋转记忆模型的工作方法，包括如下步骤：
17.(1)初始输入信息经过过滤器单元评估是否可以进入记忆空间，如果可以进入，转到步骤(2)，否则，则将初始输入信息作为最终输出信息；
18.(2)初始输入信息进入最外层圆环，即瞬时记忆空间，并将初始输入信息称为瞬时输入信息，如果当前时刻瞬时记忆空间的输入窗口中存在空数据单元，即将瞬时输入信息直接存储在该位置；否则，计算瞬时输入信息与处于输入窗口中的每个信息之间的归一化欧氏距离，并将瞬时输入信息和与输入信息之间的欧氏距离最小的信息进行融合；同时，比较处于输出窗口中的各个信息与瞬时输入信息之间的归一化欧氏距离，并将处于输出窗口中与输入信息之间的欧氏距离最小的信息作为瞬时记忆空间的输出，即瞬时输出信息；
19.(3)通过比较融合单元将瞬时记忆空间中处于观察窗口中距离在容忍距离之内的两个或多个信息进行融合并输入中间层圆环，即短时记忆空间，将其称为短时输入信息；
20.(4)短时记忆空间中信息的输入和输出过程与步骤(2)类似，其输出称为短时输出信息；
21.(5)与步骤(2)和步骤(3)类似，输出长时输出信息；
22.(6)分别计算步骤(2)得到的瞬时输出信息、步骤(4)得到的短时输出信息，步骤(5)得到的长时输出信息与初始输入信息之间的归一化欧氏距离，并将与初始输入信息距离最小的输出信息作为最终输出信息。
23.所述多层旋转记忆模型实现精确目标跟踪的方法，将所建立的多层旋转记忆模型用于相关滤波跟踪框架中的分类器更新过程中，形成基于多层旋转记忆模型的相关滤波目标跟踪方法，具体包括如下步骤：
24.(1)初始化：第1帧时，初始化跟踪图像的跟踪窗口、控制通道中的多层旋转记忆模
型，以及跟随通道中的多层旋转记忆模型；然后利用初始化的跟踪窗口计算直方图特征q1和深度特征x1，同时训练分类器w1；
25.(2)分类器记忆更新：当对第t(t>1)帧图像进行跟踪时，利用控制通道中的多层旋转记忆模型对第t
‑
1帧图像中直方图特征q
t
‑1进行动态更新，获得在该帧中多层旋转记忆模型的更新过程；并以相同的更新过程利用跟随通道中的多层旋转记忆模型，对t
‑
1帧得到的分类器w
t
‑1进行更新，得到pre
‑
occ分类器即受遮挡前的分类器；
26.(3)相关滤波定位目标：求得第t
‑
1帧图像中目标图像的深度特征x
t
‑1，利用pre
‑
occ分类器对其进行相关滤波操作，得到响应图，实现第t帧图像的目标定位；
27.(4)分类器训练：根据相关滤波框架对分类器进行训练，得到第t帧图像的分类器w
t
，用于对下一帧图像进行跟踪。
28.具体来说，基于多层旋转记忆模型的相关滤波目标跟踪方法在跟踪过程中，当跟踪一帧新图像时，经过相关滤波框架训练好的分类器会被输入一个多层旋转记忆模型，然后与模型中存储的分类器利用所建立的模型更新规则进行匹配、融合、提取和记忆等操作。最后，输出当前帧的可靠分类器。
29.另一方面，考虑到相关滤波跟踪框架的分类器中参数众多，直接对分类器参数进行多层旋转记忆模型中的众多操作会造成计算量过大，从而影响速度，因此本方法设计了一种“控制
‑
跟随”机制来实现分类器的记忆功能，在控制通道中，利用目标图像的直方图特征获取当前帧多层旋转记忆模型中的更新过程，而跟随通道中的分类器参数只需要按照控制通道中多层旋转记忆模型的更新过程进行更新即可，由于目标图像的直方图特征往往比分类器参数的数据量小很多，因此能够以较小的计算量实现分类器的动态更新。
30.有益效果
31.1、本发明的所述的目标跟踪方法鲁棒性强。本发明将一种多层旋转记忆模型引入到相关滤波跟踪框架的分类器更新过程中，使得所公开方法在跟踪过程中具有记忆先前出现的场景的功能，从而可以在当前目标发生姿态突变、短暂消失后重现以或发生遮挡等问题时依然能持续稳定的跟踪，有效提升了鲁棒性。
32.2、本发明的所述的目标跟踪方法抗遮挡能力强。本发明公开的基于多层旋转记忆模型的相关滤波目标跟踪方法结合基于人脑记忆机制所建立的多层旋转记忆模型，形成了一种全新的分类器更新策略。当目标发生遮挡时，该方法通过对当前输入和记忆空间中存储的相关滤波器进行比较、融合、记忆和提取，实现了相关滤波器的动态更新，可在目标被遮挡后有效地重新提取被记忆的相关滤波器，从而能够对抗目标跟踪时目标发生遮挡或短暂消失等问题。
附图说明
33.图1本发明所公布的多层旋转记忆模型示意图；
34.图2本发明所公布的多层旋转记忆模型工作流程图；
35.图3本发明所公布的基于多层旋转记忆模型的相关滤波目标跟踪方法流程图；
36.图4otb50数据集中典型图像序列跟踪结果；图a为精度曲线图；图b为成功率曲线图；
37.图5otb50数据集图像序列跟踪精度曲线。
具体实施方式
38.为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
39.一种多层旋转记忆模型，如图1所示，所述模型包括三层同心圆环、过滤器单元、比较融合单元、比较单元和数据存储单元；所述数据存储单元包括记忆数据单元和空数据单元；同时在三层同心圆环的每层圆环中都有三种不同类型的窗口，分别为输入窗口、输出窗口和观察窗口；
40.各个组成部分的主要功能如下：
41.所述三层同心圆环：主要模拟人脑的各个不同记忆空间及人脑记忆空间中信息的动态更新；其中，每层同心圆环模拟一个记忆空间，从外层到内层分别为瞬时记忆空间、短时记忆空间和长时记忆空间；同时，每一层同心圆环都以各自恒定的速度旋转；
42.过滤器单元：主要用于对进入记忆空间的信息进行筛选；由于在目标跟踪任务中只考虑单一的目标，因此利用过滤器单元将每次的初始输入信息与外层同心圆环中所存储的信息进行比较，当距离处于预设的容忍距离之内，则初始输入信息进入记忆空间；
43.比较融合单元：主要用于筛选处于外层的记忆空间中的信息，并将合适的信息送入处于内层的记忆空间，用于模拟人脑中所记忆的信息由浅层记忆空间进入深层记忆空间的过程；所述筛选包括比较和融合两种操作；其中，比较操作模拟了人脑的联想性，通过计算处于外层的记忆空间中任意两个位置的信息之间归一化的欧氏距离来获得两信息的相似度；融合操作模拟了人脑的模糊性，通过计算两个或多个信息的平均值实现信息的融合；
44.在最外层
‑
中间层和中间层
‑
最内层之间分别有一个比较融合单元；
45.比较单元：主要用于评估每层记忆空间的输出信息与初始输入信息之间的相似性，从而保证输出与总输入信息最相似的信息，具体过程与比较融合单元中的比较操作相同；
46.数据空间：主要用于存储信息；每层同心圆环中都有多个数据空间，包括已存储信息的记忆数据单元和未存储信息的空数据单元；
47.窗口：用于模拟人脑记忆的不确定性；包括输入窗口、输出窗口和观察窗口；存在于每层同心圆环上，随着圆环的转动，在任一时刻，对于三种类型的窗口，只有部分数据空间出现在相应的窗口，这个过程模拟了人脑记忆的不确定性，即在任一时刻并不是记忆空间中存储的所有信息都可以被利用；
48.多层旋转记忆模型的工作方法，包括如下步骤：
49.(1)初始输入信息经过过滤器单元评估是否可以进入记忆空间，如果可以进入，转到步骤(2)，否则，则将初始输入信息作为最终输出信息；
50.(2)初始输入信息进入最外层圆环，即瞬时记忆空间，并将初始输入信息称为瞬时输入信息，如果当前时刻瞬时记忆空间的输入窗口中存在空数据单元，即将瞬时输入信息直接存储在该位置；否则，计算瞬时输入信息与处于输入窗口中的每个信息之间的归一化欧氏距离，并将瞬时输入信息和与输入信息之间的欧氏距离最小的信息进行融合；同时，比较处于输出窗口中的各个信息与瞬时输入信息之间的归一化欧氏距离，并将处于输出窗口中与输入信息之间的欧氏距离最小的信息作为瞬时记忆空间的输出，即瞬时输出信息；
51.(3)通过比较融合单元将瞬时记忆空间中处于观察窗口中距离在容忍距离之内的
两个或多个信息进行融合并输入中间层圆环，即短时记忆空间，将其称为短时输入信息；
52.(4)短时记忆空间中信息的输入和输出过程与步骤(2)类似，其输出称为短时输出信息；
53.(5)与步骤(2)和步骤(3)类似，输出长时输出信息；
54.(6)分别计算步骤(2)得到的瞬时输出信息、步骤(4)得到的短时输出信息，步骤(5)得到的长时输出信息与初始输入信息之间的归一化欧氏距离，并将与初始输入信息距离最小的输出信息作为最终输出信息。
55.本实施例公开的一种基于多层旋转记忆模型的相关滤波目标跟踪方法，其整体过程如附图3所示，具体包括如下步骤：
56.(1)初始化：第1帧时，初始化跟踪图像的跟踪窗口，以及命令通道和跟随通道中的两个多层旋转记忆模型，然后利用初始化的跟踪窗口计算直方图特征q1和深度特征x1，同时训练分类器w1，同时，初始化两个相同规格的多层旋转记忆模型，均包括一个过滤器和一个3层同心圆环形记忆空间，其中同心圆环形记忆空间从外层到内层分别有20，15，10个存储空间，分别以每帧2，1，1个存储信息的速度以逆时针方向旋转，然后设置每层环形记忆空间的输入、输出和观测窗口的大小，从外层到内层分别：第一层三个窗口大小为[6,12,12]，第一层三个窗口大小为[5,8,8]，第一层三个窗口大小为[3,5,5]，其中，输出窗口和观测窗口设置为相同的大小和位置；
[0057]
(2)分类器记忆更新：当对第t(t>1)帧图像进行跟踪时，首先求得第t
‑
1帧图像中目标图像的直方图特征q
t
‑1，然后，利用控制通道中的多层旋转记忆模型对直方图特征q
t
‑1进行动态更新，同时获得在该帧中多层旋转记忆模型的更新过程，并对t
‑
1帧得到的分类器w
t
‑1利用跟随通道中的多层旋转记忆模型以相同的更新过程进行更新，得到pre
‑
occ分类器即受遮挡前的分类器；
[0058]
(3)相关滤波定位目标：求得第t
‑
1帧图像中目标图像的深度特征x
t
‑1，利用pre
‑
occ分类器对其进行相关滤波操作，得到响应图，实现第t帧图像的目标定位；
[0059]
(4)分类器训练：根据相关滤波框架对分类器进行训练，得到第t帧图像的分类器w
t
。
[0060]
其中，步骤(2)利用控制通道中的多层旋转记忆模型对直方图特征q
t
‑1进行动态更新的过程如附图2，具体步骤如下：
[0061]
(1)初始输入直方图特征q
t
‑1经过过滤器单元评估是否可以进入记忆空间，如果可以进入，转到步骤(2)，否则，转到步骤(6)；
[0062]
(2)初始输入直方图特征q
t
‑1进入最外层圆环，即瞬时记忆空间，并将其称为瞬时输入直方图特征，如果当前时刻瞬时记忆空间的输入窗口中存在空数据单元，即将瞬时输入直方图特征直接存储在该位置。否则，计算瞬时输入直方图特征与处于输入窗口中的每个直方图特征之间的归一化欧氏距离，并将其与距离最小的直方图特征进行融合。同时，比较处于输出窗口中的各个直方图特征与瞬时输入直方图特征之间的归一化欧氏距离，并将距离最小的直方图特征作为瞬时记忆空间的输出，即瞬时输出直方图特征；
[0063]
(3)通过比较融合单元将瞬时记忆空间中处于观察窗口中距离在容忍距离之内的两个或多个直方图特征进行融合并输入中间层圆环，即短时记忆空间，将其称为短时输入
直方图特征；
[0064]
(4)短时记忆空间中直方图特征的输入和输出过程与步骤(2)类似，其输出称为短时输出直方图特征；
[0065]
(5)与步骤(3)和步骤(4)类似，通过比较融合单元将短时记忆空间中处于观察窗口中距离在容忍距离之内的两个或多个直方图特征进行融合并输入最内层圆环，将其称为长时输入直方图特征，同时输出长时输出直方图特征；
[0066]
(6)若三个记忆空间均未有输出，则将初始输入直方图特征作为最终输出直方图特征，否则，分别计算三个输出直方图特征(即瞬时、短时和长时输出直方图特征)与初始输入直方图特征之间的距离，并将与初始输入直方图特征距离最小的输出直方图特征作为最终输出直方图特征，完成对直方图特征q
t
‑1的动态更新。
[0067]
本发明的有益效果可以通过下述仿真实验说明：
[0068]
利用台式计算机(cpu为intel(r)xeon e5
‑
2620(2.10ghz)
×
2，gpu为nvidia quadro p2000，内存64gb)开展仿真实验，软件平台为matlab r2017a。
[0069]
利用otb50图像数据集进行对比实验，利用18种对比目标跟踪方法与所公开方法(表示为mrmcf)进行对比实验，包括cnn
‑
svm，meem，kcf，dsst，struck，scm，tld，vtd，vts，cct，asla，lsk，pcom等。
[0070]
附图4为利用otb50图像数据集在一次评估(one pass evaluation,ope)下的总体对比结果。为了图像更加直观，仅列出排名前10的跟踪方法。其中，图4(a)为跟踪精度曲线图，图4(b)为跟踪成功率曲线图。由图可看出，所公开的基于多层旋转记忆模型的相关滤波目标跟踪方法的跟踪精度达到了89.4％，跟踪成功率达到了76.1％，均高于其他对比方法，表明所公开方法具有更好的跟踪性能。
[0071]
附图5为所公开方法与对比方法在otb50图像数据集中部分图像序列的跟踪结果，为了更加清晰的展示跟踪框的位置，图中仅显示了排名前5的跟踪结果。
[0072]
从附图5可看出，上述序列的实验结果中，本发明所公开的基于多层旋转记忆模型的相关滤波目标跟踪方法的跟踪精度均优于对比方法。其中：
[0073]
(1)序列coke：在跟踪过程前期，目标保持平稳运动，因此5种方法都能得到较好的跟踪效果(图中#0050和#0116)，之后目标发生旋转，dsst和meem跟踪框发生偏移(图中#0210)，当目标被植物叶片遮挡时，dsst和cnn
‑
svm的跟踪框发生较大偏移(#0260)，目标重现时，dsst、meem和kcf未能寻回目标(图中#270)；
[0074]
(2)序列deer：在跟踪过程前期，5种方法都能得到较好的跟踪效果(图中#0010)，之后的跟踪过程中，由于目标运动速度较快，同时有相似目标的干扰，kcf在#0030、#0036和#0050中出现了丢失目标丢失和跟踪框偏移现象，dsst在#0030和#0040中丢失目标，meem在#0040中跟踪框出现了小范围偏移；
[0075]
(3)序列football：在跟踪过程前期，5种方法都能得到较好的跟踪效果(图中#0100)，随着目标的快速运动，dsst，meem和kcf的跟踪框出现了偏移(图中#0200)，由于相似目标的干扰，dsst、meem、cnn
‑
svm和kcf的跟踪框均出现了偏移(图中#0283和#0290)，之后在#297中，dsst、cnn
‑
svm和kcf出现目标丢失现象，而所公开的mrmcf未受到相似目标的干扰，均保持良好的跟踪效果；
[0076]
(4)序列freeman4：由于目标被遮挡、目标发生旋转等情况，对比方法的跟踪框均
发生了不同程度的偏移，#0080中meem和kcf发生了偏移，#0110中，kcf发生了偏移，#0150中，dsst、cnn
‑
svm和kcf发生了偏移，meem发生了小范围偏移，#0166中，dsst、meem和kcf发生了偏移，在#0270中，四个对比方法均发生了偏移，而所公开的mrmcf在整个跟踪过程中均保持良好的跟踪效果；
[0077]
(5)序列girl：在跟踪过程前期，5种方法都能得到较好的跟踪效果，仅dsst出现了小范围偏移现象(图中#0300和#0420)，当出现相似目标干扰时，kcf受到干扰，跟踪框出现偏移，同时dsst、meem和cnn
‑
svm也受到影响，出现小范围的偏移(图中#0438)，随着时间的推移，dsst也受到相似目标的干扰出现了跟踪框偏移现象(图中#0470和#0490)，而在整个过程中，所公开的mrmcf均能实现平稳跟踪，未受到相似目标的干扰；
[0078]
(6)序列lemming：在跟踪过程前期，5种方法都能得到较好的跟踪效果(图中#0200)，当目标出现旋转时，dsst、meem和kcf的跟踪框均发生了小范围的偏移(图中#0370)，之后随着目标发生快速运动，dsst和kcf出现目标丢失现象，同时cnn
‑
svm和meem的跟踪框也出现了偏移(图中#0382和#0776)，在#1070中，目标的姿态和尺度均发生了变化，在这种条件下，五种方法的跟踪框均不能完全框选目标，而所公开的mrmcf的跟踪框位置相对准确；
[0079]
(7)序列matrix具：在#0021中，dsst，cnn
‑
svm和kcf目标丢失，meem发生了小范围偏移，在#0024中，dsst、cnn
‑
svm和kcf出现目标丢失现象，#0047中，cnn
‑
svm也出现目标丢失现象，而dsst、meem和kcf发生了小范围偏移，在#0084中，由于目标快速运动，所有方法均出现了目标丢失的现象，而在接下来的#0086中，所公开的mrmcf重新寻回了目标。
[0080]
综上所述，对于上述coke，deer，football，freeman4，girl，lemming和matrix序列，本发明所公开的基于多层旋转记忆模型的相关滤波目标跟踪方法均具有更好的跟踪性能。
[0081]
以上所述的具体描述，对发明的目的、技术方案和有益效果进行进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。