一种水域探测系统中多光电智能跟踪方法与流程

1.本发明涉及雷达探测相关技术领域，具体涉及一种水域探测系统中多光电智能跟踪方法。


背景技术：

2.在水域雷达-光电探测系统中最重要的功能就是用雷达发现船只，并引导光电设备对该船只做长时间跟踪。目前通过人工智能算法实现对目标船只的长时间平滑跟踪在水域雷达-光电探测体统中普遍的应用。市场上常见的智能跟踪方案为：1、雷达引导光电瞄准目标；2、光电将图像送入人工智能设备，智能识别船只，计算船只重心到图像中心的像素位移矢量；3、根据船只的雷达坐标、当前光电设备的坐标、旋转角、俯仰角等信息将像素位移矢量换算成光电的ptz控制信号。自动操控光电设备平滑的跟踪该目标，并保持该目标在画面的中心并放大到合适的大小。
3.但目标水域探测系统中的人工智能识别软硬件均是直接使用车辆识别、行人识别中成熟的算法和硬件设备，并没有深入研究水域探测中船只跟踪识别的独有特点，造成现有的智能识别软件和硬件设备不能很好的用在水域探测中。
4.在现有的水域探测系统中，往往是一台雷达配4-5台重型云台光电设备。雷达和光电均部署在野外供电功率以及网络带宽极为有限，中心站部署在市区机房远离雷达、光电等探测设备。如果将人工智能识别软、硬件部署在中心站，网络延时会让智能识别软件发送的控制信号有较大延时，光电设备无法准确跟踪船只。如果人工智能软硬件放在光电设备端，人工智能软硬件耗能很大，野外能提供的功率通常很紧张，无法支持大功率设备。并且人工智能软硬件加个昂贵，每台光电都配个人工智能设备成本会极大的增加。
5.另外，船只通常航行很慢，重型云台光电设备监控半径为10-20公里，通常光电设备会持续的对同一艘船跟踪监控10分钟以上，用人工智能识别算法持续长时间的识别同一个目标，这是对计算力的浪费。


技术实现要素：

6.为了解决上述问题，本发明提供一种水域探测系统多光电设备智能识别方法，将现有的智能跟踪方案拆分成两部分：一通过中心站智能船只识别设备识别船只并提取特征向量a发送给光电跟踪控制器，通过智能识别算力分配算法，让智能识别算力尽可能支持更多光电设备；二光电平滑跟踪控制器接收视频信号，通过船只智能识别算法获得移动目标特征向量并与a向量进行匹配，触发kcf tracker跟踪算法跟踪目标。通过两部分协同工作，减少光电设备长时间持续跟踪目标时产生的卡顿、延时，保证光电设备能够准确跟踪船只。
7.为实现上述目的，本发明技术方案具体如下：
8.一种水域探测系统中多光电智能跟踪方法，具体步骤如下：
9.s1、雷达指引光电设备瞄准目标船只：如进入警戒区触发雷达持续发送目标坐标、如目标偏离航线触发雷达持续发送目标坐标；
10.s2、中心站智能船只识别设备接收光电设备发送的视频流，智能识别算法识别视频流目标，将所识别的船只提取特征点并形成特征向量a，并发送目标特征向量a；
11.通过智能识别算力分配算法，让智能识别算力同时支持多个光电设备；
12.s3、光电跟踪控制器接收目标特征向量a，并通过kcf tracker跟踪算法跟踪目标船只，并计算目标中心与视频中心的像素距离；
13.s4、光电跟踪控制器根据目标船只的雷达坐标、光电设备当前的ptz信息，通过光电云台控制算法计算出光电设备的控制信号并发送给光电设备；
14.s5、光电设备依靠控制信号调整旋转角、俯仰角、焦距，自动操控光电设备平滑的跟踪该目标，并保持该目标在画面的中心并放大到合适的大小。
15.进一步地，步骤s3所述光电跟踪控制器中接收光电设备的视频信号，通过稀疏光流法获得移动目标；计算移动目标的特征向量、并与特征向量a做特征匹配，对匹配成功的目标用kcf tracker跟踪算法跟踪目标。
16.进一步地，步骤s4中根据船只的雷达坐标、当前光电设备的坐标、旋转角、俯仰角等信息将像素位移矢量换算成光电的ptz控制信号。
17.进一步地，所述中心站智能船只识别设备依次识别每台光电设备发送的视频流；识别视频中的船只，再结合光电设备的ptz信息和目标的雷达坐标在视频中标记出目标船只，并将提取船只的特征向量a发送给相对应的光电跟踪控制器，帮助光电跟踪控制器“手动选择目标”。
18.更进一步地，所述光电跟踪控制器依靠船只智能识别算法获得的特征向量可以成功的触发kcf tracker算法实现目标跟踪；当光电跟踪控制器跟踪失败后，将信号发送给中心站，触发船只智能识别算法再次“手动选择目标”。
19.与现有技术相比，本发明具有以下优点：
20.1、本发明在中心站智能船只识别设备上安装智能识别算力分配算法，可以用更低的成本实现对多台光电设备发送的视频流的智能识别。
21.2、光电跟踪控制器中安装目标跟踪算法、光电云台控制算法，能极大的保证对光电云台控制的事实性和平滑性，减少光电长时间持续跟踪目标时产生的卡顿、延时。在低成本的条件下实现多台云台相机的平滑跟踪控制。
22.3、中心站直接控制相机时通常会有2-3秒的延时，本发明在自动识别跟踪的情况下相机控制不会有延时。
附图说明
23.图1为本发明多光电智能跟踪方法的构成图；
24.图2为智能识别算力分配算法流程图；
25.图3为目标跟踪算法流程图；
26.图4为船只智能识别算法流程图；
27.图5为光电云台控制算法流程图。
具体实施方式
28.以下对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体
实施方式仅用于说明和解释本发明，并不用于限制本发明。
29.如图1-5所示，一种水域探测系统中多光电智能跟踪方法，具体步骤如下：
30.s1、雷达指引光电设备瞄准目标船只：如进入警戒区触发雷达持续发送目标坐标、如目标偏离航线触发雷达持续发送目标坐标；
31.s2、中心站智能船只识别设备接收光电设备发送的视频流，智能识别算法识别视频流目标，将所识别的船只提取特征点并形成特征向量a，并发送目标特征向量a；
32.通过智能识别算力分配算法，让智能识别算力同时支持多个光电设备；
33.s3、光电跟踪控制器接收目标特征向量a，并通过kcf tracker跟踪算法跟踪目标船只，并计算目标中心与视频中心的像素距离；
34.s4、光电跟踪控制器根据目标船只的雷达坐标、光电设备当前的ptz信息，通过光电云台控制算法计算出光电设备的控制信号并发送给光电设备；
35.s5、光电设备依靠控制信号调整旋转角、俯仰角、焦距，自动操控光电设备平滑的跟踪该目标，并保持该目标在画面的中心并放大到合适的大小。
36.具体实施例：
37.本发明中将现有的智能跟踪方案拆分成两份：中心站智能船只识别设备、光电平滑跟踪控制器。
38.如图2所示，中心站智能船只识别设备负责识别船只，并将所识别的船只提取特征点并形成特征向量，通过互联网，将该船的特征向量a传送给光电平滑跟踪控制器。通过智能识别算力分配算法，让智能识别算力尽可能支持更多光电设备。
39.如图3所示，光电跟踪控制器中接收光电的视频信号，通过稀疏光流法获得移动目标。计算移动目标的特征向量并与a向量做特征匹配。对匹配成功的目标用kcf tracker跟踪算法跟踪目标。
40.根据船只的雷达坐标、当前光电设备的坐标、旋转角、俯仰角等信息将像素位移矢量换算成光电的ptz控制信号。如图5所示，通过光电云台控制算法自动操控光电设备平滑的跟踪该目标，并保持该目标在画面的中心并放大到合适的大小。
41.本发明将目标跟踪算法、光电云台控制算法都安装在光电平滑跟踪控制器中。这种方案优点是能极大的保证对光电云台控制的事实性和平滑性，减少光电长时间持续跟踪目标时产生的卡顿、延时。但为了控制成本、降低功率、适应高湿度的野外安装环境，光电跟踪控制器需要选择全封闭的小型工控机。
42.由于硬件的限制，目标跟踪算法需要选择计算复杂度小、速度快的kcf tracker跟踪算法。kcf tracker跟踪算法和其他非智能跟踪算法一样，有如下缺陷：1)需要手动选择目标；2)随着目标的移动造成拍摄角度的变化以及目标被部分或全部遮挡跟踪成功率会快速降低。
43.为了解决这两个难题，市区指挥中心的中心站通过智能识别算法将依次识别每台光电设备发送的视频流。识别视频中的船只，再结合光电的ptz信息和目标的雷达坐标在视频中标记出目标船只，并将提取船只的特征向量a发送给相对应的光电跟踪控制器，帮助光电跟踪控制器“手动选择目标”。
44.中心站和光电跟踪控制器通讯通常有2、3秒的延时(距离太远，网络带宽有限)，由于船只航速通常很慢3秒钟船只的特征不会有什么改变。如图4所示，光电跟踪控制器依靠
船只智能识别算法获得的特征向量可以成功的触发kcf tracker算法实现目标跟踪。当光电跟踪控制器跟踪失败后，将信号发送给中心站，触发船只智能识别算法再次“手动选择目标”。
45.以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。