一种基于雷达扫描变量的水上多目标视频影像坐标估计方法与流程

1.本发明涉及水上目标监测技术，特别是一种基于雷达扫描变量的水上多目标视频影像坐 标估计方法。


背景技术：

2.随着船舶保有量的不断提高，船舶安全问题的重要性愈加凸显。智能船舶已成为船舶行 业的发展趋势，用以改善船舶行驶的安全性。如何精准感知目标信息并在此基础上对多源目 标信息进行有效融合，已成为目前智能船舶发展需要解决的主要问题。arpa雷达、cctv 作为主动探测工具，是当前最为常用的水上感知、监管工具。
3.其中，arpa雷达，在gps、罗经等其他传感器的支持下，能自动捕捉并跟踪水上多个 目标，并推算目标的速度、航向、运动趋势，在标准应用场景下，可保证捕捉率优于80％。 同时在雷达显示输出上，以矢量形式显示目标船舶的航向和航速，以数据形式显示dcpa(预 计会遇距离)和tcpa(预计会遇时间)等重要的避碰数据。因此，arpa的出现使得雷达在 船舶避碰应用中发挥了更大的作用，但缺点在于雷达的信息输出仍不够直观，和人的直观视 觉感受存在差异，需要较多的知识进行解读。cctv系统，相较而言是更为直观的监视工具， 由遥控摄像机及其辅助设备组成，可安装于船上、沿岸较高建筑物上，用以对水面目标和沿 岸目标及港口的跟踪识别与实时图像获取。通过深度学习、卷积神经网络的引入，cctv已 经可以模仿人眼，在连续视频中识别船舶等关键目标。然而，cctv的成像机理决定了，捕 捉到目标的坐标、运动速度、方向是难以获得的。综上，arpa雷达系统提供了丰富的数值 信息，却不够直观；cctv提供了直观的视觉影像，却缺乏完整的数值依据。有必要将二者 的优点进行结合。如果cctv捕获到的目标，可以与arpa雷达目标实现自动匹配，将大幅 改善驾驶、监管人员的使用体验。
4.因此，为了实现这一目标，更好地适用于航行复杂环境下的多目标监视、避碰需求，发 明采用与常规单一利用arpa系统或者cctv系统不同的坐标估计方法。亦即通过arpa系 统和cctv系统分别扫描，并转化得到水上单个参考目标在显示器上的待校准屏幕位置和实 际屏幕位置，利用遗传算法优化模型训练得到最优参数集合，建立从arpa目标向cctv屏 幕坐标的转化关系，用于水上多目标的视频影像坐标估计。这种arpa系统和cctv系统的 联合监视方法，克服了各单一系统在面对水上多目标复杂环境下坐标估计的局限性，实现对 多目标船舶及其周边环境的精准识别，将大幅降低人在驾驶过程中的态势判断难度。


技术实现要素：

5.针对现有技术中存在的问题，本发明提供了一种克服了各单一系统在面对水上多目标复 杂环境下坐标估计的局限性，实现对多目标船舶及其周边环境的精准识别，将大幅降低人在 驾驶过程中的态势判断难度的基于雷达扫描变量的水上多目标视频影像坐标估计方法。
6.本发明的目的通过以下技术方案实现。
7.一种基于雷达扫描变量的水上多目标视频影像坐标估计方法，步骤包括：
8.1)建立水上监测平台p，所述检测平台p包括雷达arpa系统、闭路电视监控系统cctv、 定位设备、艏向获取设备；
9.2)选定时刻，在雷达arpa系统可覆盖范围内，将闭路电视监控系统cctv唯一稳定地捕 获到的单个水上目标记为t，分别利用雷达arpa系统、闭路电视监控系统cctv同时对单 个水上目标t进行多次连续扫描和观测，获得单个水上目标t的扫描坐标和多帧画面；
10.3)将步骤2)中参考单个水上目标t的arpa坐标的多次扫描坐标转化为经纬度，根据相机 的内外参数决定单个水上目标t在闭路电视监控系统cctv中成像的待校准位置；
11.4)通过faster-rcnn、yolov3算法，将步骤2)中k时刻cctv系统获得的多帧画面，转化 为单个水上目标t在显示器上的实际屏幕位置，或采用手工标绘的方式实现该步骤；
12.5)将步骤3)和4)中获得的单个水上目标t在显示器上的待校准屏幕位置和实际屏幕位置 作为训练样本集合w，并把待校准屏幕位置和实际屏幕位置两点间的距离作为目标函数，构 建基于遗传算法的优化模型，获得最优参数集合；
13.6)通过步骤5)，建立从arpa目标t’，向cctv屏幕坐标的映射关系，雷达扫描和cctv 可视的重叠范围中，都有不止一个目标，基于已经确定的映射关系，即可对水上m个目标{s1, s2,
…
,sm}在显示器中的坐标位置进行估计。
14.所述步骤1)中所述雷达arpa系统的雷达扫描半径记为r，将雷达arpa系统扫描水 上其他船舶目标，即arpa目标相对于系统的角坐标记作(e,l)，所述闭路电视监控系统cctv 用于获得水上目标的实时图像z，所述闭路电视监控系统cctv摄像机的核心参数包括视域 角θ、输出图像视域宽度w像素和视域高度h像素，所述定位设备用于获取经纬度坐标。
15.所述步骤2)中雷达arpa系统扫描到的目标与闭路电视监控系统cctv捕获的目标， 具有唯一对应性，在k时刻由雷达arpa系统多次扫描目标t，产生的唯一的arpa目标的 扫描坐标为(e(k),l(k))，由闭路电视监控系统cctv获得实时图像z的多帧画面为z(k)，雷达 扫描半径为r(k)，k为采样时刻，其中k＝1,2,
…
,k，k≥20。
16.所述步骤3)具体为：将步骤2)中参考单个水上目标t的arpa坐标的多次扫描坐标(e(k),l(k))转化为经纬度，表示为(b(k),d(k))，b表示纬度，d表示经度；目标在相机成像里的 屏幕坐标和空间位置存在固定的对应关系，根据相机的内外参数决定单个水上目标t在闭路 电视监控系统cctv中成像的待校准位置(x-(k),y-(k))。
17.所述采取如下方法求取目标t在cctv系统中成像的待校准位置(x-(k),y-(k))： k时刻目标t的空间横坐标x-(k)，即与摄像头的视线射线呈垂直关系，相对于摄像机成像的 横坐标是简单的线性映射关系，目标t的空间纵坐标y-(k)，即与摄像头横的视线射线呈平行 关系，相对摄像机成像的纵坐标是上凸曲线关系，即距离越远纵向角度变化越慢、距离越近 变化越快，因此，可分别设计线性模型求取x-(k)、logistic模型求取y-(k)：
18.x-(k)＝(b(k)/θ)*w*δx
ꢀꢀ
(la)
[0019][0020]
其中，δx，δy，j是待定系数。
[0021]
所述步骤2)中k时刻cctv系统获得的多帧画面为z(k)，转化为单个水上目标t在显 示器上的实际屏幕位置为(x

(k),y

(k))。
[0022]
所述待校准屏幕位置(x-(k),y-(k))和实际屏幕位置(x

(k),y

(k))作为训练样本集合w，并把 (x-(k),y-(k))和(x

(k),y

(k))两点间的距离作为目标函数，构建基于遗传算法的优化模型：
[0023][0024]
s.t.0≤δx≤1
ꢀꢀꢀ
(2b)
[0025]
0≤δy≤10
ꢀꢀꢀ
(2c)
[0026]-10≤j≤10
ꢀꢀꢀ
(2d)
[0027]
其中，表示优化目标函数，g＝{δx,δy,j}表示需要优化的参数集，式(2b)～(2d) 表示优化过程必须满足的约束条件，d是(x-(k),y-(k))和(x

(k),y

(k))两点间的距离
[0028][0029]
得到最优参数集合g^表示为
[0030]
g^＝{δx^,δy^,j^
ꢀꢀꢀ
(2f)
[0031]
通过已有数据集的训练，即可通过求解式(2d)，获得δx，δy，j待定系数的最优取值。
[0032]
所述对水上m个目标{s1,s2,
…
,sm}在显示器中的坐标位置进行估计，具体步骤如下：
[0033]
6-1)根据步骤2)，利用arpa系统和cctv系统分别获得第m个目标sm的雷达扫描半 径rm(k)，arpa坐标(em(k),lm(k))，m＝1,2,
…
,m，m≥2；
[0034]
6-2)根据步骤3)将各单一目标sm的arpa坐标(em(k),lm(k))转化为经纬度表示形式(bm(k), dm(k))；
[0035]
6-3)结合步骤5)中的最优参数集合g^，分别计算这m个目标在显示器上的估计屏幕位 置(xm^(k),ym^(k))
[0036]
x
m^
(k)＝(bm(k)/θ)*w*δx^
ꢀꢀꢀ
(3a)
[0037][0038]
所述雷达arpa系统包括普通船用雷达、目标自动捕捉设备，可调范围为0.5～48海里。
[0039]
所述闭路电视监控系统cctv包括遥控摄像机及其辅助设备，所述闭路电视监控系统 cctv可观测的距离为1～2海里，视域角θ为60
°
～180
°
、输出图像视域宽度w像素为 320～3840和视域高度h像素为240～2160。
[0040]
相比于现有技术，本发明的优点在于：本发明先通过arpa系统和cctv系统扫描水上 单个参考目标，分别转化得到其在显示器上的待校准屏幕位置和实际屏幕位置；将这两个位 置间的距离作为目标函数，利用遗传算法优化模型训练得到最优的参数集合，建立从arpa 目标向cctv屏幕坐标的转化关系；最后将其用于水上多个目标下的视频影像坐标估计。所 提方法克服了各单一系统在面对水上多目标复杂环境下坐标估计的局限性，实现对多目标船 舶及其周边环境的精准识别，将大幅降低人在驾驶过程中的态势判断难度。根据
本发明方法 编制的程序(编译环境labview，c 等)可以在计算机上运行，并联合雷达arpa系统、 闭路电视监控系统cctv、定位设备、罗经等硬件组成水上监测平台，实现对水上多个目标 的视频影像坐标估计功能。
附图说明
[0041]
图1是本发明方法的流程框图。
[0042]
图2是水上监测平台p的系统图。
具体实施方式
[0043]
下面结合说明书附图和具体的实施例，对本发明作详细描述。
[0044]
一种基于雷达扫描变量的水上多目标视频影像坐标估计方法，其流程框图如图1所示， 包括以下各步骤：
[0045]
(1)建立水上监测平台p，其中包含雷达arpa系统、闭路电视监控系统cctv、定位 设备(获取经纬度坐标)、艏向获取设备(一般为罗经)；其中，雷达arpa系统由普通船用 雷达、目标自动捕捉设备共同组成，雷达扫描半径记为r，可调范围为0.5～48海里，将雷达arpa系统扫描水上其他船舶目标(后面称作arpa目标)相对于系统的角坐标记作(e,l)， cctv系统由遥控摄像机及其辅助设备组成，用于获得水上目标的实时图像z，cctv可观测 的距离一般为1～2海里，其摄像机的核心参数包括视域角θ、输出图像视域宽度w像素和视 域高度h像素，其中θ一般为60
°
～180
°
，w一般为320～3840，h一般为240～2160，对于特 定摄像机的某一固定时刻，上述值可以视作定值；
[0046]
为便于对水上监测平台的理解，这里举例说明。选用日本jrc公司生产的jma-5322-7bb 型号的雷达arpa系统，调节雷达扫描半径r＝3海里，选用海康威视公司生产的 ds-2cd3t47ewd-l型号的cctv系统，摄像机核心参数θ＝88.7
°
，w＝2560，h＝1440。
[0047]
(2)选定某一特定时刻，在雷达arpa系统可覆盖范围内，将cctv系统唯一稳定地 捕获到的单个水上目标记为t，分别利用雷达arpa系统、cctv系统同时对其进行多次连 续扫描和观测，在该情况下，arpa系统扫描到的目标与cctv系统捕获的目标，具有唯一 对应性，在k时刻由雷达arpa系统多次扫描目标t，产生的唯一的arpa目标的扫描坐标 为(e(k),l(k))，由cctv系统获得实时图像z的多帧画面为z(k)，雷达扫描半径为r(k)，k为采 样时刻，其中k＝1,2,
…
,k，k≥20；
[0048]
为便于对扫描坐标和多帧画面的理解，这里举例说明。现水上存在唯一船舶目标t，可 利用雷达arpa系统和cctv系统，每间隔1s对该船舶目标扫描一次，总共进行100次扫描， 获得100个arpa扫描坐标{(e(1),l(1)),(e(2),l(2)),
…
,(e(100),l(100))}和与之相应的同一时刻下 的多帧画面{z(1),z(2),
…
,z(100)}。
[0049]
(3)将步骤(2)中参考目标t的arpa坐标的多次扫描坐标(e(k),l(k))转化为经纬度， 表示为(b(k),d(k))，b表示纬度，d表示经度；对于特定的相机，选定固定的观察角度，某一 目标在相机成像里的屏幕坐标，和空间位置存在固定的对应关系，一般由相机的内外参数决 定；然而，相机的内外参数一致性存在差异，且很难标定，因此，采取如下方法求取目标t 在cctv系统中成像的待校准位置(x-(k),y-(k))：
[0050]
根据公开资料显示，k时刻目标t的空间横坐标x-(k)(与摄像头的视线射线呈垂直
关系)， 相对于摄像机成像的横坐标是简单的线性映射关系，目标t的空间纵坐标y-(k)(与摄像头横 的视线射线呈平行关系)，相对摄像机成像的纵坐标是上凸曲线关系，即距离越远纵向角度变 化越慢、距离越近变化越快，因此，可分别设计线性模型求取x-(k)、logistic模型求取y-(k)：
[0051]
x-(k)＝(b(k)/θ)*w*δx
ꢀꢀ
(la)
[0052][0053]
其中，δx，δy，j是待定系数；
[0054]
为便于理解，这里举例说明。在k＝1时刻，arpa坐标的扫描坐标(e(1)＝820.4316, l(1)＝0.9185)，转化为经纬度坐标(b(1)＝29.9724,d(1)＝122.3662)，式中的待定系数δx，δy，j的 初始值分别取δx＝0.095,δy＝8,j＝-4.985，利用式(1a)、(1b)可计算得到在该采样时刻下，船舶 目标在cctv系统中成像的待校准位置(x-(1)＝82.1791,y-(1)＝407.0104)。
[0055]
(4)通过faster-rcnn、yolov3等算法，可将步骤(2)中k时刻cctv系统获得的多 帧画面z(k)，转化为参考目标t在显示器上的实际屏幕位置(x

(k),y

(k))，也可采用手工标绘 的方式实现该步骤；
[0056]
为便于理解，这里举例说明。在k＝1时刻，结合cctv系统获得的画面z(1)，经过手工 标绘，得到该唯一船舶目标在显示器上的实际屏幕位置(x

(1)＝85,y

(1)＝400)。
[0057]
(5)将步骤(3)和(4)中获得的参考目标t在显示器上的待校准屏幕位置(x-(k),y-(k)) 和实际屏幕位置(x

(k),y

(k))作为训练样本集合w，并把(x-(k),y-(k))和(x

(k),y

(k))两点间的距 离作为目标函数，构建基于遗传算法的优化模型
[0058][0059]
s.t.0≤δx≤1
ꢀꢀꢀ
(2b)
[0060]
0≤δy≤10
ꢀꢀꢀ
(2c)
[0061]-10≤j≤10
ꢀꢀꢀ
(2d)
[0062]
其中，表示优化目标函数，g＝{δx,δy,j}表示需要优化的参数集，式(2b)～(2d) 表示优化过程必须满足的约束条件，d是(x-(k),y-(k))和(x

(k),y

(k))两点间的距离
[0063][0064]
得到最优参数集合g^表示为
[0065]
g^＝{δx^,δy^,j^
ꢀꢀꢀ
(2f)
[0066]
通过已有数据集的训练，即可通过求解式(2d)，获得δx，δy，j待定系数的最优取值；
[0067]
为便于理解，这里举例说明。通过步骤(1)～(4)可获得100次待校准屏幕位置{(x-(1), y-(1)),(x-(2),y-(2)),
…
,(x-(100),y-(100))}和100次实际屏幕位置{(x

(1),y

(1)),(x

(2),y

(2)),
…
, (x

(100),y

(100))}，以(x-(k),y-(k))和(x

(k),y

(k))两点间的距离和最小为目标函数，构建优化模 型，经过优化得到最优参数集合g^＝{δx^,δy^,j^}
＝{0.1,9.6428,-4.99}。
[0068]
(6)通过步骤(5)，即可建立从arpa目标t’，向cctv屏幕坐标的映射关系，在绝 大多数时候，雷达扫描和cctv可视的重叠范围中，都有不止一个目标，基于已经确定的映 射关系，即可对水上m个目标{s1,s2,
…
,sm}在显示器中的坐标位置进行估计，具体步骤如下：
[0069]
(6-1)根据步骤(2)，利用arpa系统和cctv系统分别获得第m个目标sm的雷达扫 描半径rm(k)，arpa坐标(em(k),lm(k))，m＝1,2,
…
,m，m≥2；
[0070]
(6-2)根据步骤(3)将各单一目标sm的arpa坐标(em(k),lm(k))转化为经纬度表示形式 (bm(k),dm(k))；
[0071]
(6-3)结合步骤(5)中的最优参数集合g^，分别计算这m个目标在显示器上的估计屏 幕位置(xm^(k),ym^(k))
[0072]
xm^(k)＝(bm(k)/θ)*w*δx^
ꢀꢀꢀ
(3a)
[0073][0074]
至此，实现了雷达arpa目标和cctv识别船舶目标的融合，建立起良性训练机制，即 当目标孤立的时候，训练参数，当目标众多的时候，进行推理，从而在逐步使用的过程中， 适应风浪、水位、摄像机老化带来的内外参数变化，确保足够的鲁棒性。
[0075]
以下结合附图，详细介绍本发明方法的实施例：
[0076]
本发明方法的流程框图如图1所示，核心部分是：先通过arpa系统和cctv系统扫描 水上单个参考目标，分别转化得到其在显示器上的待校准屏幕位置和实际屏幕位置；再将这 两个位置间的距离作为目标函数，利用遗传算法优化模型训练得到最优的参数集合，建立从 arpa目标向cctv屏幕坐标的转化关系；最后将其用于水上多个目标下的视频影像坐标估 计。所提方法克服了各单一系统在面对水上多目标复杂环境下坐标估计的局限性，实现对多 目标船舶及其周边环境的精准识别，将大幅降低人在驾驶过程中的态势判断难度。
[0077]
以下结合图2中所示的水上监测平台p，详细介绍本发明方法的各个步骤。
[0078]
1、设备选型及水上监测平台搭建
[0079]
以舟山码头为示范区，建立包含雷达arpa系统、闭路电视监控系统cctv、定位设备 (获取经纬度坐标)、艏向获取(一般为罗经)等设备的水上监测平台p(图2)，其中雷达 arpa系统选用由日本jrc公司生产的jma-5322-7bb型号设备，设置其扫描半径r＝3海里； 闭路电视监控系统cctv选用海康威视公司生产的ds-2cd3t47ewd-l型号设备，摄像机核 心参数θ＝88.7
°
，w＝2560，h＝1440。
[0080]
2、单个水上目标t的扫描坐标和多帧画面的获取
[0081]
依照本发明方法的步骤(2)所述，现取舟山码头示范区内某一个水上船舶目标t，利用 雷达arpa系统和cctv系统对该船舶目标进行扫描，扫描间隔为1s，共扫描100次，可分 别获得100个arpa扫描坐标{(e(1),l(1)),(e(2),l(2)),
…
,(e(100),l(100))}和与之相应的同一时 刻下的多帧画面{z(1),z(2),
…
,z(100)}。
[0082]
3、参考目标t在显示器上的待校准屏幕位置和实际屏幕位置的获取
[0083]
依照本发明方法的步骤(3)的推理过程估计参考目标t在显示器上的待校准屏幕位置 (x-(k),y-(k))：获取k＝1时刻arpa扫描坐标(e(1),l(1))＝(820.4316,0.9185)，根据步骤(3)所 述，将其转化为经纬度(b(k),d(k))＝(29.9724,122.3662)；设置待定系数δx，
δy，j的初始值分 别取δx＝0.095,δy＝8,j＝-4.985，并根据步骤(3)中式(1a)和(1b)将经纬度(b(k),d(k))转化 为待校准屏幕位置(x-(k),y-(k))，结果如下：
[0084]
x-(1)＝(b(1)/θ)*w*δx＝(29.9724/88.7)*2560*0.095＝82.1791
[0085][0086]
依照本发明方法的步骤(4)所述，在k＝1时刻，采用手工标绘的方式，将cctv系统 获得的多帧画面z(1)进行转化，得到该唯一船舶目标在显示器上的实际屏幕位置(x

(k), y

(k))＝(85,400)。
[0087]
4、依照本发明方法步骤(3)和(4)，获取参考目标t的100个arpa扫描坐标{(e(1),l(1)), (e(2),l(2)),
…
,(e(100),l(100))}在显示器上的待校准屏幕位置{(x-(1),y-(1)),(x-(2),y-(2)),
…
, (x-(100),y-(100))}和多帧画面{z(1),z(2),
…
,z(100)}在显示器上的实际屏幕位置{(x

(1),y

(1)), (x

(2),y

(2)),
…
,(x

(100),y

(100))}作为训练样本集合w，并根据本发明方法步骤(5)构建参数 优化模型，可得训练后的待定系数的最优参数集合为g^＝{δx^,δy^,j^}，结果如下：
[0088]
表1训练后的待定系数最优值
[0089][0090]
5、依照本发明方法步骤(6)，现利用水上监测平台对舟山码头示范区水上船舶目标进行 监测，取水上已有的8个目标{s1,s2,
…
,s8}为研究对象，对其在显示器中的坐标位置进行估 计：
[0091]
依照本发明方法步骤(6-1)所述，根据步骤(2)获取k＝2时刻第2个目标s2的雷达扫 描半径r2(2)＝3海里，arpa扫描坐标(e2(2),l2(2))＝(821.8333,0.9183)，根据根据步骤(3)将 其转化为经纬度(b2(2),d2(2))＝(29.9726,122.3662)，结合待定系数δx^，δy^，j^的最优值，并根 据步骤(6-3)中式(3a)和(3b)将经纬度(b2(2),d2(2))转化为待校准屏幕位置(x2^(2),y2^(2))， 结果如下：
[0092]
x2^(2)＝(b2(2)/θ)*w*δx^＝(29.9726/88.7)*2560*0.1＝86.5049
[0093][0094]
这里只列举了k＝2时刻第2个目标s2在显示器中的坐标位置估计过程，第k时刻第m个 目标sm在显示器中的坐标位置(xm^(k),ym^(k))估计均可通过本发明方法获取，以实现雷达 arpa目标和cctv识别船舶目标的融合。