一种船载雷达、AIS与视频数据关联与融合方法及系统

本发明涉及多源数据融合与船舶辅助驾驶技术，具体涉及一种船载雷达、ais与视频数据关联与融合方法及系统。

背景技术：

1、随着航运业向智能化方向发展，船舶在复杂水域中的安全航行与自主避碰，对本船周围通航环境的全面、精准感知提出了极高要求。在现有的船载感知系统中，ais（automatic identification system，船舶自动识别系统）、船载雷达和视觉传感器是常用的核心设备。ais能够提供船舶的身份识别信息与动态运动数据；雷达能够获取目标的精确相对位置及距离，并具备探测非协作目标的能力；视觉传感器则能够提供包含丰富纹理、颜色及轮廓特征的二维图像信息，直观反映通航环境与船舶外观特征。

2、然而，上述单一传感器在实际应用中均存在明显局限性；ais在数据更新频率与非协作目标探测方面具有局限性；雷达的数据更新受环境噪声影响较大，且无法获得目标的身份信息；视觉传感器在缺乏地理空间参考的情况下，难以直接获取目标的精确经纬度、航速及身份属性，且易受光照变化、恶劣天气及水面反射等环境因素干扰。单一传感器获取的数据难以独立满足驾驶人员对现场环境进行准确、全方位评估的需求。因此，将ais、雷达的物理位置探测能力与视觉传感器提供的直观图像信息相结合，能够形成显著的优势互补。通过多源数据融合，不仅能弥补单一传感器的数据盲区，提升系统对周围船舶的整体感知能力，还能将位置感知数据中目标船舶的关键身份信息与动态信息叠加显示在视频监控画面的对应目标上。这种融合方式能够满足驾驶人员对现场通航环境进行可视化确认的需求，直观展现潜在通航风险，为辅助船舶操纵人员进行安全决策提供更全面的态势支持。现有技术中，分别已有ais与雷达、ais与视频、雷达与视频的两两关联融合方法，然而仅融合两种传感器的数据，仍然存在以下问题：第一、多源数据在实际航行中易发生信号丢失或源切换，现有融合算法在应对数据源更迭时缺乏平滑的过渡处理机制，导致目标航迹极易发生位置突变与断裂；第二、视觉图像与雷达、ais位置数据存在跨模态异构性，传统的坐标投影匹配法对船体姿态变化极为敏感，导致产生巨大的像素位置漂移与对齐误差；第三、复杂水域中船舶交会重叠频繁，传统方法仅依赖单一方位角特征，极易产生方向歧义与目标混淆，导致密集场景下关联融合结果错配率高且鲁棒性差。

3、综上，现有多源数据关联技术存在的核心技术问题为：现有融合算法在多源数据信号抖动时无法平滑过渡、船体因姿态变化使得异构的跨模态数据匹配误差大、密集场景下关联融合错配率高。

技术实现思路

1、有鉴于此，有必要提供一种船载雷达、ais与视频数据关联与融合方法及系统，用以解决现有技术中存在的多源数据信号抖动时无法平滑过渡和密集场景下关联融合错配率高等技术问题。

2、为了解决上述技术问题，第一方面，本发明提供了一种船载雷达、ais与视频数据关联与融合方法，用于对船舶目标进行多源匹配，包括：

3、获取时空对齐的雷达数据、ais数据和包括目标船的视频数据；

4、构建表征所述ais数据和所述雷达数据关联可能性的候选关联代价矩阵并求解，得到匹配目标与单源目标；

5、为所述匹配目标与单源目标建立包括ais-雷达双源有效、ais单源、雷达单源和源切换的数据源状态标识；在所述ais-雷达双源有效状态时将ais数据和雷达数据融合，在所述ais单源状态或所述雷达单源状态时保持当前单源数据作为航迹输出，在所述源切换状态时采用时效衰减进行航迹拼接，得到ais-雷达连续融合航迹；

6、依据所述ais-雷达连续融合航迹，确定目标的相对真实方位角；依据所述视频数据确定目标的相对视觉方位角；基于所述相对真实方位角与所述相对视觉方位角的方位角偏差和目标相对于本船的相对距离构建综合关联代价矩阵并求解，得到视频目标与所述ais-雷达连续融合航迹最优匹配的多源目标融合结果。

7、在一种可能的实现方式中，所述构建表征所述ais数据和所述雷达数据关联可能性的候选关联代价矩阵并求解，得到匹配目标与单源目标，包括：

8、分别基于所述ais数据和所述雷达数据构建ais目标集合和雷达目标集合，并依据所述ais目标集合和雷达目标集合构建ais-雷达目标对；

9、筛选出同时满足预设空间距离差、预设航速差、预设航向差和预设相对方位差的所述ais-雷达目标对，得到候选目标关联对；

10、基于所述候选目标关联对的空间距离、速度、航向、方位、时间外推误差和数据质量构建候选关联代价矩阵；

11、采用匈牙利算法对所述候选关联代价矩阵进行全局最优分配求解，得到并输出ais-雷达匹配目标、ais单源目标和雷达单源目标；所述ais-雷达匹配目标输出时还包括对应的关联置信度。

12、在一种可能的实现方式中，所述为所述匹配目标与单源目标建立包括ais-雷达双源有效、ais单源、雷达单源和源切换的数据源状态标识，还包括：

13、维护所有目标的目标状态向量；所述目标状态向量包括当前时刻的目标编号、数据源状态、最近一次双源融合时间、历史融合航迹集合、关联置信度。

14、在一种可能的实现方式中，所述在所述ais-雷达双源有效状态时将ais数据和雷达数据融合，包括：

15、基于全球导航定位系统的固有观测噪声确定ais测量误差；基于雷达固有的测量误差和本船与目标的距离误差确定雷达测量误差；

16、依据所述ais测量误差和所述雷达测量误差，采用方差最小化原则确定ais动态融合权重和雷达动态融合权重；

17、根据ais原始轨迹点、ais原始轨迹点对应的所述ais动态融合权重、雷达原始轨迹点、雷达原始轨迹点对应的所述雷达动态融合权重进行加权求和，得到当前ais-雷达双源观测融合点；依据所述关联置信度、所述ais测量误差和所述雷达测量误差生成ais-雷达融合航迹置信度。

18、在一种可能的实现方式中，所述源切换状态的判定方法为：基于当前时刻ais数据与雷达数据的关联结果确定当前源状态，当当前源状态相对于上一时刻源状态发生变化时，判定目标进入源切换状态；所述源切换状态包括ais-雷达双源有效状态切换为ais单源状态或雷达单源状态，以及ais单源状态或雷达单源状态切换为ais-雷达双源有效状态；所述在所述源切换状态时采用时效衰减进行航迹拼接，包括：

19、对当前时刻的前两个ais-雷达连续融合航迹点采用线性外推法，得到当前时刻的历史预测航迹点；

20、对于所述ais-雷达双源有效状态切换为ais单源状态或雷达单源状态的源切换状态：将当前ais观测点或当前雷达观测点作为当前单源观测航迹点，构建与源切换持续时间相关的时效衰减权重函数，并依据所述历史预测航迹点、所述时效衰减权重函数、所述当前单源观测航迹点及其对应的单源数据权重进行加权求和，得到当前时刻的拼接航迹点；

21、对于所述ais单源状态或雷达单源状态切换为ais-雷达双源有效状态的源切换状态：先对当前ais观测点和当前雷达观测点进行基于距离的自适应加权，得到当前ais-雷达双源观测融合点，再依据所述历史预测航迹点、所述时效衰减权重函数、所述当前ais-雷达双源观测融合点及其对应的双源融合权重进行加权求和，得到当前时刻的拼接航迹点；

22、当所述源切换状态的持续时间达到预设源切换时间阈值，或所述时效衰减权重低于预设权重阈值时，退出源切换状态，并进入对应的ais单源状态、雷达单源状态或ais-雷达双源有效状态。

23、在一种可能的实现方式中，所述ais-雷达连续融合航迹至少包括：目标编号、目标经纬度、拼接航迹点、当前数据源状态、所述ais-雷达融合航迹置信度。

24、在一种可能的实现方式中，所述依据所述ais-雷达连续融合航迹，确定目标的相对真实方位角，包括：

25、通过标准的球面几何模型，基于当前时刻本船经纬度和目标经纬度确定目标相对于本船的真方位角；

26、将所述真方位角与本船船艏向角作差，得到本船视角下目标的相对真实方位角。

27、在一种可能的实现方式中，所述视频数据通过视觉传感器获取，所述视觉传感器相对于本船坐标系完成安装参数标定，根据标定得到的光学主轴相对船艏方向的安装偏角和/或横向安装偏移对图像中的船艏参考线进行校正；所述视频数据的画面几何中轴线等效为本船的航向参考线；所述依据所述视频数据确定目标的相对视觉方位角，包括：

28、对所述视频数据中的目标船进行目标检测，得到目标检测框；将目标的目标检测框底边中点的横坐标作为该目标在画面中的水平参考锚点，依据所述水平参考锚点和所述画面几何中轴线的横坐标差值确定目标锚点偏离中轴线的像素距离；

29、基于所述视觉传感器的等效物理焦距和所述目标锚点偏离中轴线的像素距离将目标的二维像素特征映射为三维的相对视觉方位角。

30、在一种可能的实现方式中，所述基于所述相对真实方位角与所述相对视觉方位角的方位角偏差和目标相对于本船的相对距离构建综合关联代价矩阵并求解，得到视频目标与所述ais-雷达连续融合航迹最优匹配的多源目标融合结果，包括：

31、基于最小圆周角距离确定所述相对真实方位角与所述相对视觉方位角的方位角偏差；

32、通过经纬度确定目标与本船的实际距离，将所述目标与本船的实际距离与预设最大观测距离的比值作为目标与本船的相对真实距离系数；通过视频目标检测框底边中点的纵坐标和画面高度像素确定目标与本船的相对视觉距离系数；基于所述相对真实距离系数和所述相对视觉距离系数构建距离特征偏差；

33、将所述方位角偏差和所述距离特征偏差加权融合，得到综合关联代价矩阵；将所述综合关联代价矩阵中超出预设范围的元素赋为无穷大，得到更新的综合关联代价矩阵；

34、采用匈牙利算法对所述更新的综合关联代价矩阵进行全局最优分配求解，得到视频目标与所述ais-雷达连续融合航迹最优匹配的目标匹配结果；

35、基于所述目标匹配结果将所述ais-雷达连续融合航迹中的信息叠加至所述视频目标，得到多源目标融合结果。

36、第二方面，本发明还提供一种船载雷达、ais与视频数据关联与融合系统，包括：

37、ais接收机，用于接收本船周围目标广播的ais数据；

38、船载雷达，用于探测本船周围目标的雷达数据；

39、视频传感器，用于采集本船正前方的视频数据；

40、罗经，用于提供本船的实时船艏向角；

41、gnss接收机，用于提供本船的经纬度、对地航速和对地航向；

42、存储器，用于存储程序及所述ais数据、所述雷达数据、所述视频数据、所述实时船艏向角、所述本船的经纬度、对地航速和对地航向；

43、处理器，分别与所述ais接收机、所述船载雷达、所述视频传感器通信连接且与所述存储器耦合，用于执行所述存储器中存储的程序，以实现上述任意实现方式中所述的船载雷达、ais与视频数据关联与融合方法中的步骤；

44、显示器，与所述处理器耦合，用于输出将ais-雷达连续融合航迹中的信息叠加至视频目标的多源目标融合结果。

45、本发明的有益效果是：本发明提供的船载雷达、ais与视频数据关联与融合方法，首先通过获取时空对齐的雷达数据、ais数据和包括目标船的视频数据，消除了不同传感器在空间描述基准与采样时间上的差异，为后续多源数据关联奠定了统一的时空基础；其次，通过构建表征ais数据和雷达数据关联可能性的候选关联代价矩阵并求解，得到匹配目标与单源目标，有效避免了局部最近邻匹配在密集场景下易发生的错配问题，显著提高了异构传感器间的关联准确率；接着，为匹配目标与单源目标建立包括ais-雷达双源有效、ais单源、雷达单源和源切换的数据源状态标识，在ais-雷达双源有效状态时将ais数据和雷达数据融合，在ais单源状态或雷达单源状态时保持当前单源数据作为航迹输出，在源切换状态时采用时效衰减进行航迹拼接，得到ais-雷达连续融合航迹，从而在数据源发生丢失或恢复时实现软切换，有效抑制了目标航迹的位置突变与断裂，保障了输出航迹的平滑性与连续性；最后，依据ais-雷达连续融合航迹确定目标的相对真实方位角，同时依据视频数据确定目标的相对视觉方位角，并基于方位角偏差与相对距离构建综合关联代价矩阵进行全局最优求解，将双重空间特征引入跨模态匹配，克服了传统单一特征在船舶交会重叠场景下的方向歧义问题，显著提升了视频目标与融合航迹最优对应的准确性与鲁棒性，最终将位置、身份等信息叠加至视频目标，为船舶智能感知与避碰决策提供直观、全面、可靠的态势支持。