船舶信息匹配方法及装置与流程

1.本发明涉及船舶检测领域，尤其涉及一种船舶信息匹配方法及装置。


背景技术：

2.在航道ar监控系统中，需要知晓监控系统中经过的每个船舶的船舶名称，并将其记录在监控系统中。在大尺寸的全景相机中，无法看清船牌，从而无法快速有效的识别经过航道的船舶的船舶名称，进而也就无法及时得知船舶对应的其它信息，这会影响监控系统对船舶监控的准确性及效率。
3.针对现有技术中无法及时、准确获知监控画面中的船舶相应信息的问题，目前还没有一个有效的解决方案。


技术实现要素：

4.为解决上述问题，本发明通过实时获取经过卡口的船舶图像，经过一系列计算将船舶的ais信息与监控图像中的对应船舶联系起来，得到监控图像中每个船舶的信息，以解决现有技术中船舶匹配准确度不高、识别效率低的问题。
5.为达到上述目的，本发明实施例提供了一种船舶信息匹配方法，包括：s1、实时获取当前图像，预先获取当前图像对应的地图图像；s2、识别所述当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框；其中，所述关联图像为在当前图像前获取的具有同一船舶的图像；s3、根据所述关联图像判断所述目标船舶是否为匹配船舶，若否，则将所述目标船舶标记为未匹配船舶，并对所述第一目标框及第二目标框中的图像分别进行直线提取，得到每个目标框中未匹配船舶与水面交界的下缘线段，提取每个下缘线段的左端点、右端点及中点；若是，则仅计算所述当前图像中下缘线段对应的中点，将中点记录；s4、根据第一目标框及多个第二目标框对应的中点运动轨迹，计算所述未匹配船舶的估计航向；s5、将所述地图图像进行透视变换，得到标定图像，采用morphing算法计算所述当前图像与所述标定图像的映射关系；s6、根据所述映射关系及所述标定图像，得到所述当前图像对应下缘线段的左端点的第一经纬度坐标及右端点的第二经纬度坐标；s7、根据最近时刻获取的船舶ais信息，计算当前图像获取时刻真实船舶的实际经纬度坐标和实际航向；s8、根据实际经纬度坐标、第一经纬度坐标、第二经纬度坐标、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到所述未匹配船舶的匹配结果，并将未匹配船舶标记为匹配船舶。
6.进一步可选的，所述采用morphing算法计算所述当前图像与所述标定图像的映射关系，包括：s501、预先在所述标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点，分别在所述标定图像的背景中及当前图像的背景中连接多个标定点，将对应图像的背景划分为多个三角区域；其中，所述标定图像中标定点间的连线为直线段，所述当前图像中标定点间的连线为折线段，每个折线段由点集组成；s502、对于当前图像中任一像素
点x，根据当前图像的背景确定其落入的三角区域efg；s503、根据三角区域efg及标定图像的背景确定标定图像中对应的三角区域，根据线对、、和点集、、计算标定图像中对应的点。
7.进一步可选的，所述在当前图像的背景中连接多个标定点，包括：s5011、提取所述标定图像的背景中所有可以构成路径的标定点，通过线对和计算间点在所述当前图像的背景上的投影，得到点集；s5012、连接所述点集中的各点，作为折线段；s5013、重复步骤s5011-s5012，计算当前图像的背景中所有连线对应的折线段及点集。
8.进一步可选的，所述根据实际经纬度坐标、第一经纬度坐标、第二经纬度坐标、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到所述未匹配船舶的匹配结果，包括：s801、将所述当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴；s802、在所述经纬度坐标系中，将未匹配船舶根据估计航向投影到距离最近的航道坐标轴，得到第一经纬度坐标对应的第三经纬度坐标，第二经纬度坐标对应的第四经纬度坐标；s803、在所述经纬度坐标系中，将真实船舶根据实际航向投影到距离最近的航道坐标轴，得到实际经纬度坐标对应的第五经纬度坐标；s804、取为未匹配船舶至真实船舶的权值，采用km算法计算最小权完备匹配，得到未匹配船舶的匹配结果。
9.进一步可选的，所述取为未匹配船舶至真实船舶的权值之前，包括：s805、根据计算误差值在所述经纬度坐标系中确定每条航道坐标轴的最优范围；s806、根据所述中点运动轨迹计算未匹配船舶的估计航速；根据所述估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向；根据所述未匹配船舶的第三经纬度坐标及第四经纬度坐标判断所述未匹配船舶是否位于对应航道坐标轴的最优范围内；若所述未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向，则该未匹配船舶参与权值计算；否则，不参与权值计算；s807、根据所述船舶ais信息确定真实船舶的实际航速；根据所述实际航向确定真实船舶在对应航道坐标轴上的行驶方向；根据所述真实船舶的第五经纬度坐标确定所述真实船舶是否位于对应航道的最优范围内；若所述真实船舶位于对应航道坐标轴的最优范围内、实际航速不为0且行驶方向为驶入方向，则该真实船舶参与权值计算；否则，不参与权值计算。
10.另一方面，本发明还提供一种船舶信息匹配装置，包括：数据获取模块，用于实时获取当前图像，预先获取当前图像对应的地图图像；船舶识别模块，用于识别所述当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框；其中，所述关联图像为在当前图像前获取的具有同一船舶的图像；下缘线段提取模块，用于根据所述关联图像判断所述目标船舶是否为匹配船舶，若否，则将所述目标船舶标记为未匹配船舶，并对所述第一目标框及第二目标框中的图像分别进行直线提取，得到每个目标框中未匹配船舶
与水面交界的下缘线段，提取每个下缘线段的左端点、右端点及中点；若是，则仅计算所述当前图像中下缘线段对应的中点，将中点记录；估计航向计算模块，用于根据第一目标框及多个第二目标框对应的中点运动轨迹，计算所述未匹配船舶的估计航向；映射关系计算模块，用于将所述地图图像进行透视变换，得到标定图像，采用morphing算法计算所述当前图像与所述标定图像的映射关系；经纬度确定模块，用于根据所述映射关系及所述标定图像，得到所述当前图像对应下缘线段的左端点的第一经纬度坐标及右端点的第二经纬度坐标；真实船舶信息计算模块，用于根据最近时刻获取的船舶ais信息，计算当前图像获取时刻真实船舶的实际经纬度坐标和实际航向；信息匹配模块，用于根据实际经纬度坐标、第一经纬度坐标、第二经纬度坐标、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到所述未匹配船舶的匹配结果，并将未匹配船舶标记为匹配船舶。
11.进一步可选的，所述映射关系计算模块包括：预标定子模块，用于预先在所述标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点，分别在所述标定图像的背景中及当前图像的背景中连接多个标定点，将对应图像的背景划分为多个三角区域；其中，所述标定图像中标定点间的连线为直线段，所述当前图像中标定点间的连线为折线段，每个折线段由点集组成；区域确定子模块，用于对于当前图像中任一像素点x，根据当前图像的背景确定其落入的三角区域efg；映射关系计算子模块，用于根据三角区域efg及标定图像的背景确定标定图像中对应的三角区域，根据线对、、和点集、、计算标定图像中对应的点。
12.进一步可选的，所述预标定子模块包括：点集生成单元，用于提取所述标定图像的背景中所有可以构成路径的标定点，通过线对和计算间点在所述当前图像的背景上的投影，得到点集；连线单元，用于连接所述点集中的各点，作为折线段；循环单元，用于控制重复点集生成单元及连线单元的操作，计算当前图像的背景中所有连线对应的折线段及点集。
13.进一步可选的，所述信息匹配模块包括：转化子模块，用于将所述当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴；第一投影坐标计算子模块，用于在所述经纬度坐标系中，将未匹配船舶根据估计航向投影到距离最近的航道坐标轴，得到第一经纬度坐标对应的第三经纬度坐标，第二经纬度坐标对应的第四经纬度坐标；第二投影坐标计算子模块，用于在所述经纬度坐标系中，将真实船舶根据实际航向投影到距离最近的航道坐标轴，得到实际经纬度坐标对应的第五经纬度坐标；全局匹配子模块，用于取为未匹配船舶至真实船舶的权值，采用km算法计算最小权完备匹配，得到未匹配船舶的匹配结果。
14.进一步可选的，所述信息匹配模块还包括：最优范围确定子模块，用于根据计算误差值在所述经纬度坐标系中确定每条航道坐标轴的最优范围；第一过滤子模块，用于根据所述中点运动轨迹计算未匹配船舶的估计航速；根据所述估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向；根据所述未匹配船舶的第三经纬度坐标及第四经纬度坐标
600-经纬度确定模块700-真实船舶信息计算模块800-信息匹配模块8001-转化子模块8002-第一投影坐标计算子模块8003-第二投影坐标计算子模块8004-全局匹配子模块8005-最优范围确定子模块8006-第一过滤子模块8007-第二过滤子模块。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.为解决现有技术中船舶信息匹配准确度不高、匹配效率低的问题，本发明实施例提供了一种船舶ais信息匹配方法，图1是本发明实施例提供的船舶信息匹配方法的流程图，如图1所示，该方法包括：s1、实时获取当前图像，预先获取当前图像对应的地图图像；从大尺寸全景相机中实时获取监控图像，将该图像记为当前图像。
20.作为一种可选的实施方式，当前图像为像素大小5520*2400，画面角度为270
°
。
21.作为一种可选的实施方式，预先在监控图像所在区域进行人工标记，得到计算区域。该计算区域为边数在10以内的多边形。例如，在岸边具有建筑物的情况下，只划定部分水上区域。计算区域可根据历史计算误差进行划定，也可根据经验人工划定，以保证驶入计算区域的船舶计算精度更高。指定船只行驶区域及计算误差允许区域，以排除较远处、岸上建筑物对计算的干扰。
22.由于全景相机中监控区域不变，因此可预先根据该监控区域寻找到对应的地图图像，在计算时加载该地图图像进行后续经纬度计算。
23.作为一种可选的实施方式，地图图像可采用goole地图数据，百度地图数据等，本实施例在此不做限制。
24.s2、识别当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框；其中，关联图像为在当前图像前获取的具有同一船舶的图像；获取当前图像后，对当前图像进行人工智能识别，得到目标船舶对应的目标框。由于同一时段可能会有不止一艘船舶驶入画面，因此当前图像中可能识别出多个目标船舶，对应有多个船舶的目标框。
25.本实施例会在若干帧之间，对每个船舶进行追踪，得到追踪情况。具体的：对采集到的多帧图像（通常为10帧，帧率为5-10之间），进行人工智能识别，获取每一帧对应的目标框，记为。中应至少有两个点处于计算区域内，否则滤去该目标框，对于滤去部分目标框后的多帧图像，将当前帧与上一帧进行对比计算，若某目标框的重心点和前一帧中某目标框的重心点的欧式距离小于给定阈值，则认为两个目标框指向同一船舶，将指向同一船舶的图像记为该目标船舶的关联图像，关联图像中目标船舶所在的目标框为第二目标框。关联图像可以为一张也可以为多张。
26.采用同样的方法，判断当前图像的目标框中的目标船舶是否与第二目标框中的目标船舶为同一船舶，若是，将当前图像的目标框记为第一目标框：
其中，为目标框左上角像素坐标，为目标框右下角像素坐标，以画面左上角为原点。
27.作为一种可选的实施方式，对于任一目标船舶，指向的船舶都未再出现，则认为消失。以排除船只相互遮挡、岸边建筑物遮挡等因素带来的干扰。
28.作为一种可选的实施方式，为了避免人工智能在船舶重叠时产生的误报，例如偶尔会将两艘重叠的船识别为三艘，作为一种可选的实施方式，仅采用在60帧内90%（经验值，可根据航道情况不同而调整）以上帧均出现的船舶参与后续的经纬度计算。
29.作为一种可选的实施方式，对于任一目标船舶，取其对应的目标框中面积最大的目标框中的图像作为该船舶的摄像留证。
30.s3、根据关联图像判断目标船舶是否为匹配船舶，若否，则将目标船舶标记为未匹配船舶，并对第一目标框及第二目标框中的图像分别进行直线提取，得到每个目标框中未匹配船舶与水面交界的下缘线段，提取每个下缘线段的左端点、右端点及中点，转入步骤s4；若是，则仅计算当前图像中下缘线段对应的中点，将中点记录；根据关联图像，也即船舶追踪情况判断当前图像中的目标船舶是否为匹配船舶。若该船舶并非匹配船舶，将其标记为未匹配船舶，进行下缘线段对应的端点提取后参与后续匹配。若当前图像中的目标船舶为匹配船舶，则仅提取当前图像中下缘线段对应的中点，将中点记录，作为当前图像中目标船舶的位置，且不参与后续匹配。
31.下缘线段提取过程如下：从当前图像中提取出第一目标框范围内的图像，对其进行二值化处理，并使用canny算子和霍夫变换进行直线提取，取端点y值最大的线段作为该目标框内船舶和水面接触的下缘位置，记为下缘线段：由于船舶的信号发送设备可能装在船头也可能装在船尾，因此需要取该下缘线段的左端点，及右端点，和所指向的位置范围均可能对应船舶ais中的经纬度。此外，还需提取该下缘线段的中点。其中，左端点、右端点及中点均对应有像素点坐标。
32.对于关联图像均采用上述方法进行下缘线段提取，并计算对应图像下缘线段的左端点、右端点及中点。
33.s4、根据第一目标框及多个第二目标框对应的中点运动轨迹，计算未匹配船舶的估计航向；对于每个未匹配船舶，综合其对应的多幅图像的目标框提取的下缘线段的中点变化情况，计算该未匹配船舶的估计速度和估计航向。
34.作为一种可选的实施方式，对于船舶航向变化巨大的、或相邻帧对应的中点欧式距离小于预设距离的，认为船舶停泊在此处，航速为0。
35.其中，预设距离为20个像素，可根据经验人工设定，且该值根据实际画面尺寸及画面中船舶占比的不同可随时调整。
36.s5、将地图图像进行透视变换，得到标定图像，采用morphing算法计算当前图像与标定图像的映射关系；图像融合领域中的传统morphing技术指将图像a光滑连续地变换到目标图像d，使得过渡过程中即保留a的特征又保留d的特征（常用于三维、动画、设计等领域）。可以认为该过程实际是在计算指定阶段图像a中的像素将变换至图像d的何种位置。则，当图像a完全变化至图像d，认为此时是图像a至图像d的映射。
37.现在，对任一地图，由于计算区域较小，忽略地形差异；同时为了变换方便，对地图进行透视变化，以粗略地匹配实际相机图像，最终达到经纬度
→
像素的转变，将透视变换后的必定图像记为图像d，记透视变换为3*3的矩阵t。
38.将地图图像进行透视变换可记为：其中，为地图图像中的经纬度坐标，为标定图像中的像素点坐标。
39.透视变换后的标定图像每个像素点均对应有经纬度坐标。
40.将从大尺寸全景相机中获取的当前图像记为图像a。
41.使用morphing技术，计算图像a至图像d的映射关系：s6、根据映射关系及标定图像，得到当前图像对应下缘线段的左端点的第一经纬度坐标及右端点的第二经纬度坐标；通过图像d的经纬度坐标
→
像素的逆过程，可最终获得图像a上任意像素点的经纬度，即该过程描述为图像a像素
→
图像d像素
→
经纬度。
42.此时，当前图像a中每个像素点均对应有经纬度，因此其对应的下缘线段的左端点和右端点可根据各自的像素坐标得到对应的经纬度坐标，分别记为第一经纬度坐标及第二经纬度坐标。
43.s7、根据最近时刻获取的船舶ais信息，计算当前图像获取时刻真实船舶的实际经纬度坐标和实际航向；采用ais基站获取指定范围内的船舶ais信息，包括船舶的经纬度、航向、信息发送时间等信息。根据信息发送时的经纬度、航向及航速信息，可以计算指定时间的实际经纬度及实际航向，本实施例中计算获取当前图像时刻的真实船舶实际经纬度和实际航向。
44.当然，某一时刻获取的ais信息可能为一条也可能为多条，本实施例获取指定范围内所有船舶ais信息用于后续匹配操作。
45.s8、根据实际经纬度坐标、第一经纬度坐标、第二经纬度坐标、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到未匹配船舶的匹配结果，并将未匹配船舶标记为匹配船舶。
46.根据当下至少一个真实船舶的实际经纬度坐标、实际航向、至少一个未匹配船舶对应的第一经纬度坐标、第二经纬度坐标及估计航向进行全局匹配，得到每个未匹配船舶对应的ais信息，即本实施例中的未匹配船舶的匹配结果。
47.未匹配船舶匹配后标记为匹配船舶，当下一次采集到该船舶对应的图像时，当前图像作为关联图像，对应匹配船舶的标记，此时只识别该船舶在图像中的位置，并不参与后续匹配。
48.作为一种可选的实施方式，在全景相机的实时画面中的处标识匹配后船舶的具体信息，包括识别结果（真实船只的ais九位码、速度、航向等）、照片留证或其他检测信息，以便于监管人员监控河道情况。
49.作为一种可选的实施方式，采用morphing算法计算当前图像与标定图像的映射关系，包括：s501、预先在标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点，分别在标定图像的背景中及当前图像的背景中连接多个标定点，将对应图像的背景划分为多个三角区域；其中，标定图像中标定点间的连线为直线段，当前图像中标定点间的连线为折线段，每个折线段由点集组成；s502、对于当前图像中任一像素点x，根据当前图像的背景确定其落入的三角区域efg；s503、根据三角区域efg及标定图像的背景确定标定图像中对应的三角区域，根据线对e'f'、f'g'、g'e'和点集p
ef
、p
fg
、p
ge
计算标定图像中对应的点。
50.基于线对的morphing技术，首先对防区进行标定，即标定图像d的背景与当前图像a的背景在防区内的若干个标定点的映射关系。人工按照航道情况，连接标定点，使之尽量分割区域为三角形区域。其中，防区根据上述计算区域进行设定，可略大于计算区域的划定范围。由于全景相机监控范围固定，因此可预先在当前图像的背景画面、及标定图像的背景画面上进行若干标定点的标定，之后再将标定关系对应标定在当前图像及标定图像中，以计算任意像素点落入的三角区域。
51.参见图3，图中箭头左侧图像为目标图像，箭头右侧图像为源图像，传统的基于线对的morphing算法逻辑描述为：根据目标图像中的点x、向量p1q1及原图像中的向量p1'q1'计算出x1'；具体的，x1'通过x相对于向量的距离v和x在向量pq上的投影点至q的距离u确定；同理，根据目标图像中的点x、向量p2q2及原图像中的向量p2'q2'计算出x2'；然后通过加权平均的方法，求出x'。
52.其中，权值wn的计算方法为通过点x到线段p
nqn
的距离成反比的函数计算：
其中lengthn表示线段的长度，distn表示点x到线段p
nqn
的最短距离。a，b，p为常数，可以选择p=0，a=1，b=2。
53.相较于传统基于线对的图像morphing中，后续计算将存在如下差别：1、结果中标定点的偏移尽量小；2、线对数远多于传统方式，但大部分线对对于点不产生太大的影响，可以不计入计算；3、在标定图像d中某直线段如pq，对应的当前图像a中的并非简单看做线段。因为镜头畸变的存在，更应被描述为曲线段，由于标定点距离较近，因此在本实施例中可近似为折线段，则需要额外计算的形状，以描述图像a中所表示的结构。每个折线段均由点集组成。
54.当前图像a中的所求点x落在某计算三角形区域efg中，则使用线对：线段、、和点集、、计算对应图像d中的点。
55.此时，参见图4、图5，当前图像a中x对于ef的垂直距离，变为点集中距离x最近的点到x的距离；变为折线段的总长比值。
56.作为一种可选的实施方式，在当前图像的背景中连接多个标定点，包括：s5011、提取标定图像的背景中所有可以构成路径pmnq的标定点mn，通过线对pmn和qmn计算pq间点在当前图像的背景上的投影，得到点集p
p'q'
；s5012、连接点集p
p'q'
中的各点，作为折线段p'q'；s5013、重复步骤s5011-s5012，计算当前图像的背景中所有连线对应的折线段及点集。
57.参见图7、图8，改良算法后的计算如下：对任意标定点对和，取图中所有可以构成路径的的点，则通过线对和计算间点在图像a上的投影获得点集。
58.连接中各点，作为折线段。
59.计算图像a中所有线段对应的折线段点集和折线段。
60.作为一种可选的实施方式，根据实际经纬度坐标、第一经纬度坐标、第二经纬度坐标、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到未匹配船舶的匹配结果，包括：s801、将当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴；s802、在经纬度坐标系中，将未匹配船舶根据估计航向投影到距离最近的航道坐标轴，得到第一经纬度坐标对应的第三经纬度坐标，第二经纬度坐标对应的第四经纬度坐标；
s803、在经纬度坐标系中，将真实船舶根据实际航向投影到距离最近的航道坐标轴，得到实际经纬度坐标对应的第五经纬度坐标；s804、取为未匹配船舶至真实船舶的权值，采用km算法计算最小权完备匹配，得到未匹配船舶的匹配结果。
61.将当前图像中的多条航道根据航道方向，例如一个四条航道交汇的区域，将航道抽象成如图11所示的检测范围内的经纬度坐标系，该经纬度坐标系中的每根坐标轴均对应一条实际的航道。其中，箭头代表驶入方向，坐标轴外的点为未匹配船舶或真实船舶，在坐标轴上的点为对应的投影点。
62.作为一种可选的实施方式，根据历史船舶行驶路径选择航行概率最高的路线作为经纬度坐标系中的对应航道坐标轴。
63.根据航道方向，抽象检测范围内的经纬度坐标系，其中部分航向为离开防区方向，另一部分则为进入防区方向。分别将未匹配船舶和真实船舶根据对应的航向及经纬度坐标就近投影到对应航道上从而获得第三经纬度坐标、第四经纬度坐标和第五经纬度坐标。
64.必然落在线段必然落在线段上，且取最小为未匹配船舶至真实船舶的权值，使用km算法求最小权完备匹配，从而在至少一个未匹配船舶与至少一个真实船舶中，得到每个未匹配船舶对应的真实船舶，将真实船舶对应的ais信息与对应未匹配船舶进行联系，得到未匹配船舶的匹配结果。
65.作为一种可选的实施方式，取为未匹配船舶至真实船舶的权值之前，包括：s805、根据计算误差值在经纬度坐标系中确定每条航道坐标轴的最优范围；s806、根据中点运动轨迹计算未匹配船舶的估计航速；根据估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向；根据未匹配船舶的第三经纬度坐标及第四经纬度坐标判断未匹配船舶是否位于对应航道坐标轴的最优范围内；若未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向，则该未匹配船舶参与权值计算；否则，不参与权值计算；s807、根据船舶ais信息确定真实船舶的实际航速；根据实际航向确定真实船舶在对应航道坐标轴上的行驶方向；根据真实船舶的第五经纬度坐标确定真实船舶是否位于对应航道的最优范围内；若真实船舶位于对应航道坐标轴的最优范围内、实际航速不为0且行驶方向为驶入方向，则该真实船舶参与权值计算；否则，不参与权值计算。
66.参见图11，每条航道对应的航道坐标轴上均有一个最优范围。由于越远离镜头处由于像素的精度有限，导致计算误差越大，而越靠近镜头处由于镜头的畸变，导致计算误差越大。即船舶进入防区后，总是经历计算误差减小
→
计算误差增大这一过程，根据实际情况，可以在经纬度坐标系上为每个航向标定最优范围（范围内经纬度计算误差小于40米，40米为经验的船舶平均长度），则每次匹配，仅匹配所有驶入最优范围且驶向镜头的
船只，从而提高匹配精度与匹配效率。其中，驶向镜头方向即为坐标轴上的驶入方向。
67.其中，计算误差值可根据经验确定，也可根据累积的历史计算误差确定，从而标定出计算精确度较高的每条航道的最优范围。
68.作为一种可选的实施方式，对于停泊区（船只停泊时可能关闭ais），在船只停泊之前（有速度）才进行匹配，停泊之后（无速度）不进行匹配。
69.本发明实施例还提供了一种船舶信息匹配装置，图12是本发明实施例提供的船舶信息匹配装置结构示意图，如图12所示，该装置包括：数据获取模块100，用于实时获取当前图像，预先获取当前图像对应的地图图像；从大尺寸全景相机中实时获取监控图像，将该图像记为当前图像。
70.作为一种可选的实施方式，当前图像为像素大小5520*2400，画面角度为270
°
。
71.作为一种可选的实施方式，预先在监控图像所在区域进行人工标记，得到计算区域。该计算区域为边数在10以内的多边形。例如，在岸边具有建筑物的情况下，只划定部分水上区域。计算区域可根据历史计算误差进行划定，也可根据经验人工划定，以保证驶入计算区域的船舶计算精度更高。指定船只行驶区域及计算误差允许区域，以排除较远处、岸上建筑物对计算的干扰。
72.由于全景相机中监控区域不变，因此可预先根据该监控区域寻找到对应的地图图像，在计算时加载该地图图像进行后续经纬度计算。
73.作为一种可选的实施方式，地图图像可采用goole地图数据，百度地图数据等，本实施例在此不做限制。
74.船舶识别模块200，用于识别当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框；其中，关联图像为在当前图像前获取的具有同一船舶的图像；获取当前图像后，对当前图像进行人工智能识别，得到目标船舶对应的目标框。由于同一时段可能会有不止一艘船舶驶入画面，因此当前图像中可能识别出多个目标船舶，对应有多个船舶的目标框。
75.本实施例会在若干帧之间，对每个船舶进行追踪，得到追踪情况。具体的：对采集到的多帧图像（通常为10帧，帧率为5-10之间），进行人工智能识别，获取每一帧对应的目标框，记为。中应至少有两个点处于计算区域内，否则滤去该目标框，对于滤去部分目标框后的多帧图像，将当前帧与上一帧进行对比计算，若某目标框的重心点和前一帧中某目标框的重心点的欧式距离小于给定阈值，则认为两个目标框指向同一船舶，将指向同一船舶的图像记为该目标船舶的关联图像，关联图像中目标船舶所在的目标框为第二目标框。关联图像可以为一张也可以为多张。
76.采用同样的方法，判断当前图像的目标框中的目标船舶是否与第二目标框中的目标船舶为同一船舶，若是，将当前图像的目标框记为第一目标框：其中，为目标框左上角像素坐标，为目标框右下角像素坐标，以画面左上角为原点。
77.作为一种可选的实施方式，对于任一目标船舶，指向的船舶都未再出现，则
认为消失。以排除船只相互遮挡、岸边建筑物遮挡等因素带来的干扰。
78.作为一种可选的实施方式，为了避免人工智能在船舶重叠时产生的误报，例如偶尔会将两艘重叠的船识别为三艘，作为一种可选的实施方式，仅采用在60帧内90%（经验值，可根据航道情况不同而调整）以上帧均出现的船舶参与后续的经纬度计算。
79.下缘线段提取模块300，用于根据关联图像判断目标船舶是否为匹配船舶，若否，则将目标船舶标记为未匹配船舶，并对第一目标框及第二目标框中的图像分别进行直线提取，得到每个目标框中未匹配船舶与水面交界的下缘线段，提取每个下缘线段的左端点、右端点及中点；若是，则仅计算当前图像中下缘线段对应的中点，将中点记录；根据关联图像，也即船舶追踪情况判断当前图像中的目标船舶是否为匹配船舶。若该船舶并非匹配船舶，将其标记为未匹配船舶，进行下缘线段对应的端点提取后参与后续匹配。若当前图像中的目标船舶为匹配船舶，则仅提取当前图像中下缘线段对应的中点，将中点记录，作为当前图像中目标船舶的位置，且不参与后续匹配。
80.下缘线段提取过程如下：从当前图像中提取出第一目标框范围内的图像，对其进行二值化处理，并使用canny算子和霍夫变换进行直线提取，取端点y值最大的线段作为该目标框内船舶和水面接触的下缘位置，记为下缘线段：由于船舶的信号发送设备可能装在船头也可能装在船尾，因此需要取该下缘线段的左端点，及右端点，和所指向的位置范围均可能对应船舶ais中的经纬度。此外，还需提取该下缘线段的中点。其中，左端点、右端点及中点均对应有像素点坐标。
81.对于关联图像均采用上述方法进行下缘线段提取，并计算对应图像下缘线段的左端点、右端点及中点。
82.估计航向计算模块400，用于根据第一目标框及多个第二目标框对应的中点运动轨迹，计算未匹配船舶的估计航向；对于每个未匹配船舶，综合其对应的多幅图像的目标框提取的下缘线段的中点变化情况，计算该未匹配船舶的估计速度和估计航向。
83.作为一种可选的实施方式，对于船舶航向变化巨大的、或相邻帧对应的中点欧式距离小于预设距离的，认为船舶停泊在此处，航速为0。
84.其中，预设距离为20个像素，可根据经验人工设定，且该值根据实际画面尺寸及画面中船舶占比的不同可随时调整。
85.映射关系计算模块500，用于将地图图像进行透视变换，得到标定图像，采用morphing算法计算当前图像与标定图像的映射关系；图像融合领域中的传统morphing技术指将图像a光滑连续地变换到目标图像d，使得过渡过程中即保留a的特征又保留d的特征（常用于三维、动画、设计等领域）。可以认为该过程实际是在计算指定阶段图像a中的像素将变换至图像d的何种位置。则，当图像a完全变化至图像d，认为此时是图像a至图像d的映射。
86.现在，对任一地图，由于计算区域较小，忽略地形差异；同时为了变换方便，对地图
进行透视变化，以粗略地匹配实际相机图像，最终达到经纬度
→
像素的转变，将透视变换后的必定图像记为图像d，记透视变换为3*3的矩阵t。
87.将地图图像进行透视变换可记为：其中，为地图图像中的经纬度坐标，为标定图像中的像素点坐标。
88.透视变换后的标定图像每个像素点均对应有经纬度坐标。
89.将从大尺寸全景相机中获取的当前图像记为图像a。
90.使用morphing技术，计算图像a至图像d的映射关系：经纬度确定模块600，用于根据映射关系及标定图像，得到当前图像对应下缘线段的左端点的第一经纬度坐标及右端点的第二经纬度坐标；通过图像d的经纬度坐标
→
像素的逆过程，可最终获得图像a上任意像素点的经纬度，即该过程描述为图像a像素
→
图像d像素
→
经纬度。
91.此时，当前图像a中每个像素点均对应有经纬度，因此其对应的下缘线段的左端点和右端点可根据各自的像素坐标得到对应的经纬度坐标，分别记为第一经纬度坐标及第二经纬度坐标。
92.真实船舶信息计算模块700，用于根据最近时刻获取的船舶ais信息，计算当前图像获取时刻真实船舶的实际经纬度坐标和实际航向；采用ais基站获取指定范围内的船舶ais信息，包括船舶的经纬度、航向、信息发送时间等信息。根据信息发送时的经纬度、航向及航速信息，可以计算指定时间的实际经纬度及实际航向，本实施例中计算获取当前图像时刻的真实船舶实际经纬度和实际航向。
93.当然，某一时刻获取的ais信息可能为一条也可能为多条，本实施例获取指定范围内所有船舶ais信息用于后续匹配操作。
94.信息匹配模块800，用于根据实际经纬度坐标、第一经纬度坐标、第二经纬度坐标、实际航向与估计航向，将未匹配船舶与真实船舶进行匹配，得到未匹配船舶的匹配结果，并将未匹配船舶标记为匹配船舶。
95.根据当下至少一个真实船舶的实际经纬度坐标、实际航向、至少一个未匹配船舶对应的第一经纬度坐标、第二经纬度坐标及估计航向进行全局匹配，得到每个未匹配船舶对应的ais信息，即本实施例中的未匹配船舶的匹配结果。
96.未匹配船舶匹配后标记为匹配船舶，当下一次采集到该船舶对应的图像时，当前图像作为关联图像，对应匹配船舶的标记，此时只识别该船舶在图像中的位置，并不参与后续匹配。
97.作为一种可选的实施方式，在全景相机的实时画面中的处标识匹配后船舶的具体信息，包括识别结果（真实船只的ais九位码、速度、航向等）、照片留证或其他检测信息，以便于监管人员监控河道情况。
98.作为一种可选的实施方式，图13是本发明实施例提供的映射关系计算模块的结构示意图，如图13所示，映射关系计算模块500包括：预标定子模块5001，用于预先在标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点，分别在标定图像的背景中及当前图像的背景中连接多个标定点，将对应图像的背景划分为多个三角区域；其中，标定图像中标定点间的连线为直线段，当前图像中标定点间的连线为折线段，每个折线段由点集组成；区域确定子模块5002，用于对于当前图像中任一像素点x，根据当前图像的背景确定其落入的三角区域efg；映射关系计算子模块5003，用于根据三角区域efg及标定图像的背景确定标定图像中对应的三角区域，根据线对、、和点集、、计算标定图像中对应的点。
99.基于线对的morphing技术，首先对防区进行标定，即标定图像d的背景与当前图像a的背景在防区内的若干个标定点的映射关系。人工按照航道情况，连接标定点，使之尽量分割区域为三角形区域。其中，防区根据上述计算区域进行设定，可略大于计算区域的划定范围。由于全景相机监控范围固定，因此可预先在当前图像的背景画面、及标定图像的背景画面上进行若干标定点的标定，之后再将标定关系对应标定在当前图像及标定图像中，以计算任意像素点落入的三角区域。
100.参见图3，图中箭头左侧图像为目标图像，箭头右侧图像为源图像，传统的基于线对的morphing算法逻辑描述为：根据目标图像中的点x、向量p1q1及原图像中的向量p1'q1'计算出x1'；具体的，x1'通过x相对于向量的距离v和x在向量pq上的投影点至q的距离u确定；同理，根据目标图像中的点x、向量p2q2及原图像中的向量p2'q2'计算出x2'；然后通过加权平均的方法，求出x'。
101.其中，权值wn的计算方法为通过点x到线段p
nqn
的距离成反比的函数计算：其中lengthn表示线段的长度，distn表示点x到线段p
nqn
的最短距离。a，b，p为常数，可以选择p=0，a=1，b=2。
102.相较于传统基于线对的图像morphing中，后续计算将存在如下差别：1、结果中标定点的偏移尽量小；2、线对数远多于传统方式，但大部分线对对于点不产生太大的影响，可以不计入
计算；3、在标定图像d中某直线段如，对应的当前图像a中的并非简单看做线段。因为镜头畸变的存在，更应被描述为曲线段，由于标定点距离较近，因此在本实施例中可近似为折线段，则需要额外计算的形状，以描述图像a中所表示的结构。每个折线段均由点集组成。
103.当前图像a中的所求点x落在某计算三角形区域efg中，则使用线对：线段、、和点集、、计算对应图像d中的点。
104.此时，参见图4、图5，当前图像a中x对于ef的垂直距离，变为点集中距离x最近的点到x的距离；变为折线段的总长比值。
105.作为一种可选的实施方式，图14是本发明实施例提供的预标定子模块的结构示意图，如图14所示，预标定子模块5001包括：点集生成单元50011，用于提取标定图像的背景中所有可以构成路径的标定点，通过线对和计算间点在当前图像的背景上的投影，得到点集；连线单元50012，用于连接点集中的各点，作为折线段；循环单元50013，用于控制重复点集生成单元及连线单元的操作，计算当前图像的背景中所有连线对应的折线段及点集。
106.参见图7、图8，改良算法后的计算如下：对任意标定点对和，取图中所有可以构成路径的的点，则通过线对和计算间点在图像a上的投影获得点集。
107.连接中各点，作为折线段。
108.计算图像a中所有线段对应的折线段点集和折线段。
109.作为一种可选的实施方式，图15是本发明实施例提供的信息匹配模块的结构示意图，如图15所示，信息匹配模块800包括：转化子模块8001，用于将当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴；第一投影坐标计算子模块8002，用于在经纬度坐标系中，将未匹配船舶根据估计航向投影到距离最近的航道坐标轴，得到第一经纬度坐标对应的第三经纬度坐标，第二经纬度坐标对应的第四经纬度坐标；第二投影坐标计算子模块8003，用于在经纬度坐标系中，将真实船舶根据实际航向投影到距离最近的航道坐标轴，得到实际经纬度坐标对应的第五经纬度坐标；全局匹配子模块8004，用于取为未匹配船舶至真实船舶的权值，采用km算法计算最小权完备匹配，得到未匹配船舶的匹配结果。
110.将当前图像中的多条航道根据航道方向，例如一个四条航道交汇的区域，将
航道抽象成如图11所示的检测范围内的经纬度坐标系，该经纬度坐标系中的每根坐标轴均对应一条实际的航道。其中，箭头代表驶入方向，坐标轴外的点为未匹配船舶或真实船舶，在坐标轴上的点为对应的投影点。
111.作为一种可选的实施方式，根据历史船舶行驶路径选择航行概率最高的路线作为经纬度坐标系中的对应航道坐标轴。
112.根据航道方向，抽象检测范围内的经纬度坐标系，其中部分航向为离开防区方向，另一部分则为进入防区方向。分别将未匹配船舶和真实船舶根据对应的航向及经纬度坐标就近投影到对应航道上从而获得第三经纬度坐标、第四经纬度坐标和第五经纬度坐标。
113.必然落在线段必然落在线段上，且取最小为未匹配船舶至真实船舶的权值，使用km算法求最小权完备匹配，从而在至少一个未匹配船舶与至少一个真实船舶中，得到每个未匹配船舶对应的真实船舶，将真实船舶对应的ais信息与对应未匹配船舶进行联系，得到未匹配船舶的匹配结果。
114.作为一种可选的实施方式，图16是本发明实施例提供的信息匹配模块的其它子模块结构示意图，如图16所示，信息匹配模块800还包括：最优范围确定子模块8005，用于根据计算误差值在经纬度坐标系中确定每条航道坐标轴的最优范围；第一过滤子模块8006，用于根据中点运动轨迹计算未匹配船舶的估计航速；根据估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向；根据未匹配船舶的第三经纬度坐标及第四经纬度坐标判断未匹配船舶是否位于对应航道坐标轴的最优范围内；若未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向，则该未匹配船舶参与权值计算；否则，不参与权值计算；第二过滤子模块8007，用于根据船舶ais信息确定真实船舶的实际航速；根据实际航向确定真实船舶在对应航道坐标轴上的行驶方向；根据真实船舶的第五经纬度坐标确定真实船舶是否位于对应航道的最优范围内；若真实船舶位于对应航道坐标轴的最优范围内、实际航速不为0且行驶方向为驶入方向，则该真实船舶参与权值计算；否则，不参与权值计算。
115.参见图11，每条航道对应的航道坐标轴上均有一个最优范围。由于越远离镜头处由于像素的精度有限，导致计算误差越大，而越靠近镜头处由于镜头的畸变，导致计算误差越大。即船舶进入防区后，总是经历计算误差减小
→
计算误差增大这一过程，根据实际情况，可以在经纬度坐标系上为每个航向标定最优范围（范围内经纬度计算误差小于40米，40米为经验的船舶平均长度），则每次匹配，仅匹配所有驶入最优范围且驶向镜头的船只，从而提高匹配精度与匹配效率。其中，驶向镜头方向即为坐标轴上的驶入方向。
116.其中，计算误差值可根据经验确定，也可根据累积的历史计算误差确定，从而标定出计算精确度较高的每条航道的最优范围。
117.作为一种可选的实施方式，对于停泊区（船只停泊时可能关闭ais），在船只停泊之
前（有速度）才进行匹配，停泊之后（无速度）不进行匹配。
118.在大尺寸的全景相机中进行像素-经纬度的转换。该算法基于常用的图像融合领域中的传统morphing技术，经一定改良后应用在该领域。
119.在过去的计算中，如道路交通的ar算法，一方面行车道路较为固定，不如船舶的四通八达难以具体指明，另一方面车道监控资源丰富，可以用大量特写监控作为补充，而航道上不具备这样的条件；morphing用在地图领域时又常常使用于测绘地图和卫星照片的融合，更关心道路、航道的变形，无法对特定目标的畸变情况进行控制；morphing用在图像设计领域更关心变形的平滑化处理和整体特征的保留，但在航道上局部标定的特征线往往应被视为固定的而不为整体让步。
120.故此，基于大尺寸的全景相机监控画面下的船舶定位，需要解决如下问题：在不进行高精度标定的情况下，描述全景相机的畸变情况，以获得相机二维画面中物体在真实世界下的经纬度坐标。一方面缩小基于线对的morphing算法中对目标点结果发生影响的线对范围；另一方面描述特征线为曲线；同时提供了船只匹配的策略以弥补标定精度带来的无法消弭的误差。最终，在低成本（粗略标定、单全景监控相机）的同时，完成了匹配成功率较高的算法。
121.上述技术方案具有如下有益效果：本实施例通过采用改良的morphing算法对像素与经纬度的对应关系进行确定，准确得到每个未匹配船舶对应的经纬度坐标；且本实施例仅通过ais及相机监控图像即可得到当前画像中多个船舶的船名信息等，提高了匹配效率；采用上述匹配方法的全景相机从而可以作为江面港口、停泊区、河流交汇口等多点监控的汇总查看窗口，而不需要同时监控多取景窗口，便利监察人员；通过提取未匹配船舶的下缘线段中点信息及端点信息经过处理后与真实船舶的坐标信息进行匹配，提高了船舶匹配的准确度。
122.以上发明的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上内容仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。