一种基于计算机视觉与图像处理的海洋潮汐测量方法与流程

1.本发明涉及潮位监测技术，特别是一种基于计算机视觉与图像处理的海洋潮汐测量方法。


背景技术：

2.随着科学技术的发展，潮汐测量技术已经从人工测量逐渐转变为使用电子设备、卫星观测，潮汐数据也从潮汐信息的观测到实时的潮汐信息的自动获取。潮汐测量技术的快速发展不仅为工农业生产和国防建设服务，而且对于海洋研究和开发具有重大意义。
3.考虑到已有的潮汐测量技术(水尺验潮、压力式验潮、超声波验潮和gps验潮)存在验潮自动化程度低、间接测量转换误差难以消除、水准联测困难、湿端设备为有源装置、造价高等不足。为弥补这些不足，并进一步提升验潮技术，图像处理技术被应用于潮汐测量研究中。潮汐测量中图像处理技术的应用，在一定程度上提高了潮汐测量的精度，实现了潮汐的直接自动化测量，且具有非接触直接测量、无转换误差、建站机动灵活、价格低廉等优点。
4.但传统图像算法普遍泛化性弱、调参依赖专业知识和经验，适用于某些极端低算力场景，在算力要求较高的场景中表现能力略显不足。
5.计算机视觉作为一种新兴技术，具有处理过程简单快速、结果准确、成本低的有点，能通过图像检测和分割有效地实现图像的预处理，降低图像处理所需要的算力。因此，为进一步提升基于图像处理的潮汐测量技术的算力，更好地适用于复杂环境下的潮位监测，开展计算机视觉与图像处理下的海洋潮汐测量方法研究势在必行。


技术实现要素：

6.针对现有技术中存在的问题，本发明提供了一种能够有效降低传统图像处理所需的算力，实现潮位的实时、动态监测，大幅降低潮位测量的转换误差的基于计算机视觉与图像处理的海洋潮汐测量方法。
7.本发明的目的通过以下技术方案实现。
8.一种基于计算机视觉与图像处理的海洋潮汐测量方法，步骤包括：
9.1)建立水上监测平台p，所述水上监测平台p包括闭路电视监控系统和定位设备，所述定位设备用于获取经纬度坐标，所述闭路电视监控系统包括遥控摄像机及其辅助设备，用于获得水上目标的实时图像z；
10.2)选定某一闭路电视监控系统可视时刻，确保在闭路电视监控系统视域可覆盖范围内，闭路电视监控系统可以稳定地捕获到包括天空、山体、灯塔、海面的图像，获取由闭路电视监控系统捕捉到的实时图像z的多帧画面z(k)，其中k是采样时刻，满足k＝1,2,
…
,k，k≥20；
11.3)基于步骤2)中捕获到的任一实时图像z的多帧画面z(k)，采用深度学习视觉算法框架对目标区域画面z’(k)进行检测，并获取目标区域画面z’(k)在多帧画面z(k)上的参考目标范围tk(x,y,w’,h’)，其中(x,y)为z’(k)关于多帧画面z(k)的中心点坐标，w’和h’分
别表示目标区域画面z’(k)以(x,y)为中心点所围成参考目标范围的宽度和高度；
12.4)基于步骤3)中获取参考目标范围tk(x,y,w’,h’)做计算机视觉分割，通过计算机视觉图像分割算法将目标区域中的天空、山和海平面分割，以获得tk(x,y,w’,h’)对应的语义掩膜和和海平面纵坐标y
bottom
；
13.5)基于步骤4)中获取的目标区域画面z’(k)，对z’(k)做二值化处理，以获取关于z’(k)的二值化图像，实现目标区域中前景和背景的分割，
14.6)基于步骤5)获得的二值化图像z'
th
，采用opencv算法进行图像前景轮廓提取，并取前景轮廓的最高点作为灯塔坐标(x
top
,y
top
)；
15.7)可根据步骤6)获得的灯塔坐标(x
top
,y
top
)和步骤4)获得的海平面纵坐标y
bottom
估算灯塔到海平面的像素距离h，计算如下：
16.h＝y
bottom-y
top
；
17.8)根据已有航保与海事部门提供的潮位报告，设低潮位下推算的像素距离为h
low
，对应的潮位为t
low
，高潮位下推算的像素距离为h
high
，对应的潮位为t
high
，则其他任意时刻下像素距离h对应的潮位为：t＝(h
high-h
low
)/(t
high-t
low
)
×
(h-h
low
) t
low
。
18.步骤1)所述闭路电视监控系统和定位设备可观测的距离为1～2海里，其摄像机的核心参数包括视域角θ、输出图像视域宽度w像素和视域高度h像素，其中θ为60
°
到180
°
，w为320到3840，h为240到2160，对于特定摄像机的某一固定时刻，上述值可以视作定值。
19.步骤5)具体为：
20.5-1)对于目标区域画面z’(k)，阈值为t时，前景z0和背景z1发生的概率为
[0021][0022][0023]
其中，n0表示图像中像素的灰度值小于阈值t的像素个数，n1表示图像中像素的灰度值大于阈值t的像素个数，w0(t)表示属于前景的像素点占整幅图像z’(k)的比例，w1(t)表示属于背景的像素点占整幅图像z’(k)的比例，满足n0 n1＝w
’×
h’，w0(t) w1(t)＝1；
[0024]
5-2)根据步骤5-1)得到的结果计算出阈值为t的类间方差
[0025]
σ2(t)＝w0(t)[μ0(t)-μ
t
]2 w1(t)[μ1(t)-μ
t
]2[0026]
最优阈值t
*
为类间方差最大时对应的t值，即：
[0027][0028]
式中，μ
t
表示图像z’(k)总平均灰度值，μ0(t)和μ0(t)分别表示前景和背景的平均灰度值，l表示图像z’(k)包含的灰度级总数；
[0029]
5-3)根据步骤5-2)得到的最优阈值对图像z’(k)进行前景和背景的分割，分割后的二值化图像z'
th
可表示为：
[0030][0031]
式中，pn为图像z’(k)中的像素点，n表示像素点的个数，满足1≤n≤w
’×
h’。
[0032]
相比于现有技术，本发明的优点在于：本发明先通过cctv系统扫描水上待监测区
域的实时图像的多帧画面，并采用faster-rcnn等算法对多帧画面中的目标区域进行检测，获取目标区域的坐标；通过u-net等算法对目标区域中的山体进行分割，获得目标区域对应的语义掩模和和海平面的纵坐标；通过opencv算法对图像进行二值化处理和前景轮廓提取，获取灯塔坐标；最后基于所获取的灯塔坐标和水平面的纵坐标建立实时图像坐标向实际潮位的转化关系，并将其应用于海上潮位的实时监测。所提方法能够有效降低传统图像处理所需的算力，实现潮位的实时、动态监测，大幅降低潮位测量的转换误差。根据本发明方法编制的程序(编译环境labview，c 等)可以在计算机上运行，并联合闭路电视监控系统cctv、定位设备、罗经等硬件组成水上监测平台，实现对水上潮位实时估计功能。
附图说明
[0033]
图1是本发明方法的流程框图。
[0034]
图2是水上监测平台p的系统图。
[0035]
图3是多帧图像处理结果图。
具体实施方式
[0036]
下面结合说明书附图和具体的实施例，对本发明作详细描述。
[0037]
本发明提出的一种基于雷达扫描变量的水上多目标视频影像坐标估计方法，其流程框图如图1所示，包括以下各步骤：
[0038]
(1)建立水上监测平台p，其中包含闭路电视监控系统cctv、定位设备(获取经纬度坐标)，其中，cctv系统由遥控摄像机及其辅助设备组成，用于获得水上目标的实时图像z，cctv可观测的距离一般为1～2海里，其摄像机的核心参数包括视域角θ、输出图像视域宽度w像素和视域高度h像素，其中θ一般为60
°
到180
°
，w一般为320到3840，h一般为240到2160，对于特定摄像机的某一固定时刻，上述值可以视作定值；
[0039]
为便于对水上监测平台的理解，这里举例说明。选用海康威视公司生产的ds-2cd3t47ewd-l型号的cctv系统，摄像机核心参数视域角θ＝88.7
°
，输出图像视域宽度w＝2560，输出图像视域高度h＝1440。
[0040]
(2)选定某一cctv可视时刻，确保在cctv视域可覆盖范围内，cctv系统可以稳定地捕获到包含天空、山体、灯塔、海面的图像，获取由cctv系统捕捉到的实时图像z的多帧画面z(k)，其中k是采样时刻，满足k＝1,2,
…
,k，k≥20；
[0041]
为便于对多帧画面的理解，这里举例说明。在某一cctv可视时刻，且在cctv视域可覆盖范围内，利用cctv系统，每间隔1s对待监测区域进行一次画面捕捉，总共进行100次捕捉，获得100同一时刻下的多帧画面{z(1),z(2),
…
,z(100)}。
[0042]
(3)基于步骤(2)中捕获到的任一实时图像z的多帧画面z(k)，采用faster-rcnn、mobilenet-ssd、yolov2、yolov3、yolov4等等各种深度学习视觉算法框架对目标区域画面z’(k)进行检测，并获取目标区域画面z’(k)在多帧画面z(k)上的参考目标范围tk(x,y,w’,h’)，其中(x,y)为z’(k)关于多帧画面z(k)的中心点坐标，w’和h’分别表示目标区域画面z’(k)以(x,y)为中心点所围成参考目标范围的宽度和高度；
[0043]
为便于对多帧画面的理解，这里举例说明。获取k＝5时刻下的多帧画面z(5)(图3(a))，根据步骤(3)所述，采用faster-rcnn等算法对目标区域z’(5)进行识别(图3(b))，并
获取目标区域z’(5)在多帧画面z(k)上的参考目标范围tk(x,y,w’,h’)(图3(c))，结果如下：
[0044]
目标区域z’(k)的中心点坐标：(x,y)＝(415,253)，
[0045]
目标区域z’(k)的宽度：w’＝250，
[0046]
目标区域z’(k)的高度：h’＝92。
[0047]
(4)基于步骤(3)中获取参考目标范围tk(x,y,w’,h’)做计算机视觉分割，通过u-net等计算机视觉图像分割算法将目标区域中的天空、山和海平面分割，以获得tk(x,y,w’,h’)对应的语义掩膜和和海平面纵坐标y
bottom
；
[0048]
为便于对多帧画面的理解，这里举例说明。依照本发明方法的步骤(4)所述，采用u-net将参考目标范围tk(x,y,w’,h’)中的天空、山和海平面分割，分割后的目标区域图像的语义掩膜如图3(d)所示，可得海平面的纵坐标y
bottom
＝68。
[0049]
(5)基于步骤(4)中获取的目标区域画面z’(k)，对z’(k)做二值化处理，以获取关于z’(k)的二值化图像，实现目标区域中前景(山、灯塔)和背景(天空、海平面)的分割，具体步骤如下：
[0050]
(5-1)对于目标区域画面z’(k)，阈值为t时，前景z0和背景z1发生的概率为
[0051][0052][0053]
式(1)和(2)中，n0(n1)表示图像中像素的灰度值小于(大于)阈值t的像素个数，w0(t)(w1(t))表示属于前景(背景)的像素点占整幅图像z’(k)的比例，满足n0 n1＝w
’×
h’，w0(t) w1(t)＝1；
[0054]
(5-2)根据步骤(5-1)得到的结果可计算出阈值为t的类间方差
[0055]
σ2(t)＝w0(t)[μ0(t)-μ
t
]2 w1(t)[μ1(t)-μ
t
]2ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0056]
最优阈值t
*
为类间方差最大时对应的t值，即：
[0057][0058]
式中，μ
t
表示图像z’(k)总平均灰度值，μ0(t)和μ0(t)分别表示前景和背景的平均灰度值，l表示图像z’(k)包含的灰度级总数；
[0059]
(5-3)根据步骤(5-2)得到的最优阈值对图像z’(k)进行前景和背景的分割，分割后的二值化图像z'
th
可表示为：
[0060][0061]
式中，pn为图像z’(k)中的像素点，n表示像素点的个数，满足1≤n≤w
’×
h’；
[0062]
(6)基于步骤(5)获得的二值化图像z'
th
，采用opencv算法进行图像前景轮廓提取，并取前景轮廓的最高点作为灯塔坐标(x
top
,y
top
)；
[0063]
(7)可根据步骤(6)获得的灯塔坐标(x
top
,y
top
)和步骤(4)获得的海平面纵坐标y
bottom
估算灯塔到海平面的像素距离h，计算如下：
[0064]
h＝y
bottom-y
top
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0065]
(8)根据已有航保与海事部门提供的潮位报告(较长时间间隔，但精度较高)，设低潮位下根据步骤(1)～(7)推算的像素距离为h
low
，对应的潮位为t
low
，高潮位下根据步骤(1)～(7)推算的像素距离为h
high
，对应的潮位为t
high
，则其他任意时刻下像素距离h对应的潮位为：
[0066]
t＝(h
high-h
low
)/(t
high-t
low
)
×
(h-h
low
) t
low
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0067]
沿用步骤(3)中获得的目标区域画面z’(5)，结合步骤(5)对z’(5)进行二值化处理，并根据式(5)对图像进行分割，获取其二值化图像z'
th
；随后，采用opencv算法对二值化图像z'
th
进行图像前景轮廓提取，并取前景轮廓的最高点作为灯塔坐标(x
top
,y
top
)＝(114,23)；可根据获得的灯塔坐标(x
top
,y
top
)和海平面纵坐标y
bottom
估算灯塔到海平面的像素距离h＝y
bottom-y
top
＝45；根据历史潮位监测报告，低潮位下根据步骤(1)～(7)推算的像素距离h
low
＝45.4，对应的潮位为t
low
＝43.96，高潮位下根据步骤(1)～(7)推算的像素距离h
high
＝44.6，对应的潮位为t
high
＝44.76，则其他任意时刻下像素距离h对应的潮位为：
[0068]
t＝(44.6-45.4)/(44.76-43.96)
×
(45-45.4) 43.96＝44.36。
[0069]
以下结合附图，详细介绍本发明方法的实施例：
[0070]
本发明方法的流程框图如图1所示，核心部分是：先通过cctv系统扫描水上待监测区域的实时图像的多帧画面，并采用faster-rcnn等算法对多帧画面中的目标区域进行检测，获取目标区域的坐标；再通过mask-rcnn算法对目标区域中的山体进行分割，获得目标区域对应的语义掩模，并通过图像处理算法对分割后的图像进行处理，以获取灯塔对应的坐标和水平面的纵坐标；最后基于所获取的目标区域坐标和灯塔坐标建立实时图像坐标向实际潮位的转化关系，并将其应用于海上潮位的实时监测。所提方法能够有效降低传统图像处理所需的算力，实现潮位的精准、快速监测，大幅降低潮位测量的转换误差。
[0071]
以下结合图2中所示的水上监测平台p和图3，详细介绍本发明方法的各个步骤。
[0072]
1、设备选型及水上监测平台搭建
[0073]
以舟山码头为示范区，建立包含闭路电视监控系统cctv、定位设备(获取经纬度坐标)、艏向获取(一般为罗经)等设备的水上监测平台p(图2)，其中闭路电视监控系统cctv选用海康威视公司生产的ds-2cd3t47ewd-l型号设备，摄像机核心参数视域角θ＝88.7
°
，输出图像视域宽度w＝2560，输出图像视域高度h＝1440。
[0074]
2、待监测区域多帧画面的获取
[0075]
依照本发明方法的步骤(2)所述，现取舟山码头示范区内某潮位待监测区域，在某一cctv可视时刻，且在cctv视域可覆盖范围内，利用cctv系统，每间隔1s对待监测区域进行一次画面捕捉，总共进行100次捕捉，获得100同一时刻下的多帧画面{z(1),z(2),
…
,z(100)}。
[0076]
3、目标区域的参考目标范围的获取
[0077]
依照本发明方法的步骤(3)的推理过程获取目标区域的参考目标范围tk(x,y,w’,h’)：获取k＝5时刻下的多帧画面z(5)(图3(a))，根据步骤(3)所述，采用faster-rcnn等算法对目标区域z’(5)进行识别(图3(b))，并获取目标区域z’(5)在多帧画面z(k)上的参考目标范围tk(x,y,w’,h’)(图3(c))，结果如下：
[0078]
目标区域z’(k)的中心点坐标：(x,y)＝(415,253)，
[0079]
目标区域z’(k)的宽度：w’＝250，
[0080]
目标区域z’(k)的高度：h’＝92。
[0081]
4、目标区域图像语义掩膜和海平面纵坐标的获取
[0082]
依照本发明方法的步骤(4)所述，采用mask-rcnn将参考目标范围tk(x,y,w’,h’)中的天空、山和海平面分割，分割后的目标区域图像的语义掩膜如图3(d)所示，可得海平面的纵坐标y
bottom
＝68。
[0083]
5、灯塔坐标的估算和潮位测量
[0084]
依照本发明方法的步骤(5)所述，采用阈值分割法对多帧画面z(5)(目标区域画面)进行二值化处理，二值化图像如图3(e)所示；随后，采用opencv算法对二值化图像z'
th
进行图像前景轮廓提取，并取前景轮廓的最高点作为灯塔坐标(x
top
,y
top
)＝(114,23)；可根据获得的灯塔坐标(x
top
,y
top
)和海平面纵坐标y
bottom
估算灯塔到海平面的像素距离h＝y
bottom-y
top
＝68-23＝45；根据历史潮位监测报告，低潮位下根据步骤(1)～(7)推算的像素距离h
low
＝45.4，对应的潮位为t
low
＝43.96，高潮位下根据步骤(1)～(7)推算的像素距离h
high
＝44.6，对应的潮位为t
high
＝44.76，则其他任意时刻下像素距离h对应的潮位为：
[0085]
t＝(44.6-45.4)/(44.76-43.96)
×
(45-45.4) 43.96＝44.36。
[0086]
这里只列举了k＝5时刻多帧画面z(5)中所示的潮位估计过程，第k时刻多帧画面z(k)中所示的潮位估计均可通过本发明方法获取。至此，通过对灯塔到海平面像素距离的估算及潮位的转化实现了对潮位的实时监测，潮位监测效果图如图3(f)所示。