一种用于机器鱼水下三维粒子图像测速的图像处理方法

1.本发明涉及图像增强和图像识别技术领域，具体提供了一种用于机器鱼水下三维粒子图像测速的图像处理方法。


背景技术：

2.测量水下鱼类的近体速度、鱼体受的力、近体涡量分布对探究鱼类行为学具有重要的影响。由于水下粒子测速区域受光线及水流等影响，使得鱼类周围的粒子场会产生很大误差，并且在pivlab中询问区域里鱼体的存在会影响近体速度的估计。图像处理方法是对水下鱼类图像进行形状识别和特征提取的一种有效手段，现有的方法主要是对水下鱼类图像进行图像预处理后直接进行阈值分割，阈值设置比较单一，对于鱼体颜色不同的鱼类处理效果不甚理想，难以为后续鱼类近体速度、压力、涡量分布的测量做铺垫。因此，准确识别提取水下粒子图像中的鱼体有着重要的意义。
3.目前，大多数研究都是对水中鱼类流场进行二维测速，但水中鱼类的行为和粒子流动本质是三维的，因此，二维测速结果是受极大限制的。随着三维粒子图像测速技术的发展，使鱼体二维测速可以通过高空间、时间分辨率进行鱼体周围三维速度矢量测量成为可能。
4.综上所述，该领域需要一种新的方法用于机器鱼水下三维粒子图像测速以此解决上述问题。


技术实现要素：

5.为了背景技术中存在的问题，本发明提供了一种用于机器鱼水下三维粒子图像测速的图像处理方法，既能够提高提取水下粒子图像中鱼体的完整度，又能得到水下机器鱼周围流动所需的空间、时间的鲁棒性操作。
6.为了实现上述目的，本发明的技术方案是：
7.一种用于机器鱼水下三维粒子图像测速的图像处理方法，包括如下步骤：
8.(1)获取示踪粒子图像；
9.(2)对所得示踪粒子图像进行预处理；
10.(3)基于预处理后的示踪粒子图像进行阈值分割；
11.(4)基于阈值分割后的示踪粒子图像分别提取鱼体的亮部和暗部，以重构整个鱼体二维形态特征。
12.作为优选实施例，所述步骤(2)中的预处理包括图像通道分割、剔除示踪粒子。
13.作为优选实施例，所述图像通道分割包括如下步骤：
14.(211)基于所述示踪粒子图像的roi区域进行提取；
15.(212)将所述示踪粒子图像的b、g、r三通道依次进行分割，得到在每个单通道下的具体图像；
16.(213)将所述示踪粒子图像与b、g、r三个单通道下的图像进行对比度的对比；
17.(214)基于各通道下的对比度结果，选择对比度最高的图像。
18.作为优选实施例，所述剔除示踪粒子包括如下步骤：
19.(221)基于所述对比度最优的示踪粒子图像进行中值滤波；
20.(222)将中值滤波后的示踪粒子图像与所述对比度最优的示踪粒子图像进行融合；
21.(223)通过降低gamma参数实现示踪粒子的剔除。
22.作为优选实施例，所述步骤(4)包括如下步骤：
23.(41)基于鱼体的亮部和暗部灰度值的大小分别给定一个合适的阈值进行阈值化和反阈值化；
24.(42)将阈值化和反阈值化后得到的二值图像作为鱼体亮部和暗部的掩码，实现对鱼体亮部和暗部的提取；
25.(43)将亮部和暗部进行图像融合以确定整个鱼体二维形态。
26.作为优选实施例，所述步骤(43)中确定整个鱼体二维形态的计算包括如下步骤：
27.(431)基于鱼体周围的压力场计算其流体边界处的力。
28.(432)基于鱼体周围的涡流场计算其流体边界处的涡量分布和沿涡环的速度环量。
29.(433)基于鱼体周围的速度场计算其流体边界处的速度。
30.作为优选实施例，所述步骤(2)中对所得示踪粒子图像进行预处理，还包括基于水下机器鱼在多路片光源照射情况下，通过断层piv处理合成三维云图。
31.作为优选实施例，水下机器鱼的记录通过高时间分辨率测量。
32.作为优选实施例，水下机器鱼的记录在空间上排列多排相机，为其多角度提供足够的视点。
33.本发明具有以下有益效果：
34.1)本发明中机器鱼水下三维粒子图像测速的图像处理技术方案中，在获取的示踪粒子图像的基础上对其进行预处理，从而减少图像中对比度低及水下的示踪粒子对后续提取鱼体所造成的的影响，提高了识别及提取机器鱼体的精度和效率；
35.2)通过阈值分割后的示踪粒子图像分别提取鱼体的亮部和暗部，以重构整个鱼体二维形态特征，将鱼体分别进行阈值化和反阈值化，实现整个鱼体提取的实现，避免了因为鱼体颜色不同，阈值设置单一导致的提取鱼体不完整，进一步提高了提取鱼体的精度；
36.3)通过提取的完整鱼体二维形态，能够准确的计算鱼体边界处的力、涡量分布、速度，降低了因为鱼体在询问区域导致的误差影响；
37.4)在提取鱼体完整的二维形态基础上，通过断层piv处理合成以时间、空间为支撑的三维粒子流速的云图。解决了鱼体游动行为的小空间尺度和高速度，进一步反应了鱼体测速的真实性。
附图说明
38.参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：
39.图1是根据本发明的一个实施例的机器鱼水下三维粒子图像测速的图像处理方法
的操作步骤流程示意图；
40.图2(a)是根据本发明的一个实施例的图像采集设备视野内的鱼的原始灰度图；
41.图2(b)是根据本发明的一个实施例的roi提取区域示意图；
42.图2(c)是根据本发明的一个实施例的蓝色通道下的示意图；
43.图2(d)是根据本发明的一个实施例的绿色通道下的示意图；
44.图2(e)是根据本发明的一个实施例的红色通道下的示意图；
45.图3是根据本发明的一个实施例的roi区域的三通道直方图；
46.图4(a)是根据本发明的一个实施例的绿色通道结果经中值滤波后的示意图；
47.图4(b)是根据本发明的一个实施例的经图像融合的结果示意图；
48.图5(a)是根据本发明的一个实施例的阈值化后的示意图；
49.图5(b)是根据本发明的一个实施例的鱼体明亮部分提取结果示意图；
50.图5(c)是根据本发明的一个实施例的反阈值化后的示意图；
51.图5(d)是根据本发明的一个实施例的鱼体暗部分提取结果示意图；
52.图6是根据本发明的一个实施例的鱼体重建图。
具体实施方式
53.下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
54.为了解决现有技术存在的问题，如图1至图6所示，本发明提供了一种用于机器鱼水下三维粒子图像测速的图像处理方法，能够使鱼体二维测速图像可以通过高空间、时间分辨率合成三维云图。
55.参阅附图1，图1是根据本发明的一个实施例的机器鱼水下三维粒子图像测速的图像处理方法的主要步骤流程示意图。如图1所示，本发明实施例中的机器鱼水下三维粒子图像测速的图像处理方法主要包括下列步骤1-4。
56.步骤(1)：获取示踪粒子图像。具体来说，本发明中采用高速相机获取原始图像数据，继而通过解析原始图像数据获得原始图像，将原始图像灰度化得到原始灰度图像。
57.步骤(2)：对示踪粒子图像进行预处理。具体来说，在现有装置的基础上，虽然高速相机采集图像数据精度很高，但是水下粒子区域还是会受到激光照射不均匀等影响，其次，还有水中的示踪粒子，水中的示踪粒子是人为投入到水中的，目的是测量鱼体近体速度。激光照射不均匀及水中的示踪粒子将会影响提取鱼体的精度，进而影响到机器鱼的近体速度估测。
58.对于激光照射不均匀导致的图像对比度低的问题，主要采用图像通道分割方法来解决，即将原始数据的roi灰度图分别与b、g、r三个单通道下的图像进行比较判断。如图2(a)所示，为原始灰度图。本发明为了取得最佳的图像处理效果，将图2(a)进行roi提取以过滤掉不必要的信息(容器壁及水面以上无用的信息)，经提取的图像效果如图2(b)所示，为roi灰度图。将原始数据分别分割出图2(c)、图2(d)、图2(e)三个通道下的图像。如图2(c)所示，为分割三通道后，显示蓝色通道下的示意图。如图2(d)所示，为分割三通道后，显示绿色通道下的示意图。如图2(e)所示，为分割三通道后，显示红色通道下的示意图。其分割过程
可通过如下公式所表达：
59.mv[c](i)＝src(i)c[0060]
式中：mv表示用来接收分离后数据的数组，src是输入的图像。本发明中，仅选择绿色通道数据(图2d)作为piv图像滤波处理时采用的8位灰度图，其提供了比蓝色和红色通道数据更高的示踪粒子与背景对比度(绿色激光发生器照射容器，水中整体呈绿色使得绿色图像背景比蓝色和红色更亮)；绿色通道数据也比等效灰度图像(图2b)具有更高的对比度。如图3所示，显示了对三通道下不同像素点对应的灰度值进行了统计分析，在相同像素点范围下绿色通道的灰度值大多数是大于蓝色和红色通道的灰度值。通过直方图的建立可以更直观的可视化不同通道下的对比度差异。
[0061]
剔除示踪粒子的过程中，首先利用中值滤波对整个图像进行平滑，操作中，只需取卷积核当中所覆盖像素的灰度值中值作为锚点的灰度值即可，同时在平滑示踪粒子的过程中可以兼顾图像中鱼体的边缘信息以及特征信息的保留。在滤波过程中，卷积核必须设置为奇数，为滤波器选择合适的卷积核是非常关键的，如果卷积核设置的过小，图像中的示踪粒子就不能完全平滑掉。相反的，图像将过度模糊，从而失去鱼体的边缘信息。本发明中，中值滤波器将图像中的每个像素替换为101x101像素区域中该像素相邻像素的中值。如图4(a)所示，其为经中值滤波平滑后的结果。基于上述方法，图像整体呈平滑效果，其中示踪粒子和图像其余部分全部隔离开来。然后，本发明中使用图像融合的方法使鱼体与图像背景区分，达到剔除示踪粒子的目的。图像融合的计算方式可由如下公式表达：
[0062]
dst＝src1*alpha src2*beta gamma
[0063]
式中：dst表示输出的目标图像；src1和src2分别表示进行图像融合的背景图像和前景图像；alpha为权重1，beta为权重2，两个权重即控制着图像的融合比例；gammma为图像的偏移量，通过改变像素gamma值的大小，图像会呈现偏白或偏黑的效果。本发明中，分别选择绿色单通道下的图像(图2d)作为背景图、其中值滤波后的图像(图4a)作为前景图进行图像融合，设置alpha＝1，beta＝1，gamma＝-200时，如图4(b)所示，为图像融合后的结果。其显示鱼体变得不再模糊，与图像背景对比度明显，达到了视觉意义上的剔除示踪粒子，提高了后续提取鱼体二维形态的精度。
[0064]
步骤(3)：基于预处理后的示踪粒子图像进行阈值分割。水中示踪粒子的剔除有助于实现真正意义上的鱼体二维形态提取，在背景没有显示其他物体时，通过给定一个合适的阈值对整个鱼体进行检测，如果鱼体是单色(即鱼体有相同的灰度值)，此步骤将检测到完整的鱼体。然而，在本发明中，机器鱼体是多色的。如图4(b)所示，鱼体的一部分灰度值是高于背景(较亮)，而鱼体的另一部分灰度值低于和等于背景(较暗)，对于这种鱼体多色下的情况，传统的给定一个单一的阈值无法检测出整个鱼体。因此，对鱼体较亮和较暗部分分别进行分割提取，然后将两个部分进行图像融合以重构鱼体二维形态。首先在阈值分割鱼体较亮的过程中，根据鱼体较亮部分和背景的灰度值来设置合适的阈值。灰度值大于或等于阈值的像素(较亮区域)分配为1，用灰度值255(白色)表示，灰度值低于阈值的像素点(较暗区域和背景)则用灰度值0(黑色)表示。如图4(b)所示，如果将阈值设置为较低的值，鱼体的较亮部分都会被检测到，但是一些被降低亮度隐藏在鱼体周围的示踪粒子也会被检测到。另一方面，当阈值设置为较高的值时，隐藏在鱼体周围的示踪粒子的问题可以解决，但是鱼体的一些较亮部分可能未被检测到。在本发明中，将阈值设置为67，以便移除所有灰度
值小于67的部分。将阈值应用于图4(b)后获得的二值图像为图5(a)。如图5(a)所示，其为阈值化的结果示意图；在鱼体较暗部分进行阈值分割的过程中，对图4(b)执行反阈值化操作，灰度值大于或等于阈值的像素(较亮部分)分配为灰度值0大小(黑色)，灰度值低于阈值的像素点则用灰度值255(白色)表示。阈值设置为67后得到的反阈值化二值图像为图5(c)。如图5(c)所示，其为反阈值化后的结果示意图。
[0065]
步骤(4)：基于阈值分割后的示踪粒子图像分别提取鱼体的亮部和暗部，以重构整个鱼体二维形态特征。将阈值分割后的二值图像(图5a)作为piv图像(图2e)的掩码，得到结果为图5(b)。如图5(b)所示，鱼体明亮部分被成功提取；将分割出来的鱼体较暗部分(图5c)作为融合图(图4b)的掩码后可获得图5(d)的结果。如图5(d)所示，由于融合图在降低亮度过程中参数值设置与反阈值化值不符合，周围会显示出鱼体轮廓，不影响鱼体较暗部分的提取。最后，将一张提取鱼体较亮部分(图5b)和一张提取鱼体较暗部分(图5d)进行图像融合，以重建整个鱼体(图6)。如图6所示，该图为gamma＝50的结果，其显示了整个鱼体，且背景没有明显的示踪粒子。
[0066]
基于上述步骤(1)-步骤(4)，在获取示踪粒子图像的基础上实现了对示踪粒子图像进行预处理，进行了图像通道分割、剔除示踪粒子，消除了图像对比度低和示踪粒子对后续提取鱼体二维形态造成的影响。再者，在预处理的基础上，利用阈值分割方法分别对鱼体进行亮部与暗部的分割提取，避免了现有方法单一分割造成的遗漏，提高了提取的精度。
[0067]
还包括基于所提取鱼体二维形态计算如下所需：基于鱼体周围的压力场计算其流体边界处的力；基于鱼体周围的涡流场计算其流体边界处的涡量分布和沿涡环的速度环量；基于鱼体周围的速度场计算其流体边界处的速度。通常来说，基于步骤4获得的鱼体二维形态是为了测量近体速度、受到的压力、和近体涡量做铺垫。将鱼体二维形态提取后，把图像放入pivlab可得到这些参数。如果不将鱼体提取，存在的鱼体会对这些参数的估计造成误差影响。本发明通过提取鱼体二维形态降低了测量所造成的误差，提高了计算的精确度。进一步说明本发明中的机器鱼水下三维粒子图像测速的图像处理技术方案能够提高对机器鱼近体速度、压力、涡量计算的准确性。其中，作用于鱼体上的流体力可用下列公式计算：
[0068]
f(t)＝-∫npds ∫τ
·
nds
[0069]
上式中：n为法向单位矢量；p为流体压力；τ为黏性应力张量；t为时间；s为鱼体表面积。
[0070]
计算鱼体周身涡量分布和沿涡环的速度环量，其计算公式如下：
[0071][0072]
γ＝∮v
′
dl。
ꢀꢀ
(2)
[0073]
其中：ω为涡量(1/s)；u、v分别为粒子的水平速度和竖直速度(m/s)；γ为速度环量(m2/s)；v
′
为粒子的速度(m/s)；l为涡环的周长(m)。
[0074]
对于鱼体周围的速度场计算其流体边界处的速度，其公式可表示为：
[0075][0076]
式中:v为鱼体近体粒子速度,mm/ms；m为单个像素点对应的实际长度,mm/pixel；
x1和y1为第一次曝光粒子像点的位置坐标；x2和y2为第二次曝光粒子像点的位置坐标；δt为两次曝光的间隔时间,ms。
[0077]
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
[0078]
本发明通过断层piv处理合成以时间、空间为支撑的三维粒子流速的云图。机器鱼吨流和游泳模式的三维性质已通过在一个体积内用多个相机进行照明和测量来克服。断层piv处理方法的核心点就是需要鱼体各个面的二维形态进行合成，具体来说，这通常需要在多个摄像机视图中手动跟踪动物。目前大多数研究都是对水中鱼类流场进行二维测速，但水中鱼类的行为和粒子流动本质是三维的，因此，二维测速结果是受极大限制的。通过断层piv处理方法合成的鱼体可以直接测量三维的流动模式。而无需求助于使用二维piv时经常做出的空间轴对称性或流动稳定性假设。
[0079]
所述三维云图通过高时间分辨测量，具体来说，水下机器鱼的尾鳍快速摆动产生高度不稳定的流动，因此需要高时间分辨率来解决。本发明中，机器鱼尾鳍摆动的高速度已经通过使用具有高放大倍率的高速相机系统得到解决。
[0080]
所述三维云图在空间上排列多排相机，目的是为在部分遮挡区域中的粒子重建提供足够的视点。具体来说，利用多阵列高速相机对水中机器鱼进行多角度跟踪测量，对每一个角度的数据进行形态提取，进而合成三维云图。
[0081]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
[0082]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。