基于线型掩膜扫描寻界的田间作物行区域实例分割方法与流程

1.本发明属于农业自动化领域，具体涉及图像处理技术，尤其涉及一种基于线型掩膜扫描寻界的田间作物行区域实例分割方法。


背景技术：

2.杂交水稻种子是杂交水稻生产的物质基础。目前，大田杂交水稻制种生产过程中，插秧作业已基本实现机械化，部分已实现自动化，机械化插秧使得秧苗列直线性较好且行间距较为规整，为后续田间自动化作业提供了便利。
3.水稻属于严格的自花授粉作物，自然环境下天然杂交率极低，故杂交水稻制种过程中，需大量人力辅助进行授粉作业。人工辅助授粉的作业过程中存在劳动强度高、作业效率低等问题，阻碍了制种作业生产力的进一步发展。
4.随着精准农业技术的不断发展，使用自动化的农业机械代替人工完成授粉作业成为了解决以上问题的最佳选择，而实现农机自动化作业的前提是实现农机的田间自动导航。视觉传感器因其价格低、应用灵活及收集信息丰富等优势逐渐成为农机自动导航系统研究中的热点传感器，视觉导航技术的核心在于作物行的识别及导航路径的规划。
5.目前，基于传统图像处理方法的田间作物行识别，大多使用霍夫变换法、垂直投影法或线性拟合法等对作物行中心线进行提取，但该类方法在授粉期杂交水稻田间导航任务中并不适用。原因在于，杂交水稻制种田内父本行与母本行之间的行间距极小，作物行识别算法需要对作物行边界位置信息进行正确判断，从而避免授粉机械压毁作物情况的出现。
6.近年来，随着卷积神经网络的迅速发展，基于卷积神经网络的语义分割技术逐渐被应用于田间作物行识别任务中。语义分割技术具备鲁棒性强、适用性强的技术优势，可以完成作物行区域的分割，但其在模型训练过程中，需采集大量作物行图像样本，样本标注过程费时费力，且模型识别过程中，识别准确性与实时性难以兼顾。


技术实现要素：

7.针对现有技术的不足，本发明提出了一种基于线型掩膜扫描寻界的田间作物行区域实例分割方法，利用图像透视成像规律及作物行排列隐式信息，快速、准确的实现授粉期作物行区域的实例分割，为实现田间的授粉机械自动化作业提供了基础。
8.本发明的目的在于针对现有技术的不足，提供一种基于线型掩膜扫描寻界的田间作物行区域实例分割方法。
9.本发明的目的是通过以下技术方案来实现的：一种基于线型掩膜扫描寻界的田间作物行区域实例分割方法。包括以下步骤：s01.使用彩色相机采集作物行原图像，采集过程中所述相机与水平方向呈15
°
~45
°
夹角，距离作物行上方垂直高度约为1~3m，使所述原图像中作物行大致呈左右对称分布；s02.将所述原图像灰度化为灰度图像；
s03. 根据所述灰度图像左侧或右侧边缘像素列的各像素行像素值之和间的相对大小关系，判断所述各像素行为前景像素行或为背景像素行；根据所述背景像素行在所述边缘像素列中连续分布区段长度值的相对大小关系，确定所述前景像素行到所述背景像素行一系列跳变点中的主跳变点位置；从所述主跳变位置处将所述灰度图像切分为若干具有相同作物行排列模式的水平条带状子图；s04.沿水平方向对所述子图使用类线型掩膜进行扫描并生成扫描曲线簇，根据所述扫描曲线簇上特征点群中若干主特征点的相对位置关系，计算得到所述原图像中作物行的消失点；s05.使用从所述消失点出发的类线型掩膜对所述灰度图像进行旋转扫描生成扫描曲线簇，根据所述扫描曲线簇上特征点群中若干主特征点处轮廓高度值的相对大小关系，计算得到所述原图像中作物行区域线及区域边界线；s06.根据所述作物行区域线及所述区域边界线间的相对位置关系，对所述原图像中的所述作物行区域进行实例分割。
10.进一步地，所述步骤s04中：(1) 所述类线型掩膜扫描路径起始于所述子图左侧或右侧边缘，终止于对侧边缘；(2) 所述类线型掩膜长度为对应所述子图的像素行数，宽度为1个像素；(3) 所述扫描曲线簇包括每张所述子图对应的三条平滑后的扫描曲线，分别为子图扫描区域像素值之和分布曲线、子图已扫描区域像素值比重曲线及子图未扫描区域像素值比重曲线。
11.进一步地，所述步骤s05中：(1) 所述类线型掩膜扫描路径起始于所述灰度图左侧或右侧上边缘点，终止于对侧上边缘点；(2) 所述类线型掩膜长度为所述消失点至当前扫描路径上所述灰度图边缘像素点的距离，宽度为1个像素；(3) 所述扫描曲线簇包括平滑后的灰度图扫描区域像素值之和分布曲线及平滑后的灰度图扫描区域像素值之和变化率分布曲线。
12.进一步地，所述作物行为授粉期杂交水稻父本行。
13.本发明的有益效果是，本发明方法实现了在灰度图上对作物行区域的实例分割，无需复杂图像预处理步骤，兼顾了识别过程的准确性及实时性，适用于田间导航等精准农业作业，具有较高的推广及应用价值。
附图说明
14.图 1 为本发明实例中一种基于线型掩膜扫描寻界的田间作物行区域实例分割方法的流程示意示意图。
15.图2为本发明实例中作物行图像的示意图。
16.图3为本发明实例中作物行图像灰度处理后的图像示意图。
17.图4为本发明实例中具有相同作物行排列模式的水平条带状子图切割线位置获取示意图。
18.图5为本发明实例中使用线型掩膜对子图进行水平扫描求解子图底部中心主作物行区域端点的求解过程示意图。
19.图6为本发明实例中作物行消失点求解过程示意图。
20.图7为本发明实例中使用从消失点出发的线型掩膜对灰度图进行旋转扫描求解作物行区域线及区域边界线的求解过程示意图。
21.图8为本发明实例中使用从消失点出发的线型掩膜对灰度图进行旋转扫描时生成的扫描区域像素和值分布曲线及扫描区域像素和值变化率分布曲线示意图。
22.图9为本发明实例中根据曲线峰轮廓高度分类得到作物行区域真值线及区域边界真值线的求解过程示意图。
23.图10为本发明实例中作物行区域真值线及区域边界真值线的示意图。
24.图11为本发明实例中作物行区域实例分割结果示意图。
具体实施方式
25.下面结合附图，对发明的具体实施方式作进一步描述,以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围，以下实施例选择授粉期间自然光照条下的杂交水稻作物行图像为例进行详细说明。
26.图1示出了本发明实施例提供的一种基于线型掩膜扫描寻界的田间作物行区域实例分割方法的流程示意示意图，如图1所示，该方法包括的步骤具体如下：s01、使用彩色相机采集作物行原图像，采集过程中相机与水平方向呈15
°
~45
°
夹角，距离作物行上方垂直高度约为1~3m，使原图像中作物行大致呈左右对称分布，所采集的原图像如图2所示，该图像分辨率大小为640*360。
27.s02、使用灰度因子将所述原图像灰度化为灰度图像，其中r为原图像红色通道像素值，g为原图像绿色通道像素值，得到的灰度图如图3所示。
28.s03、将所述灰度图像切分为若干具有相同作物行排列模式的水平条带状子图，切分过程如下：（1）取灰度图像左侧边缘10列像素列，对应图4（b部分）中实线矩形框内所框选图像，对框选图像的每行的像素值之和进行计算，生成如图4（a部分）中虚线所表示的行像素值之和变化曲线。
29.（2）根据行像素值之和的相对大小，将行像素值之和大于等于最大行像素值之和的百分之十的行设为前景像素行，反之设为背景像素行，根据判定结果生成如图4（a部分）中实线所表示的行类别变化曲线。
30.（3）计算行类别变化曲线上背景像素行连续分布区段的长度，若连续分布区段的长度大于设定阈值，则认为该段图像为背景图像，并取该段图像的起始像素行位置为子图分割线位置，判断阈值根据原图像高度进行设定，此处设为50个像素。所选取的背景像素行连续分布区段为图4（a部分）中虚线矩形框所框选部分，所确定的子图分割线为图4（b部分）
中的直线点划线。
31.s04、沿水平方向对所述子图使用类线型掩膜进行扫描并生成扫描曲线簇，根据所述扫描曲线簇上特征点群中若干主特征点的相对位置关系，计算得到所述原图像中作物行的消失点，具体步骤如下：（1）首先生成扫描各子图所需的类线型掩膜，此处类线型掩膜长度为其所对应子图的像素行数，宽度为1个像素，扫描路径起始于子图左侧边缘，终止于子图右侧边缘。类线型掩膜示意图及扫描方向分别为图5（a部分）中竖直实线及箭头所示。
32.（2）扫描过程进行一次，并在该扫描过程中为每张子图生成三条对应扫描曲线，分别为子图扫描区域像素值之和分布曲线、子图已扫描区域像素值比重曲线及子图未扫描区域像素值比重曲线，共同构成扫描曲线簇，此处像素值比重等于当前计算过程所考虑的图像区域中的像素值之和与该图像区域面积值之间的比值。三条曲线的原始图线分别为图5（b、c、d部分）中虚线所示，三条曲线经平滑后的图线分别为图5（b、c、d部分）中实线所示。
33.（3）在三条平滑曲线上搜索特征点群。在子图扫描区域像素值之和分布曲线上搜寻曲线波峰点并纳入特征点群中，计算波峰轮廓高度，并将其使用如图5（b部分）中所示的直线点划线表示；在子图已扫描区域像素值比重曲线及子图未扫描区域像素值比重曲线上搜索曲线波谷点并纳入特征点群中，计算波谷轮廓高度，并将其使用如图5（c、d部分）中所示的直线点划线表示。
34.（4）搜索子图扫描区域像素值之和分布曲线上波峰轮廓高度取得最大值时所对应的波峰点，将其作为该曲线主特征点，记作p1，并在图5（b部分）中使用下三角符号进行标注。
35.（5）在子图已扫描区域像素值比重曲线上。搜索位于p1点右侧的第一个波谷点，将其作为该曲线主特征点，记作p2，并在图5（c部分）中使用上三角符号进行标注。
36.（6）在子图未扫描区域像素值比重曲线上。搜索位于p1点左侧的第一个波谷点，将其作为该曲线特征点，记作p3，并在图5（d部分）中使用上三角符号进行标注。
37.（7）子图底部中心主作物行区域左、右端点在图5（a部分）中使用叉号所示，左、右端点位置横坐标值即对应主特征点p3、p2横坐标值，左、右端点纵坐标值等于子图未经分割时，其下边缘像素行在灰度图像中所处位置的行坐标值，记左端点位置坐标为，并放入数组中，记右端点位置坐标为，并放入数组中，其中，为子图数量。
38.（8）使用random sample consensus（ransan）方法对、中的数据点进行线性拟合，得到两条拟合直线，如图6中实线所示，求得两直线交点如图6中圆点所示，该交点即为图像中作物行消失点。
39.s05、使用从所述消失点出发的类线型掩膜对所述灰度图像进行旋转扫描生成
扫描曲线簇，根据所述扫描曲线簇上特征点群中若干主特征点处轮廓高度值的相对大小关系，计算得到所述原图像中作物行区域线及区域边界线，具体计算步骤如下：（1）首先生成扫描灰度图所需的类线型掩膜，此处类线型掩膜的扫描路径起始于灰度图左侧上边缘点，终止于右侧上边缘点，长度为从消失点至当前扫描路径上灰度图边缘像素点的距离，宽度为1个像素，类线型掩膜示意图及扫描方向分别为图7中实线及箭头所示。
40.（2）扫描过程进行一次，并在该扫描过程中为灰度图生成两条对应扫描曲线，分别为灰度图扫描区域像素值之和分布曲线及灰度图扫描区域像素值之和变化率分布曲线，两条曲线共同构成扫描曲线簇，两条曲线经平滑后的图线分别为图8（a、b部分）中实线所示。
41.（3）在两条平滑曲线上搜索特征点群。在灰度图扫描区域像素值之和分布曲线上搜寻曲线波峰点并纳入特征点群中，计算波峰轮廓高度，并将其使用如图8（a部分）中所示的直线点划线表示；在灰度图扫描区域像素值之和变化率分布曲线上搜索曲线波峰点和波谷点并纳入特征点群中，计算波峰轮廓高度及波谷点轮廓高度，并将其使用如图8（b部分）中所示的直线点划线表示。
42.（4）将在灰度图扫描区域像素值之和分布曲线上搜索到的波峰点依据其对应的轮廓高度值的相对大小进行二分类，分类结果如图9所示，图9中水平粗虚线即为两类特征点分类线，取轮廓高度值较大的一类特征点为主特征点，根据该类主特征点横坐标值即可求得对应的作物行区域线在灰度图中的坐标值，作物行区域线在图10中以粗实线表示。
43.（5）将在灰度图扫描区域像素值之和变化率分布曲线上搜索到的波峰点、波谷点依据其对应的轮廓高度值的相对大小进行二分类，分类方法同上，取轮廓高度值较大的一类特征点为主特征点，根据该类主特征点横坐标值即可求得对应的作物行区域边界线在灰度图中的坐标值，作物行区域边界线在图10中以细实线表示。
44.s06、根据作物行区域线及区域边界线间的相对位置关系，对原图像中的作物行区域进行实例分割，具体步骤如下：对作物行区域线及区域边界线位置进行判断，从第一条区域线开始，若其左右两侧都存在邻近的区域边界线，则判定该区域检测到作物行，以两条邻近区域边界线为界，对该区域进行实例分割，分割结果如图11所示。
45.上述描述中的实施方案可以进一步组合或者替换，且实施方案仅仅是对本发明的优选实施例进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域普通技术人员对本发明的技术方案做出的各种变化和改进，均属于本发明的保护范围。本发明的保护范围由所附权利要求及其任何等同物给出。