银杏花穗定向方法及系统与流程

技术特征：
1.一种银杏花穗定向方法，首先采集银杏花穗的可见光图片和深度图像，并识别出花穗目标，并获得花穗目标中心世界坐标；其特征是然后进行如下步骤的处理：1)求取树枝方向向量；2)获取花穗目标中心点向附近树枝垂直投影所得垂足的世界坐标，从而获得花穗方向向量；3)通过花穗方向向量与树枝方向向量，判定花穗目标与树枝目标的相对位置关系；4)计算出花穗目标方向相对于基面α的角度，判断花穗在正交平面γ的上方还是下方；所述步骤1)中，仅求取花穗目标附近的树枝段的方向向量，获得树枝方向向量的方法为；树枝方向向量为树枝所在直线的矢量表达，通过获得表达树枝所在的直线的特征点即获取树枝方向向量，则获得关键树枝方向向量；所述步骤2)中，花穗方向向量的求取：采用垂足公式(1)求取花穗目标中心点向树枝方向向量垂直投影点的世界坐标，结合花穗目标中心的世界坐标，获取花穗方向向量；式中：f为直线方向向量即列向量，作为树枝方向向量，p为直线外一点坐标向量，作为花穗目标中心点世界坐标向量，p0为直线上一点的坐标向量，作为已经求取到的树枝特征点世界坐标向量；所述步骤3)中，花穗方向向量与基面α夹角θ的求取：定义向量v1为花穗方向向量，向量u为树枝方向向量，向量a为竖直向量，向量b1为角度参考向量；设竖直向量a坐标为(0，0，1)，向量a方向为竖直向上，与竖直平面β共面，向量a与竖直方向向量的向量积为参考向量b1；参考向量b1的方向为垂直于竖直平面β，指向垂直平面前面；角度参考向量b1平行于基面α和竖直平面β，即与基面α和竖直平面β的交线平行；参考向量b1作为角度参考向量；由于正交平面γ与基面α垂直，且花穗方向向量v1与正交平面γ共面，花穗方向向量与基面α的夹角θ即为花穗方向向量与参考向量b1的夹角θ，利用两个空间向量夹角公式(2)，获取夹角θ的余弦值，通过反正弦函数求出夹角θ的值；式中：向量x(x1，x2，x3)为花穗方向向量，即为向量v1；向量y(y1，y2，y3)为角度向量，即为向量a(0，0，1)；步骤4)中：4.1)花穗向量在竖直平面β前面还是后面的判断：定义向量v1和向量v2为两个花穗方向向量，向量v1指向竖直平面β的前面，向量v2指向竖直平面β后面，夹角θ为花穗方向向量v1与角度参考向量b1的夹角，夹角θ
′
为花穗方向向量v2与角度参考向量b1的夹角；通过花穗方向向量与基面α的夹角θ大小判定花穗方向向量在竖直平面β的前面还是后
面：花穗方向向量v1在竖直平面β前面，其夹角θ为锐角，花穗方向向量v2在竖直平面β后面，其夹角θ
′
为钝角；通过判断花穗方向向量与角度参考向量的夹角为锐角还是钝角判断花穗向量在竖直平面β的前面还是后面：当夹角θ小于90
°
时，则花穗在竖直平面β的前面，；当夹角θ大于90
°
时，花穗在竖直平面β的后面；4.2)花穗方向向量在基面α的上面还是下面的判断：定义向量v和向量v’分别为两个花穗方向向量，向量u为树枝方向向量，向量b1为角度参考向量，向量b2与向量b2′
为方向参考向量，方向参考向量b2′
由花穗方向向量v与角度参考向量b1进行数量积运算得到，方向参考向量b2′
由花穗方向向量v’与角度参考向量b1进行数量积运算得到，向量b2′
与向量u同向，向量b2与向量u反向，方向参考向量b2与b2′
垂直于正交平面γ，平行于树枝方向向量u；花穗方向向量v指向基面α上面，其方向参考向量b2与树枝方向向量反向，花穗方向向量v’指向基面α下面，其方向参考向量b2′
与树枝方向向量同向；向量的同向与反向是通过数量积进行判断：当两个向量同向时，这两个向量的数量积大于0，当两个向量反向时，这两个向量的数量积小于0；通过判断方向参考向量与树枝方向向量数量积的正负判定花穗方向向量在基面α的下面还是上面；当方向参考向量与树枝方向数量积小于0时，两个向量反向，花穗向量在基面α的上面，当方向参考向量与树枝方向数量积大于0时，两个向量同向，花穗向量在基面α的下面。2.根据权利要求1所述银杏花穗定向方法，其特征是所述步骤1)中，对可见光图片进行图像处理，去除与树枝无关的内容；再截取花穗目标附近树枝，从而找到表达附近树枝段的特征点；然后结合深度图像中特征点的深度信息，进行坐标映射与转换，最终得到树枝段特征点的世界坐标，进而获得关键树枝的树枝方向向量。3.一种采用权利要求1所述方法的银杏花穗定向系统，其特征是包括：关键树枝方向向量的求取模块、夹角θ和夹角θ方向的求取模块；1)关键树树枝方向向量求取模块关键树枝方向向量的求取模块分为三个子模块，分别为提取可见光图像中树枝信息模块、关键树枝提取模块，树枝方向向量求取模块；1.1)提取可见光图像中树枝信息模块设置所需要去除背景的距离范围，在深度图中选中这些范围的像素点，对应到可见光图像中相同行列坐标的像素点，将这些像素点的像素值设为0；去完背景的可见光图由rgb色彩空间转换成hsv色彩空间，提取hsv色彩空间中绿色阈值部分并设置成掩模，掩模与去完背景的可见光图像进行图像的按位与运算，获得只有叶子与花穗的可见光图像；将只有叶子和花穗的可见光图与去完背景的可见光图进行图像的按位异或运算，从而去除去完背景可见光图中的绿色部分，获得只有树枝的可见光图像；再对图像进行去噪处理；采用形态学操作中的开运算进行处理，即对图像先进行腐蚀再进行膨胀；1.2)关键树枝提取模块对图像中的银杏花穗识别框进行放大，再进行形态学膨胀处理，将处理完的识别框内像素点的像素设置为255制作成掩模，掩模与树枝图像进行图像按位与运算获得识别框附近的树枝图像；
1.3)树枝方向向量获取模块在图像中提取关键树枝的轮廓，再获取关键树枝轮廓的最小包围矩形框，返回值为最小包围矩形框的中点的行列坐标、矩形框的宽和高以及矩形框相对于x轴正向的旋转角度；区分矩形框宽和高的长短，从而判定矩形框的长和高；通过最小包围矩形框的长和高以及旋转角度，求取树枝段相距最远两个点的横列坐标作为关键树枝特征点备用；求提取到轮廓矩形的面积，通过最小包围矩形框的长宽比以及关键树枝轮廓面积对一些误认为是关键树枝而被最小包围矩形框包围的噪点进行过滤；对一帧可见光图像中出现最小包围矩形框的个数进行讨论，从而判定以哪些点作为树枝方向向量特征点；求取矩形框内的深度信息非0像素点像素值的均值，结合特征点的行列坐标，获取特征点的世界坐标，从而获取树枝方向向量，方向为从左到右；2)夹角θ和夹角θ方向的求取模块花穗向量与基面α夹角θ及夹角θ方向的求取模块分为两大子模块，分别为花穗方向向量求取模块、夹角θ及其方向求取模块；2.1)花穗方向向量求取模块：花穗方向向量的起始点为花穗目标中心点向附近树枝的垂直投影点，终点为花穗目标中心点；结合垂足公式，计算出花穗中心点向树枝向量所在直线垂直投影点的世界坐标；2.2)夹角θ及其方向求取模块：竖直向量a(0，0，1)与树枝方向向量进行空间向量数量积的坐标运算，得到每一段关键树枝的角度参考向量b1；结合两个空间向量夹角公式(2)，定义空间向量夹角计算函数，在函数中带入花穗方向向量和角度参考向量，获取到夹角θ的值；花穗方向向量与参考方向向量进行空间向量数量积的空间运算，得到方向参考向量b2，将树枝方向向量与方向参考向量b2进行数量积运算，得到数量积k，通过数量积的正负判断夹角θ的方向，即判断出花穗方向向量再基面α的下面还是上面；当夹角θ大于90
°
，且数量积k小于0时，指导采摘机构向上绕过θ
°
树枝进行花穗采摘；当夹角θ大于90
°
，且数量积k大于0时，指导采摘机构向下绕过θ
°
树枝进行花穗采摘；当夹角θ小于90
°
，且数量积k小于0时，指导采摘机构向上θ
°
进行采摘，无需绕过树枝；当夹角θ小于90
°
，且数量积k大于0时，采指导摘机构向下θ
°
进行采摘，无需绕过树枝。4.根据权利要求3所述的银杏花穗定向系统，其特征是所述1.1)提取可见光图像中树枝信息模块中，膨胀核的大小设置为10
×
10。5.根据权利要求3所述的银杏花穗定向系统，其特征是所述1.2)关键树枝提取模块中，先将识别框上下范围扩大400，左右范围扩大200，再膨胀，膨胀核的大小设置为15
×
15。6.根据权利要求3所述的银杏花穗定向系统，其特征是所述1.3)树枝方向向量获取模块中：对被最小包围矩形框包围的噪点进行过滤待法是仅认为矩形面积小于100cm2的矩形框为所求；对一帧可见光图像中出现最小包围矩形框的个数来说：矩形框的个数大于2个，则计算两个矩形框中间点三维坐标；对矩形框的个数是1个，则计算树枝段最远两个点的三维坐标。

技术总结
一种银杏花穗定向方法，首先采集银杏花穗的可见光图片和深度图像，并识别出花穗目标，并获得花穗目标中心世界坐标；然后：1)求取树枝方向向量；2)获取花穗目标中心点向附近树枝垂直投影所得垂足的世界坐标，从而获得花穗方向向量；3)通过花穗方向向量与树枝方向向量，判定花穗目标与树枝目标的相对位置关系；4)计算出花穗目标方向相对于基面α的角度，判断花穗在正交平面γ的上方还是下方。一种银杏花穗定向系统，包括：关键树枝方向向量的求取模块、夹角θ和夹角θ方向的求取模块。本发明进行花穗的定向研究，对关键树枝进行三维空间的数学建模，实现了对花穗的定向，可以指导采摘机构是否绕过树枝采摘以及给出采摘角度。是否绕过树枝采摘以及给出采摘角度。是否绕过树枝采摘以及给出采摘角度。


技术研发人员：汪希伟 朱松荷 薛仲岭 刘佳傲 赵茂程
受保护的技术使用者：泰州学院
技术研发日：2021.06.30
技术公布日：2022/1/10