一种基于全景视觉的农业机械远程辅助驾驶系统及方法与流程

1.本发明涉及无人驾驶农业机械技术领域，特别是涉及一种基于全景视觉的农业机械远程辅助驾驶系统及方法。


背景技术：

2.随着科技的发展，一些与交通运输相关的行业逐步无人化，在农业方面，出现了可以满足不同需求的无人驾驶的农业机械，他们广泛地用于田间地头为大众服务。
3.现阶段无人驾驶技术还不足以完全无人化，在特殊情况下需要人工干预。例如，无人驾驶的农业机械在出现复杂情况无法做出判断时，需要将农业机械自动驾驶状态切换为远程驾驶状态，来防止出现一些安全问题。但是要想实现远程驾驶，远程控制端的真实性是必不可少的，保障了真实性才能使远程控制室的驾驶员就像坐在农业机械上一样进行操作，这样才能保证远程驾驶的安全。鉴于上述原因，本发明提出了一种基于全景视觉的远程辅助驾驶农业机械系统及方法。


技术实现要素：

4.本发明的目的在于提供一种能够更好的提供无人驾驶农业机械作业安全性的于全景视觉的农业机械远程辅助驾驶系统及方法。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种基于全景视觉的农业机械远程辅助驾驶系统，包括农业机械本体和远程控制室，所述农业机械本体上安装有鱼眼摄像机和超声波雷达，所述鱼眼摄像机和超声波雷达均设置有六个，分别固定安装在农业机械本体的正前方、左前方、右前方、正后方、左后方、右后方；所述农业机械本体上还固定安装有指令接收装置、指令发送装置和驾驶状态切换装置；所述远程控制室与农业机械本体之间进行通信连接，所述远程控制室中安装有远程驾驶装置，所述远程驾驶装置包括有方向盘、油门踏板、档位、座椅、手刹、刹车踏板、离合器踏板、操作台、切换按钮、状态指示灯和全景屏幕，所述状态指示灯包括黄灯、绿灯和红灯。
7.优选地，所述远程控制室中还安装有远程驾驶系统，所述远程驾驶系统与远程驾驶装置相匹配，所述远程驾驶系统包括有信息获取模块、信号发送模块、信号接收模块和驾驶状态切换模块；
8.所述信息获取模块，与鱼眼摄像机相匹配，通过接收由六个鱼眼摄像机(1)组成的全景拍摄系统拍摄的360
°
全景照片来获取农业机械本体(10)驾驶位置及周边环境情况；
9.所述信号发送模块，与指令发送装置相匹配，当农业机械本体的自动驾驶系统需要切换驾驶状态时，通过信号发送模块向远程控制室发送驾驶状态切换信号；
10.所述信号接收模块，与指令接收装置相匹配，用于接收农业机械本体向远程控制室发送的驾驶状态切换信号；
11.所述驾驶状态切换模块，与驾驶状态切换装置相匹配，用于响应驾驶状态切换制定，将农业机械本体由自动驾驶状态切换至远程手动驾驶状态。
12.一种基于全景视觉的农业机械远程辅助驾驶方法，包括以下步骤：
13.s1、在农业机械本体的正前方、左前方、右前方、正后方、左后方、右后方上安装鱼眼摄像机和超声波雷达，并将其调整好角度；
14.s2、通过农业机械本体上固定安装的六个鱼眼摄像机采集农业机械本体周围的环境状态，确保每个鱼眼摄像机都能检测到60
°
画面，实现360
°
无死角无盲区拍摄，鱼眼摄像机的俯仰视场角为0～60
°
，前后视场角为0～180
°
，然后通过全景拼接算法将六张鱼眼摄像机拍摄的原始图像合并为一张全景鸟瞰图；
15.s3、获得全景图像后利用超声波雷达来检测农业机械本体周围的障碍物信息；
16.s4、利用yolo v5算法对障碍物进行目标检测，yolo v5的输入使用拼接数据增强来提高目标检测精度；
17.s5、当农业机械本体遇到复杂情况而无法做出判断时，将农业机械本体由自动驾驶状态切换为远程手动驾驶状态，切换为远程手动驾驶状态后，远程控制室中的驾驶员开始执行相应指令，对农业机械本体进行远程驾驶操作，到达指定位置后，再将驾驶状态切换为自动驾驶状态运行。
18.优选地，所述s2中提到的获取清晰的全景鸟瞰图，具体包括以下步骤：
19.a1、采用张正友标定方法，得到六台鱼眼摄像机的内部参数矩阵和畸变系数，利用所得的内部参数矩阵和畸变系数得到畸变图像中像素的位置，然后将像素位置的对应关系保存在像素映射表中；
20.a2、通过所述a1中的像素映射表获得未扭曲的图像后，对其进行透视变换，所述透视变化更进一步地包括以下步骤：
21.a2.1、提取未扭曲图像中地面特征点的坐标(x，y)；
22.a2.2、根据所述a2.1中获得的坐标信息设置特征点在鸟瞰图像中的坐标(x，y)；
23.a2.3、利用多组特征点得到透视变换矩阵；
24.a2.4、使用所述a2.3中所得的透视变换矩阵更新像素映射表，透视变换公式如下：
[0025][0026]
其中，为特征点在鸟瞰图像中的坐标，为透视变换矩阵，为未扭曲图像中地面特征点的坐标；
[0027]
a3、在所述a2中提到的透视变换中，人工定义地面上特征点的位置，根据位置对应关系平移或旋转鸟瞰图形，然后经过线性变换，生成全景鸟瞰图像；
[0028]
a4、将图像处理为光均衡图像，经过处理后，相邻图像的重叠区域满足的关系式如下：
[0029][0030]
其中，r1、g1、b1和r2、g2、b2是两幅图像重叠部分中r、g、b的平均值；x1、y1、z1和x2、y2、
z2是对应于两个图像的r、g、b值的处理系数；
[0031]
a5、所得的六张图像中共有12个重叠区域，处理完12个重叠区域，基于最小二乘法得到相应的处理系数，将所有处理系数应用于相应的鸟瞰图中，最终得到一张光均衡全景鸟瞰图。
[0032]
优选地，所述s3中提到的利用超声波雷达来检测农业机械本体周围的障碍物信息，具体包括以下操作：
[0033]
b1、分别对超声波雷达和鱼眼摄像机进行了标定；超声波雷达校准包括雷达信号强度校准和安装角度校准，其中信号强度通过信号反射强度的增益调整来完成，安装角度由支架决定；鱼眼摄像机的标定利用内部参数矩阵得到外部参数矩阵，棋盘格图案作为辅助工具；
[0034]
b2、利用所述b1中所得的标定结果实现坐标对准；在此过程中，每个超声波雷达检测到的信号强度根据农业机械本体坐标系进行旋转和平移；在获得鸟瞰图像与农业机械坐标系之间的转换关系后，进行图像融合操作，将视觉超声雷达图像和全景鸟瞰图像融合为全景数据融合图像。
[0035]
优选地，所述s4中提到的利用yolo v5算法对障碍物进行目标检测，具体包括以下操作：
[0036]
c1、通过鱼眼摄像机采集田地障碍物的图像数据，对采集到的障碍物图像数据进行图像预处理，基于预处理完毕的图像构建数据集，将所述数据集划分为训练集、验证集和测试集；
[0037]
c2、基于所述训练集和验证集，对yolo v5网络进行训练，获得yolo v5检测模型；基于所述测试集对所述yolo v5检测模型进行测试，获得测试结果；基于所述测试结果对yolo v5检测模型进行评价，评价合格后则结束测试；
[0038]
c3、对所述yolo v5检测模型进行处理，生成yolo v5障碍物追踪模型；基于所述yolo v5障碍物追踪模型对障碍物进行追踪并进行实时性验证。
[0039]
优选地，所述yolo v5网络包括backbone部分、neck部分和prediction部分，所述c2中提到获取所述yolov5检测模型，具体包括以下步骤：
[0040]
c2.1、将训练集中的图像进行标准化预处理，并将预处理后的图像输入所述backbone部分，获得不同尺度的特征图；
[0041]
c2.2、将所述不同尺度的特征图输入所述neck部分，进行上采样和特征融合后获得不同尺度的张量数据；
[0042]
c2.3、将所述不同尺度的张量数据输入所述prediction部分，基于损失函数及反向传播对梯度进行计算，实时进行梯度更新并利用所述验证集进行验证，获得所述yolo v5检测模型。
[0043]
优选地，所述c3中提到的对yolo v5检测模型进行处理的方法为采用deepsort算法进行处理，具体步骤如下：
[0044]
c3.1、对所有待追踪目标进行检测，完成检测后构建deepsort跟踪器，对所述yolo v5障碍物追踪模型输入带有障碍物的视频帧并进行处理；
[0045]
c3.2、处理完毕且第一帧视频图像输入所述yolo v5障碍物追踪模型后，将检测到的目标初始化并创建新的deepsort跟踪器，标注id；
[0046]
c3.3、第一帧后的任一帧输入所述yolo v5障碍物追踪模型时，基于所述deepsort算法，获得所有目标的状态预测和当前帧的检测框的交并比，并获得交并比的最大唯一匹配，作为目标检测框；
[0047]
c3.4、基于置信度对检测框进行过滤，删除置信度不够高的检测框及特征，基于当前帧匹配到的目标检测框更新deepsort跟踪器，计算状态更新，获得更新值并输出，将更新值作为当前帧的追踪框。
[0048]
优选地，所述s5中提到的切换驾驶状态，具体包括以下步骤：
[0049]
d1、农业机械本体自动驾驶时，远程控制室的操作台的绿灯亮，即农业机械本体处于自动驾驶状态。当农业机械本体遇到复杂情况而无法做出判断时，农业机械本体停下并开始向远程控制室发送切换信号；
[0050]
d2、远程控制室接收到信号后，控制室的操作台上的红灯亮起，即告诉驾驶室的驾驶员农业机械本体遇到了复杂情况而无法做出判断；
[0051]
d3、驾驶员接收信号后，按切换按钮使其驾驶状态切换为手动驾驶，黄灯亮起，即农业机械本体的驾驶状态已切换为手动驾驶状态
[0052]
d4、远程控制室中的驾驶员通过全景屏幕观察农业机械本体周围的环境，排除一切阻碍和影响农业机械本体运动的因素；
[0053]
d5、了解农业机械本体周围环境后，驾驶员通过操作远程控制室内的远程驾驶装置来决定农业机械本体的运动；
[0054]
d6、当农业机械本体可以自我识别判断后，操作台上的红灯自动熄灭，再按切换按钮使黄灯灭、绿灯亮，即农业机械本体的驾驶状态切换为自动驾驶状态工作。
[0055]
与现有技术相比，本发明提供了一种基于全景视觉的农业机械远程辅助驾驶系统及方法，具备以下有益效果：
[0056]
(1)本发明通过获取全景图像来采集农业机械本体周边的环境信息，将六个鱼眼摄像机安装在农业机械的正前方、左前方、右前方、正后方、左后方、右后方，使每个鱼眼摄像机能够检测到60
°
画面，图像的分辨率为1280*720，所获取的图像无盲区、清晰度高，可以提供真实的场景，保证了驾驶员操作的可靠性；
[0057]
(2)本发明通过在远程控制室来模拟农业机械驾驶室内部的样子，使得驾驶员坐在控制室内操作有一种身临其境的感觉，保证了操作的真实性；
[0058]
(3)本发明通过远程辅助驾驶使得农业机械遇到复杂情况而无法判断的情况下，通过手动操作来保障农业机械及其周边事物的安全，避免了损失的发生；
[0059]
(4)本发明通过全景屏幕、操作台和上面的灯和按钮，使得驾驶员操作更加的方便和准确。
附图说明
[0060]
图1为本发明提出的一种基于全景视觉的农业机械远程辅助驾驶系统的鱼眼摄像机和超声波雷达在农业机械本体上的布局示意图；
[0061]
图2为本发明提出的一种基于全景视觉的农业机械远程辅助驾驶系统的远程驾驶装置的结构示意图；
[0062]
图3为本发明提出的一种基于全景视觉的农业机械远程辅助驾驶方法的整体流程
示意图。
[0063]
附图标记说明：
[0064]
1、鱼眼摄像机；2、超声波雷达；3、方向盘；4、油门踏板；5、档位；6、座椅；7、手刹；8、刹车踏板；9、离合器踏板；10、农业机械本体；11、操作台；12、切换按钮；13、黄灯；14、绿灯；15、红灯；16、全景屏幕。
具体实施方式
[0065]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0066]
实施例1：
[0067]
请参阅图1-3，一种基于全景视觉的农业机械远程辅助驾驶系统，包括农业机械本体10和远程控制室，农业机械本体10上安装有鱼眼摄像机1和超声波雷达2，鱼眼摄像机1和超声波雷达2均设置有六个，分别固定安装在农业机械本体10的正前方、左前方、右前方、正后方、左后方、右后方；农业机械本体10上还固定安装有指令接收装置、指令发送装置和驾驶状态切换装置；远程控制室与农业机械本体10之间进行通信连接，远程控制室中安装有远程驾驶装置，远程驾驶装置包括有方向盘3、油门踏板4、档位5、座椅6、手刹7、刹车踏板8、离合器踏板9、操作台11、切换按钮12、状态指示灯和全景屏幕16，状态指示灯包括黄灯13、绿灯14和红灯15。
[0068]
远程控制室中还安装有远程驾驶系统，远程驾驶系统与远程驾驶装置相匹配，远程驾驶系统包括有信息获取模块、信号发送模块、信号接收模块和驾驶状态切换模块；
[0069]
信息获取模块，与鱼眼摄像机1相匹配，通过接收由六个鱼眼摄像机1组成的全景拍摄系统拍摄的360
°
全景照片来获取农业机械本体10驾驶位置及周边环境情况；
[0070]
信号发送模块，与指令发送装置相匹配，当农业机械本体10的自动驾驶系统出需要切换驾驶状态时，通过信号发送模块向远程控制室发送驾驶状态切换信号；
[0071]
信号接收模块，与指令接收装置相匹配，用于接收农业机械本体10向远程控制室发送的驾驶状态切换信号；
[0072]
驾驶状态切换模块，与驾驶状态切换装置相匹配，用于响应驾驶状态切换制定，将农业机械本体10由自动驾驶状态切换至远程手动驾驶状态。
[0073]
一种基于全景视觉的农业机械远程辅助驾驶方法，包括以下步骤：
[0074]
s1、在农业机械本体10的正前方、左前方、右前方、正后方、左后方、右后方上安装鱼眼摄像机1和超声波雷达2，并将其调整好角度；
[0075]
s2、通过农业机械本体10上固定安装的六个鱼眼摄像机1采集农业机械本体10周围的环境状态，确保每个鱼眼摄像机1都能检测到60
°
画面，实现360
°
无死角无盲区拍摄，鱼眼摄像机1的俯仰视场角为0～60
°
，前后视场角为0～180
°
，然后通过全景拼接算法将六张鱼眼摄像机1拍摄的原始图像合并为一张全景鸟瞰图；
[0076]
s2中提到的获取清晰的全景鸟瞰图，具体包括以下步骤：
[0077]
a1、采用张正友标定方法，得到六台鱼眼摄像机1的内部参数矩阵和畸变系数，利用所得的内部参数矩阵和畸变系数得到畸变图像中像素的位置，然后将像素位置的对应关系保存在像素映射表中；
[0078]
a2、通过a1中的像素映射表获得未扭曲的图像后，对其进行透视变换，透视变化更进一步地包括以下步骤：
[0079]
a2.1、提取未扭曲图像中地面特征点的坐标(x，y)；
[0080]
a2.2、根据a2.1中获得的坐标信息设置特征点在鸟瞰图像中的坐标(x，y)；
[0081]
a2.3、利用多组特征点得到透视变换矩阵；
[0082]
a2.4、使用a2.3中所得的透视变换矩阵更新像素映射表，透视变换公式如下：
[0083][0084]
其中，为特征点在鸟瞰图像中的坐标，为透视变换矩阵，为未扭曲图像中地面特征点的坐标；
[0085]
a3、在a2中提到的透视变换中，人工定义地面上特征点的位置，根据位置对应关系平移或旋转鸟瞰图形，然后经过线性变换，生成全景鸟瞰图像；
[0086]
a4、将图像处理为光均衡图像，经过处理后，相邻图像的重叠区域满足的关系式如下：
[0087][0088]
其中，r1、g1、b1和r2、g2、b2是两幅图像重叠部分中r、g、b的平均值；x1、y1、z1和x2、y2、z2是对应于两个图像的r、g、b值的处理系数；
[0089]
a5、所得的六张图像中共有12个重叠区域，处理完12个重叠区域，基于最小二乘法得到相应的处理系数，将所有处理系数应用于相应的鸟瞰图中，最终得到一张光均衡全景鸟瞰图；
[0090]
s3、获得全景图像后利用超声波雷达2来检测农业机械本体10周围的障碍物信息；
[0091]
s3中提到的利用超声波雷达2来检测农业机械本体10周围的障碍物信息，具体包括以下操作：
[0092]
b1、分别对超声波雷达2和鱼眼摄像机1进行了标定；超声波雷达2校准包括雷达信号强度校准和安装角度校准，其中信号强度通过信号反射强度的增益调整来完成，安装角度由支架决定；鱼眼摄像机1的标定利用内部参数矩阵得到外部参数矩阵，棋盘格图案作为辅助工具；
[0093]
b2、利用b1中所得的标定结果实现坐标对准；在此过程中，每个超声波雷达2检测到的信号强度根据农业机械本体10坐标系进行旋转和平移；在获得鸟瞰图像与农业机械坐标系之间的转换关系后，进行图像融合操作，将视觉超声雷达图像和全景鸟瞰图像融合为全景数据融合图像；
[0094]
s4、利用yolo v5算法对障碍物进行目标检测，yolo v5的输入使用拼接数据增强来提高目标检测精度；
[0095]
s4中提到的利用yolo v5算法对障碍物进行目标检测，具体包括以下操作：
[0096]
c1、通过鱼眼摄像机1采集田地障碍物的图像数据，对采集到的障碍物图像数据进行图像预处理，基于预处理完毕的图像构建数据集，将数据集划分为训练集、验证集和测试集；
[0097]
c2、基于训练集和验证集，对yolo v5网络进行训练，获得yolo v5检测模型；基于测试集对yolo v5检测模型进行测试，获得测试结果；基于测试结果对yolo v5检测模型进行评价，评价合格后则结束测试；
[0098]
yolo v5网络包括backbone部分、neck部分和prediction部分，c2中提到获取yolov5检测模型，具体包括以下步骤：
[0099]
c2.1、将训练集中的图像进行标准化预处理，并将预处理后的图像输入backbone部分，获得不同尺度的特征图；
[0100]
c2.2、将不同尺度的特征图输入neck部分，进行上采样和特征融合后获得不同尺度的张量数据；
[0101]
c2.3、将不同尺度的张量数据输入prediction部分，基于损失函数及反向传播对梯度进行计算，实时进行梯度更新并利用验证集进行验证，获得yolo v5检测模型；
[0102]
c3、对yolo v5检测模型进行处理，生成yolo v5障碍物追踪模型；基于yolo v5障碍物追踪模型对障碍物进行追踪并进行实时性验证；
[0103]
c3中提到的对yolo v5检测模型进行处理的方法为采用deepsort算法进行处理，具体步骤如下：
[0104]
c3.1、对所有待追踪目标进行检测，完成检测后构建deepsort跟踪器，对yolo v5障碍物追踪模型输入带有障碍物的视频帧并进行处理；
[0105]
c3.2、处理完毕且第一帧视频图像输入yolo v5障碍物追踪模型后，将检测到的目标初始化并创建新的deepsort跟踪器，标注id；
[0106]
c3.3、第一帧后的任一帧输入yolo v5障碍物追踪模型时，基于deepsort算法，获得所有目标的状态预测和当前帧的检测框的交并比，并获得交并比的最大唯一匹配，作为目标检测框；
[0107]
c3.4、基于置信度对检测框进行过滤，删除置信度不够高的检测框及特征，基于当前帧匹配到的目标检测框更新deepsort跟踪器，计算状态更新，获得更新值并输出，将更新值作为当前帧的追踪框；
[0108]
s5、当农业机械本体10遇到复杂情况而无法判断时，将农业机械本体10由自动驾驶状态切换为远程手动驾驶状态，切换为远程手动驾驶状态后，远程控制室中的驾驶员开始执行相应指令，对农业机械本体10进行远程驾驶操作，到达指定位置后，再将驾驶状态切换为自动驾驶状态运行；
[0109]
s5中提到的切换驾驶状态，具体包括以下步骤：
[0110]
d1、农业机械本体10自动驾驶时，远程控制室的操作台11的绿灯14亮，即农业机械本体10处于自动驾驶状态。当农业机械本体10遇到复杂情况而无法做出判断时，农业机械本体10停下并开始向远程控制室发送切换信号；
[0111]
d2、远程控制室接收到信号后，控制室的操作台11上的红灯15亮起，即告诉驾驶室的驾驶员农业机械本体10遇到了复杂情况而无法做出判断；
[0112]
d3、驾驶员接收信号后，按切换按钮12使其驾驶状态切换为手动驾驶，黄灯13亮
起，即农业机械本体10的驾驶状态已切换为手动驾驶状态
[0113]
d4、远程控制室中的驾驶员通过全景屏幕16观察农业机械本体10周围的环境，排除一切阻碍和影响农业机械本体10运动的因素；
[0114]
d5、了解农业机械本体10周围环境后，驾驶员通过操作远程控制室内的远程驾驶装置来决定农业机械本体10的运动；
[0115]
d6、当农业机械本体10可以自我识别判断后，操作台11上的红灯15自动熄灭，再按切换按钮12使黄灯13灭、绿灯14亮，即农业机械本体10的驾驶状态切换为自动驾驶状态工作。
[0116]
本发明通过获取全景图像来采集农业机械本体10周围的环境信息，将六个鱼眼摄像机1和超声波雷达2安装在农业机械本体10的正前方、左前方、右前方、正后方、左后方、右后方，使每个鱼眼摄像机1能够检测到60
°
画面，图像的分辨率为1280*720，所获取的图像无盲区、清晰度高，可以提供真实的场景，保证了驾驶员操作的可靠性；同时通过在远程控制室来模拟农业机械驾驶室内部的样子，使得驾驶员坐在控制室内操作有一种身临其境的感觉，保证了操作的真实性；更进一步地，通过远程辅助驾驶使得农业机械本体10自动驾驶遇到复杂情况而无法判断时，通过手动操作来保障农业机械本体10及其周边事物的安全，避免了损失的发生。
[0117]
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。