基于深度学习的种子发芽试验自动监测系统

1.本发明涉及种子发芽试验技术领域，具体地涉及基于深度学习的种子发芽试验自动监测系统。


背景技术：

2.种子选育是育种工作的重要组成部分，种子的质量是保证有效耕种的重要因素，对种子质量的衡量是至关重要的环节。种子质量评价通常是由有经验的专业技术人员直观地进行，基于主观经验，较为耗时。
3.近年来，研究人员提出了基于机器视觉的种子质量监测方法，结合种子的颜色、形状、纹理等特征，快速、自动地获得相关参数，便于种子生产者对种子进行分级。然而，无论是技术人员直观判断，还是计算机自动分类，其对种子的分级结果最终必须经过试验验证，即标准“发芽试验”。不同类型的种子，一次完整的发芽试验通常需要7天左右，每间隔一定时间，需要有经验的工作人员人工计数已经发芽的种子数，当不同样本结果差异不在一定范围内时，还需要反复试验，需要耗费专业技术人员较多精力。
4.正是由于发芽试验的不可替代性，以及传统方法必须依靠有经验的专业技术人员对种子的发芽状态进行分类，一种精度高、稳定性好、不依赖于物种类型的种子发芽试验自动监测系统成为迫切需求。
5.现有技术中，发芽试验自动化监测系统主要基于传统的图像分析方法。
6.现有技术最具有代表性的技术方案有两种：第一种为p.khoenkaw等人提出“一种基于hue、saturation、value(hsv)颜色模型的方法”；其原理为：根据种子与根系之间的色彩差别来分类种子的发芽状态，成功地应用于水稻种子的发芽监测；第二种为s.ducournau等人在照明、温度和湿度条件可控的情况下，依据颜色、边缘等信息设计了一种向日葵种子发芽全过程的自动监测系统，可以作为育种过程的环境参数设计依据。
7.上述两种技术方案虽有不同，但都是采用基于传统图像分析的方法，主要原理都是一样的，即根据种子外壳和芽的颜色特征来判断发芽状态；
8.上述两种方法的缺陷在于：
9.1.由于根据种子外壳和芽的颜色特征来判断发芽状态，从而只能针对指定种类种子有效，且必须在特定实验环境下进行；
10.2.由于对于判定的图像有精度要求，从而客观上图像采集设备也有较高要求，也就不具备通用性；
11.在上述两种方案之外，还有少量种子发芽试验自动化产品，其中最具代表性的是德国产种子发芽检测系统(germination scanalyzer)；这是当前较为先进的发芽试验自动化设备，要求将种子放置在特定的蓝色或灰色滤纸，依靠种子重量定位质心，依靠种子、芽、背景的颜色特征来判断发芽的长度，并以此为依据进行发芽状态的判断。
12.这种的优点是稳定性和精度都已经达到实用要求；
13.这种方法的缺点如下：
14.由于其使用条件有限，需要特定颜色的滤纸，对种子、芽的颜色也有一定要求，从而通常也只能用于特定的种子。
15.在上述三种技术方案以外，还有国产万深种子自动数粒仪可以辅助实现种子发芽试验的自动化；该仪器的优点是对种子颜色无要求，其主要原理是依靠形状拟合来实现种子自动计数，精度也可以达到实用要求。
16.该仪器的缺陷在于：
17.1.由于为了获取准确的种子外形，从而需要将种子放置于特定的白光板，通用性较低；
18.2.由于该仪器设置相对简单，只能自动获取种子总数，从而无法对种子的发芽状态进行自动判断。
19.在上述四种技术方案以外，随着机器学习的发展和成熟，尤其是深度学习技术在农业领域的成功应用，种子发芽试验自动监测方法也诞生出新思路；其中最具代表性的是thuy nguyen等人提出的技术方案，其原理是首先使用u-net 对原始水稻种子进行分割，然后结合距离和阈值变换获取单粒种子区域，最后使用resnet-101分类模型将水稻种子区分为发芽和不发芽两类。
20.这种技术方案相对于传统基于图像分析的方法，其优点在于基于深度学习的监测方法对环境适应性较好，无需特殊的光照及背景条件，仅需输入一幅种子图像即可直接得到最终发芽率，操作更为便捷，精度尚可。
21.这种方案的缺陷在于：
22.由于目前种子发芽监测领域属于起步阶段，缺乏种子样本库，从而应用范围也受限，目前仅用于水稻种子的监测。


技术实现要素：

23.本发明针对上述问题，提供基于深度学习的种子发芽试验自动监测系统，其目的在于实现多种摄像机的适配，提高通用性；进一步扩宽应用场景，降低设备成本；既可以对离线图像进行种子发芽分析，也可对视频的实时在线种子发芽试验分析，包括种子总数、发芽和未发芽的种子数、发芽率；尤其是能每小时获取当前种子图像并自动分析，记录并存储发芽数据，非常具有实用价值；实现高精度、实时的种子发芽和未发芽状态的判断；很大程度地提高育种工作效率，提高生产力。
24.为解决上述问题，本发明提供的技术方案为：
25.一种基于深度学习的种子发芽试验自动监测系统，包含用于采集种子发芽的视频信号的观测装置和用于分析所述视频信号并计算得到发芽状态分析结果的监测系统；其中：
26.所述观测装置包含发芽恒温箱和视频采集装置；其中：
27.所述发芽恒温箱的顶部开设有观测窗；所述观测窗穿透所述发芽恒温箱的顶部，且正对用于使种子发芽的培养皿；
28.所述视频采集装置包含摄像机和用于调节所述摄像机的空间位置的调节定位装置；所述摄像机通过所述调节定位装置可拆卸安装在所述发芽恒温箱的上端面，且将所述摄像机的镜头指向所述观测窗；
29.所述监测系统安装在与所述视频采集装置电信号连接的计算机中，接收所述视频信号。
30.优选地，所述调节定位装置包含外箱体和调节导轨；其中：
31.所述外箱体为无底面的长方形盒状箱体，包含三个固定侧壁、一个仓门和一个顶壁；其中：每个所述固定侧壁都与所述顶壁固定连接；每个所述固定侧壁都包含多个l型角码；所述l型角码的一端与所述固定侧壁的内壁的下端螺栓连接，另一端与所述发芽恒温箱的上端面螺栓连接；
32.所述仓门的一端与一个所述固定侧壁的一端铰接，实现仓门的转动功能，另一端与该与仓门铰接的固定侧壁相对的固定侧壁门锁连接；
33.所述顶壁上设有三条顶壁螺丝槽；所述顶壁螺丝槽相互平行；
34.所述调节导轨为7字形，包含水平导轨和竖直导轨；所述水平导轨和所述竖直导轨相互垂直；其中：
35.所述水平导轨开设有一条水平螺丝槽；所述水平螺丝槽与所述顶壁螺丝槽相互垂直，通过两颗螺丝实现螺栓连接且实现所述水平导轨可前后左右自由调整；
36.所述竖直导轨上开设有一条竖直螺丝槽；所述竖直螺丝槽的延伸方向与所述竖直导轨的长度方向平行；
37.所述摄像机通过所述竖直螺丝槽与所述竖直导轨可拆卸连接，且可沿所述竖直螺丝槽的延伸方向做竖直位置调整。
38.优选地，所述调节定位装置还包含用于保护所述摄像机的镜头的镜头保护套；
39.所述镜头保护套包含第一保护套和第二保护套；其中：
40.所述第一保护套为圆筒形；所述第一保护套的外径等于所述观测窗的直径；所述第一保护套的内径大于所述摄像机的镜头的外径；所述第一保护套的外侧面设有螺纹；所述第一保护套的一端的外侧面设有环状凸缘；所述环状凸缘的外径大于所述观测窗的直径；
41.所述第二保护套为圆筒形；所述第二保护套的内径等于所述观测窗的直径；所述第二保护套的内侧面设有螺纹，且与所述第一保护套的外侧面的螺纹相配合；所述第二保护套的一端的外侧面设有第一保护套的环状凸缘形状相同的环状凸缘；
42.所述第二保护套设置于所述发芽恒温箱的内部；所述第二保护套的环状凸缘紧贴所述发芽恒温箱的顶部的内侧；所述第二保护套的内径与所述观测窗对准；
43.所述第一保护套设置于所述发芽恒温箱的外部；所述第一保护套的环状凸缘紧贴所述发芽恒温箱的顶部的外侧；所述第一保护套的圆筒部分穿过所述观测窗；所述第一保护套的外径与所述第二保护套的内径螺纹连接。
44.优选地，所述外箱体的所述固定侧壁和所述仓门上都开设有多个散热孔。
45.优选地，所述外箱体的所述顶壁上设置有用于稳固放置便携式电脑的垫块；所述垫块为条状；所述垫块的上端面为用于与便携式电脑的下端面平面接触的水平面。
46.优选地，所述外箱体的所述顶壁上开设有用于穿线的走线孔。
47.优选地，所述外箱体在与所述发芽恒温箱的门体固定件重合的角上设有缺口；所述缺口为长方体空间，内凹入所述外箱体；所述缺口的高与所述l型角码的高相同；所述缺口在所述外箱体的内部的两个竖直侧面为金属板，且与所述外箱体固定链接；所述缺口的
其余4个面为开放式结构；所述缺口的下端面的形状与所述发芽恒温箱的所述门体固定件的形状相配合。
48.优选地，所述l型角码共有5个；其中：2个所述l型角码分别与所述缺口在所述外箱体的内部的两个竖直侧面的金属板螺栓连接；3个所述l型角码分别设置在所述外箱体的下端面的内部的另外3个角上。
49.优选地，所述监测系统包含视频信号接收模块和发芽状态分析模块；其中：
50.所述视频信号接收模块与所述视频采集装置电信号连接，用于接收来自所述视频采集装置的所述视频信号，并将所述视频信号转发给所述发芽状态分析模块；
51.所述视频信号为视频帧集合，由所述摄像机采集；所述视频帧集合包含按采集时间的时间轴增序排列的视频帧；每个所述视频帧包含原始图像数据、时间戳和独一无二的视频帧序号；
52.所述发芽状态分析模块用于接收来自的所述视频信号接收模块的所述视频信号，并利用改进的centernet目标检测算法对进行识别操作和分析操作，获得并输出所述发芽状态分析结果；其中：
53.所述改进的centernet目标检测算法的非极大值抑制算法中包含用于表征两个包围框之间的相交的面积的包围框相交面积，以及用于表征两个包围框的中心点之间的距离的包围框中心点距离；
54.所述改进的centernet目标检测算法还包含用于消除由于特征不显著目标同时被检测为多个发芽状态而产生的重框的多目标中心点距离过近抑制算法；所述多目标中心点距离过近抑制算法按下式表达：
[0055][0056]
其中：target
selected
表示被挑选出来的包围框；i和j表示包围框的序号； targeti表示第i个包围框；targetj表示第j个包围框；symbol()为取号函数，表示获取包围框的序号；max()为最大值函数，表示保留该函数所有参数中最大的一个参数；si表示第i个包围框中所识别的物体的得分；sj表示第j个包围框中所识别的物体的得分；fxi表示第i个包围框的中心点坐标的横坐标；fyi表示第i个包围框的中心点坐标的纵坐标；fxj表示第j个包围框的中心点坐标的横坐标；fyj表示第j个包围框的中心点坐标的纵坐标；tc为距离阈值，按下式表达：
[0057][0058]
其中：n为包围框的总数量；k表示包围框的序号；x
k1
表示第k个包围框左上角坐标的横坐标；y
k1
表示第k个包围框左上角坐标的纵坐标；x
k2
表示第k 个包围框右下角坐标的横坐标；y
k2
表示第k个包围框右下角坐标的纵坐标；
[0059]
所述改进的centernet目标检测算法的损失函数按下式表达：
[0060]
l
seed
＝2.2lk 0.2l
size
l
off
[0061]
其中：lk为热力图的loss，通过focal loss损失函数获得，且所述focal loss 损
失函数中所用到的超参数分别为2和4；l
size
为包围框宽高的loss，通过普通的l1损失函数获得；l
off
为中心点坐标偏移的loss，通过普通的l1损失函数获得；
[0062]
所述发芽状态分析结果包含已发芽种子数量、未发芽种子数量、发芽率和已标定培养皿图像数据；其中：所述已标定培养皿图像数据包含所述视频帧和所述包围框。
[0063]
优选地，所述发芽状态分析模块还包含实时在线监测模式、离线识别模式和哨兵模式；其中：
[0064]
在所述实时在线监测模式下，所述发芽状态分析模块对值最大一个所述时间戳所对应的所述视频帧进行识别操作和分析操作，获得并输出所述发芽状态分析结果；
[0065]
所述离线识别模式下，所述发芽状态分析模块对人工指定的所述视频帧进行识别操作和分析操作，获得并输出所述发芽状态分析结果；
[0066]
所述哨兵模式下，所述发芽状态分析模块按照人工预设的识别频率，从所述视频帧集合中逐一取出对应的所述视频帧；然后对取出的每个所述视频帧进行识别操作和分析操作，获得并输出所述发芽状态分析结果。
[0067]
本发明与现有技术对比，具有以下优点：
[0068]
1.由于本发明水平导轨、竖直导轨以及顶壁螺丝槽相互垂直，形成了三维坐标系的三个方向，使安置在上面的摄像机可以上下左右灵活移动，从而实现了多种摄像机的适配，提高了通用性；
[0069]
2.由于本发明可以适配不同的摄像机，从而进一步扩宽了应用场景，使得无论高清画面需求还是普通画面需求都能在同一个装置中完成，只需更换摄像机即可，降低了设备成本；
[0070]
3.由于本发明设置了3中监控模式，从而既可以对离线图像进行种子发芽分析，也可对视频的实时在线种子发芽试验分析，包括种子总数、发芽和未发芽的种子数、发芽率；尤其是为了完整记录种子发芽全过程，所设定的“无人监管模式”，能每小时获取当前种子图像并自动分析，记录并存储发芽数据，非常具有实用价值；
[0071]
4.由于本发明对centernet目标检测算法进行了改进，有针对性的设计了一种适用于种子发芽监测的密集分布小目标检测算法，从而实现了高精度、实时的种子发芽和未发芽状态的判断，解决了现有技术基于深度学习的目标检测算法虽然很多，但对于密集分布的小目标无法识别，或者检测精度很低的问题；
[0072]
5.由于本发明对种子发芽过程的监测过程进行了专门优化，从而使得使用方便快捷，能很大程度地提高育种工作效率，提高生产力。
附图说明
[0073]
图1-a为本发明具体实施例的观测装置的正面照片；
[0074]
图1-b为本发明具体实施例的观测装置的侧面照片；
[0075]
图1-c为本发明具体实施例的观测装置的背面照片；
[0076]
图2为本发明具体实施例的视频采集装置的后方立体示意图；
[0077]
图3为本发明具体实施例的视频采集装置的前方立体示意图；
[0078]
图4为本发明具体实施例的外箱体的立体透视示意图；
[0079]
图5为本发明具体实施例的外箱体的正视示意图；
[0080]
图6为本发明具体实施例的外箱体的左视示意图；
[0081]
图7为本发明具体实施例的外箱体的俯视示意图；
[0082]
图8为本发明具体实施例的外箱体的仰视示意图；
[0083]
图9为本发明具体实施例的仓门的立体示意图；
[0084]
图10为本发明具体实施例的仓门的正视示意图；
[0085]
图11为本发明具体实施例的仓门的俯视示意图；
[0086]
图12为本发明具体实施例的仓门的左视示意图；
[0087]
图13为本发明具体实施例的视频采集装置的装有便携式电脑的前视示意图；
[0088]
图14为本发明具体实施例的视频采集装置的开门状态下的装有便携式电脑的左视示意图；
[0089]
图15为本发明具体实施例的视频采集装置的开门状态下的后视示意图；
[0090]
图16为本发明具体实施例的视频采集装置的开门状态下的右视示意图；
[0091]
图17为本发明具体实施例的视频采集装置的开门状态下的左视示意图；
[0092]
图18为本发明具体实施例的调节导轨的立体示意图；
[0093]
图19为本发明具体实施例的调节导轨的主视示意图；
[0094]
图20为本发明具体实施例的调节导轨的左视示意图；
[0095]
图21为本发明具体实施例的调节导轨的俯视示意图；
[0096]
图22为本发明具体实施例的l型角码的立体示意图；
[0097]
图23为本发明具体实施例的l型角码的主视示意图；
[0098]
图24为本发明具体实施例的l型角码的左视示意图；
[0099]
图25为本发明具体实施例的l型角码的俯视示意图；
[0100]
图26为本发明具体实施例的镜头保护套的分解为第一保护套和第二保护套的侧视示意图；
[0101]
图27为本发明具体实施例的镜头保护套的俯视示意图；
[0102]
图28-a为本发明具体实施例的镜头下特征不明显的幼芽的照片；
[0103]
图28-b为本发明具体实施例的镜头下较短的幼芽的照片；
[0104]
图29-a为本发明具体实施例的使用原始centernet算法的发芽状态分析结果的识别的目标截图；
[0105]
图29-b为本发明具体实施例的使用原始centernet算法的发芽状态分析结果的得分和中心点位置截图；
[0106]
图30为本发明具体实施例的镜头下密集分布种子图像的照片；
[0107]
图31-a为本发明具体实施例的使用改进后的centernet算法的发芽状态分析结果的识别的目标截图；
[0108]
图31-b为本发明具体实施例的使用改进后的centernet算法的发芽状态分析结果的得分和中心点位置截图；
[0109]
图32-a为本发明具体实施例的改变loss函数后的模型测试结果的识别的目标截图；
[0110]
图32-b为本发明具体实施例的改变loss函数后的模型测试结果的得分和中心点位置截图；
[0111]
图33-a为本发明具体实施例的原模型识别的目标的密集小目标测试结果的截图；
[0112]
图33-b为本发明具体实施例的原模型得分和中心点位置的密集小目标测试结果的截图；
[0113]
图33-c为本发明具体实施例的新模型识别的目标的密集小目标测试结果的截图；
[0114]
图33-d为本发明具体实施例的新模型得分和中心点位置的密集小目标测试结果的截图；
[0115]
图34-a为本发明具体实施例的原模型识别的目标的复杂背景中密集小目标测试结果的截图；
[0116]
图34-b为本发明具体实施例的原模型得分和中心点位置的复杂背景中密集小目标测试结果的截图；
[0117]
图34-c为本发明具体实施例的新模型识别的目标的复杂背景中密集小目标测试结果的截图；
[0118]
图34-d为本发明具体实施例的新模型得分和中心点位置的复杂背景中密集小目标测试结果的截图；
[0119]
图35-a为本发明具体实施例的实时在线监测模式的系统运行软件界面的截图；
[0120]
图35-b为本发明具体实施例的离线识别模式的系统运行软件界面的截图。
[0121]
其中，1.视频采集装置，2.摄像机，3.调节定位装置，4.外箱体，5.调节导轨， 6.固定侧壁，7.仓门，8.顶壁，9.l型角码，10.顶壁螺丝槽，11.水平导轨，12. 竖直导轨，13.水平螺丝槽，14.竖直螺丝槽，15.镜头保护套，16.第一保护套， 17.第二保护套，18.环状凸缘，19.垫块，20.缺口，21.便携式电脑，22.散热孔， 23.走线孔，24.拉手。
具体实施方式
[0122]
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
[0123]
需要事先说明的是，传统种子发芽试验过程中，需要人工计数培养皿或者发芽床中受试种子的总数，每间隔一段时间，还需要观察受试种子发芽状态的改变，统计已发芽的种子数和未发芽的种子数，计算和记录当前时刻种子发芽率。该过程需要耗费大量的人力，且人工判断种子的发芽状态容易受主观因素影响而出错。本发明对种子的计数和发芽状态的判断采用基于深度卷积神经网络的目标检测方法来实现，检测精度高，环境适应性好，能够适应背景噪声、亮度变化、光照不均等各种影响。
[0124]
本具体实施例公开了以下内容：
[0125]
如图1-a～1-c所示，一种基于深度学习的种子发芽试验自动监测系统，包含用于采集种子发芽的视频信号的观测装置和用于分析视频信号并计算得到发芽状态分析结果的监测系统。
[0126]
其中：
[0127]
观测装置包含发芽恒温箱和视频采集装置1。
[0128]
如图1-a～1-c所示，照片中的装置的上半部带有孔洞结构的箱型设备为视频采集装置1，下半部有蓝色门和数显窗口的设备为发芽恒温箱。
[0129]
其中：
[0130]
发芽恒温箱的顶部开设有观测窗；观测窗穿透发芽恒温箱的顶部，且正对用于使种子发芽的培养皿。
[0131]
需要说明的是，发芽恒温箱是购置的成品，后期进行改造以适用于发芽试验自动监测，主要改造就是在其顶部开孔，便于放置摄像机2。
[0132]
如图2和图3所示，视频采集装置1包含摄像机2和用于调节摄像机2的空间位置的调节定位装置3；摄像机2通过调节定位装置3可拆卸安装在发芽恒温箱的上端面，且将摄像机2的镜头指向观测窗。
[0133]
需要说明的是，调节定位装置3的目的是使摄像机2可以固定在发芽恒温箱，便于摄像机2通过发芽恒温箱上方的观测窗检测种子发芽的情况。
[0134]
调节定位装置3包含外箱体4和调节导轨5；其中：
[0135]
如图4～17所示，外箱体4为无底面的长方形盒状箱体，包含三个固定侧壁 6、一个仓门7和一个顶壁8；其中：每个固定侧壁6都与顶壁8固定连接；每个固定侧壁6都包含多个l型角码9。
[0136]
如图22～25所示，l型角码9的一端与固定侧壁6的内壁的下端螺栓连接，另一端与发芽恒温箱的上端面螺栓连接。
[0137]
如图9～12所示，仓门7的一端与一个固定侧壁6的一端铰接，实现仓门7 的转动功能，另一端与该与仓门7铰接的固定侧壁6相对的固定侧壁6门锁连接。
[0138]
需要说明的是，仓门7与固定侧壁6的铰接通过两个合叶连接实现，主要设计目的在于：当需要对外箱体4内部进行调整时可以方便地打开。
[0139]
需要说明的是，仓门7上设置有拉手24，从而可以方便地开合仓门7。
[0140]
顶壁8上设有三条顶壁螺丝槽10；顶壁螺丝槽10相互平行。
[0141]
如图18～21所示，调节导轨5为7字形，包含水平导轨11和竖直导轨12；水平导轨11和竖直导轨12相互垂直；其中：
[0142]
水平导轨11开设有一条水平螺丝槽13；水平螺丝槽13与顶壁螺丝槽10相互垂直，通过两颗螺丝实现螺栓连接且实现水平导轨11可前后左右自由调整。
[0143]
需要说明的是，水平螺丝槽13与顶壁螺丝槽10相互垂直，通过两颗螺丝实现螺栓连接，就实现了让调节导轨5在一定范围内前后、左右调节的效果。便于摄像机2在一定范围内前后、左右调节位置。这样设计的目在于：解决当使用不同摄像机2时，因为不同型号摄像机2的长宽差异，摄像机2视角与发芽恒温箱上方孔位不对齐，导致拍不到有效画面。
[0144]
需要进一步说明的是，发芽恒温箱上设计三条顶壁螺丝槽10的目的是：任意两个调节导轨5连接可以调节导轨5左右旋转。
[0145]
需要进一步说明的是，设计三条而不是两条顶壁螺丝槽10的原因是为了增加可移动范围。
[0146]
竖直导轨12上开设有一条竖直螺丝槽；竖直螺丝槽的延伸方向与竖直导轨12的长度方向平行。
[0147]
需要说明的是，竖直导轨12上开设竖直螺丝槽的目的是通过螺丝与摄像机2 固定，以达到摄像机2可以在上下一定范围内调节；这样就能解决当使用不同型号摄像机2时，因为不同摄像机2的高度差异，摄像机2观察种子时远近不合适，导致拍不到有效画面的问
题。
[0148]
本具体实施例中，有两条竖直导轨12，且相互垂直；
[0149]
需要进一步说明的是，本具体实施例设置两条且相互垂直的竖直导轨12的目的是为了让摄像机2可以旋转90度从而改变视角。
[0150]
摄像机2通过竖直螺丝槽与竖直导轨12可拆卸连接，且可沿竖直螺丝槽的延伸方向做竖直位置调整。
[0151]
如图26～27所示，本具体实施例中，调节定位装置3还包含用于保护摄像机2的镜头的镜头保护套15。
[0152]
镜头保护套15包含第一保护套16和第二保护套17；其中：
[0153]
第一保护套16为圆筒形；第一保护套16的外径等于观测窗的直径；第一保护套16的内径大于摄像机2的镜头的外径；第一保护套16的外侧面设有螺纹；第一保护套16的一端的外侧面设有环状凸缘18；环状凸缘18的外径大于观测窗的直径。
[0154]
第二保护套17为圆筒形；第二保护套17的内径等于观测窗的直径；第二保护套17的内侧面设有螺纹，且与第一保护套16的外侧面的螺纹相配合；第二保护套17的一端的外侧面设有第一保护套16的环状凸缘18形状相同的环状凸缘18；
[0155]
第二保护套17设置于发芽恒温箱的内部；第二保护套17的环状凸缘18紧贴发芽恒温箱的顶部的内侧；第二保护套17的内径与观测窗对准。
[0156]
第一保护套16设置于发芽恒温箱的外部；第一保护套16的环状凸缘18紧贴发芽恒温箱的顶部的外侧；第一保护套16的圆筒部分穿过观测窗；第一保护套16的外径与第二保护套17的内径螺纹连接。
[0157]
需要说明的是，镜头保护套15的设置原因在于观测窗的开孔处边缘较为尖锐，安装摄像机2时容易造成碰撞，为了保护摄像机2的镜头，按照顶部开孔尺寸设计了镜头保护套15。
[0158]
需要进一步说明的是，镜头保护套15并用3d打印机打印出来使用。
[0159]
需要进一步说明的是，第一保护套16的外径与第二保护套17的内径螺纹连接，形成一个闭合套筒，避免摄像机2的镜头与发芽恒温箱的开孔部分碰撞。
[0160]
本具体实施例中，外箱体4的固定侧壁6和仓门7上都开设有多个散热孔22。
[0161]
需要说明的是，散热孔22的设置目的在于发芽恒温箱的上方开孔原本是用于散热，以及散发水汽，而摄像机2会因此起雾，所以需要此散热设计。
[0162]
本具体实施例中，外箱体4的顶壁8上设置有用于稳固放置便携式电脑21 的垫块19；垫块19为条状；垫块19的上端面为用于与便携式电脑21的下端面平面接触的水平面。
[0163]
需要说明的是，垫块19的设置目的在于放置便携式电脑21；便携式电脑21 放在外箱体4上方可以更加方便快捷地对摄像机2进行调整。
[0164]
需要进一步说明的是，之所以采用多个条状的垫块19，而非一整个平面来防止便携式电脑21，其原因在于在外箱体4上方放置便携式电脑21时，避免螺丝接触电脑；另一方面条状的垫块19之间的间隙还可以改善电脑的散热。
[0165]
本具体实施例中，外箱体4的顶壁8上开设有用于穿线的走线孔23。
[0166]
需要说明的是，走线孔23的设置目的在于让便携式电脑21与摄像机2连接时的信号线、电源线等可以穿过外箱体4。
[0167]
本具体实施例中，外箱体4在与发芽恒温箱的门体固定件重合的角上设有缺口20；缺口20为长方体空间，内凹入外箱体4；缺口20的高与l型角码9的高相同；缺口20在外箱体4的内部的两个竖直侧面为金属板，且与外箱体4固定链接；缺口20的其余4个面为开放式结构；缺口20的下端面的形状与发芽恒温箱的门体固定件的形状相配合。
[0168]
本具体实施例中，l型角码9共有5个；其中：2个l型角码9分别与缺口 20在外箱体4的内部的两个竖直侧面的金属板螺栓连接；3个l型角码9分别设置在外箱体4的下端面的内部的另外3个角上。
[0169]
需要说明的是，l型角码9的设置目的在于作为固定连接件与发芽恒温箱上开设的螺丝孔对齐并用螺丝固定，使外箱体4与发芽恒温箱牢固地固定在一起，成为一体。
[0170]
需要进一步说明的是，缺口20的设置目的在于避开发芽恒温箱上对应位置的门体固定部件，不影响发芽恒温箱的门的正常开合。
[0171]
至此，本发明的硬件装置即装配完成；将发芽恒温箱和视频采集装置1连接，装上普通型号的摄像机2，即可构成一整套种子发芽试验环境及位置三维可调节的图像采集系统。
[0172]
监测系统安装在与视频采集装置1电信号连接的计算机中，接收视频信号。
[0173]
需要说明的是，监测系统的界面是用pyqt5设计，功能模块算法由python 语言编写。监测系统的主要功能是实现对种子发芽试验自动监测，即对发芽恒温箱中进行发芽试验的种子发芽状态进行识别，并分别计数，计算当前发芽率。
[0174]
监测系统包含视频信号接收模块和发芽状态分析模块；其中：
[0175]
视频信号接收模块与视频采集装置1电信号连接，用于接收来自视频采集装置1的视频信号，并将视频信号转发给发芽状态分析模块。
[0176]
视频信号为视频帧集合，由摄像机2采集；视频帧集合包含按采集时间的时间轴增序排列的视频帧；每个视频帧包含原始图像数据、时间戳和独一无二的视频帧序号。
[0177]
发芽状态分析模块用于接收来自的视频信号接收模块的视频信号，并利用改进的centernet目标检测算法对进行识别操作和分析操作，获得并输出发芽状态分析结果；其中：
[0178]
改进的centernet目标检测算法的非极大值抑制算法中包含用于表征两个包围框之间的相交的面积的包围框相交面积，以及用于表征两个包围框的中心点之间的距离的包围框中心点距离。
[0179]
改进的centernet目标检测算法还包含用于消除由于特征不显著目标同时被检测为多个发芽状态而产生的重框的多目标中心点距离过近抑制算法；多目标中心点距离过近抑制算法按式(1)表达：
[0180][0181]
其中：target
selected
表示被挑选出来的包围框；i和j表示包围框的序号； targeti表示第i个包围框；targetj表示第j个包围框；symbol()为取号函数，表示获取包围框的序
号；max()为最大值函数，表示保留该函数所有参数中最大的一个参数；si表示第i个包围框中所识别的物体的得分；sj表示第j个包围框中所识别的物体的得分；fxi表示第i个包围框的中心点坐标的横坐标；fyi表示第i个包围框的中心点坐标的纵坐标；fxj表示第j个包围框的中心点坐标的横坐标；fyj表示第j个包围框的中心点坐标的纵坐标；tc为距离阈值，按式(2)表达：
[0182][0183]
其中：n为包围框的总数量；k表示包围框的序号；x
k1
表示第k个包围框左上角坐标的横坐标；y
k1
表示第k个包围框左上角坐标的纵坐标；x
k2
表示第k 个包围框右下角坐标的横坐标；y
k2
表示第k个包围框右下角坐标的纵坐标。
[0184]
需要说明的是，采用改进的centernet目标检测算法的原因如下：
[0185]
目前比较主流的目标检测算法分为两类：一类是基于二阶段(two-stage)的方法，即先生成一系列样本的候选框，再通过卷积神经网络进行样本分类，比如rcnn、fast rcnn、faster rcnn。另一类是基于一阶段(one-stage)的目标检测框架，同时完成检测和回归任务，例如yolo/yolov2、单次多框检测器(single shot multibox detector，ssd)等。这些算法都需要用到一系列锚框 (anchor box)来确定目标的位置和尺寸。two-stage任务准确率较高，但是速度比较慢；one-stage能够达到实时性，但是牺牲了精度。最重要的是，本发明待检测的对象是发芽试验过程中的种子，目标数量多，密集分布，且目标非常小，如油菜种子，以上算法测试效果均不佳。因此，为了解决上述问题，本发明采用一种基于中心点的目标检测架构，即centernet神经网络，并对其进行优化，提出一种适用于种子发芽监测系统中的密集分布小目标检测算法可以避免列举大量的候选框，实现更简化、快捷精度更高的检测。
[0186]
基于上述说明，本发明从以上两方面做了优化，在此详细说明如下：
[0187]
1.包围框的优化：
[0188]
原始的centernet算法在解码之后没有进行非极大值抑制后处理，目标为小目标时，影响不大，但当目标过大时，也是会产生部分重框的。在本发明的种子发芽试验应用中，由于有多种规格的培养皿，摄像机的焦距会根据培养皿大小来调节，导致目标的尺寸在每次试验都会有变化，实际应用中发现，种子作为检测目标，属于典型的小目标检测范围，但是也会产生重框问题。
[0189]
另外，centernet作为一种新的anchor-free端到端目标检测算法，仅使用一个点来表示对象的边界框中心，然后直接从中心位置周围的图像特征回归得到对象大小、方向、姿态等属性，将目标检测问题变成一个标准的关键点估计问题。相比于其他目标检测算法，centernet对于种子发芽试验中的密集分布小目标问题有更好的检测效果。但是种子发芽图像中，种子的外壳的颜色特征显著，但芽的颜色特征与常用的白色滤纸背景非常相似，容易造成误判。如图28-a所示：红色方框中的幼芽从正面长出，种子外壳有较为明显的破口，较为容易识别，蓝色方框为完全未发芽的种子，黄色方框中的种子实际已经发芽，但幼芽从底部长出，未破坏种子壳的外观，而芽的颜色与背景极为相似，容易产生误判。图28-b中，黄色方框标注的种子，种子的幼芽较短，这种情况也应判定属于发芽的目标，但是在实际检测
过程中，也会出现同时被检测为发芽和未发芽两种目标。
[0190]
在实际应用中发现，用centernet算法来进行种子发芽状态的识别，特征不明显的幼芽和较短的幼芽，都容易产生重框，也就是会同时被识别为发芽和未发芽两个目标，产生较多重框，对图28-b进行测试，识别结果如图29-a和图29-b 所示：识别结果为发芽种子20粒，未发芽种子9粒。但经过人工计数，实际种子只有25粒，其中发芽种子20粒，未发芽种子5粒，也就是说有4粒种子被重复计数，将识别出来的目标类别和包围框中心坐标显示出来，如图29-b所示，发现有四对方框中心点出现了重合或者非常接近，这很明显是出现了误判。
[0191]
于是问题的本质就是要解决上述说明描述的两种重框问题；为了解决重框问题，本发明对centernet算法进行了如前述的改进，现具体说明如下：
[0192]
(1)对于同类别目标的重框问题，使用在解码之后进行非极大值抑制的方法来剔除。
[0193]
常用的非极大值抑制算法(nms：non maximum suppression)分为三步：首先将所有框的得分排序，选中最高分及其对应的框；然后遍历其余的框，如果和当前最高分框的iou【unitbox:an advanced object detection network】大于一定阈值，就将该包围框删除；本具体实施例中，选定的阈值是0.3；最后从未处理的框中继续选一个得分最高的，重复上述过程。
[0194]
上述方法可以达到一定的剔除重框的效果，但不能解决全部问题，主要是在实验中发现，该方法在密集分布的种子图像中，容易丢失部分真实目标区域，如图30所示：相邻的红框和蓝框标注的种子，都属于发芽的种子，但方框重合度较高，在进行非极大值抑制时容易丢失部分真实目标。于是还需要进行进一步改进。
[0195]
为了克服上述问题，本发明对nms进行了改进，不仅考虑两个包围框之间的相交和并集的面积，还增加了两个包围框之间的中心点距离和长宽比，也就是用ciou替换iou。
[0196]
经实验检验，这样做可以有效解决同类目标重框问题，同时又可以防止出现密集分布的相连同类目标丢失问题。
[0197]
(2)对于不同类别目标的重框问题，本发明则设计了一种多目标中心点距离过近抑制算法(ocpsa：overclose center point suppression algorithm)，来解决特征不显著目标同时被检测为多个发芽状态，产生重框的问题。
[0198]
由于种子发芽试验要求种子不能重合，相邻种子需要有一定的间距，所以当检测的目标中心点过近时，一定会有一个目标是误检测目标。因此，本发明以此为理论依据设计了ocpsa优化方法，当两目标中心距离过近，则进行修正，剔除多余目标；具体如式(1)、式(2)处说明，此处详细说明其原理：
[0199]
假设一帧图像中检测出n个目标，用{x
i1
,y
i1
}表示第i个目标包围框左上角坐标，用{x
i2
,y
i2
}表示第i个目标包围框右下角坐标，于是可以如式(1)计算距离阈值tc。
[0200]
在此基础上，用{fxi,fyi}表示第i(i＝1～n)个发芽种子的中心位置坐标， {fxj,fyj}表示第j(j＝1～n且j≠i)个发芽种子的中心位置坐标，那么当{fxi,fyi} 与{fxj,fyj}的位置满足式(2)时，同时保留这两个包围框，否则剔除得分较低的一个包围框，保留得分较高的一个包围框；这就是式(2)的理论依据。
[0201]
用改进的centernet目标检测算法对图29进行再次测试，结果如图31-a和图 31-b所示：识别结果为发芽种子20粒，未发芽种子5粒，与人工计数结果一致，有效地解决了重框
问题。
[0202]
改进的centernet目标检测算法的损失函数按式(3)表达：
[0203]
l
seed
＝2.2lk 0.2l
size
l
off
ꢀꢀꢀ
(3)
[0204]
其中：lk为热力图的loss，通过focal loss损失函数获得，且focal loss损失函数中所用到的超参数分别为2和4；l
size
为包围框宽高的loss，通过普通的 l1损失函数获得；l
off
为中心点坐标偏移的loss，通过普通的l1损失函数获得。
[0205]
需要说明的是，原始centernet算法的损失函数的宽高预测的loss会比较大，其loss乘上了一个系数，为0.1，组成了总的loss；但本发明所检测的对象是种子，分类的对象是发芽和不发芽两种状态；因此经过理论分析和大量的实验验证，种子作为目标，其中心点的位置对结果影响较小，所以本发明对原loss 函数中的各项系数进行了修正，修正后的loss函数依次为2.2、0.2和1。
[0206]
发芽状态分析结果包含已发芽种子数量、未发芽种子数量、发芽率和已标定培养皿图像数据；其中：已标定培养皿图像数据包含视频帧和包围框。
[0207]
本具体实施例中，发芽状态分析模块还包含实时在线监测模式、离线识别模式和哨兵模式；其中：
[0208]
如图35-a所示，在实时在线监测模式下，发芽状态分析模块对值最大一个时间戳所对应的视频帧进行识别操作和分析操作，获得并输出发芽状态分析结果。
[0209]
需要说明的是，在实时在线监测模式下，便携式电脑21运行监测系统，连接摄像机2；在图像显示区域左侧即实时显示摄像机2当面获取的图像；点击“识别”按钮，即可实时调用发芽状态分析模块对该帧视频帧进行识别操作和分析操作，实时获取所有种子区域，并对每粒种子的发芽状态进行分类，将已发芽、未发芽的种子分别用红色和蓝色方框标记出来，便于专业人员对检测结果进行审阅；在图像显示区域右侧实时显示种子发芽监测结果，其左上角显示检测帧率；发芽和未发芽种子的数量、发芽率分别显示并保存到后台，便于后期查看历史数据。为了获得较好的视频效果，提高发芽状态识别精度，可以对摄像机2 镜头获取的视频帧进行实时后期调节，如单独增强或弱化r、g、b通道的值、改变曝光时间、亮度、对比度、反向、直方图均衡、滤波等，操作方法见界面左侧功能区。
[0210]
如图35-b所示，离线识别模式下，发芽状态分析模块对人工指定的视频帧进行识别操作和分析操作，获得并输出发芽状态分析结果。
[0211]
需要说明的是，离线识别模式主要用于分析已经采集好的单个视频帧；点击“打开图片”或者“打开视频”，在图像显示区域左侧显示当前图像或者视频；点击“识别”按钮，即可调用发芽状态分析模块对该视频帧进行发芽状态分析，检测结果显示在图像显示区域右侧，发芽和未发芽种子的数量、发芽率显示在界面左上方。
[0212]
需要进一步说明的是，本监测系统用到的基于深度学习的改进的centernet 目标检测算法，鲁棒性好；不限于本具体实施例的硬件系统中用到的摄像机2 获取的图像，而是任意常见设备如手机摄像头、不同型号的普通摄像机、工业摄像机获取的离线种子的视频帧，均可以用来进行种子发芽状态分析。
[0213]
哨兵模式下，发芽状态分析模块按照人工预设的识别频率，从视频帧集合中逐一取出对应的视频帧；然后对取出的每个视频帧进行识别操作和分析操作，获得并输出发芽状态分析结果。
[0214]
需要说明的是，哨兵模式实际上是实时在线监测模式的一个变种，即在实时在线监测模式的基础上，增加了时钟功能；在该模式下，每间隔人工预设的识别频率，摄像机2自动采集一帧当前图像并识别，获得当前帧中的已发芽种子数量、未发芽种子数量、发芽率和已标定培养皿图像数据，并将这四个数据和连同时间戳一起存储到数据库，便于后期分析发芽试验全过程参数。
[0215]
需要进一步说明的是，由于种子发芽速度较慢，因此本具体实施例中的识别频率设为1小时/帧。
[0216]
以下是通过实验对本发明的技术效果进行验证：
[0217]
保持其他参数、训练样本、步数等不变，只改变损失函数，训练一个新的模型，并对待检测样本进行测试，首先对图31-a和图31-b中用到的图像进行检测，结果如图32-a和图32-b所示：识别结果为发芽种子20粒，未发芽种子5粒，与人工计数结果一致，也与未改变loss函数之前的结果一致。但对比图31-a和图31-b和图32和图32-b，很容易读出，新模型的目标检测结果得分，有较显著的提高。
[0218]
种子发芽状态分类是典型的密集小目标检测场景，种子目标越密集，检测难度越大，为了进一步验证改变新模型的优势，本发明再一次提高检测难度，增加种子的密度，并分别用原模型和改进后的模型对相同图像进行检测，结果如图33-a～33～d所示。其中，图33-a和图33-b是原模型的检测结果，图33-c和图33-d是新模型的检测结果。原模型检测出34个发芽目标，14个未发芽目标，新模型检测出31个发芽目标，18个未发芽目标。经过人工确认，实际有31个发芽目标，18个未发芽目标，即新模型没有误检测，而原模型有部分误检测，还有一个漏检目标。
[0219]
另外，改进后的算法，对环境适应性更好，将图33-a～33～d中的培养皿放置在一个更复杂的背景环境中，分别用原模型和新模型测试，结果如图33-a～ 33～d所示：其中，34-a和32-b是原模型的检测结果，34-c和34-d是新模型的检测结果。原模型检测出34个发芽目标，16个未发芽目标，新模型检测出31 个发芽目标，18个未发芽目标。经过人工确认，实际有31个发芽目标，18个未发芽目标，即新模型没有误检测，而原模型有部分误检测，还出现了一些不显著的重框。
[0220]
仔细分析图34-b的数据，由于加入了重框剔除算法，所以没有类似于图29-b 中明显的重框出现，但由于本例视场中的目标过多，过于密集，导致式(2)获取的参数tc较小，所以当个别重框位置偏移较大时，也无法剔除，也就出现了本例中个别不显著的重框。
[0221]
至此，根据大量实验分析，证明新的loss函数更适合于本应用场景，不仅能显著提高目标的得分，还能提高检测精度，降低误检率。另外，新模型的环境适应性较好，对于同一个培养皿，更换不同的背景，知识目标的得分略微有变化，但是检测出的种子发芽和未发芽的状态稳定不变，鲁棒性较原模型更好。
[0222]
进一步的，将本发明设计的系统用来对油菜种子发芽试验进行测试，测试结果表明：本发明设计的系统，基于深度学习的目标检测算法，对培养皿中密集分布的小目标检测，检测结果的参数相比当前较流行的部分基于深度学习的目标检测算法有大幅度提高。
[0223]
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的
那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
[0224]
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本技术公开的原理和新颖性特征的最广范围相一致。
[0225]
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或”是要表示“非排它性的或者”。
[0226]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0227]
最后，应当指出，以上实施例仅是本发明较有代表性的例子。显然，本发明不限于上述实施例，还可以有许多变形。凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应认为属于本发明的保护范围。
[0228]
在此，需要说明的是，上述技术方案的描述是示例性的，本说明书可以以不同形式来体现，并且不应被解释为限于本文阐述的技术方案。相反，提供这些说明将使得本发明公开将是彻底和完整的，并且将向本领域技术人员充分传达本说明书所公开的范围。此外，本发明的技术方案仅由权利要求的范围限定。
[0229]
用于描述本说明书和权利要求的各方面公开的形状、尺寸、比率、角度和数字仅仅是示例，因此，本说明书和权利要求的不限于所示出的细节。在以下描述中，当相关的已知功能或配置的详细描述被确定为不必要地模糊本说明书和权利要求的重点时，将省略详细描述。
[0230]
在使用本说明书中描述的“包括”、“具有”和“包含”的情况下，除非使用否则还可以具有另一部分或其他部分，所用的术语通常可以是单数但也可以表示复数形式。
[0231]
应该指出，尽管在本说明书可能出现并使用术语“第一”、“第二”、“顶部”、“底部”、“一侧”、“另一侧”、“一端”、“另一端”等来描述各种不同的组件，但是这些成分和部分不应受这些术语的限制。这些术语仅用于区分一个成分和部分和另一个成分和部分。例如，在不脱离本说明书的范围的情况下，第一部件可以被称为第二部件，并且类似地，第二部件可以被称为第一部件，顶部和底部的部件在一定情况下，也可以彼此对调或转换；一端和另一端的部件可以彼此性能相同或者不同。
[0232]
此外，在构成部件时，尽管没有其明确的描述，但可以理解必然包括一定的误差区域。
[0233]
在描述位置关系时，例如，当位置顺序被描述为“在...上”、“在...上方”、“在... 下方”和“下一个”时，除非使用“恰好”或“直接”这样的词汇或术语，此外则可以包括它们之间不接触或者接触的情形。如果提到第一元件位于第二元件“上”，则并不意味着在图中第一元件必须位于第二元件的上方。所述部件的上部和下部会根据观察的角度和定向的改变而改变。因此，在附图中或在实际构造中，如果涉及了第一元件位于第二元件“上”的情况可以包括第一元件位于第二元件“下方”的情况以及第一元件位于第二元件“上方”的情况。在描述时间关系时，除非使用“恰好”或“直接”，否则在描述“之后”、“后续”、“随后”和“之前”时，可以包括步骤之间并不连续的情况。本发明的各种实施方案的特征可以部分地或全部地彼此组合或者拼接，并且可以如本领域技术人员可以充分理解的以各种不同地构造来执行。本发明的实施方案可以彼此独立地执行，或者可以以相互依赖的关系一起执行。