一种基于ArUco码的整车木材检尺系统及其方法与流程

一种基于aruco码的整车木材检尺系统及其方法
技术领域
1.本发明涉及原木材积检测领域，尤其涉及—种基于aruco码的整车木材检尺系统及其方法。


背景技术：

2.木材是可再生的能源，是世界可持续发展结构性资源。联合国政府间气候变化专门委员会(ipcc)认为把可再生木材能源作为减缓气候变化的所有战略的关键。如何更高效的开发森林中的木材资源，提高循环利用效率，有着重要的经济和环境效益。
3.目前，林业生产各环节，如采伐、造材、运输、加工过程已经实现机械化，正逐步朝着信息化及智能化发展的过程中。目前，林业生产中，采伐、运输、楞场管理等生产过程中的几个环节都需要人工检尺，以实现生产结算和销售货款结算，人工检尺工作量大、效率低，精确度受人为影响较大，同时检尺的费用较高造成生产成本增加，对工作人员的工作态度，工作经验以及责任心有着很高要求，同时检尺环境存在一些危险因素。
4.人工检尺的方式无法可视化检尺结果，同时也不能适应现代化木材加工和销售的发展趋势。近些年来，计算机视觉、数字图像处理、深度学习等技术的发展与进步，给各行各业的发展注入新的活力。
5.目前，国内外基于深度学习的木材检测研究刚开始兴起，虽然木材计数问题一定程度上已经得到解决，但在木材材积测量任务上，还处于摸索阶段。
6.国内外目前对于木材材积检测的方法主要有：1、应用ssd（single shot multibox detector）目标检测模型，利用矩形框检测标注木材。
7.2、将yolov3（you only look once）目标检测模型与hough圆变换结合，利用圆检测标注木材。
8.3、将ssd（single shot multibox detector）目标检测模型与fcn语义分割模型相结合，利用ssd模型检测出车上木材堆积的位置，裁剪成木材区域图片，送入fcn（fully convolution network）模型中完成木材分割。
9.姿态估计（pose estimation）在计算机视觉领域扮演着十分重要的角色：机器人导航、增强现实等。这一过程的基础是找到现实世界和图像投影之间的对应点。最为流行的一个途径是基于二进制平方的标记，它可以提供四个角来获取相机的信息，内部的二进制编码允许应用错误检测及校正。
10.aruco码，如图6所示，aruco码是一个由外部边框和内部汉明码组成的黑白格子图，其外部边框及四个角主要用于标签定位，内部汉明码主要用于id（identity document）识别，信息效验和误差校正。
11.aruco库是检测二进制marker的非常流行的库,可根据图像和激光雷达参数的3d点云实现2d和3d的匹配，找到至少4个二维像素和3d点云点的对应点，根据这四组对应点和相机内外参数估计相机姿态。aruco检测库现已集成到opencv开源计算机视觉处理库中，被
广泛用于增强现实、机器人导航等领域。例如河北工业大学的孙昊、崔睿，段伦辉等人发明公开了一种基于正八面体的单目6d位姿估计方法，其方法将aruco码与正八面体相结合，将位姿识别从二维标签识别扩展为对三维空间体进行识别。西安电子科技大学电子装备结构设计教育部重点实验室的邓文尧，段学超，靖明阳提出了一种基于aruco marker及稀疏光流的动态目标跟踪方法，将aruco marker与稀疏光流相结合实现了动态跟踪，并改善双目匹配的精度。黑龙江八一农垦大学电气与信息学院的袁志浩，刘桂阳，陈国太针对传统农机翻地作业季节时令性强且不易观察的问题，以水稻本田作业农机为研究对象，设计了一种基于aruco标志码的农机翻地移动增强现实仿真系统。山东科技大学的张治国，李旭杰，李宝祥等人一种基于aruco码的移动机器人视觉定位与导航方法克服了传统视觉导航方式对辅助物理条件依赖性强,对环境要求高,不灵活等缺陷,而且将传统仅适用于地面移动机器人的视觉导航方法拓展到了三维空间。本发明主要通过识别aruco maker并通过其实际长度，计算出所拍摄照片中单位像素的实际长度。


技术实现要素：

12.本发明的目的在于提供—种基于aruco码的整车木材检尺系统及其方法。
13.本发明采用的技术方案是：—种基于aruco码的整车木材检尺系统，其包括aruco码模块、服务器模块以及与服务器模块连接的图像获取标定模块、深度学习模块、材积计算模块和用户操作模块；aruco码模块为已知边长大小的印有aruco码的pvc板，aruco码模块用于校准所拍摄照片以及获取所拍摄照片中单位像素的实际长度；图像获取以及标定模块包括图像获取部分和标定部分，图像获取部分提供工业相机以拍摄木材车头以及车尾照片，标定部分提供黑白格标定板以及opencv的开源相机参数标定程序；服务器模块用于存贮和管理木材拍摄图片、部署材积计算算法、存储材积信息数据库以及用户操作界面；深度学习模块进行模型训练以用于识别木材端面，生成木材分割的掩码图，用于后续木材计数以及计算材积；材积计算模块包括aruco码检测程序以及所开发的的材积计算程序，用户操作模块提供网页界面，并通过网页界面向用户提供查看木材材积信息、漏检木材的标记及重新存储至数据库的功能。
14.进一步地，图像获取以及标定模块包括分别固定于龙门架上的两个八百万工业相机。
15.进一步地，黑白格标定板为16*10的黑白格标定板。
16.进一步地，服务器模块可选择各供应商的云服务器。
17.进一步地，深度学习模块搭载的模型为改进的mask-rcnn实例分割模型。
18.进一步地，网页界面为基于java的网页界面。
19.—种基于aruco码的整车木材检尺方法，其包括以下步骤：步骤1，将工业相机固定于龙门架上，并对工业相机进行相机内外参数的标定；步骤2，拍摄带有aruco码的待测图片并上传至服务器模块，
步骤3，深度学习模块获取待测图片并利用预先训练好的模型识别木材端面，生成每根木材的掩码图；步骤4，材积计算模块识别aruco码在待测图片中的位置，并以aruco码为参照物计算得到相机所拍摄待测图片中每像素的实际长度；步骤5，材积计算模块获取木材的掩码图并通过所开发的软件进行圆拟合或者椭圆拟合，计算出拟合后木材掩码图中每根木材端面在所待测图片中直径或最小径所占像素长度，并结合每像素的实际长度计算得到对应的检尺长；步骤6，将检尺长和利用aruco码所得到的木材的检尺径代入标准材积计算公式计算出对应的木材材积，将所生成的木材材积信息保存至部署于服务器端的数据库中。
20.进一步地，步骤1中在正式获取照片之前需要使用标定板拍摄二十至三十张图片用于获取相机内外参数；即拍摄带有手持标定板的木材图像，标定板与木材端面贴近并保持平行，手部不遮挡标定板内部黑白格区域。
21.进一步地，步骤3中模型的预先训练步骤如下：步骤3-1，采集不少于300张的不同拍摄条件下的木材图片，具体地，作为一种有效实施方式，采集1000张木材图片，不同拍摄条件包括不同的光照条件、不同木材端面背景和不同拍摄角度。
22.步骤3-2，剔除模糊以及被树枝严重遮挡的图片后保留150张清晰图片，步骤3-3，图片中所有木材使用多边形标注工具对木材轮廓进行标注，进一步地，使用labelme软件对图片中所有木材使用多边形标注工具对木材轮廓进行标注。
23.步骤3-4，训练模型基于标注的木材图片进行学习木材轮廓特征的训练。
24.进一步地，步骤4的具体步骤如下：步骤4-1，材积计算模块通过opencv中的aruco码检测程序得到aruco码的四个角在待测图片中的位置，步骤4-2，将aruco码经过透视变换操作矫正位置；步骤4-3，基于aruco码的长度以及aruco码在图片中的所占的像素值，计算待测图片中每像素的实际长度。
25.本发明采用以上技术方案，图像获取、标定模块将标定参数，摄像头所获取图像上传至服务器，深度学习模块用于识别木材端面，生成木材分割的掩码图，用于后续木材计数以及计算材积等操作；材积计算模块由aruco码检测程序以及材积计算程序构成；用户操作系统为主要用于对识别到的木材材积信息进行查漏补缺。在木材装卸工程中，木材端面会出现树叶遮挡等问题，因此所部署的木材识别模型无法做到百分之百完全识别到所有木材，针对漏检误检的木材，需要在人机交互界面进行简单的查漏补缺操作。本发明解放人力提高检尺效率并提高林木材积的计算精度。
附图说明
26.以下结合附图和具体实施方式对本发明做进一步详细说明；图1为本发明—种基于aruco码的整车木材检尺系统的架构示意图；图2为本发明—种基于aruco码的整车木材检尺系统的各个模块流程图；
图3为本发明标定相机过程示意图；图4为labelme软件标注示意图；图5为现场实施3d模拟图;图6为aruco码示意图。
具体实施方式
27.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图对本技术实施例中的技术方案进行清楚、完整地描述。
28.如图1至图5之一所示，本发明公开了—种基于aruco码的整车木材检尺系统，其包括aruco码模块、服务器模块以及与服务器模块连接的图像获取标定模块、深度学习模块、材积计算模块和用户操作模块；aruco码模块为已知边长大小的印有aruco码的pvc板，aruco码模块用于校准所拍摄照片以及获取所拍摄照片中单位像素的实际长度；图像获取以及标定模块包括图像获取部分和标定部分，图像获取部分提供工业相机以拍摄木材车头以及车尾照片，标定部分提供黑白格标定板以及开源相机参数标定程序；服务器模块用于存贮和管理木材拍摄图片、部署材积计算算法、存储材积信息数据库以及用户操作界面；服务器模块为集合整个系统的中心模块，深度学习推理模块、相机拍摄到的图片，识别到的材积信息，以及前端用户操作系统均部署在服务器端。
29.深度学习模块进行模型训练以用于识别木材端面，生成木材分割的掩码图，用于后续木材计数以及计算材积；由部署于服务器端的深度学习推理模块生成，图片上传至服务器后，改进后的mask r-cnn模型将识别到的木材掩码图片输出至服务器端指定数据库。
30.材积计算模块包括aruco码检测程序以及所开发的材积计算程序，用户操作模块提供网页界面，并通过网页界面向用户提供查看木材材积信息、漏检木材的标记及重新存储至数据库的功能。具体地，用户操作系统主要用于对识别到的木材材积信息进行查漏补缺。在木材装卸工程中，木材端面会出现树叶遮挡等问题，因此所部署的木材识别模型无法做到百分之百完全识别到所有木材，针对漏检误检的木材，需要在人机交互界面进行简单的查漏补缺操作。
31.进一步地，图像获取以及标定模块包括分别固定于龙门架1上的两个八百万工业相机。
32.进一步地，黑白格标定板为16*10的黑白格标定板。
33.进一步地，服务器模块为腾讯云服务器、阿里云服务器或者谷歌云服务器。
34.进一步地，深度学习模块搭载的模型为改进的mask-rcnn实例分割模型。
35.进一步地，网页界面为基于java的网页界面。
36.具体地，其中图像获取、标定模块将标定参数，摄像头所获取图像上传至服务器，改进后的mask 深度学习模块，材积计算模块同样部署于服务器模块。其中深度学习模块用于识别木材端面，生成木材分割的掩码图，用于后续木材计数以及计算材积等操作。材积计算模块由aruco码检测程序以及所开发的材积计算程序构成。用户操作系统为主要用于对识别到的木材材积信息进行查漏补缺。在木材装卸工程中，木材端面会出现树叶遮挡等问
题，因此所部署的木材识别模型无法做到百分之百完全识别到所有木材，针对漏检误检的木材，需要在人机交互界面进行简单的查漏补缺操作。
37.—种基于aruco码的整车木材检尺方法，其包括以下步骤：步骤1，将工业相机2固定于龙门架1上，并对工业相机2进行相机内外参数的标定；步骤2，拍摄带有aruco码的待测图片并上传至服务器模块，步骤3，深度学习模块获取待测图片并利于预先训练好的模型识别木材3端面，生成木材的掩码图；步骤4，材积计算模块识别aruco码在待测图片中的位置，并以aruco码为参照物计算得到相机所拍摄待测图片中每像素的实际长度；步骤5，材积计算模块获取木材的掩码图并通过进行圆拟合或者椭圆拟合，计算出拟合后木材掩码图中每根木材端面在所待测图片中直径或最小径所占像素长度，并结合每像素的实际长度计算得到对应的检尺长；步骤6，将检尺长和利用aruco码所得到的木材3的检尺径代入标准材积计算公式计算出对应的木材3材积，将所生成的木材3材积信息保存至部署于服务器端的数据库中。
38.具体地，将检尺长为步骤5中所得出的直径或最小径所占像素长度*步骤4所测得的每像素的实际长度，材积计算公式按照国家标准 gb /t 4814—2013《原木材积表》中所列出的材积计算公式计算出对应的木材材积。
39.依据我国国家标准 gb /t 4814—2013《原木材积表》，原木的材积计算由木材端面径级（检尺径）和木材长度（检尺长）两个参数决定。原木贸易、流通行业中，同一批次木材的长度相对固定，较容易获得，相比之下，原木端面大小不一，难以快速获得其径级。
40.检尺长指木材实际长度的大小，该数据由检尺人员提供。在计算木材材积的时候，检尺径指的是木材端面的最小径。人工检尺的时候，是用量尺去测量，肉眼去观测木材端面哪里的直径最小，取该值为检尺径。
41.而具体到本发明中由于已知aruco码的长度，通过识别aruco码，可以获取到照片中每个像素代表的实际长度。经过mask r-cnn 实例分割模型，获取到木材端面的掩码图（黑白木材端面轮廓图），再经过圆，或者椭圆拟合。再加上通过aruco码可以获取到照片中每像素的单位长度，取拟合后圆、椭圆的直径所占像素，再乘以每个像素代表的实际长度，即可得到检尺长。
42.不同的检尺长，检尺径的木材，有不同的计算公式以及计算精度。已知木材的检尺长以及检尺径，代入对应的公式即可计算，参见国家标准 gb /t 4814—2013《原木材积表》，有详细说明。
43.进一步地，步骤1中在正式获取照片之前需要使用标定板拍摄二十至三十张图片用于获取相机内外参数；即拍摄带有手持标定板的木材3图像，标定板与木材3端面贴近并保持平行，手部不遮挡标定板内部黑白格区域。
44.进一步地，步骤3中模型的预先训练步骤如下：步骤3-1，采集不少于300张的不同拍摄条件下的木材3图片，具体地，作为一种有效实施方式，采集1000张木材3图片，不同拍摄条件包括不同的光照条件、不同木材端面背景和不同拍摄角度。
45.步骤3-2，剔除模糊以及被树枝严重遮挡的图片后保留150张清晰图片，
步骤3-3，图片中所有木材使用多边形标注工具对木材轮廓进行标注，进一步地，使用标注软件对图片中所有木材使用多边形标注工具对木材轮廓进行标注。
46.步骤3-4，训练模型基于标注的木材图片进行学习木材轮廓特征的训练。
47.进一步地，步骤4的具体步骤如下：步骤4-1，材积计算模块通过aruco码检测程序得到aruco码的四个角在待测图片中的位置，步骤4-2，将aruco码经过透视变换操作矫正位置；步骤4-3，基于aruco码的长度以及aruco码在图片中的所占的像素值，计算待测图片中每像素的实际长度。
48.下面就具体的工作原理做详细说明：图像获取、标定模块需要使用到龙门架1等工具固定相机用于稳定的获取木材照片。在正式获取照片之前需要使用标定板拍摄二十至三十张图片用于获取相机内外参数。手持标定板，标定板与木材端面尽量贴近并保持平行，手部不能遮挡标定板内部黑白格区域。拍摄示意图如图3所示深度学习模块用于识别木材端面。考虑到样本多样性，通过工业相机2等设备采集了1000张木材图片，包括在不同的光照条件下、不同木材端面背景和不同拍摄角度下的图片。mask r-cnn属于监督学习模型，需要对图片中木材轮廓进行标注。剔除模糊以及被树枝等严重遮挡的图片，共保留150张清晰图片，使用标注软件对图片中所有木材使用多边形标注工具对木材轮廓进行标注，标注效果如图4所示，其中木材标注信息可提供模型学习木材轮廓特征，可根据木材轮廓掩码图实现后续的木材计数以及木材材积计算。
49.材积计算模块首先需要通过aruco码检测程序，得到aruco码的四个角在图片中的位置，然后将aruco码经过透视变换等操作矫正位置。由于aruco码与待检木材位于同一平面，将aruco码作为参照物，同时又已知aruco码的长度以及它在图片中的所占的像素值，因此根据这些参数可以得到相机所拍摄照片中每像素的实际长度，然后将部署于服务器端的改进后的mask r-cnn模型所输出的掩码图输出至所开发软件，通过进行圆拟合或者椭圆拟合，可以计算出拟合后木材掩码图中每根木材端面在所拍摄图片中直径或最小径所占像素长度，最后通过简单的计算，即直径*每像素的实际长度即可得到木材的真实直径或最小径。在实际检尺过程中，木材运材车通常运输的木材均为长度接近的木材，且大部分均为长度4m的木材，因此将检尺长和利用aruco码所得到的木材的检尺径代入标准材积计算公式，即可计算出对应的木材材积。最终将所生成的木材材积信息保存至部署于服务器端的数据库中，方便进行后续的增删改查工作。
50.本发明采用以上技术方案，图像获取、标定模块将标定参数，摄像头所获取图像上传至服务器，深度学习模块用于识别木材端面，生成木材分割的掩码图，用于后续木材计数以及计算材积等操作；材积计算模块由aruco码检测程序以及材积计算程序构成；用户操作系统主要用于对识别到的木材材积信息进行查漏补缺。在木材装卸工程中，木材端面会出现树叶遮挡等问题，因此所部署的木材识别模型无法做到百分之百完全识别到所有木材，针对漏检误检的木材，需要在人机交互界面进行简单的查漏补缺操作。本发明解放人力提高检尺效率并提高林木材积的计算精度。
51.显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。