一种基于深度网络的猪半胴体切割轨迹线识别方法与流程

一种基于深度网络的猪半胴体切割轨迹线识别方法


背景技术：

1.猪肉屠宰加工是典型的劳动密集型加工行业，目前胴体的三段分割工序以半机械化操作为主，采用人工辅助的圆盘锯切割，需要人工对齐切割点。在人工切割过程，容易出现规划不合理或者操作失误的情况，因此存在一定损耗，比如损伤肋骨、五花肉等，且容易产生碎骨，导致高价值肉类的价值损失，因此迫切需要寻找更优的加工工艺。
2.随着视觉技术和人工智能技术的发展，以智能化分割加工替代传统落后的半机械化加工已经成为屠宰加工业的一个发展趋势，例如，申请号为202210447022.7，名称为一种猪半胴体智能化自动分割方法，其中采用机器视觉技术实现切割轨迹的自动规划，实现猪半胴体智能化自动分割，但是其中所涉及的分割是从机械设备布局来角度来设计的，且并没有讲明轨迹规划系统如何根据胴体尺寸信息规划分割轨迹的；申请号为202210043173.6，名称为一种猪半胴体智能分割方法，其中通过结合胴体所属等级的各部位尺寸关系函数确定胴体详细尺寸信息，规划切割路径，实现猪胴体无人化自动分割，但是其中并没有公开各部位尺寸关系函数，没有讲明如何从胴体尺寸信息产生各个分割路径。以上两个公开的专利申请中均采用测量尺寸后对尺寸数据进行处理的方式获得切割轨迹，但是在这两篇专利申请中均没有提出如何从猪肉胴体尺寸计算得到切割轨迹的具体技术方法，也没有提出其他可以计算出切割轨迹的具体方法。同时，不同猪胴体的形态存在差异，每个猪胴体的尺寸与切割轨迹线的关系并不是固定的，此种利用尺寸关系的方式需要大范围运算，且在获取猪胴体尺寸以后，对于尺寸的处理采用相同的方法，可能造成在规划切割轨迹时产生偏差，从而此种利用尺寸关系的方式适应性差。另外，不同的猪半胴体在整体形态、尺寸、骨腔形态、肋骨排列等方面具有显著差异，肥肉、瘦肉以及肋骨在颜色上不尽相同，交错混叠，极易混淆。因此，基于视觉技术，在复杂多变的干扰条件下智能化精确获得可用于分割的切割路径极其困难，如果获取的切割轨迹精度低或者错误，会显著影响加工效果，甚至导致切割失败。


技术实现要素：

3.本发明提供了一种基于深度网络的猪半胴体切割轨迹线识别方法，目的在于解决猪半胴体自动化切割中存在获取的切割轨迹精度低的问题。
4.本发明采用以下技术方案：一种基于深度网络的猪半胴体切割轨迹线识别方法，包括以下步骤：s1，获得猪半胴体的图像；s2，将猪半胴体的图像从rgb颜色空间转化到ycbcr颜色空间上，获得转化图像；s3，利用深度网络模型对转化图像进行定位处理，获得目标分割区域图像；所述深度网络模型为端到端的模型，由目标检测模型和分割模型级联构成，目标检测模型对转化图像进行粗定位处理，获得包含设定的分割区域的roi，分割模型对roi进行精定位处理，获得目标分割区域图像；s4，对目标分割区域图像进行细化处理，获得单像素中心线图像；
先对目标分割区域图像进行图像二值化处理，再利用骨架提取算法或细化算法进行细化处理获得单像素中心线图像；s5，对单像素中心线图像进行平滑处理，获得切割轨迹线；利用毛刺剔除算法对单像素中心线进行平滑处理，获得平滑中心线图像，将平滑中心线图像中的平滑中心线作为切割轨迹线。
5.本发明中采用目标检测模型和分割模型级联两个模型级联构成端到端深度网络模型，两个级联模型对猪半胴体的转化图像采用粗定位加精定位的方式进行定位处理，从而获得目标分割区域图像，可有效避免大范围的运算，同时可不受猪半胴体形态、尺寸以及颜色差异的影响，提高对设定的分割区域的定位精度，再配合使用细化处理和平滑处理，从而获得精度高的切割轨迹线；本发明可根据实际切割需要设定相应的分割区域，获得设定的分割区域中相应的直线或者曲线形式的切割轨迹线，可以适应包括三段切割等切割方式。
6.对本发明技术方案的进一步改进，步骤s1包括以下步骤：s1.1，设置背景板，对背景板拍照建模，得到背景模型；s1.2，将猪半胴体置于背景板前拍照，获得包括猪半胴体和背景板的图像；s1.3，基于背景模型，采用差分法、高斯混合模型分离算法或k近邻模型对包括猪半胴体和背景的图像进行处理，获得猪半胴体的图像。
7.对本发明技术方案的进一步改进，步骤s3中目标检测模型采用基于深度卷积神经网络的图像目标检测模型，分割模型采用基于深度卷积神经网络的图像语义分割模型。本发明中目标检测模型可采用efficientdet网络模型；分割模型可采用mask-rcnn网络模型、unet网络模型或带空洞卷积的mobilenet网络模型。
8.对本发明技术方案的进一步改进，步骤s3中，分割模型采用带空洞卷积的mobilenet网络模型，获得目标分割区域图像的过程具体为：首先利用带空洞卷积的mobilenet网络处理roi的图像数据，提取获得图像特征层；然后利用四组空洞可变形卷积层和一个图像池化层对图像特征层进行特征提取，将提取的特征依次进行堆叠、1
×
1卷积核压缩及采样4倍扩展处理得到数据a；再将图像特征层经过压缩处理得到数据b；最后将数据a和数据b依次进行堆叠、3
×
3卷积核压缩及采样4倍扩展处理，得到目标分割区域；四组并行的空洞可变形卷积层由一个1
×
1卷积核和三个3
×
3卷积核构成，三个3
×
3卷积核的扩张率分别为3、6和12。
9.对本发明技术方案的进一步改进，步骤s4中采用zhang-suen细化算法进行细化处理。
10.对本发明技术方案的进一步改进，步骤s5包括以下步骤：s5.1，单像素中心线图像中白色像素点的像素值为1，黑色像素点的像素值为0；获取单像素中心线图像中像素点的行数m和列数n，设点m(i,j)为单像素中心线图像上的一个像素点，点m(i,j)的像素值为f(i,j)，i=1,
…
,m；j=1,
…
,n；s5.2，若点m(i,j)的像素值f(i,j)=1，统计点m(i,j)周围像素点个数y，计算公式为：
围绕点m(i,j)采用一个3
×
3模板，3
×
3模板中共有9个像素点，点m(i,j)位于3
×
3模板的中心位置，除点m(i,j)外的8个点为点m(i,j)的临近点，nd为各临近点的像素值；s5.3，若y》2，计算点m与各临近点连接方向的分支长度ld,设定长度阈值l
t
，若ld＜l
t，
则将ld所在分支进行删除，即将相应的分支转为黑色像素点；s5.4，循环单像素中心线图像中的所有像素点，利用s5.2和s5.3分别进行处理，获得平滑中心线图像。
11.对本发明技术方案的进一步改进，步骤s3中设定的分割区域包括第四根和第五根肋骨之间骨缝区域和尾椎骨第二骨节区域，利用步骤s3、s4和s5分别获得第四根和第五根肋骨之间骨缝处和尾椎骨第二骨节处的切割轨迹线。三段切割是猪肉加工工序中重要环节之一，将劈半后的猪半胴体分割成前、中、后三段。前段分割指从前腿方向，在第四根和第五根肋骨骨缝之间分割，胴体即可形成前段与中后段两部分；中后段分割是指从猪的尾椎骨第二骨节处分割，即可形成中段与后端两部分；本发明中获取骨缝处和尾椎骨第二骨节处的切割轨迹线，按照这两条切割轨迹线对猪半胴体进行切割，可实现猪半胴体的三段切割。
12.本发明与现有技术相比，具有以下技术效果：1、本发明采用级联模型构成端到端深度网络模型，提高了对设定的分割区域的定位精度，再配合使用细化处理和平滑处理，能够获得精度高的切割轨迹线。
13.2、本发明不受猪半胴体形态、尺寸以及颜色差异的影响，运算范围小，且可以根据实际切割需要获得相应的切割轨迹线，运算成本低，适应性好。
附图说明
14.图1为本发明流程图。
具体实施方式
15.下面将结合附图和具体实施例对本发明做进一步详细说明。
16.如图1所示，一种基于深度网络的猪半胴体切割轨迹线识别方法，包括以下步骤：s1，获得猪半胴体的图像；s2，将猪半胴体的图像从rgb颜色空间转化到ycbcr颜色空间上，获得转化图像；s3，利用深度网络模型对转化图像进行定位处理，获得目标分割区域图像；所述深度网络模型为端到端的模型，由目标检测模型和分割模型级联构成，目标检测模型对转化图像进行粗定位处理，获得包含设定的分割区域的roi，分割模型对roi进行精定位处理，获得目标分割区域图像；s4，对目标分割区域图像进行细化处理，获得单像素中心线图像；先对目标分割区域图像进行图像二值化处理，再利用骨架提取算法或细化算法进行细化处理获得单像素中心线图像；s5，对单像素中心线图像进行平滑处理，获得切割轨迹线；利用毛刺剔除算法对单像素中心线进行平滑处理，获得平滑中心线图像，将平滑
中心线图像中的平滑中心线作为切割轨迹线。
17.本实施例中采用三段切割的方式对猪半胴体进行分割，步骤s3中设定的分割区域包括第四根和第五根肋骨之间骨缝区域和尾椎骨第二骨节区域，利用步骤s3、s4和s5分别获得第四根和第五根肋骨之间骨缝处和尾椎骨第二骨节处的切割轨迹线。本实施例中按照骨缝处和尾椎骨第二骨节处的切割轨迹线对猪半胴体进行切割，可实现猪半胴体的三段切割。
18.本实施例中，对目标分割区域图像进行图像二值化处理后，目标分割区域图像中白色像素点的像素值为1，黑色像素点的像素值为0。
19.本实施例中，步骤s1包括以下步骤：s1.1，设置背景板，对背景板拍照建模，得到背景模型；s1.2，将猪半胴体置于背景板前拍照，获得包括猪半胴体和背景板的图像；s1.3，基于背景模型，采用差分法对包括猪半胴体和背景的图像进行处理，获得猪半胴体的图像。
20.本实施例步骤s3中目标检测模型采用基于深度卷积神经网络的图像目标检测模型，分割模型采用基于深度卷积神经网络的图像语义分割模型。其中，目标检测模型采用efficientdet网络模型。
21.本实施例步骤s3中，分割模型采用带空洞卷积的mobilenet网络模型，获得目标分割区域图像的过程具体为：首先利用带空洞卷积的mobilenet网络处理roi的图像数据，提取获得图像特征层；然后利用四组空洞可变形卷积层和一个图像池化层对图像特征层进行特征提取，将提取的特征依次进行堆叠、1
×
1卷积核压缩及采样4倍扩展处理得到数据a；再将图像特征层经过压缩处理得到数据b；最后将数据a和数据b依次进行堆叠、3
×
3卷积核压缩及采样4倍扩展处理，得到目标分割区域；四组并行的空洞可变形卷积层由一个1
×
1卷积核和三个3
×
3卷积核构成，三个3
×
3卷积核的扩张率分别为3、6和12。
22.本实施例步骤s4中采用zhang-suen细化算法进行细化处理。
23.本实施例步骤s5包括以下步骤：s5.1，单像素中心线图像中白色像素点的像素值为1，黑色像素点的像素值为0；获取单像素中心线图像中像素点的行数m和列数n，设点m(i,j)为单像素中心线图像上的一个像素点，点m(i,j)的像素值为f(i,j)，i=1,
…
,m；j=1,
…
,n；s5.2，若点m(i,j)的像素值f(i,j)=1，统计点m(i,j)周围像素点个数y，计算公式为：围绕点m(i,j)采用一个3
×
3模板，3
×
3模板中共有9个像素点，点m(i,j)位于3
×
3模板的中心位置，除点m(i,j)外的8个点为点m(i,j)的临近点，nd为各临近点的像素值；s5.3，若y》2，计算点m(i,j)与各临近点连接方向的分支长度ld，设定长度阈值l，若ld＜l
，
则将ld所在分支进行删除，即将相应的分支转为黑色像素点；s5.4，循环单像素中心线图像中的所有像素点，利用s5.2和s5.3分别进行处理，获
得平滑中心线图像。
24.本实施例中，采用逐行逐列扫描的方式实现单像素中心线图像中的所有像素点的循环处理；计算分支长度ld时采用不断累加统计长度值的方式，长度阈值l根据实际情况按需要进行设置。