基于多源传感融合的加工全流程控制方法与流程

本发明涉及图像识别，具体为基于多源传感融合的加工全流程控制方法。

背景技术：

1、根茎类药材通常需要经过连续切片工序，制成饮片以供后续炮制或包装使用；切片质量直接关系到药材有效成分的保留程度以及后续加工的合格率，需要在切削工位下游对加工端面进行实时视觉检测，以判断是否出现工艺异常；然而，根茎类药材在自然生长过程中普遍存在木质部偏心分布、多核心发育以及伴生天然孔洞等生物学结构特性，此类天然结构在端面图像中往往表现为局部灰度偏低、边界不规则的暗色区域，与切削过程中因顺纹撕裂、水分流失或刀具磨损所造成的真实切削缺损在图像表现上具有较高的相似性。

2、现有基于机器视觉的检测方法，大多依赖统一的几何轮廓比对或全局阈值分割方式对端面图像进行处理，缺乏对药材天然孔洞与真实切削缺损进行像素级空间关系甄别的能力，容易将天然孔洞误判为切削破损，从而产生较高的误报率；此外，现有方法在识别出端面异常后，通常仅能给出笼统的合格与否判断，无法进一步区分导致该异常的具体工艺成因，也无法据此追溯是由药材本身水分状态、进给角度偏差还是刀具刃口状态所引起，致使现场工艺人员难以获得具有针对性的调整依据。

3、为此，提出基于多源传感融合的加工全流程控制方法。

技术实现思路

1、本发明的目的在于提供基于多源传感融合的加工全流程控制方法，将纤维方向向量、所述先验物理特征与边缘分形维数特征进行多源特征拼接，输入至形态分类网络中，生成对应的工艺异常预警信号并输出。

2、为实现上述目的，本发明提供如下技术方案：

3、基于多源传感融合的加工全流程控制方法，包括：

4、获取药材切削前的表面纹理图像以及切削后的加工端面图像，对所述加工端面图像进行模糊复原处理，输出保留轮廓细节的复原端面图像；

5、在所述表面纹理图像中提取纵向纤维的纹理梯度，生成纤维方向向量；基于纤维方向向量与预设切割平面的空间夹角评估顺纹撕裂概率，并转化得到先验物理特征；

6、对所述复原端面图像进行区域生长，分离外圈的皮层区域与偏心生长的木质部区域；在木质部区域内识别并滤除孔洞特征，获得木质部掩膜；

7、在所述木质部掩膜区域内进行稀疏采样，定位由于切削产生的切面缺损轮廓，并提取切面缺损轮廓的边缘分形维数特征；

8、将所述纤维方向向量、所述先验物理特征与所述边缘分形维数特征进行多源特征拼接，输入至预先训练的形态分类网络中，生成对应的工艺异常预警信号并输出。

9、获取复原端面图像的步骤包括：利用设置于进料区域的前端视觉采集设备，对尚未切削的药材表皮进行光学拍摄，获取包含表面纵皱纹数据的表面纹理图像；利用设置于切削工位后方的后端视觉采集设备，捕捉切削完成后的加工端面图像；提取加工端面图像中的边缘像素点，计算灰度梯度变化率，将灰度梯度变化率最大的空间映射方向提取为边缘模糊方向特征；并提取边缘像素点的拖影扩散长度作为模糊尺度特征；将边缘模糊方向特征与模糊尺度特征进行数值重构，消除加工端面图像中的动态拖影数据，作为复原端面图像。

10、获取先验物理特征的步骤包括：利用结构张量算子在多个尺度下提取所述表面纹理图像中沟纹与裂隙的方向梯度数据；对所述方向梯度数据进行高斯平滑滤波处理，聚合得到表征药材整体物理结构走向的纤维方向向量；在建立的图像空间坐标系中，计算纤维方向向量与预设切割平面法线向量之间的空间夹角数据；

11、将所述空间夹角数据输入预设的概率映射函数中，获得顺纹撕裂概率；将所述顺纹撕裂概率与预设的多级风险阈值区间进行数值比对，获取顺纹撕裂概率对应的离散化风险等级；采用独热编码算法将所述离散化风险等级转换为多维向量格式，并进行特征升维映射计算，生成与所述纤维方向向量具备相同数据维度的特征张量，作为所述先验物理特征。

12、分离皮层区域与木质部区域的步骤包括：在获取的复原端面图像中，以预设大小的滑动窗口计算像素局部灰度方差数据；筛选出局部灰度方差数据大于方差峰值阈值的多个像素节点，汇聚为初始种子点集合，适应药材偏心生长的多核心生物学发育特性；以初始种子点集合中的各个像素节点为起点，根据预设的纹理相似度阈值向外侧像素进行自适应区域生长运算，并同步更新相邻像素的区域归属标签数据；直至不同初始种子点生长出的局部区域在形态上相互融合，且在触碰至灰度梯度闭合边界时停止生长运算，得到融合生长区域数据；将所述融合生长区域数据标记为所述偏心生长的木质部区域；同时将闭合边界外部直至所述复原端面图像边缘的范围数据标记为所述外圈的皮层区域，完成分离。

13、获得木质部掩膜的步骤包括：在标记完成的所述木质部区域内，进行低灰度连通暗区数据的全局空间搜索，获取初始暗区集合；当识别到所述初始暗区集合中各个连通暗区的灰度均值满足环境背景阈值条件时，追踪计算连通暗区的边界延伸轨迹数据；判定所述边界延伸轨迹数据是否完全被包围在所述木质部区域的像素坐标内部，且未与外围的所述皮层区域产生任何空间交集；若判定结果为是，则将连通暗区判定为药材内部天然生理发育形成的孔洞特征；生成与所述复原端面图像尺寸一致的初始二值化矩阵，将判定为孔洞特征对应的矩阵元素屏蔽滤除，输出处理后的初始二值化矩阵作为所述木质部掩膜。

14、提取切面缺损轮廓的边缘分形维数特征的步骤包括：在所述木质部掩膜所约束的有效像素坐标范围内，按照预设的采样步长生成稀疏采样网格矩阵；仅提取位于所述稀疏采样网格矩阵交叉节点处的像素灰度数据，计算得到包含灰度偏度与峰度参数的宏观纹理统计数据；

15、对比宏观纹理统计数据与预设的端面标准数据，定位存在灰度非连续突变的边界区域，并提取连通边缘像素集合作为切面缺损轮廓；针对切面缺损轮廓采用计盒维数算法进行拓扑特征解析，使用边长连续减小的多个正方形网格覆盖切面缺损轮廓，统计每次完全覆盖所需的网格数量数据；在对数坐标系下，拟合网格边长尺寸的倒数数据与网格数量数据之间的线性斜率数值；将拟合得到的线性斜率数值作为表征边缘粗糙断裂程度的边缘分形维数特征。

16、生成对应的工艺异常预警信号的步骤包括：将提取的纤维方向向量以及边缘分形维数特征分别进行极值归一化处理；将归一化后的纤维方向向量、边缘分形维数特征，结合先验物理特征，按照预设的张量通道维度进行拼接重组，构建维度统一的多源特征张量；将多源特征张量输入至作为形态分类网络的中，进行非线性映射与网络权重计算；输出当前图像状态属于水分流失过干类别、顺纹切割受力撕裂类别以及刀具刃口钝化类别中每一种分类的概率分布数值；选取所述概率分布数值最高的一项类别作为最终的形态分类结果，并生成与形态分类结果绑定的工艺异常预警信号进行终端输出。

17、与现有技术相比，本发明的有益效果为：

18、1、本发明针对根茎类药材木质部偏心生长及多核心发育的生物学结构特点，先对木质部区域与皮层区域进行空间分离，再对木质部区域中的连通暗区实施灰度背景阈值判定和边界延伸轨迹的空间拓扑判定。由于药材天然孔洞通常在空间上被木质部完全包围，通过上述处理，可减少仅依据灰度或形状识别天然孔洞时产生的误报，提高真实切削缺损的判定准确程度，并为后续提取缺损轮廓提供可靠的数据基础。

19、2、本发明在木质部掩膜限定的有效像素坐标范围内，按照预设步长设置稀疏采样网格，以稀疏采样节点处的灰度数据计算灰度偏度、峰度等宏观纹理统计数据，替代对全部像素进行逐点遍历；当宏观纹理统计数据表明局部区域存在灰度非连续突变时，再对相应区域提取切面缺损轮廓，并执行计盒维数运算；通过将大范围的粗粒度统计与局部区域的精细化拓扑解析相结合，在保持缺损轮廓识别精度的同时，减少系统的数据处理量，降低因运算量过大造成检测滞后的可能性。

20、3、本发明将切削前表面纹理所转化的纤维方向向量与顺纹撕裂先验物理特征、切削后端面缺损轮廓所转化的边缘分形维数特征，进行统一归一化后按通道维度拼接，构建多源特征张量并输入形态分类网络，输出水分流失过干、顺纹切割受力撕裂以及刀具刃口钝化三类具体成因所对应的概率分布，进而生成与成因类别相绑定的工艺异常预警信号；为针对性调整润制工艺、进给角度或刀具维护提供了明确依据。