一种基于多模态数据融合的仓储货品质量智能决策方法及系统与流程

摘要: 本发明属于人工智能和自动化仓储,尤其涉及一种基于多模态数据融合的仓储货品质量智能决策方法及系统。背景技术:1、在自动化仓储系统中,对入库和出库货品的质量检测是保...
一种基于多模态数据融合的仓储货品质量智能决策方法及系统与流程

本发明属于人工智能和自动化仓储,尤其涉及一种基于多模态数据融合的仓储货品质量智能决策方法及系统。

背景技术:

1、在自动化仓储系统中,对入库和出库货品的质量检测是保证仓储安全和发货准确的关键环节。现有技术通常采用单一维度的、基于“布尔逻辑”(即“合格”或“不合格”)的检测方法。例如,系统独立地判断条码是否正确、重量是否在预设的阈值内。

2、这种方式存在以下局限性:信息孤立,无法综合判断:系统无法利用不同维度信息之间的关联性。例如,一个货品的条码正确,但重量出现了微小偏差,同时外包装存在轻微划痕。传统的独立判断逻辑,可能会因为每个单项都在容差范围内而判定其为“合格”,或者因为其中一项不合格就简单粗暴地判定为“异常”,缺乏对货品整体状态的综合评估能力。决策刚性,无法处理临界状态:面对“borderline”或“gray area”的临界情况,传统方法缺乏弹性和智能化。它无法区分“严重破损”和“轻微瑕疵”,也无法根据不同异常的组合,评估其风险等级,导致大量的“疑似异常品”需要人工介入复核,降低了整个自动化系统的运行效率。缺乏量化评估手段:现有技术只能给出定性的“合格/不合格”结论,无法提供一个量化的“健康度”或“置信度”指标,不利于进行精细化的质量管理和数据分析。

3、此外,现有自动化扫描系统,即便是采用多扫描器以提高读取率,也普遍存在一个技术盲点:它们通常假设货品箱体上只存在一个与当前业务相关的有效条码。然而在实际仓储物流中,一个货品箱体上常常附有多个不同类型、不同含义的条码,例如:代表整箱的gs1-128物流码、代表内部单品的ean-13商品码、供应商在生产过程中使用的内部追溯码、甚至是上游物流环节遗留的运输码。

4、当多扫描器系统同时读取到这些多个不同的条码时,传统的处理逻辑会产生数据混淆,无法自动判断哪一个条码才是当前作业(如入库、出库)所需要的主条码。这种歧义(ambiguity)通常会导致系统流程中断,需要人工介入进行甄别和选择,从而打破了全自动化的闭环,降低了系统的整体效率和可靠性。

5、另外,在实际的仓储流通过程中,由于搬运、摩擦或环境因素,货品箱体上的条码经常会出现小面积的印刷缺陷、磨损、污渍遮挡或反光等问题。传统的基于单一图像的解码算法,在面对这些不完整或受损的条码信息时,解码成功率会急剧下降。这种“读码失败”是导致自动化流水线中断、需要人工介入处理的最常见原因之一,严重影响了系统的整体处理效率和无人化程度。仅仅依靠提升硬件性能无法从根本上解决这一问题,亟需一种能主动“修复”受损信息、提升解码鲁棒性的新型算法。

6、因此,如何融合多个维度的检测数据,对货品状态进行更精准、更智能的量化评估与决策,是本领域亟待解决的技术难题。

技术实现思路

1、本发明针对上述背景技术中所存在的技术问题,提出一种基于多模态数据融合的仓储货品质量智能决策方法及系统。

2、为了达到上述目的,本发明采用的技术方案为:

3、s1、针对目标新货品sku的完好货品样本,分别标定重量概率分布参数、构建视觉特征模板、录入标称条码数据,生成基准数字孪生模型;

4、s2、通过集成于仓储传送线路的自动化检测平台,同步采集待检测货品的实时条码数据集、实时重量数据与多视角实时外观图像;

5、s3、分别对条码、重量、外观三类模态数据进行量化处理,对应计算得到条码匹配分、重量正态分与外观相似分;

6、s4、采用线性加权融合,为条码匹配分、重量正态分、外观相似分分别配置权重系数并加权求和,得到待检测货品的置信度;

7、s5、将置信度与预设的高置信度阈值、低置信度阈值进行比对,根据比对结果分别生成并执行高置信度放行、中置信度转人工复核、低置信度拦截告警的控制指令。

8、作为优选,步骤s1的具体实现为:

9、先标定重量概率分布参数,从同一批次的完好货品中抽取n个样本,n大于等于30,通过校准后的高精度称重设备采集各样本的重量数据;假设货品重量服从正态分布,计算样本重量的均值与标准差,将所述均值与标准差作为该sku的重量概率分布参数存入基准数字孪生模型;

10、构建视觉特征模板,选取黄金样本,采集其多视角标准图像并进行尺寸与像素值归一化预处理;

11、采用分层协同的卷积-注意力混合模型提取图像特征,分层协同混合模型包括依次串联的卷积主干、令牌化层与变换器编码器;

12、其中卷积主干采用预训练卷积神经网络提取图像i局部语义特征并输出二维富语义特征图,,其中,为卷积主干,h、w分别为图像i的尺寸,c为通道数;

13、令牌化层将特征图x在空间维度上分割为个不重叠的小块,每个小块的尺寸为,每个小块被展平并通过一个线性投影层,映射为令牌,由此特征图x被转换为一个令牌序列,其中,是一个可学习的、用于最终分类的[cls]令牌;

14、变换器编码器由l个相同的变换器层堆叠而成,每个变换器包含一个多头自注意力机制模块msa和一个前馈网络fnn,提取变换器编码器输出的分类令牌作为对应视角的基准特征向量,对于第层:

15、,,其中,代表归一化层,多头自注意力机制msa通过计算查询、键和值矩阵来建模令牌之间的全局关系;

16、将所有标准图像输入到分层协同混合模型中,变换器编码器输出中的[cls]令牌作为该图像的最终高维特征向量;对每个视角的多个[cls]令牌求平均,得到k个基准特征向量,此集合即为视觉特征模板;

17、通过扫描黄金样本的条码,或从上游供应商提供的电子资料中直接导入,将准确无误的条码字符串作为标准条码信息存入模型,将重量概率分布参数、构建视觉特征模板、录入标称条码数据结合生成基准数字孪生模型。

18、作为优选,在步骤s3进行量化处理之前,还包括多条码仲裁与验证步骤,具体包括:

19、在预设的时间窗口内从同一个货品上采集到一个条码集合时,首先通过预设的条码规则库进行语法规则校验,丢弃不符合编码体系、数据长度与格式规则的条码,得到候选条码集合;

20、根据当前作业的业务类型关联对应的业务单据数据,对候选条码集合进行上下文关联验证,保留在业务单据中存在匹配记录的条码,得到最终候选集合;

21、按照预设的条码优先级队列对最终候选集合中的条码进行排序,选取优先级最高的条码作为主业务条码;

22、若任意校验环节后候选集合为空,或存在多个相同最高优先级的条码,则判定仲裁失败,将对应货品分拣至异常待检区并推送告警信息。

23、作为优选,系统使用确定的唯一主业务条码进行条码匹配分计算,具体包括:

24、系统首先对采集到的条码图像进行初步解码,若解码器直接输出单个、清晰的条码,则流程继续;若解码器输出一个条码集合,则触发多条码仲裁与验证子流程,确定唯一主业务条码作为;

25、若解码器未能成功解码或输出的解码置信度低于预设阈值,则判定为解码失败,则启动破损条码重建流程,依次执行多视图图像融合与虚拟展平、基于上下文的预测性图像修复、假设驱动的解码与验证;

26、若经过重建流程验证得到唯一有效条码,则将该条码作为待比对的业务条码用于条码匹配分计算;若重建流程失败,则中止本次货品检测流程,并执行异常处理;

27、将经过最终确定的有效条码,与基准数字孪生模型中的进行比对,若=则条码匹配分为1,否则为0。

28、作为优选,步骤s3中重量正态分的具体实现包括:

29、首先计算实时重量相对于基准正态分布的z-score标准化值;

30、使用指数衰减函数将z值映射到得分,以反映重量的偏离程度:,其中,为可调节的系统灵敏度,用于控制得分随重量偏差的下降速度。

31、作为优选,步骤s3中外观相似分基于分层协同混合模型的特征空间距离得到,具体为:

32、将实时采集到的外包装图像输入到分层协同混合模型中,提取模型最终输出的[cls]令牌,作为实时图像的特征向量:,其中,为分层协同混合模型;

33、将实时特征向量与数字孪生模型中存储的、对应视角的基准特征向量进行比较,采用余弦相似度作为度量函数,并进行归一化,得到最终的外观相似分。

34、作为优选,步骤s4采用线性加权融合,为条码匹配分、重量正态分、外观相似分分别配置权重系数并加权求和,得到待检测货品的置信度的具体实现为:

35、融合多模态单项得分,通过线性加权模型将三个独立的单项得分融合成一个单一的、综合性的置信度指标:,其中,分别为条码、重量和外观三个模态的权重系数,满足约束条件,权重系数为可配置参数,根据货品的价值等级、易损特性与业务检测需求调整权重分配。

36、作为优选,步骤s5的分级决策具体包括:

37、当置信度大于等于高置信度阈值时,判定货品状态完好,生成放行控制指令,执行正常入库或出库流程;

38、当置信度大于等于低置信度阈值且小于高置信度阈值时,判定为疑似异常,生成复核控制指令,调度转运设备将货品运送至人工复核台或高精度自动复检站;

39、当置信度小于低置信度阈值时,判定为确认异常,生成拦截告警控制指令,将货品分拣至隔离区并推送包含全部检测数据与外观图像的告警信息。

40、一种基于多模态数据融合的仓储货品质量智能决策系统,其特征在于,包括:

41、基准建模模块,用于建立货品基准数字孪生模型,针对目标sku的完好货品样本,标定重量概率分布参数、构建视觉特征模板、录入标称条码数据,生成并存储基准数字孪生模型;

42、数据采集模块,与集成于仓储传送线的自动化检测平台对接,用于同步采集待检测货品的实时条码数据集、实时重量数据与多视角实时外观图像;

43、单模态量化模块,用于分别对条码、重量、外观三类模态数据进行量化处理,对应计算得到条码匹配分、重量正态分与外观相似分;融合计算模块,用于采用线性加权融合模型,对三类单项得分进行加权求和,得到待检测货品的置信度;

44、分级决策模块,用于将置信度与预设的高置信度阈值、低置信度阈值比对,生成并执行对应分级控制指令。

45、作为优选,所述自动化检测平台包括传送与定位单元、动态称重单元、多视角视觉采集阵列、全向条码读取系统与边缘计算单元;

46、所述传送与定位单元用于控制传送带运行,通过光电传感器检测货品位置并触发采集信号;

47、所述动态称重单元用于在货品匀速通行过程中实时采集重量数据;

48、所述多视角视觉采集阵列包含多台不同安装角度的工业相机与同步频闪照明系统,用于采集货品多视角的外观图像;

49、所述全向条码读取系统包含多台不同角度的固定式工业扫码器,形成扫描隧道以全角度采集货品表面的条码数据;

50、所述边缘计算单元用于接收各类传感数据,并运行各模块的算法逻辑。

51、与现有技术相比,本发明的优点和积极效果在于,本发明将传统二元定性的货品质量检测升级为基于概率与特征空间距离的连续量化置信度评分,实现货品质量客观精准、可追溯的评估。本发明采用重量概率分布统计模型结合卷积-注意力混合视觉模型,对货品合理生产公差具备良好鲁棒性,依托可配置权重与阈值可适配多类货品检测场景。通过三级决策机制实现风险分级管理,精准聚焦疑似异常的灰色地带货品,摒弃一刀切处理模式,提升仓储自动化运行效率。卷积-注意力混合模型兼顾检测性能与计算效率,满足工业高吞吐实时检测要求。同时通过语法、上下文、优先级三级条码仲裁机制解决多条码数据源混淆问题,搭配破损条码重建策略提升解码鲁棒性,减少人工介入,保障仓储作业端到端闭环无人化运行,规则库与优先级队列可灵活配置,拓展了方案的场景适配能力。