一种基于多模态特征融合的智能仓库管理方法与流程

本发明涉及智能仓储管理，尤其涉及一种基于多模态特征融合的智能仓库管理方法。

背景技术：

1、智能仓库规模化运营需要实时掌握货物空间位置与动态运动状态，现有仓库监测常采用单一感知模态完成数据采集与状态判别，仅依靠视频、射频或激光雷达其中一种模态开展管理作业。仓库现场同时产生视频图像序列、射频扫描信号、激光雷达点云等多类感知数据，不同模态数据采集时序不统一，未进行统一时间戳校准匹配，各模态数据无法在同一时间维度建立关联对应关系。

2、多类感知模态数据提取特征后多独立应用，缺乏跨模态深度关联挖掘机制，常规特征融合多采用直接拼接、简单加权方式，无法以指定模态为基准量化其余模态的关联程度。不能精准计算不同特征之间的匹配关系权重，各类特征无法按照信息贡献度完成有序整合。

3、单一感知模态容易受仓储环境遮挡、光照变化、电磁信号干扰等因素影响，特征表征能力存在局限，难以精准获取货物精确坐标与实时运动状态。传统管理方式无法充分发挥多模态数据的互补属性，货物定位与状态识别精准度不足，难以生成完整规范的仓库货物分布状态图，无法适配智能仓库全天候、高精度、自动化精细化运维管理的应用要求。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点，而提出的一种基于多模态特征融合的智能仓库管理方法。

2、为了实现上述目的，本发明采用了如下技术方案：一种基于多模态特征融合的智能仓库管理方法，包括：

3、采集仓库内的多模态监测数据，所述多模态监测数据包括视频图像序列、射频扫描信号和激光雷达点云；

4、对所述多模态监测数据进行时间戳对齐操作，将具有相同时间戳的不同模态数据关联为同一时刻的多模态数据组；

5、从每个多模态数据组中分别提取视觉特征、射频特征和空间特征，获得视觉特征向量、射频特征向量和空间特征向量；

6、将所述视觉特征向量、所述射频特征向量和所述空间特征向量输入至跨模态注意力融合层，所述跨模态注意力融合层以视觉特征向量作为查询基准，分别计算视觉特征向量与射频特征向量之间的第一注意力权重矩阵以及视觉特征向量与空间特征向量之间的第二注意力权重矩阵；

7、依据所述第一注意力权重矩阵和所述第二注意力权重矩阵，对所述射频特征向量和所述空间特征向量进行加权重组，生成融合后的多模态特征表示；

8、根据所述融合后的多模态特征表示，识别仓库内每个货物的当前位置坐标和当前运动状态，输出仓库货物分布状态图。

9、作为本发明的进一步方案，采集仓库内的多模态监测数据，所述多模态监测数据包括视频图像序列、射频扫描信号和激光雷达点云的步骤，具体包括：

10、在仓库的多个固定位置部署可见光摄像头，控制所述可见光摄像头以固定帧率连续采集仓库内部区域的视频流，将所述视频流按时间顺序拆分为连续的图像帧，每个图像帧关联其采集时刻的时间戳，构成所述视频图像序列；

11、在仓库的入口处和货架区域部署超高频射频识别读写器，控制所述射频识别读写器以固定频率发射射频载波信号，接收附着在货物上的射频标签返回的反射信号，将每次读取获得的标签标识和信号强度组合为一条扫描记录，每条扫描记录关联其触发时刻的时间戳，构成所述射频扫描信号；

12、在仓库的顶部和侧面部署固态激光雷达传感器，控制所述激光雷达传感器以固定扫描周期发射激光脉冲，接收每个激光脉冲的回波信号，根据回波时间计算每个采样点的三维坐标，将单个扫描周期内获得的所有采样点集合为一帧点云，每帧点云关联其扫描起始时刻的时间戳，构成所述激光雷达点云。

13、作为本发明的进一步方案，对所述多模态监测数据进行时间戳对齐操作，将具有相同时间戳的不同模态数据关联为同一时刻的多模态数据组的步骤，具体包括：

14、从所述视频图像序列中提取每一帧图像的采集时间戳，生成视频时间戳列表；

15、从所述射频扫描信号中提取每次扫描的触发时间戳，生成射频时间戳列表；

16、从所述激光雷达点云中提取每帧点云的扫描时间戳，生成点云时间戳列表；

17、将所述视频时间戳列表、所述射频时间戳列表和所述点云时间戳列表进行合并去重，获得全局时间戳序列；

18、针对所述全局时间戳序列中的每一个目标时间戳，从所述视频图像序列中选取采集时间戳与目标时间戳差值最小的图像帧，从所述射频扫描信号中选取触发时间戳与目标时间戳差值最小的扫描帧，从所述激光雷达点云中选取扫描时间戳与目标时间戳差值最小的点云帧，将选取出的图像帧、扫描帧和点云帧组合为一个多模态数据组。

19、作为本发明的进一步方案，从每个多模态数据组中分别提取视觉特征、射频特征和空间特征，获得视觉特征向量、射频特征向量和空间特征向量的步骤，具体包括：

20、从所述多模态数据组中提取视频图像帧，对所述视频图像帧进行灰度化处理和尺寸归一化处理，获得标准化图像矩阵；

21、将所述标准化图像矩阵划分为多个互不重叠的图像块，对每个图像块执行二维离散余弦变换，提取每个图像块的低频系数作为该图像块的视觉子特征，将所有图像块的视觉子特征按空间顺序拼接，形成所述视觉特征向量；

22、从所述多模态数据组中提取射频扫描帧，对所述射频扫描帧执行傅里叶变换获得射频频谱，从所述射频频谱中提取幅度峰值对应的频率索引作为射频子特征，将所有射频子特征按照频率顺序排列，形成所述射频特征向量；

23、从所述多模态数据组中提取点云帧，对所述点云帧执行体素化降采样，获得均匀分布的三维体素网格，统计每个体素网格内的点云数量作为该体素的空间子特征，将所有体素的空间子特征按三维坐标顺序展开，形成所述空间特征向量。

24、作为本发明的进一步方案，将所述视觉特征向量、所述射频特征向量和所述空间特征向量输入至跨模态注意力融合层，所述跨模态注意力融合层以视觉特征向量作为查询基准，分别计算视觉特征向量与射频特征向量之间的第一注意力权重矩阵以及视觉特征向量与空间特征向量之间的第二注意力权重矩阵的步骤，具体包括：

25、将所述视觉特征向量进行线性变换，生成查询矩阵，所述查询矩阵的行数等于视觉特征向量的维度数；

26、将所述射频特征向量进行线性变换，生成第一键矩阵，将所述空间特征向量进行线性变换，生成第二键矩阵；

27、计算所述查询矩阵与所述第一键矩阵的转置矩阵之间的点积，获得第一原始得分矩阵，将所述第一原始得分矩阵中的每个元素除以查询矩阵的维度数的平方根，获得第一缩放得分矩阵，对所述第一缩放得分矩阵的每一行执行归一化指数运算，获得所述第一注意力权重矩阵；

28、计算所述查询矩阵与所述第二键矩阵的转置矩阵之间的点积，获得第二原始得分矩阵，将所述第二原始得分矩阵中的每个元素除以查询矩阵的维度数的平方根，获得第二缩放得分矩阵，对所述第二缩放得分矩阵的每一行执行归一化指数运算，获得所述第二注意力权重矩阵。

29、作为本发明的进一步方案，依据所述第一注意力权重矩阵和所述第二注意力权重矩阵，对所述射频特征向量和所述空间特征向量进行加权重组，生成融合后的多模态特征表示的步骤，具体包括：

30、将所述射频特征向量进行线性变换，生成第一数值矩阵，将所述空间特征向量进行线性变换，生成第二数值矩阵；

31、将所述第一注意力权重矩阵与所述第一数值矩阵执行矩阵乘法运算，获得第一加权特征矩阵，将所述第二注意力权重矩阵与所述第二数值矩阵执行矩阵乘法运算，获得第二加权特征矩阵；

32、将所述第一加权特征矩阵与所述第二加权特征矩阵执行逐元素相加运算，获得初始融合特征矩阵；

33、将所述初始融合特征矩阵进行线性投影变换，获得一维形式的融合后的多模态特征表示。

34、作为本发明的进一步方案，根据所述融合后的多模态特征表示，识别仓库内每个货物的当前位置坐标和当前运动状态，输出仓库货物分布状态图的步骤，具体包括：

35、将所述融合后的多模态特征表示输入至位置回归分支，所述位置回归分支包含多个全连接层，通过所述全连接层逐层降维，输出每个货物的三维空间坐标预测值，作为所述当前位置坐标；

36、将所述融合后的多模态特征表示同时输入至状态分类分支，所述状态分类分支包含卷积层和全局池化层，通过所述卷积层提取运动状态特征图，通过所述全局池化层将运动状态特征图压缩为状态特征向量，对所述状态特征向量执行归一化指数运算，输出每个货物属于静止状态、移动状态或搬运状态的概率分布，将概率最大的状态作为所述当前运动状态；

37、根据每个货物的当前位置坐标和当前运动状态，在仓库平面地图上以不同颜色标识不同运动状态的货物，生成所述仓库货物分布状态图。

38、作为本发明的进一步方案，将所述视频时间戳列表、所述射频时间戳列表和所述点云时间戳列表进行合并去重，获得全局时间戳序列的步骤，具体包括：

39、创建空的时间戳集合，将所述视频时间戳列表中的所有时间戳添加到所述时间戳集合中，将所述射频时间戳列表中的所有时间戳添加到所述时间戳集合中，将所述点云时间戳列表中的所有时间戳添加到所述时间戳集合中，通过集合操作自动去除重复的时间戳；

40、将所述时间戳集合中的所有元素取出，按照时间数值从小到大的顺序进行排序，获得排序后的时间戳列表；

41、对所述排序后的时间戳列表执行滑动窗口平滑操作，当相邻两个时间戳之间的时间间隔小于预设合并阈值时，将这两个时间戳替换为这两个时间戳的平均值，获得平滑后的时间戳列表作为所述全局时间戳序列。

42、作为本发明的进一步方案，将所述视觉特征向量进行线性变换，生成查询矩阵，所述查询矩阵的行数等于视觉特征向量的维度数的步骤，具体包括：

43、获取所述视觉特征向量的原始维度数，初始化第一权重矩阵，所述第一权重矩阵的行数设置为预设的注意力维度数，所述第一权重矩阵的列数设置为所述原始维度数；

44、将所述视觉特征向量按照行向量的形式排列，获得视觉行向量，将所述视觉行向量与所述第一权重矩阵执行矩阵乘法，获得中间查询矩阵；

45、将所述中间查询矩阵按照预设的头数进行切分，获得多个头查询子矩阵，将所述多个头查询子矩阵在行方向上进行拼接，生成所述查询矩阵，所述查询矩阵的行数等于预设的注意力维度数乘以头数。

46、作为本发明的进一步方案，将所述第一注意力权重矩阵与所述第一数值矩阵执行矩阵乘法运算，获得第一加权特征矩阵的步骤，具体包括：

47、获取所述第一注意力权重矩阵的维度信息，所述第一注意力权重矩阵为一个方阵，其行数和列数均等于所述射频特征向量的维度数；

48、将所述射频特征向量进行线性变换，生成第一数值矩阵，所述第一数值矩阵的行数等于所述射频特征向量的维度数，所述第一数值矩阵的列数设置为预设的特征深度数；

49、将所述第一注意力权重矩阵作为左乘矩阵，将所述第一数值矩阵作为右乘矩阵，执行矩阵乘法运算，获得中间乘积矩阵，所述中间乘积矩阵的行数等于所述第一注意力权重矩阵的行数，所述中间乘积矩阵的列数等于所述第一数值矩阵的列数；

50、将所述中间乘积矩阵的每一行与所述第一注意力权重矩阵的对应行求和归一化因子相乘，获得所述第一加权特征矩阵。

51、与现有技术相比，本发明的优点和积极效果在于：

52、以视觉特征向量作为查询基准，分别求解视觉特征向量与射频特征向量、空间特征向量对应的注意力权重矩阵，建立不同模态特征之间的量化关联关系。摒弃固定权重直接拼接的浅层融合方式，根据各模态特征自身信息贡献程度分配对应权重数值，实现不同模态特征重要度的自适应分配。弱化无用特征信息的占比权重，强化有效特征在模型中的表达占比，抑制仓储环境干扰带来的模态特征失效问题。

53、按照两组注意力权重矩阵对射频特征向量与空间特征向量进行加权重组，完成多模态特征的深度重构整合，生成统一维度的多模态特征表示。将视觉维度、射频识别维度、雷达空间维度的信息进行有机结合，弥补单一模态特征信息覆盖范围不足的缺陷，完善特征对仓储环境及货物属性的完整表征能力。

54、利用融合后的多模态特征表示开展货物位置坐标解算与运动状态辨识，综合吸纳三类感知数据的有效信息维度，提升目标检测与状态判定的可靠程度。依据识别结果生成标准化仓库货物分布状态图，完整呈现仓库内部货物排布位置与动态变化情况，为智能仓库日常调度、库存盘点、动态管控提供规整完备的数据支撑，适配仓储自动化管理对实时感知、精准定位与全局态势呈现的使用需求。