一种基于视觉大模型融合的物流场景行为检测方法及系统与流程

摘要: 本发明涉及计算机视觉,尤其涉及一种基于视觉大模型融合的物流场景行为检测方法及系统。背景技术:1、在物流园区、仓储中心等作业场景中,人员行为规范和车辆安全管理是保...
一种基于视觉大模型融合的物流场景行为检测方法及系统与流程

本发明涉及计算机视觉,尤其涉及一种基于视觉大模型融合的物流场景行为检测方法及系统。

背景技术:

1、在物流园区、仓储中心等作业场景中,人员行为规范和车辆安全管理是保障生产安全的核心环节。传统安全管理主要依赖人工巡查和固定规则监控,存在效率低、覆盖面有限、实时性差等问题。随着计算机视觉技术的发展,基于视频监控的智能行为检测逐渐成为行业热点。

2、但现有技术存在以下缺点和不足:

3、(1)单一技术路线能力有限:目标检测方案无法理解复杂行为,关键点方案无法识别特定物体,端到端方案部署成本过高,单模型vit方案缺乏多模态融合能力。

4、(2)误报率高:纯视觉方案缺乏语义理解能力,难以区分相似外观的正常行为和违规行为,对行为类场景的识别能力不足。

5、(3)算力需求与准确率难以兼顾:高精度方案需要昂贵算力,低成本方案准确率不足。

6、(4)场景适配能力弱:现有方案多为通用型设计或仅针对分拣场景,缺乏针对物流行为安全管理(如拖挂车倒车引导、二层装载安全链检测等)的专项优化。

7、(5)缺乏多维度信息融合:现有方案未能有效融合目标检测、关键点分析、时序特征和行为语义等多维度信息进行综合判定。

8、(6)判定机制可解释性差:现有方案多依赖端到端黑盒模型,缺乏可配置规则引擎支持,难以满足工业级安全管理的可追溯要求。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种基于视觉大模型融合的物流场景行为检测方法及系统。

2、一种基于视觉大模型融合的物流场景行为检测方法,包括以下步骤:实时采集园区内关键位置的视频流,并对所述视频流中的所有帧进行预处理操作,得到待检测帧;采用yolo目标检测算法对所述待检测帧进行多类别目标并行检测,并通过mediapipe模型提取所述待检测帧中的人体关键点,得到目标检测结果与关键点提取结果;对所述目标检测结果和关键点提取结果进行时空对齐和多模态特征融合,得到最终融合特征;将所述最终融合特征输入视觉大模型,进行行为语义理解和场景上下文分析,输出得到各场景行为及其概率分布;根据所述场景行为的设定条件组合判定违规行为,得到判定结果,所述设定条件组合包括阈值条件、时序条件和连续条件;根据违规行为的判定结果和置信度评分划分告警级别,并根据所述告警级别多渠道推送告警信息。

3、在其中一个实施例中,所述预处理操作包括自适应直方图均衡化、基于高斯模糊的去噪处理和缩放操作;其中,所述自适应直方图均衡化的公式为:

4、;

5、式中,

c

clip(t)为限制后的直方图像素值,

h

t1为原始直方图在灰度级

t1处的像素计数,

n

clip为对比度限制阈值;所述基于高斯模糊去噪的处理公式为:

6、;

7、式中,

g(

x,y)为高斯核函数在坐标(

x, y)处的权重值,

σ

x和

σ

y分别为x方向和

y方向的标准差,

x和

y分别为相对于核中心的坐标偏移量;所述缩放操作用于将输入图像缩放至640×640分辨率。

8、在其中一个实施例中,所述采用yolo目标检测算法对所述待检测帧进行多类别目标并行检测,包括:采用yolo目标检测算法对待检测帧进行目标检测,目标类别包括人员、车辆、物体和环境,计算检测目标的置信度,公式为:

9、;

10、式中,

c

conf为置信度分数,取值范围[0, 1],

p(

obj) 为目标存在概率,由yolo分类分支输出,iou(

b

pred,

b

gt)为预测边界框

b

pred与真实边界框

b

gt的交并比,

b

pred为模型预测的边界框,表示为(

x, y, w, h),

b

gt为标注的真实边界框;其中,交并比iou(

b

pred,

b

gt)为:

11、;

12、式中,area(

b

pred∩

b

gt) 为预测框与真实框交集区域的面积,area(

b

pred∪

b

gt)为预测框与真实框并集区域的面积;采用ciou损失函数进行边界框回归处理,公式为:

13、

;

14、式中,

l

ciou为ciou损失值,

ρ²(

b, b

gt) 为预测框中心点

b与真实框中心点

b

gt之间的欧氏距离平方,

c为覆盖预测框与真实框的最小外接矩形的对角线长度,

α为权衡参数,

α=v/((

1-iou)

+v),

v为长宽比一致性度量,

v = (4/π²)(arctan(

w

gt

/h

gt) - arctan(

w/h))²,

w和

h分别为预测框的宽度和高度,

w

gt和

h

gt分别为真实框的宽度和高度;采用非极大值抑制后处理算法对边界框回归后的检测框进行筛选,筛选条件为:

15、;

16、式中,

b

i和

b

j分别为第

i个和第

j个检测框,

τ

nms为nms的iou阈值,

c

conf(

b

i) 为检测框

b

i的置信度分数;采用bytetrack算法根据筛选后的检测框进行多目标跟踪,公式为:

17、;

18、式中,

c(

i, j)为第

i条历史轨迹

t

i与第

j个当前检测框

d

j之间的关联代价,

t

i(

t-1)为第i条轨迹在上一帧

t-1的预测位置,

d

j(t)为当前帧

t的第

j个检测框;根据多目标并行检测得到目标检测结果,所述目标检测结果包括每个检测目标的类别标签、置信度分数、边界框坐标以及多目标跟踪id。

19、在其中一个实施例中,在所述通过mediapipe模型提取所述待检测帧中的人体关键点之后,包括:采用四元组表示输出的人体关键点,为:

20、;

21、式中,

k

i为第

i个关键点的四元组数据,

x

i和

y

i分别为关键点在图像平面上的归一化坐标,取值范围[0, 1],原点为图像左上角,

z

i为关键点的深度值,

v

i为关键点的可见性置信度,取值范围[0, 1],

n为关键点总数,其中,人体姿态

n=33,手部

n=21,面部网格

n=478;基于所述关键点计算关节角度和肢体方向,其中,关节角度的计算公式为:

22、;

23、式中,

θ

joint为关节角度,单位为弧度,

v

1和

v

2为构成关节的两段骨骼向量,

v

1

= k

a

-

k

b,

v

2

= k

c

- k

b,其中

k

b为关节中心关键点,

k

a、

k

c为关节两端的关键点,

v

1

·v

2为两向量的点积,

|v1

|、|v

2

|为两向量的模长;计算关键点之间的欧氏距离,用于判断人体姿态关系,公式为:

24、;

25、式中,

d(

k

a

, k

b)为关键点

k

a与

k

b之间的三维欧氏距离,

x

a

、y

a

、z

a为关键点

k

a的三维坐标,

x

b

、y

b

、z

b为关键点

k

b的三维坐标。

26、在其中一个实施例中,所述对所述目标检测结果和关键点提取结果进行时空对齐和多模态特征融合,得到最终融合特征,包括:采用仿射变换矩阵将关键点坐标映射到yolo边界框坐标系,公式为:

27、 ;

28、 ;

29、 ;

30、式中,

、为变换后的关键点坐标,

x

0

、y

0为原始关键点归一化坐标,

s为缩放因子,由yolo边界框尺寸与图像尺寸的比值确定,

θ为旋转角度,由目标姿态估计得到,

t

x

、t

y为x方向和y方向的平移分量,由yolo边界框左上角坐标确定;将空间对齐后的目标检测特征与关键点特征进行向量拼接,形成多模态特征向量,公式为:

31、;

32、式中,

f

fused为拼接后的多模态特征向量,

f

yolo为yolo目标检测特征向量,维度

d

yolo,

f

keypoint为mediapipe关键点特征向量,维度

d

keypoint,

f

temporal为时序特征向量,维度

d

temporal,⊕为向量拼接操作;采用滑动窗口均值池化进行时序聚合,公式为:

33、;

34、式中,

f

temporal(

t) 为第

t时刻的时序聚合特征,

w为滑动窗口大小,

f

fused(

t-k) 为第(

t-k)时刻的融合特征向量,采用交叉注意力机制,根据当前场景上下文动态调整目标检测特征和关键点特征的权重配比,输出得到最终融合特征。

35、在其中一个实施例中,所述将所述最终融合特征输入视觉大模型,进行行为语义理解和场景上下文分析,输出得到各场景行为及其概率分布,包括:采用clip对比学习架构对所述最终融合特征进行视觉语言对齐,预训练对比损失函数为:

36、;

37、式中,

l

clip为clip对比学习损失函数值,

n为训练批次中的样本数量,

sim(

i

i

, t

i)为第

i个图像样本

i

i与其对应文本描述

t

i的余弦相似度,

sim(

i

i

, t

j) 为第

i个图像样本

i

i与第

j个文本描述tj的余弦相似度,

i

i为第

i个图像样本的视觉特征向量,

t

i、

t

j分别为第

i个和第

j个文本样本的语言特征向量,

τ为温度超参数,控制softmax分布的平滑程度,

τ越小分布越尖锐,exp(·)为自然指数函数;其中,余弦相似度的计算公式为:

38、;

39、式中,

sim(

i, t) 为图像特征

i与文本特征

t的余弦相似度,取值范围[-1, 1],

i

· t为图像特征向量与文本特征向量的点积,|

i|、|

t|分别为图像特征向量和文本特征向量的l2范数;将对齐后的最终融合特征映射到行为语义空间,输出各场景行为的概率分布,公式为:

40、;

41、式中,

p(

behavior | f

final) 为在给定融合特征

f

final条件下,各场景行为的后验概率分布,

t为视觉大模型输出层的权重矩阵,

g为偏置向量,softmax(·) 为归一化指数函数。

42、在其中一个实施例中,所述根据场景行为的设定条件组合判定违规行为,得到判定结果,包括:获取场景行为的关键数据指标、行为持续时间和连续帧数,分别与设定指标阈值、持续时间阈值和帧数阈值进行比对,形成判断条件组合;在条件组合中的所有条件均符合要求时,判定存在违规行为并输出;在未满足所有条件时,根据条件满足比例输出违规行为的判定比例,并输出违规行为及其判定比例。

43、在其中一个实施例中,所述根据违规行为的判定结果和置信度评分划分告警级别,包括:根据违规行为的判定结果和置信度评分计算综合告警评分,公式为:

44、;

45、;

46、式中,

s

alarm为综合告警评分,取值范围[0, 1],

s

yolo为目标检测置信度评分,

s

keypoint为关键点匹配度,

s

vlm为视觉大模型语义置信度,

s

rule为违规行为判定结果,满足所有条件时为1,否则取判定比例,

w

1、

w

2、

w

3、

w

4为权重系数;根据所述综合告警评分的取值范围划分告警级别,所述告警级别包括高级告警、中级告警和低级告警。

47、在其中一个实施例中,所述告警信息包括告警时间、摄像头编号、违规类型、违规人员或车辆信息、置信度评分、告警级别、现场截图和短视频片段。

48、一种基于视觉大模型融合的物流场景行为检测系统,用于实现如上所述的一种基于视觉大模型融合的物流场景行为检测方法,包括:视频流预处理模块,用于实时采集园区内关键位置的视频流,并对所述视频流中的所有帧进行预处理操作,得到待检测帧;待检测帧检测模块,用于采用yolo目标检测算法对所述待检测帧进行多类别目标并行检测,并通过mediapipe模型提取所述待检测帧中的人体关键点,得到目标检测结果与关键点提取结果;多模态特征融合模块,用于对所述目标检测结果和关键点提取结果进行时空对齐和多模态特征融合,得到最终融合特征;场景行为识别模块,用于将所述最终融合特征输入视觉大模型,进行行为语义理解和场景上下文分析,输出得到各场景行为及其概率分布;违规行为判定模块,用于根据所述场景行为的设定条件组合判定违规行为,得到判定结果,所述设定条件组合包括阈值条件、时序条件和连续条件;告警信息推送模块,用于根据违规行为的判定结果和置信度评分划分告警级别,并根据所述告警级别多渠道推送告警信息。

49、相比于现有技术,本发明的优点及有益效果在于:通过实时采集园区内关键位置的视频流,对视频流中的所有帧进行预处理操作得到待检测帧,采用yolo目标检测算法对待检测帧进行多类别目标并行检测,得到目标检测结果,同时通过mediapipe模型提取待检测帧中的人体关键点,得到关键点提取结果,对目标检测结果和关键件提取结果进行时空对齐和多模态特征融合,得到最终融合特征,有效提高行为识别准确率;将最终融合特征输入至视觉大模型,进行语义理解和场景上下文分析,输出得到各场景行为及其概率分布,能够降低违规行为误报率;根据场景行为的设定条件组合判定违规行为,得到判定结果,适配不同场景的检测需求,确保违规行为的判定实时性,有效消除偶发误判;根据违规行为的判定结果和置信度评分划分告警级别,并根据告警级别多渠道推送告警信息,适用于人员行为、车辆安全和环境预警的检测,形成物流场景安全管理的全覆盖能力,能够在低成本算力条件下实现高准确率的复杂行为识别与实时告警。