一种工程现场监控终端中的图形数据编码与检索装置
本发明属于智能监控,具体涉及一种工程现场监控终端中的图形数据编码与检索装置。
背景技术:
1、在智慧工地安全监控、人员考勤管理、高危区域入侵预警及违章行为追踪等应用中,需要跨摄像头对工程现场人员进行身份匹配与追溯。现有图形数据编码与检索装置通常对监控图像进行特征提取后,将得到的全局特征与特征库中的参考特征进行距离计算和排序,从而输出检索结果。
2、然而,工程现场通常要求工人统一佩戴高亮反光背心和安全帽。现有编码装置在提取图像特征时,容易过度依赖颜色信息,使反光背心、安全帽等高亮颜色对应的通道持续高激活,导致编码得到的全局特征被“建筑工人”这一同质化类别特征主导,而体型、鞋履、头部轮廓等个体独特身份细节被淹没。由此,在特征检索模块进行距离计算和排序时,不同工人之间的特征区分度不足,跨摄像头、跨场景的人员重识别匹配精度下降。
3、因此,如何在对工程现场图像数据进行编码时抑制同质化工装带来的通道主导效应,使全局特征向量更聚焦于个体身份信息,并提升后续特征检索的准确性,是本领域需要解决的技术问题。
技术实现思路
1、鉴于现有技术中的上述缺陷或不足,提供一种工程现场监控终端中的图形数据编码与检索装置,用于工程现场人员重识别,包括:
2、图像采集模块,配置用于采集工程现场的图像数据帧;
3、预处理模块,与所述图像采集模块连接,配置用于对所述图像数据帧进行补丁化特征提取,生成初始补丁特征数据序列;
4、语义特征校准模块,与所述预处理模块连接,配置用于对所述初始补丁特征数据序列进行通道维度校准,生成校准后的补丁特征数据;
5、隐式场景上下文提示模块,与所述语义特征校准模块连接,配置用于根据所述校准后的补丁特征数据生成预设数量的场景提示标记数据,所述场景提示标记数据隐式编码当前图像数据帧的环境属性数据;
6、几何流形对齐模块,与所述图像采集模块连接,配置用于根据所述图像采集模块的标识数据和视角编号数据生成几何对齐位置编码数据;
7、序列组装与编码模块,分别与所述隐式场景上下文提示模块、所述语义特征校准模块和所述几何流形对齐模块连接,配置用于将类别标记数据、所述场景提示标记数据、所述校准后的补丁特征数据与所述几何对齐位置编码数据组装为组装序列数据,其中所述几何对齐位置编码数据至少叠加至所述校准后的补丁特征数据;将所述组装序列数据输入vision transformer编码器进行深度编码,输出全局特征数据向量;
8、特征数据检索模块,与所述序列组装与编码模块连接,配置用于根据所述全局特征数据向量与参考特征数据进行距离计算和排序,输出检索结果数据。
9、根据本技术提供的技术方案,所述预处理模块具体配置用于:
10、将所述图像数据帧调整为384×128像素,并按均值0.485、0.456、0.406和标准差0.229、0.224、0.225进行归一化处理;
11、对归一化后的图像数据帧执行数据增强,所述数据增强包括随机水平翻转、随机擦除和随机裁剪中的至少一种;
12、将增强后的图像数据帧分割为16×16像素的非重叠补丁数据,得到24×8=192个补丁数据;
13、每个补丁数据经线性映射转换为768维的补丁嵌入特征数据,生成所述初始补丁特征数据序列。
14、根据本技术提供的技术方案,所述语义特征校准模块具体配置用于:
15、对所述初始补丁特征数据序列进行全局平均池化,压缩空间序列维度,生成全局通道描述符数据;
16、利用卷积核尺寸为3的一维卷积对所述全局通道描述符数据进行通道间局部相关性计算,经sigmoid激活函数生成通道校准权重数据;
17、将所述通道校准权重数据与所述初始补丁特征数据序列进行元素级相乘,得到所述校准后的补丁特征数据。
18、根据本技术提供的技术方案,所述隐式场景上下文提示模块具体配置用于:
19、对所述校准后的补丁特征数据进行全局平均池化,提取全局上下文数据向量;
20、将所述全局上下文数据向量输入瓶颈结构的多层感知机网络,所述多层感知机网络依次包括降维线性层、relu激活函数和升维线性层,生成预设数量的场景提示标记数据;
21、其中,所述预设数量为k,k为正整数,所述降维线性层的降维比为r,所述升维线性层输出维度为k×d,d为补丁嵌入特征维度;
22、所述场景提示标记数据在不依赖人工场景标签的情况下隐式编码当前图像数据帧的环境属性数据,所述环境属性数据包括遮挡、低分辨率、红外/可见光跨模态、换装中的至少一种。
23、根据本技术提供的技术方案,所述几何流形对齐模块具体配置用于:
24、根据所述标识数据和所述视角编号数据计算联合索引:
25、
26、其中,为视角编号总数;
27、根据所述联合索引从预构建的可学习几何偏置矩阵中检索几何偏置向量数据,所述可学习几何偏置矩阵的维度为,其中,为图像采集模块标识总数,d为补丁嵌入特征维度;
28、将所述几何偏置向量数据乘以自适应缩放因子λ后叠加至标准位置编码数据上,生成几何对齐位置编码数据:
29、
30、其中,所述标准位置编码数据为可学习位置编码数据,所述自适应缩放因子为可学习标量或与补丁位置对应的向量;
31、所述几何对齐位置编码数据中与补丁特征对应的部分用于在序列组装时叠加至所述校准后的补丁特征数据。
32、根据本技术提供的技术方案,所述序列组装与编码模块配置用于:
33、将可学习的类别标记数据、所述场景提示标记数据与所述校准后的补丁特征数据进行维度拼接,并叠加所述几何对齐位置编码数据,形成组装序列数据:
34、
35、其中,所述几何对齐位置编码数据中对应补丁特征的部分叠加至所述校准后的补丁特征数据;
36、将所述组装序列数据输入vision transformer编码器进行深度编码,所述visiontransformer编码器包括12个transformer block,每个transformer block由8头自注意力机制和前馈网络组成,经12层编码后输出全局身份特征向量。
37、根据本技术提供的技术方案,所述特征数据检索模块配置用于:
38、将所述全局特征数据向量作为查询特征数据fquery,与特征库中存储的参考特征数据fgallery计算欧氏距离:
39、
40、按距离升序排序,返回top-n检索结果数据。
41、根据本技术提供的技术方案,所述装置还包括模型训练模块,所述模型训练模块配置用于联合使用标签平滑身份分类损失与难样本挖掘三元组损失进行训练:
42、
43、其中,,为平滑后的真实标签(平滑因子),为预测概率;
44、针对每批次中的三元组计算:
45、
46、其中为欧氏距离,边界距离。采用难样本挖掘策略,仅选择每批次中最难的正样本对与最难的负样本对计算损失。
47、根据本技术提供的技术方案,所述模型训练模块的训练策略包括:
48、基于pytorch框架,在配备rtx4090d显卡的linux系统上实现;
49、随机失活率为0.1,输入图像尺寸为384×128,批量大小为64,每批含16个身份且每个身份4个样本;
50、优化器采用adam,基础学习率为3e-4,权重衰减为1e-4,学习率线性衰减,最大训练轮数为60轮。
51、根据本技术提供的技术方案,所述装置配置用于部署到摄像机及边缘计算设备中,采用统一的vision transformer架构且无需多分支切换;所述装置用于智慧工地安全监控、人员考勤管理、高危区域入侵预警及违章行为追踪中的至少一种,并在bim系统或监控界面中实现目标的精准定位与身份追踪。
52、与现有技术相比,本技术的有益效果在于:针对工程现场同质化工装导致身份特征被高亮颜色通道主导、检索区分度不足的问题,通过语义特征校准模块对预处理模块生成的初始补丁特征数据序列进行通道维度校准,生成校准后的补丁特征数据,从而抑制因反光背心、安全帽等高亮颜色而持续高激活的通道权重,使后续编码更关注体型、鞋履、头部轮廓等个体独特身份细节。在此基础上,隐式场景上下文提示模块根据校准后的补丁特征数据生成场景提示标记数据,几何流形对齐模块根据图像采集模块的标识数据和视角编号数据生成几何对齐位置编码数据,序列组装与编码模块将类别标记数据、场景提示标记数据、校准后的补丁特征数据与几何对齐位置编码数据组装后输入vision transformer编码器,输出全局特征数据向量。该全局特征数据向量既保留了被校准后的个体身份信息,又融合了场景自适应信息和几何对齐信息。最终,特征数据检索模块根据该全局特征数据向量与参考特征数据进行距离计算和排序,输出检索结果数据,从而在工程现场同质化工装条件下提升不同工人之间的特征区分度和人员重识别检索精度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com