基于位置编码与自监督特征融合的窗户开关状态检测方法与流程

本申请涉及计算机视觉与智能监控的，尤其是涉及基于位置编码与自监督特征融合的窗户开关状态检测方法。

背景技术：

1、随着智慧城市和智能建筑的快速发展，对建筑物内外部环境的自动化监测需求日益增长。窗户作为建筑物通风和采光的重要组成部分，其开关状态直接影响室内的温度、湿度、空气质量以及建筑的能耗和安全。例如，在暴雨天气下未关闭的窗户可能导致室内进水，在空调运行时开启的窗户会增加能源消耗，在无人值守的场所窗户开启还可能带来安全隐患。因此，实现窗户开关状态的自动检测具有重要的实际应用价值。

2、目前，窗户开关状态检测方法主要分为传统图像处理方法和基于深度学习的方法两类。传统图像处理方法通常基于边缘检测、模板匹配、颜色分割等技术，通过提取窗户的轮廓特征来判断其开关状态。然而，这类方法对光照变化、视角变化、遮挡等干扰因素非常敏感，鲁棒性较差，难以在复杂的实际场景中应用。

3、基于深度学习的方法通过训练神经网络来自动学习窗户的特征表示，相比传统方法具有更高的检测精度和鲁棒性。但是，现有的深度学习方法大多依赖于监督学习，需要大量人工标注的训练数据，标注成本高、周期长。此外，现有方法通常只利用图像的内容特征，忽略了窗户在图像中的空间位置信息。在实际监控场景中，往往存在多个相似的窗户，或者窗户被部分遮挡的情况，仅依靠内容特征难以准确区分不同的窗户并判断其开关状态，导致检测精度下降。同时，现有方法在不同建筑、不同窗户样式之间的泛化能力较弱，当应用于新的场景时，需要重新收集数据并训练模型，增加了部署成本和难度。

技术实现思路

1、为了解决上述技术问题，本申请提供基于位置编码与自监督特征融合的窗户开关状态检测方法，采用如下的技术方案：

2、基于位置编码与自监督特征融合的窗户开关状态检测方法，包括以下步骤：

3、s1：从监控视频中抽取图像帧；

4、s2：在抽取的图像帧中一次性初始化标注目标窗户的四个角点，记录各角点在原始图像中的像素坐标；

5、s3：根据目标窗户的尺寸裁剪图像区域，使裁剪区域包含目标窗户及周边背景，并重新计算四个角点在裁剪图像中的相对坐标；

6、s4：将裁剪后的图像输入至参数冻结的经过大规模数据自监督训练的视觉模型中，提取高维视觉特征，其中自监督视觉模型在后续训练和推理过程中参数始终保持冻结；

7、s5：对四个角点的相对坐标进行归一化处理，将归一化后的坐标输入由多层感知机构成的位置编码模块生成空间位置向量，通过跨注意力机制将视觉特征作为查询向量、空间位置向量作为键向量和值向量进行融合，得到综合特征；

8、s6：将综合特征输入状态分类模块，输出窗户开关状态的预测结果；

9、其中，所述位置编码模块和状态分类模块的参数通过少量标注样本训练获得，训练过程中自监督视觉模型的参数保持冻结。

10、可选地，步骤s3中，裁剪图像区域的具体方法为：以目标窗户的四个角点确定的矩形为基准，在矩形的上下左右四个方向各扩展与目标窗户对应边长相等的距离，形成裁剪区域。

11、可选地，步骤s4中，所述自监督视觉模型为dinov3模型。

12、可选地，步骤s5中，对四个角点的相对坐标进行归一化处理的公式为：;

13、其中，为第i个角点在裁剪图像中的相对坐标，为裁剪图像的宽度，为裁剪图像的高度，为归一化后的坐标，分别对应左上、右上、左下、右下四个角点。

14、可选地，步骤s5中，所述位置编码模块为多层感知机mlp，其输入为8维的归一化坐标向量，输出为与视觉特征维度相同的空间位置向量。

15、可选地，步骤s5中，所述特征融合方式为跨注意力机制，具体为：将视觉特征作为查询向量，空间位置向量作为键向量和值向量，计算注意力权重并进行加权求和，得到融合后的综合特征。

16、可选地，跨注意力机制的计算公式为：

17、;

18、其中，q为查询向量，对应视觉特征；k为键向量，对应空间位置向量；v为值向量，对应空间位置向量；为键向量的维度。

19、可选地，步骤s6中，所述状态分类模块为全连接层，其输入为综合特征，输出为二维向量，分别对应窗户开启状态和关闭状态的概率。

20、可选地，还包括模型训练步骤：采用交叉熵损失函数作为训练损失，使用随机梯度下降优化器对位置编码模块和状态分类模块的参数进行训练，训练过程中自监督视觉模型的参数保持不变。

21、可选地，步骤s1中，从监控视频中抽取图像帧的帧率为1帧/秒。

22、综上所述，本申请包括以下至少有益技术效果：

23、本申请采用经过大规模数据自监督训练的视觉模型提取特征，利用其强大的通用特征表征能力，仅需要少量标注数据即可完成任务模型的训练，显著降低了标注成本，同时提高了模型在不同场景下的泛化能力。通过引入位置编码模块，将窗户的空间位置信息转化为可学习的向量表示，并与视觉特征进行融合，使模型能够同时利用图像内容信息和空间位置信息进行判断，有效解决了复杂场景下多个相似窗户难以区分、部分遮挡导致检测精度下降的问题。在训练过程中保持自监督模型参数冻结，仅训练位置编码模块和分类模块，大大加快了模型的收敛速度，减少了计算资源的消耗，便于在实际监控系统中部署应用。

1.基于位置编码与自监督特征融合的窗户开关状态检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于位置编码与自监督特征融合的窗户开关状态检测方法，其特征在于，步骤s3中，裁剪图像区域的具体方法为：以目标窗户的四个角点确定的矩形为基准，在矩形的上下左右四个方向各扩展与目标窗户对应边长相等的距离，形成裁剪区域。

3.根据权利要求1所述的基于位置编码与自监督特征融合的窗户开关状态检测方法，其特征在于，步骤s4中，所述自监督视觉模型为dinov3模型。

4.根据权利要求1所述的基于位置编码与自监督特征融合的窗户开关状态检测方法，其特征在于，步骤s5中，对四个角点的相对坐标进行归一化处理的公式为：;

5.根据权利要求1所述的基于位置编码与自监督特征融合的窗户开关状态检测方法，其特征在于，步骤s5中，所述位置编码模块为多层感知机mlp，其输入为8维的归一化坐标向量，输出为与视觉特征维度相同的空间位置向量。

6.根据权利要求1所述的基于位置编码与自监督特征融合的窗户开关状态检测方法，其特征在于，步骤s5中，所述特征融合方式为跨注意力机制，具体为：将视觉特征作为查询向量，空间位置向量作为键向量和值向量，计算注意力权重并进行加权求和，得到融合后的综合特征。

7.根据权利要求6所述的基于位置编码与自监督特征融合的窗户开关状态检测方法，其特征在于，跨注意力机制的计算公式为：

8.根据权利要求1所述的基于位置编码与自监督特征融合的窗户开关状态检测方法，其特征在于，步骤s6中，所述状态分类模块为全连接层，其输入为综合特征，输出为二维向量，分别对应窗户开启状态和关闭状态的概率。

9.根据权利要求1所述的基于位置编码与自监督特征融合的窗户开关状态检测方法，其特征在于，还包括模型训练步骤：采用交叉熵损失函数作为训练损失，使用随机梯度下降优化器对位置编码模块和状态分类模块的参数进行训练，训练过程中自监督视觉模型的参数保持不变。

10.根据权利要求1所述的基于位置编码与自监督特征融合的窗户开关状态检测方法，其特征在于，步骤s1中，从监控视频中抽取图像帧的帧率为1帧/秒。