基于通用视觉预训练模型的图像质量评价方法及系统与流程

技术特征：
1.一种基于通用视觉预训练模型的图像质量评价方法，其特征在于，该方法包括：步骤s10，通过模式识别方法获取存在设定类别异常的图像样本集；步骤s20，进行所述图像样本集中每一个图像样本的异常筛查和标注，获得带标签的第一训练样本集；步骤s30，构建基于深度学习的样本收集模型，并基于所述第一训练样本集进行模型的训练，获得训练好的样本收集模型；步骤s40，设定所述训练好的样本收集模型的收集阈值，并在线收集带视频帧图像质量评价标注的第二训练样本集；步骤s50，构建轻量化的基于视频的图像质量异常分类模型，并基于所述第二训练样本集进行模型的训练，获得训练好的图像质量异常分类模型；步骤s60，通过所述训练好的图像质量异常分类模型，在线进行视频帧图像和/或单帧图像的质量异常分类。2.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，步骤s20和步骤s30之间还设置有第一训练样本集增强步骤，其方法为：步骤s20b，对所述第一训练样本集，通过部分区域擦除、左右翻转以及mixup数据增强方法进行样本扩增，获得第一扩增训练样本集。3.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，步骤s40和步骤s50之间还设置有第二训练样本集增强步骤，其方法为：步骤s40b，对所述第二训练样本集，通过部分区域擦除、左右翻转以及mixup的方法进行样本扩增，获得第二扩增训练样本集。4.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，步骤s10包括：通过信号丢失判断、模糊遮挡判断、偏色判断、亮度异常判断、丢帧判断、面向天空判断、面向地面判断中的一种或多种方法进行视频帧图像的模式识别，获得存在设定类别异常的图像样本集。5.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，所述基于深度学习的样本收集模型为resnet101模型，repvgg模型，resnext101模型和efficientnet模型中的一种或多种。6.根据权利要求5所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，所述基于深度学习的样本收集模型，其训练方法为：步骤a10，构建所述基于深度学习的样本收集模型的训练过程的第一损失函数；所述第一损失函数为交叉熵损失函数和focalloss损失函数，或者eql loss损失函数；步骤a20，将所述第一训练样本集中的第一样本序列输入构建的基于深度学习的样本收集模型中，获得第一样本序列对应的预测图像分类结果；步骤a30，通过所述第一损失函数计算所述第一样本序列对应的预测图像分类结果与对应的标签之间的损失值；步骤a40，若所述损失值大于设定第一阈值，则通过梯度反传进行模型参数更新，并跳转步骤a20，直至所述损失值不大于设定第一阈值或达到设定训练次数，获得训练好的样本收集模型。
7.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，所述轻量化的基于视频的图像质量异常分类模型为resnet18 tsm模型、mobilenet tsm模型和shufflenet tsm模型中的一种。8.根据权利要求7所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，所述时移模块为沿着时间维度向前和向后移动的通道，移动后，前后帧图像的信息与当前帧图像信息融合。9.根据权利要求8所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，所述轻量化的基于视频的图像质量异常分类模型，其训练方法为：步骤b10，构建所述轻量化的基于视频的图像质量异常分类模型的训练过程的第二损失函数；所述第二损失函数为交叉熵函数和focalloss损失函数；步骤b20，将所述第二训练样本集中的第二样本序列输入构建的轻量化的基于视频的图像质量异常分类模型中，获得第二样本序列对应的预测图像分类结果；步骤b30，通过所述第二损失函数计算所述第二样本序列对应的预测图像分类结果与对应的标签之间的损失值；步骤b40，若所述损失值大于设定第二阈值，则通过梯度反传进行模型参数更新，并跳转步骤b20，直至所述损失值不大于设定第二阈值或达到设定训练次数，获得训练好的图像质量异常分类模型。10.一种基于通用视觉预训练模型的图像质量评价系统，其特征在于，该系统包括以下模块：小样本获取模块，配置为通过模式识别方法获取存在设定类别异常的图像样本集；小样本筛查和标注模块，配置为进行所述图像样本集中每一个图像样本的异常筛查和标注，获得带标签的第一训练样本集；样本收集模块训练模块，配置为构建基于深度学习的样本收集模型，并基于所述第一训练样本集进行模型的训练，获得训练好的样本收集模型；大样本收集模块，配置为设定所述训练好的样本收集模型的收集阈值，并在线收集带视频帧图像质量评价标注的第二训练样本集；图像质量异常分类模型训练模块，配置为构建轻量化的基于视频的图像质量异常分类模型，并基于所述第二训练样本集进行模型的训练，获得训练好的图像质量异常分类模型；图像质量评价模块，配置为通过所述训练好的图像质量异常分类模型，在线进行视频帧图像和/或单帧图像的质量异常分类。

技术总结
本发明属于机器学习和数据质量评价领域，具体涉及了一种基于通用视觉预训练模型的图像质量评价方法及系统，旨在解决现有技术在缺乏大量人工筛查的情况下，视频监控的图像和视频质量评价的效率和精度低的问题。本发明包括：获取存在设定类别异常的图像样本集，进行异常筛查和标注；通过筛查和标注后的第一训练样本集进行样本收集模型训练；设定训练好的样本收集模型的收集阈值，并在线收集带视频帧图像质量评价标注的第二训练样本集；通过第二训练样本集进行图像质量异常分类模型训练；通过训练好的图像质量异常分类模型在线进行视频帧图像和/或单帧图像的质量异常分类。本发明人工介入少，视频监控的图像和视频质量评价的效率、准确性和精度高。准确性和精度高。准确性和精度高。


技术研发人员：权利要求书2页说明书9页附图5页
受保护的技术使用者：中国科学院自动化研究所
技术研发日：2021.09.08
技术公布日：2021/12/3