一种面向复杂场景的多任务视觉感知与内容处理评估方法及系统与流程

本发明涉及人工智能，尤其涉及一种面向复杂场景的多任务视觉感知与内容处理评估方法及系统。

背景技术：

1、随着深度学习技术的持续演进，计算机视觉大模型凭借强大的特征提取与任务泛化能力，已在图像分类、目标检测、语义分割和视觉内容生成等多个任务方向取得突破性进展，并逐步向工业质检、智慧交通、遥感探测等实际应用场景延伸。然而，现有视觉系统大多针对特定任务或有限任务场景设计，视觉理解与视觉生成能力相互分离，难以在统一架构下同时支持多类视觉需求的并发处理。面对复杂应用场景中多种视觉任务共存的情况，现有方案通常需要部署多套独立的专项模型，导致整体架构复杂、计算资源利用率低、跨任务知识共享能力不足等问题，严重制约了视觉大模型系统在工程实践中的规模化应用。

2、在系统评估方面，现有评测体系呈现出覆盖范围有限与标准缺失的双重困境。视觉理解与视觉生成两大能力的评测相互独立，缺乏覆盖全任务链条的统一基准；现有评测指标以单一客观度量为主，对于图像补全、风格迁移、视频生成等内容创作类任务，客观指标难以准确反映视觉质量与内容合理性；主观评估流程不规范、评价组织缺乏标准，使得系统间横向对比结果的可信度大打折扣。上述不足严重阻碍了视觉大模型系统的标准化测试与工程化选型，亟需构建一套能够统一融合多任务视觉处理与系统化评估机制的技术方案。

技术实现思路

1、（1）要解决的技术问题

2、本发明的目的在于提供一种面向复杂场景的多任务视觉感知与内容处理评估方法及系统，以解决现有视觉系统在多任务统一处理及系统化评估两方面的不足：现有系统视觉理解与视觉生成能力相互分割，缺乏支持32项视觉任务并发处理的统一架构；现有评测体系主客观评估割裂、任务覆盖不全，缺乏规范化的综合性评估方法。

3、（2）技术方案

4、为实现上述目的，一方面，本发明提供了一种面向复杂场景的多任务视觉感知与内容处理评估方法，包括：

5、步骤s1，搭建多任务视觉感知与内容处理系统，所述系统基于包含基础设施层、数据层、算法模型层和应用层的四层参考架构，通过算法模型层中的计算机视觉大模型支持视觉理解与视觉生成两大类任务的处理。

6、步骤s2，依据待测系统声明的视觉处理能力，从预设的视觉理解任务集与视觉生成任务集中确定对应的评测任务，并为每项评测任务配备相应的测试数据集。

7、步骤s3，通过测试平台向被测系统发送测试请求，获取被测系统对测试样本的处理结果。

8、步骤s4，针对各评测任务，按照任务类型选取对应的客观评测指标，对处理结果进行量化计算，得到各项客观性能指标值。

9、步骤s5，针对需要主观判断的评测任务，依照规定的主观评估流程组建评价组，对被测系统的输出结果进行主观评分，得到主观评估分数。

10、步骤s6，将客观性能指标值与主观评估分数进行综合，得到被测系统在各评测任务上的综合性能评估结果。

11、进一步的，所述视觉理解任务集包括图像分类、视频分类、目标检测、异常检测、旋转检测、变化检测、距离测量、速度测量、对象计数、物体识别、光学字符识别、人脸识别、内容特征识别、姿态识别、事件或行为识别、关系识别、图像描述、图文理解、视觉内容多轮对话、数学计算和表格理解；所述视觉生成任务集包括实例分割、交互式分割、图像缺失补全、视频补全、超分辨率、语义扩展、物体替换、风格迁移、图像缝合、融合和去除。

12、进一步的，所述步骤s2中，每项评测任务的测试数据集样本数不少于2000，单项测试时从对应数据集中随机抽样不少于200个样本；当多个待测系统同批次测试时，采用相同的测试集、抽样方法和评价方法。

13、进一步的，所述步骤s4中，客观评测指标包括top1准确率、top5准确率、交并比、识别率、误识率、漏识率、平均绝对值百分比误差、平均精确率、关键点相似度、平均像素准确率、图像相似度和滑动窗口对话相关性分数，共12项。各指标对应任务及计算方法如下：

14、top1准确率和top5准确率的计算公式如下：

15、；

16、；

17、交并比（iou）通过如下公式计算：

18、；

19、式中，是交并比；b1是标注的边界框；b2是预测的边界框。在事件、动作等有时间延续性的检测、识别场景中，b1和b2分别指标注和预测的时域边界范围，此时指标称为“时间交并比”。

20、识别率r、误识率far和漏识率frr分别定义为：

21、；

22、；

23、；

24、在人脸识别中，误识率的分子是错误地将两张不属于同一人的图像接受为同一人的样本数量，漏识率的分子是系统未能识别出目标人脸的样本数量。在光学字符识别中，误识率的分子是将特定字符识别为错误字符的样本数量，漏识率的分子是未识别出特定字符的样本数量。

25、平均绝对值百分比误差（mape）定义为：

26、；

27、式中，mape是平均绝对值百分比误差；是第个样本的真实值；是第个样本的预测值；是样本总数。

28、平均精确率（map）定义为：

29、；

30、式中，为平均精确率；为类别总数；为第类；为第类的预测数；为第类的正确预测数。

31、关键点相似度（oks）定义为：

32、；

33、式中，oks是物体关键点相似度；是真值中某个人或物体的标识；是某个人或物体的关键点标识；表示关键点存在可见性（即在图像或视频中可见）；表示人或物体所占面积的平方根（根据真值中的标注框计算得到）；表示第个关键点的归一化因子（通过对样本集合中所有真值关键点人工标注与真实值标准差，一般用作常数）。

34、上式计算对2个人或2个物体之间的关键点相似度，当前1张图像中出现m个人或物体，预测出n个人或物体时，对与的关键点计算相似度得到矩阵，再选择相似度最大的作为预测值。

35、平均像素准确率（pa）定义为：

36、；

37、式中，是平均像素准确率；是第个样本；是样本总数。

38、图像相似度采用结构相似度（ssim）方法，定义为：

39、；

40、式中，表示缝合后图像与真实值图像的图像相似度；或表示图像或的信号均值；或表示图像或的信号标准差；表示信号的协方差；与是常数。

41、滑动窗口对话相关性分数（）定义为：

42、；

43、式中，w是滑动窗口大小；r是对话轮数（模型回答次数）；是模型在1次对话中的第r个回复，此回复需要在滑动窗口w中，由人工验证相关性。如上文对话轮数小于w，则以该轮数作为窗口。

44、进一步的，所述步骤s5中，主观评估由评价组按如下流程实施：为评价组中每位成员随机等比例分配测试样本子集，成员针对单个指标独立完成评价；对每个测试样本，将输入、输出与参考值（如存在）组成元组，按规定时长p展示给评价人员；评价人员在评分周期g内给出评分（如5分制）；评分后撤去已评分元组，经过时间间隔d后展示下一个样本；对整体评价率不足规定比例r的评价人员，其评价结果不计入总分，从候补组中抽取人员补充；采用单轮或多轮同子集评分方式，多轮同子集时取多轮得分均值；通过对全部有效评分求均值计算得到主观平均总分g：

45、；

46、式中，为主观平均总分，为第个评价人员的给分（如5分制，自然数1—5分），为主观评分数量。

47、评价组由人组成，随机抽取人员划分为实施组和候补组，分别包含人和人（）；实施组人员数量应与测试样本子集数量相等；评价人员应具备评价所需基本能力（如阅读特定语言文字、视觉无障碍等），宜具备视觉大模型系统基本知识（如明确所评价大模型的输入、输出样式）。

48、另一方面，本发明还提供了一种面向复杂场景的多任务视觉感知与内容处理系统，所述系统包含基础设施层、数据层、算法模型层和应用层。基础设施层包含计算设备、存储设备、网络传输设备及视觉信号采集和输出设备，为系统提供虚拟化与任务调度支持。数据层包含图像（含3d图像）、视频（含3d视频）、图文对、视频文字对及视觉传感器信号等多种视觉数据，支持视觉数据检索、合成、标注和质量评估功能。算法模型层以计算机视觉大模型为核心，包含前处理、后处理及模型数据加解密组件，支持模型压缩与转换、强化学习、微调和预训练等模型优化功能。应用层支持工作流编排、预置模板配置及视觉模型效果评估，提供面向业务场景的任务管理和执行支持。

49、（3）有益效果

50、与现有技术相比，本发明所提供的多任务视觉感知与内容处理系统基于四层参考架构，将视觉理解与视觉生成两大能力维度纳入统一框架，支持32项视觉任务的并发处理，有效解决了现有系统任务割裂、架构复杂的问题；配套的评估方法融合12项量化性能指标与规范化主观评估流程，涵盖客观精度测量与主观质量感知两个层面，实现了对视觉大模型系统的全链路综合评估，为视觉大模型系统的设计优化与标准化测试提供了系统性技术支撑。