一种面向群体密集语义场景的智能视觉分割系统及方法
本发明属于智慧农业与计算机视觉,具体涉及温室作物群体表型观测场景下的像素级语义分割技术,尤其涉及一种面向群体密集语义场景、以渐进式置信伪标签为监督信号来源的智能视觉分割方法(模型名称proconf-pseudoseg)。本发明以温室番茄群体(背景、花朵、果实、植被四类语义)为典型实施对象,同时可推广至果园、大田等群体密集、遮挡严重、类别极不平衡的农业语义分割场景。
背景技术:
1、现有技术或聚焦温室番茄检测/采摘但输出非像素级,或采用全监督 rgb-d 分割但标注成本高,或提出通用半监督/弱监督机制但缺乏类别自适应稀疏类保护与跨阶段渐进闭环,或提供 rgb-d 自动标注工具但未融入混合监督体系。尚未检索到将自监督掩码图像建模预训练、弱监督类激活图伪标签生成、rgb-d 点-像素标签传递伪掩码生成与类别自适应渐进置信半监督闭环有机结合、专门面向温室番茄群体密集语义场景的完整分割方案。
2、现有技术存在的缺点
3、1)像素级标注成本高昂:温室番茄群体图像中枝叶交错、果实被大量遮挡,人工逐像素标注一张1080p群体图像耗时数十分钟至小时级;花朵、果实属极端稀疏类(像素占比可低于0.1%),漏标、错标频发,全量像素级标注在实践中不可行。
4、2)全监督范式数据饥渴且对类不平衡敏感:全监督rgb-d分割模型依赖大规模像素级标注,少量标注下性能骤降;像素级focal类损失对极小目标(如花朵)存在欠预测淹没,稀疏类iou显著低于主类。
5、3)弱监督类激活图伪标签噪声大:仅凭图像级标签或稀疏块标注生成的类激活图(cam)在密集遮挡下激活区域弥散、边界模糊,直接阈值化会产生大量错误监督信号;同时温室场景中未成熟果实与叶片均呈绿色、色彩相近,单一rgb模态的cam判别力不足,背景干扰物(棚膜、地膜、粘连板、暗色地面)易被误激活。
6、4)半监督统一置信阈值伤害稀疏类:现有半监督方法以统一置信阈值筛选伪标签,对花朵、果实这类像素占比极低的类别,任何像素级削减都直接损失稀有类学习信号,进一步加剧类不平衡,形成“越过滤越稀疏”的恶性循环。
7、5)各监督范式彼此割裂:自监督预训练、弱监督cam、rgb-d双模态、半监督自训练在现有技术中各自独立使用,缺乏置信度逐级提升的渐进式协同机制与多轮闭环精化,伪标签质量无法随模型能力提升而持续进化。
8、6)宽幅群体视角适配不足:温室垄间定时相机采集的图像多为16:9宽幅(如1920×1080),通用自监督预训练模型以224×224方形图像训练,分辨率与画幅失配导致特征迁移损失,群体目标的跨窗口长程依赖建模不足。
技术实现思路
1、为解决背景技术中存在的上述技术问题,本发明提供一种面向群体密集语义场景的智能视觉分割系统及方法,在极少像素级人工标注条件下,实现温室番茄群体密集语义场景(背景、花朵、果实、植被)的高精度像素级语义分割,并保证极端稀疏类(花朵、果实)的监督信号在置信过滤过程中零削减。
2、本发明的技术解决方案是:本发明为一种面向群体密集语义场景的智能视觉分割系统,其特征在于:所述面向群体密集语义场景的智能视觉分割系统包括自上而下依次连接的数据采集层、监督信号生成层、混合监督数据层、渐进置信半监督训练层和输出应用层,数据采集层包括数据采集模块,数据采集模块是全系统监督信号的物理来源,向下同时供给三个监督信号生成引擎;监督信号生成层包括自监督预训练模块、弱监督 cam 伪标签生成模块和rgb-d 双模态伪掩码生成模块;混合监督数据层包括混合监督数据集构建模块;混合监督数据集构建模块汇聚池a、池b 与人工精标池,对每张伪标签图登记置信分级(高置信、中置信、忽略)与池元数据,供半监督采样与置信管理使用;渐进置信半监督训练层包括渐进置信半监督训练模块和伪标签再生成与闭环控制模块,渐进置信半监督训练模块以 upernet 解码器与预训练分层 transformer 骨干(两者均为本领域公知的开源架构)构成群体分割网络,从池a、池b与 novel 池按比例采样监督;novel 池按轮次斜坡注入;采用 focal交叉熵、dice、辅助头与单图内 cutmix-seg 交叉伪监督(cps)正则联合损失,ema 教师平滑参数;输出应用层包括分割输出与应用模块。
3、进一步的,数据采集模块由 rgb 定时相机(实施中采用 hs800 型潘索特定时相机)按设定周期采集温室番茄群体 rgb 图像(1920×1080 宽幅),构成大规模无标注 rgb图像池;由 rgb-d 深度相机(实施中采用奥比中光 gemini 435le 型)采集少量 rgb-d 配对数据并构建代表性植株三维重建;同时由人工提供稀疏粗标(图像级多标签与花朵、果实、植被种子块标注)与少量像素级人工精标。
4、进一步的,自监督预训练模块以分层视觉 transformer 为骨干的掩码自编码器,通过分组窗口注意力与稀疏卷积对宽幅群体图像做高掩码率重建训练,输出适配温室群体视角的预训练编码器权重;其同时输出弱监督 cam 伪标签生成模块(作为特征提取器)与渐进置信半监督训练层(作为分割网络骨干初始化),是全系统的表征基础;弱监督 cam 伪标签生成模块冻结预训练编码器并微调多标签分类头,融合原型 cam 与分类头 cam,经亲和传播、两阶段解耦 crf 与农业先验约束精化,输出四类伪标签及其置信分级,构成高置信伪标签池a;所述rgb-d 双模态伪掩码生成模块以标注三维重建为源头,通过重投影与深度引导邻域搜索的点-像素标签传递(p2p-lt 模型)生成 rgb-d 图像像素级伪掩码,训练rgb-d 双模态融合分割模型并对配对数据全量推理,构成高置信伪掩码池b;与弱监督 cam伪标签生成模块并列互补;弱监督 cam 伪标签生成模块提供大规模 rgb 伪标签覆盖,rgb-d 双模态伪掩码生成模块提供深度判别信息。
5、进一步的,伪标签再生成与闭环控制模块以半监督训练收敛后的权重对全量无标注图像批量预测,经类别自适应置信过滤生成新一代 novel 高置信伪标签池,并判定是否满足收敛或预定轮次条件以决定是否再次启动半监督训练,实现多轮渐进闭环;分割输出与应用模块输出背景、花朵、果实、植被四类像素级语义分割图,支撑群体表型统计(花朵、果实计数、植被覆盖度)与下游采摘机器人感知应用。
6、本发明还提供一种上述的面向群体密集语义场景的智能视觉分割方法,其特殊之处在于:该方法包括以下步骤:
7、1)多源数据采集;
8、1.1)rgb 定时相机(如 hs800 型)按设定周期(如每日固定时刻)采集温室番茄群体 rgb 图像,分辨率为 1920×1080;采集图像去除明显模糊与重复帧后构成无标注 rgb图像池(实施中含 5453 张无标注群体图像与更大规模预训练池);该池不需任何人工标注;
9、1.2)rgb-d 深度相机(如 gemini 435le 型)对代表性植株采集 rgb 与深度配准的配对图像,并对典型植株做多视角采集以构建三维重建,人工在点云上标注语义类别;
10、1.3)人工稀疏粗标:对少量 rgb 图像给出图像级多标签(该图是否含花朵、果实、植被)与种子块标注(多边形、矩形或圆形,标出花朵、果实、植被的少量种子区域);类别体系为四类——背景(0)、花朵(1)、果实(2)、植被(3);
11、1.4)少量像素级人工精标(实施中验证集 200 张、测试集 50 张)用于评估,不参与训练主路径;
12、2)自监督掩码图像建模预训练;以分层视觉 transformer(swin 型,实施规格swin-m:窗口大小 7,嵌入维 128,四个阶段层深 [2,2,18,2],注意力头 [4,8,16,32])为编码器,轻量 transformer 为解码器构成掩码自编码器,在无标注 rgb 图像池上训练;
13、3)弱监督 cam 伪标签生成(池a);
14、4)rgb-d 双模态伪掩码生成(池b);
15、5)混合监督数据集构建;
16、汇聚池a(弱监督 cam 伪标签)、池b(rgb-d 伪掩码)与人工精标池,统一类别编码(0 背景、1 花朵、2 果实、3 植被、255 忽略)与图像分辨率登记;每张图保留置信分级信息,低置信像素以忽略索引标记、不参与损失计算;实施中训练池规模:池a 5000 张、人工精标池(含精标派生伪标签)200 张、无标注原图 5453 张(供步骤7)生成 novel 池);
17、6)渐进置信半监督训练;
18、7)类别自适应置信过滤与 novel 池再生成;
19、8)闭环判定:
20、以验证集(实施中200张,按全图汇总global miou口径)评估当前模型:若未收敛且未达到预定迭代轮次,则以当前轮次训练得到的权重产出的novel池重新启动6)半监督训练(多轮自训练);训练与重标注解耦——训练过程中不动态重标,伪标签按轮次整体再生成,保证监督信号稳定;已达收敛或预定轮次则进入9);
21、渐进式置信伪标签闭环机制如图3所示:学生网络参数按ema动量平滑至教师网络;训练收敛后以该轮训练得到的权重对全量无标注图像预测,逐像素置信判定按类别阈值表分为三条分支——主类高置信像素保留、主类低置信像素置忽略索引、花朵、果实像素全量保留;三支汇聚为新一代novel高置信伪标签池,按轮次斜坡注入重启半监督训练,形成多轮渐进闭环;
22、9)分割输出与应用
23、输出背景、花朵、果实、植被四类像素级语义分割图;评估采用全图汇总 globalmiou(所有像素累积后计算 iou,符合主流分割框架口径)与逐类 iou/dice/精度;分割结果用于群体表型统计(花朵、果实计数、植被覆盖度、果实成熟度分布)与采摘机器人感知输入等下游应用。
24、进一步的,步骤2)的具体步骤如下:
25、2.1)宽幅输入:图像缩放至 576×1024(16:9),与温室垄间相机画幅一致;编码器以 4×4 图像块嵌入,解码器以 32×32 重建目标块;
26、2.2)高掩码率随机掩码:以 0.75 掩码率生成随机掩码模板(同一批次内共享掩码模板以提升训练吞吐),仅保留 25% 可见图像块进入编码器;
27、2.3)分组窗口注意力编码:分层 transformer 的各阶段在窗口划分基础上引入分组模块——当某层可见图像块数少于两个窗口面积时,采用窗口掩码模式(按窗口分组、组间注意力屏蔽);可见块较多时,按局部窗口对可见块贪心分组(以窗口面积平方为组容量上限,采用背包式动态规划或 gpu 向量化贪心分组),将分散的可见块聚合为满组后计算组内注意力,并同步重排相对位置索引,使稀疏可见块间的注意力计算规整高效;
28、2.4)稀疏卷积耦合:图像块嵌入投影、注意力空间下采样与卷积式位置编码均以稀疏卷积实现——仅对可见块的坐标构建稀疏张量参与卷积,消除被掩码空洞块的计算冗余;
29、2.5)重建目标与损失:解码器对被掩码图像块预测原始像素;损失为逐图像块归一化的均方误差——每个重建目标块先按块内均值方差归一化,再对全部被掩码块求平均,促使模型学习结构化语义而非低频像素;
30、2.6)训练配置:adamw 优化器(动量项0.9/0.95),余弦学习率调度并线性预热(预热40轮),权重衰减0.05;数据增强含随机尺寸裁剪(比例 0.2–1.0)、水平翻转、颜色抖动(概率 0.3)、灰度化(概率 0.1)与高斯模糊;训练完成后保存编码器权重(含指数滑动平均版本)作为后续阶段骨干初始化。
31、进一步的,步骤3)的具体步骤如下:
32、3.1)分类头构建与微调:在预训练编码器输出端接全局平均池化与多标签分类头(层归一化+线性层,输出四类多标签逻辑值),冻结编码器主体(仅开放末端归一化层微调),以二元交叉熵训练分类头(实施中 40 轮,学习率 0.001),使图像级标签监督传导至图像块特征;
33、3.2)原型 cam 生成:将种子块标注下采样至图像块网格,统计每个语义类别内种子图像块特征的均值并作 l2 归一化得到类别原型;对全图每个图像块特征计算与各类原型的余弦相似度,得到原型 cam 激活;
34、 (1)
35、3.3)分类头cam与原型 cam融合:以分类头各类别权重与图像块特征点积得到分类头cam:,与原型 cam 按权重 融合;
36、 (2)
37、(即 75% 原型 cam + 25% 分类头 cam,见式(2)),并施加温度缩放(实施值 2.3)与种子区域激活增强(种子块内激活提升,实施增强系数 3.0);
38、3.4)亲和传播:以图像块特征相似度为亲和度量,将高激活种子块的响应向近邻图像块迭代传播(实施中常规类top-k=10、迭代2次;花朵、果实类 top-k=30、迭代 3次),增强 cam 空间一致性、弥合遮挡空洞;
39、3.5)两阶段解耦 crf 精化:第一遍在全图做“背景-植被”二分类全连接 crf(实施参数:迭代5 次,外观角θ_alpha=75、平滑角θ_beta=8,种子置信 5.0),先解耦植被主体;第二遍仅在植被区域内做“背景-花朵-果实”三分类 crf,让花朵、果实只与植被域内像素竞争,避免其激活被大面积背景稀释;
40、3.6)农业先验约束:超绿指数 exg=2g-r-b 划分绿色植被区并抑制非绿误检;hsv色彩空间过滤抑制棚膜高光与暗色地面;花朵、果实区域施加圆度形状约束(圆度=4π×面积/周长平方,过滤细长误检);粘连板、地膜、暗色地面按颜色与位置规则过滤;
41、3.7)形态学与迭代精化:闭-开形态学运算(椭圆结构元,核 3)平滑边界,最小区域过滤(50 像素)去除碎片;整体流程迭代 2 轮,迭代中以局部原型(权重 0.9)与全局原型融合更新 cam;
42、3.8)两阶段输出生成:先生成“veg_only”植被伪标签(花朵、果实通道清零),再以植被伪标签为固化基底、在植被域内叠加花朵、果实,生成四分类伪标签;每张伪标签同时输出置信分级图(0=忽略、1=中置信、2=高置信)与池元数据(含逐图逐类统计),构成高置信伪标签池a(实施中 5000 张)。
43、进一步的,步骤4)的具体步骤如下:
44、4.1)以 rgb-d 深度相机(如 gemini 435le 型)采集的配对数据为基础,对代表性植株多视角扫描构建三维重建,人工在三维点云上标注语义类别(背景/花朵/果实/植被);
45、4.2)点-像素标签传递(p2p-lt 模型):将标注三维点云按相机内外参重投影至rgb-d 图像平面,为命中像素直接赋标签;对重投影未覆盖或深度歧义的像素,以其像素深度为引导,在三维邻域内检索最近标注点并传递其标签,避免单纯重投影在遮挡边界处的标签断裂;
46、4.3)以传递得到的像素级标注训练 rgb-d 双模态融合分割网络(以点-像素标签传递方法为基线构建 p2p-lt ,深度图编码为与 rgb 并列的输入分支),并对全部 rgb-d配对数据推理生成伪掩码,经与步骤3)相同的置信分级与元数据登记构成高置信伪掩码池b;池b 规模小于池a,但携带深度判别信息,对色彩相近类别(未成熟果实与叶片)具有互补判别力。
47、进一步的,步骤6)的具体步骤如下:
48、6.1)分割网络构建:以预训练分层 transformer 为骨干、upernet 为解码器(特征金字塔融合四个阶段特征,内通道 256),附辅助分割头(损失权重 0.4);骨干权重自 步骤2)预训练检查点按键名映射加载(实施中骨干全部 351 个参数键严格对齐迁移),训练分辨率 576×1024;可替换变体:骨干可替换为掩码自编码 vit 型(如 mae-vit-medium),解码器可替换为 segformer 型(如 mit-b5 适配版);
49、6.2)三池监督采样:训练批次按比例从池a、池b与 novel 池采样图像-伪标签对;novel 池采样比例按斜坡注入;
50、 (5)
51、(实施中预热 0 轮、20 轮内线性升至满比例);同时按三池含花朵、果实样本真实占比(实施中约 65%)设置花朵、果实保底采样位,保证每个批次均有稀疏类样本;
52、6.3)监督损失:主损失为带静态类权重的 focal 交叉熵(聚焦参数 2.0,类权重按类别频率逆加权并设上限 6.0),叠加多类 dice 损失(权重 0.8)对抗极小目标的欠预测,辅助头损失权重 0.4;总损失构成如式(7):
53、 (7)
54、6.4)cps 交叉伪监督正则:在单张标注图内部做 cutmix-seg——以 beta(0.5,0.5) 采样生成区域掩码,将同一图像两个增强视图的预测逻辑值做区域级混合,由混合伪标签交叉监督(权重 0.1);区域混合严格限定在同一标注图内部(预测与真值同源),避免跨图混合的物理无意义性;
55、6.5)ema 教师:半监督模式下维护学生网络的指数滑动平均影子教师,动量 0.99恒定,如式(6):
56、 (6)
57、教师用于平滑预测与可视化校验;教师网络的批归一化统计量每步由学生网络同步复制,避免教师前向统计失配;
58、6.6)训练配置:训练 300 轮,poly 学习率调度(幂 0.9,初始 6e-5,最小 1e-7),预热 10 轮,批次 8,混合精度训练,梯度范数裁剪 3.0;数据增强采用弱增强(缩放、随机裁剪、水平翻转)保持伪标签几何一致性。
59、进一步的,步骤7)的具体步骤如下:
60、7.1)以半监督训练收敛后的权重对全量无标注图像(实施中 5453 张)批量推理:图像缩放至 576×1024、半精度前向、取逐像素最大后验类别如式(3):
61、 (3)
62、再以最近邻插值恢复至原图分辨率;
63、7.2)类别自适应置信过滤:以逐像素最大后验概率为置信度,按类别阈值表 过滤如式(4):
64、 (4)
65、背景像素置信低于0.95、植被像素置信低于0.90者置为忽略索引255、不参与监督;花朵、果实阈值设为 0,即任何置信水平的花朵、果实像素均保留——两类的像素占比低于0.1%,属极端稀疏类,任何像素级削减都直接损失稀有类学习信号,故实施零削减保护;
66、7.3)过滤后伪标签登记置信分级与池元数据,构成新一代 novel 高置信伪标签池;过滤区域在调色板中以专用颜色渲染以便目检。
67、本发明提供的一种面向群体密集语义场景的智能视觉分割系统及方法,采用三阶段渐进式混合监督总体架构;将“自监督掩码图像建模预训练→弱监督类激活图伪标签生成→半监督渐进置信训练”组织为置信度逐级提升的串联管线:第一阶段以无标注图像学习通用表征;第二阶段以少量稀疏粗标注生成种子伪标签(池a)并与rgb-d双模态伪掩码(池b)构成混合监督数据集;第三阶段以类别自适应置信过滤生成高置信novel伪标签池并渐进注入半监督训练,形成“预训练表征→种子伪标签→高置信伪标签”的渐进置信链条。本发明采用分层视觉transformer(swin型,实施中为swin-m规格:窗口7、嵌入维128、层深[2,2,18,2])作为掩码自编码器编码器,以576×1024宽幅输入、0.75高掩码率进行逐图像块归一化重建训练;编码器内引入分组窗口注意力机制——对掩码后稀疏分布的可见图像块按局部窗口贪心分组(可见块不足时退化为窗口掩码模式),使注意力计算仅发生在可见块之间;配合稀疏卷积完成可见块的嵌入投影、空间下采样与位置编码,消除被掩码空洞块的计算冗余,实现宽幅群体图像高效预训练。本发明以冻结的预训练编码器提取图像块特征,按种子标注统计各类别原型,用余弦相似度生成原型cam,与分类头权重cam按75%:25%权重融合(原型cam为主、分类头cam为辅);经亲和传播增强空间一致性后,采用两阶段解耦全连接条件随机场精化:第一遍先解耦“背景-植被”二分类,第二遍在植被区域内细分“花朵-果实-植被”三分类,避免花朵、果实与背景直接竞争;再叠加超绿指数(exg)植被约束、hsv色彩抑制、圆度形状约束、形态学闭开运算与最小区域过滤,输出植被先行的两阶段(先生成植被伪标签、再在植被域内叠加花朵、果实)四类伪标签。本发明针对少量rgb-d配对数据,基于已标注三维重建,应用点-像素标签传递模型(p2p-lt),将标注点云重投影至rgb-d图像平面,并对重投影未覆盖或存在歧义的像素,以像素深度为引导在其邻域内搜索最近标注点并传递标签(而非单纯依赖重投影),自动生成像素级伪掩码;以其训练rgb-d双模态融合分割模型并对配对数据全量推理,构成与cam弱监督伪标签池并列的第二高置信伪掩码池(池b),补充色彩相近类别的深度判别信息。本发明的伪标签置信过滤采用按类别设定的阈值表:背景、植被等像素占比高的主类采用高置信阈值(实施值0.95、0.90)滤除低置信像素并置为忽略索引;花朵、果实等极端稀疏类阈值设为0,即任何像素都不因置信过滤被削减,实现稀疏类监督信号零损失;novel高置信伪标签池按训练轮次线性斜坡注入半监督训练(实施中20轮内由0线性升至满比例),配合含花朵、果实样本保底采样,避免训练早期被噪声伪标签主导。本发明采用多轮自训练渐进闭环。半监督训练收敛后,以该轮训练得到的权重对全量无标注图像重新预测,经类别自适应置信过滤生成新一代novel伪标签池,再次启动半监督训练;如此循环,模型能力与伪标签质量互相促进、渐进精化,且训练与重标注过程解耦(训练内不动态重标,按轮次整体再生成),保证监督信号稳定性。因此,本发明具有以下优点:
68、1)像素级标注成本大幅降低:仅需要少量稀疏粗标(图像级标签与种子块标注)、少量rgb-d配对标注与200张级人工精标,即可驱动覆盖上万张群体图像的分割训练;相比全监督方案(需对5000+5453张群体图像逐像素标注)标注工作量降低两个数量级。
69、2)极端稀疏类精度显著提升:类别自适应置信过滤对花朵、果实零削减,配合dice损失与花朵、果实保底采样,花朵类iou相对同起点纯监督对照跨两轮迭代稳定提升0.037–0.040(半监督流0.3593/0.3588对纯对照流0.3221/0.3185),克服了统一阈值半监督方法“越过滤越稀疏”的缺陷。
70、3)伪标签质量随模型能力渐进进化:多轮自训练闭环使模型与伪标签互相促进;实测第二轮闭环后测试集全图global miou由0.6868(纯监督起点)提升至0.6944,四类iou分别达背景0.9031、花朵0.3666、果实0.6460、植被0.8355。
71、4)弱监督伪标签噪声被系统性抑制:原型cam与分类头cam融合、亲和传播、两阶段解耦crf与农业先验约束(超绿指数、圆度、形态学)多级精化,使密集遮挡下的cam激活弥散与边界模糊被逐级修正;两阶段解耦避免花朵、果实激活被大面积背景稀释。
72、5)宽幅群体视角原生适配:自监督预训练直接采用576×1024宽幅输入,分组窗口注意力与稀疏卷积保证高掩码率下的训练效率,避免通用224方形预训练的画幅失配损失。
73、6)深度信息以低成本方式引入:rgb-d分支仅需少量配对数据与一次三维重建标注,通过点-像素标签传递自动生成伪掩码(p2p-lt)补充为池b,为色彩相近类别(未成熟果实与叶片)提供互补判别信息,无需大规模rgb-d像素标注。
74、7)训练稳定性与稀疏类保护兼得:novel池按轮次斜坡注入(20轮线性升至满比例)避免训练早期被噪声伪标签主导;cps区域混合严格限定在单张标注图内部,保证交叉监督的物理一致性;ema教师批归一化统计同步避免影子网络统计失配。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com