一种开放词汇语义分割评价方法

本发明属于计算机视觉和图像分割质量评价，具体涉及一种由计算机设备执行的开放词汇语义分割结果评价方法。

背景技术：

1、开放词汇语义分割用于将图像中的每个像素划分为开放类别空间中的语义类别，其类别集合不再局限于固定闭集标签，而是可以包含更大规模、更细粒度且具有层级关系的类别名称。该类技术广泛用于自动驾驶环境感知、遥感场景解析、机器人视觉理解、工业质检和医学图像辅助分析等需要细粒度区域识别的场景。

2、现有开放词汇语义分割模型通常仍主要采用交并比（iou）和平均交并比（miou）进行质量评价。miou依赖预测标签与真实标签的精确匹配以及区域重叠面积，因此在评价开放词汇类别时存在语义刚性：例如真实类别为“椅子”时，将其预测为“扶手椅”与预测为“天空”都会被作为非同名错误处理，难以体现语义相近错误和语义相远错误之间的质量差异。

3、已有的语义软评价方法可通过类别相似度矩阵对错误预测进行部分计分，但评价结果高度依赖类别相似度矩阵的构造方式。基于语义分类树最短路径的相似度能够刻画类别间分离距离，但对类别所处深度和共同祖先的具体性不敏感；基于最低公共祖先深度的wup相似度能够刻画共同祖先的层级具体性，但缺少显式的最短路径分离约束，容易对广义相关类别给予过高分数。

4、另一方面，传统miou及其语义软计分变体主要反映区域重叠，难以稳定揭示边界漂移、孔洞填补或破坏、连通性断裂、细长结构消失、多个实例或区域合并等结构退化。已有边界类或拓扑类指标通常偏重单一结构属性，尚不能在类别条件下同时评价多尺度区域支撑稳定性与边界一致性。

技术实现思路

1、本发明提供了一种开放词汇语义分割评价方法，以解决现有技术存在的以下技术问题：

2、1、解决传统miou在开放词汇语义分割评价中将所有非同名类别错误等同处理、不能区分语义相近错误与语义相远错误的问题。

3、2、解决现有语义软评价中类别相似度矩阵构造不充分的问题，即单独使用路径相似度容易忽略层级深度，单独使用最低公共祖先深度相似度容易弱化类别间分离距离。

4、3、解决传统重叠型指标对边界漂移、孔洞变化、连通性破坏、细结构缺失和区域合并等结构退化不敏感的问题。

5、4、解决现有结构评价指标难以在类别级别同时融合多尺度区域支撑保持能力和边界一致性，且难以与语义合理性评价互补输出的问题。

6、本发明采用的技术方案是：

7、一种开放词汇语义分割评价方法，包括以下步骤：

8、s1、获取待评价数据。由计算机设备读取开放词汇语义分割评价集，评价集包括n幅图像对应的真实语义标签图和待评价模型输出的预测语义标签图，同时读取评价类别集合c以及每幅图像中的忽略像素区域。

9、其中忽略像素区域不参与后续真阳性、假阳性和假阴性统计。

10、s2、建立类别到语义层级树的映射。对评价类别集合c中的每一类别c_i和c_j，在预设语义分类树t中确定对应节点v_i和v_j。对任意两个类别节点v_i和v_j，计算其最短路径距离d(v_i,v_j)、最低公共祖先lca(v_i,v_j)以及各节点深度depth(v)。

11、其中语义分类树t可以采用wordnet、行业本体、数据集类别树或人工构建的层级类别体系。

12、s3、构造层级语义相似度矩阵。对任意类别c_i和c_j，先计算路径相似度h_path_ij=1/(1+d(v_i,v_j))，再计算深度相似度h_wup_ij=2*depth(lca(v_i,v_j))/(depth(v_i)+depth(v_j))，然后通过几何均值得到层级语义相似度h_ij=sqrt(h_path_ij*h_wup_ij)。

13、当i=j时h_ij=1；当两个类别属于不同节点时，h_ij根据路径分离和共同祖先具体性共同确定。

14、s4、进行语义软计数。对每一非忽略像素p，读取真实类别y_p和预测类别_p。对任一类别c，若真实类别为c，则将h_{c,_p}计入该类语义真阳性tp_sem_c，将1-h_{c,_p}计入该类语义假阴性fn_sem_c；若预测类别为c，则将1-h_{y_p,c}计入该类语义假阳性fp_sem_c。上述统计在整个评价集上累加。

15、s5、计算层级语义相似平均交并比。对每一类别c，计算类别语义得分hss-iou_c=tp_sem_c/(tp_sem_c+fp_sem_c+fn_sem_c)，再对有效评价类别进行宏平均，得到hss-miou。若层级语义相似度矩阵退化为单位矩阵，则该指标退化为传统miou。

16、类别宏平均表示为：

17、hss-miou = (1/|c^sem_eval|) σ_{c∈c^sem_eval} hss-iou_c

18、其中 c^sem_eval 为基准评价类别集合。

19、s6、构造类别二值掩码。对每一图像和每一类别c，分别由真实标签图和预测标签图生成类别二值掩码g_c和p_c。

20、其中非忽略像素且标签等于c的位置取1，其余位置取0。该步骤保证结构评价在类别条件下进行，避免保留形状但预测为其他类别的区域被错误计为结构正确。

21、s7、计算多尺度支撑保持分量。设e_r(·)为半径r的二值腐蚀操作，r取0至r。对每一类别c和每一腐蚀半径r，分别对真实掩码g_c和预测掩码p_c进行腐蚀，统计腐蚀后掩码在整个评价集上的交集面积i_pers_{c,r}与并集面积u_pers_{c,r}；对u_pers_{c,r}>0的有效尺度求交并比平均，得到该类别的支撑保持分量pers_c。

22、其中二值腐蚀操作采用圆形、方形或十字形结构元素，最大腐蚀半径r根据图像分辨率和目标尺度设定。

23、s8、计算边界一致性分量。设d_δ(·)为半径δ的二值膨胀操作，e_δ(·)为半径δ的二值腐蚀操作。对任一二值掩码m，构造边界带b_δ(m)=d_δ(m) xor e_δ(m)，其中xor表示逐像素异或。对每一类别c，在整个评价集上统计真实边界带与预测边界带的交集面积i_edge_c和并集面积u_edge_c，并计算edge_c=i_edge_c/u_edge_c。

24、s9、融合结构分量并输出结构评价值。对每一有效类别c，计算类别级持久性-边缘结构得分pes-iou_c=sqrt(pers_c*edge_c)，再对有效类别进行宏平均，得到pes-miou。

25、该几何均值融合方式使得支撑保持分量和边界一致性分量任一项过低时均会显著降低最终结构评价值。

26、按照 miou 的类别宏平均惯例，定义如下：

27、pes-miou = (1/|c^pes_eval|) σ_{c∈c^pes_eval} pes-iou_c

28、尽管 pes-miou 具有 iou 风格的类别平均结构，但它不是传统重叠 miou。它在结构感知掩码变换后计算iou，并通过几何平均结合持久性与边缘相似度。

29、s10、生成评价报告。计算机设备输出miou、hss-miou、pers_c、edge_c、pes-miou及各类别分项结果，并可根据hss-miou和pes-miou的差异判断模型错误主要来自语义不合理、结构退化，或二者同时存在，从而用于模型选择、后处理参数筛选和分割结果质量诊断。

30、当hss-miou显著高于miou时判断模型存在较多语义相近但非完全同名的预测；当persistence高而edge低时判断模型边界对齐不足；当persistence低且edge低时判断模型存在主体支撑和边界的综合结构退化。

31、本发明的语义评价原理是：开放词汇类别天然具有层级结构，预测错误不应仅按照是否同名进行二值判定，而应结合类别之间的语义距离与共同祖先的具体程度给予连续的部分计分。路径相似度负责惩罚类别在语义树中的分离距离，深度相似度负责奖励共享更具体共同祖先的类别对；两者通过几何均值结合后，只有同时满足“路径接近”和“共同祖先具体”时才给予较高语义相似度。

32、本发明的结构评价原理是：良好的语义分割结果不仅应覆盖正确区域，还应在不同形态尺度下保持目标支撑，并具有与真实掩码一致的边界。多尺度腐蚀后的交并比能够反映目标主体区域、孔洞、连通支撑和细结构在形态尺度变化下的保持能力；边界带交并比能够反映轮廓位置和边界细节的一致性。

33、本发明采用类别级宏平均，避免大面积类别主导总分；采用有效尺度和有效类别筛选，避免空掩码或空边界导致无意义计算；采用几何均值融合结构分量，形成短板约束，使最终结构指标同时要求区域支撑稳定和边界对齐。

34、本发明将层级语义相似评价与结构保真评价并行输出：hss-miou用于衡量预测类别是否在语义空间中合理，pes-miou用于衡量预测掩码在图像空间中是否保持结构，从而形成面向开放词汇语义分割的互补评价框架。

35、本发明得到的技术效果是：

36、相比传统miou，本发明通过层级语义相似度矩阵将类别间语义关系引入真阳性、假阳性和假阴性统计，使语义相近错误获得高于语义相远错误的部分计分。因此，在相同像素扰动位置和相近重叠水平下，本方法能够区分“椅子-扶手椅”等近义错误和“椅子-天空”等远义错误，避免所有非同名错误被等同惩罚。

37、相比单独使用路径相似度或单独使用最低公共祖先深度相似度，本发明的几何均值相似度同时约束类别分离距离和共同祖先具体性。若两个类别路径距离较远，即使存在较高层共同祖先，最终相似度也会被压低；若两个类别共享较具体祖先但路径距离也较近，则可获得更合理的语义部分计分，从而提高开放词汇类别评价的校准性。

38、相比仅基于区域重叠的结构评价，本发明通过多尺度腐蚀后的支撑保持分量识别孔洞变化、主体支撑破坏、连通性断裂和细结构缺失，通过边界带交并比识别边界漂移和轮廓不一致。两个分量结合后，可暴露传统miou容易压缩或掩盖的结构退化。

39、相比仅采用单一边界指标或单一拓扑指标，本发明的pes-miou在类别条件下同时考虑支撑稳定性与边界一致性，且通过宏平均避免面积较大的类别掩盖小类别结构问题。该输出既能作为统一结构分数，也能通过persistence和edge分量定位错误来源。

40、在具体实验验证中，语义扰动实验表明本方法对细粒度近义替换、随机替换和粗粒度远义替换产生有序差异；结构扰动实验表明本方法对边界漂移、区域合并、孔洞插入、连通性断裂、平滑和细结构去除均产生可观测响应。由此说明本发明能够为开放词汇语义分割模型提供更细粒度的质量检测和调试依据。