一种基于深度学习的冰壶赛道区域识别与分割方法与流程

摘要: 本发明涉及计算机视觉,特别是涉及一种基于深度学习的冰壶赛道区域识别与分割方法。背景技术:1、冰壶赛道(sheet)是一块具有严格规则尺寸的狭长冰面。比赛中,冰壶...
一种基于深度学习的冰壶赛道区域识别与分割方法与流程

本发明涉及计算机视觉,特别是涉及一种基于深度学习的冰壶赛道区域识别与分割方法。

背景技术:

1、冰壶赛道(sheet)是一块具有严格规则尺寸的狭长冰面。比赛中,冰壶必须完全越过远端前掷线、且未完全越过底线方为有效,只有触及或位于1.829m半径圆环内的冰壶才可计分。上述规则使得赛道区域位置、某像素对应赛道上哪一米成为判分、测速、越线仲裁、轨迹分析和战术决策的共同前置条件。

2、为解决上述问题,现有技术公开了cn114344872b、cn115841510b、cn115374879b等技术方案。

3、上述现有技术在工程实践中仍然存在如下系统性缺陷:

4、1、分割结果仅作为求取坐标转换矩阵的中间量,区域精度不可控。

5、2、逐像素分类缺乏几何结构约束,会产生拓扑错误。

6、3、未对冰面镜面反射建模,高光干扰严重。

7、4、遮挡区域被强行赋予类别,且未利用跨视角互补信息。

8、5、逐帧独立推理导致时序抖动。

9、6、无不确定度输出,下游模块无法判别可信区域。

10、7、换场馆、换机位需重新人工标定或重新人工标注。

11、由此可见,上述现有的冰壶赛道区域识别方法在使用上,显然仍存在有不便与缺陷,而亟待加以进一步改进。如何能创设一种新的基于深度学习的冰壶赛道区域识别与分割方法,成为当前业界急需改进的目标。

技术实现思路

1、有鉴于此,本公开实施例提供一种基于深度学习的冰壶赛道区域识别与分割方法,至少部分解决现有技术中存在的问题。

2、本公开实施例提供了一种基于深度学习的冰壶赛道区域识别与分割方法,所述方法包括以下步骤:

3、多台相机同步采集赛道多视角图像,生成多视角图像序列,并得到相机内外参与初始单应矩阵和各赛道实例编号与世界系横向偏移;

4、基于双色反射模型将所述多视角图像序列分离为漫反射分量与镜面分量,得到归一化反射率图、归一化高光强度图和高光加权边缘响应图;

5、按赛道规则尺寸建立赛道坐标系和区域点集族,构造矢量解析距离场及其软化形式,并定义由赛道坐标到区域标签的判定映射;

6、以所述归一化反射率图为输入,由共享编码器与坐标场头、实例嵌入头、可见性头三个并行解码头逐像素输出,得到预测赛道坐标、预测坐标标准差、单位实例嵌入向量和可见性概率;

7、在同一帧内由所述预测赛道坐标反解单应矩阵,再由该单应矩阵将所述预测赛道坐标投影回像平面构造循环一致性损失,由所述矢量解析距离场经该单应矩阵渲染标线软渲染图并和所述高光加权边缘响应图比对构造渲染比对损失,由坐标场雅可比和单应矩阵逆映射雅可比之差构造雅可比等距损失,经交替优化得到稳定化单应矩阵;

8、由所述稳定化单应矩阵和相机内参计算基础矩阵并逐帧重算极线,得到更新后的预测赛道坐标和预测坐标标准差;

9、由当前帧单应矩阵和历史帧单应矩阵构造运动补偿矩阵,并基于所述预测赛道坐标按不确定度加权融合,得到融合后最终坐标场和融合后标准差;

10、基于所述判定映射与优先级顺序逐像素判定区域标签,由所述单位实例嵌入向量确定实例编号,对边界像素统计标签覆盖率,并由所述融合后标准差、可见性概率与归一化高光强度合成置信度图,得到实例级分割图、稠密坐标场与置信度图;

11、基于所述区域点集族和规则尺寸生成合成样本作域随机化预训练赛道解析网络,交替优化网络参数与各帧单应矩阵,并按更新间隔作在线自适应。

12、本发明公开了一种基于深度学习的冰壶赛道区域识别与分割方法,具有以下有益效果:

13、(1)区域标签由赛道坐标经解析式判定得出,四层同心圆共用同一圆心与规则半径,“共心”“环带等宽”“标线平行”成为定义自带属性,而非依赖后处理拟合的约束,故不可能出现同心圆环错位、断裂或环带沿周向畸变。

14、(2)输出为连续坐标场而非离散类别,边界由规则尺寸解析确定;区域判定不引入新的拟合环节,坐标场精度无损传递至分割结果,远端不再因像素误差按局部尺度放大而失效。

15、(3)高光被显式分离并连续降权而非强行修复,遮挡由多视角证据按不确定度加权补全而非强行赋值,云台运动经运动补偿与滑动窗口递推消除抖动,三种失效源分别被独立建模。

16、(4)逐像素输出不确定度与置信度,并能识别边界像素与切镜头,从而在定位不可信时转为人工复核,而非给出确定但错误的判定。

17、(5)规则尺寸本身构成监督源,新场馆无需重新进行像素级标注与人工场地标定,仅需重新确定赛道半宽等四项量,网络参数与解析式保持不变。

18、本公开实施例中的基于深度学习的冰壶赛道区域识别与分割方法,通过以赛道坐标回归取代逐像素分类、以规则解析判定与可微分渲染自校验构成闭环,提高了赛道区域分割的几何精度与拓扑正确性,并在高光、遮挡与云台运动条件下保持稳定,且能够在更换场馆时免人工标定与免像素级重标注自适应。

1.一种基于深度学习的冰壶赛道区域识别与分割方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的基于深度学习的冰壶赛道区域识别与分割方法,其特征在于,所述多台相机同步采集赛道多视角图像,生成多视角图像序列,包括:

3.根据权利要求1所述的基于深度学习的冰壶赛道区域识别与分割方法,其特征在于,所述基于双色反射模型将所述多视角图像序列分离为漫反射分量与镜面分量,包括:

4.根据权利要求1所述的基于深度学习的冰壶赛道区域识别与分割方法,其特征在于,所述按赛道规则尺寸建立赛道坐标系和区域点集族,构造矢量解析距离场及其软化形式,并定义由赛道坐标到区域标签的判定映射,包括:

5.根据权利要求1所述的基于深度学习的冰壶赛道区域识别与分割方法,其特征在于,所述以所述归一化反射率图为输入,由共享编码器与坐标场头、实例嵌入头、可见性头三个并行解码头逐像素输出,得到预测赛道坐标、预测坐标标准差、单位实例嵌入向量和可见性概率,包括:

6.根据权利要求1所述的基于深度学习的冰壶赛道区域识别与分割方法,其特征在于,所述在同一帧内由所述预测赛道坐标反解单应矩阵,再由该单应矩阵将所述预测赛道坐标投影回像平面构造循环一致性损失,由所述矢量解析距离场经该单应矩阵渲染标线软渲染图并和所述高光加权边缘响应图比对构造渲染比对损失,由坐标场雅可比和单应矩阵逆映射雅可比之差构造雅可比等距损失,经交替优化得到稳定化单应矩阵,包括:

7.根据权利要求1所述的基于深度学习的冰壶赛道区域识别与分割方法,其特征在于,所述由所述稳定化单应矩阵和相机内参计算基础矩阵并逐帧重算极线,得到更新后的预测赛道坐标和预测坐标标准差,包括:

8.根据权利要求1所述的基于深度学习的冰壶赛道区域识别与分割方法,其特征在于,所述由当前帧单应矩阵和历史帧单应矩阵构造运动补偿矩阵,并基于所述预测赛道坐标按不确定度加权融合,得到融合后最终坐标场和融合后标准差,包括:

9.根据权利要求1所述的基于深度学习的冰壶赛道区域识别与分割方法,其特征在于,基于所述判定映射与优先级顺序逐像素判定区域标签,由所述单位实例嵌入向量确定实例编号,对边界像素统计标签覆盖率,并由所述融合后标准差、可见性概率与归一化高光强度合成置信度图,得到实例级分割图、稠密坐标场与置信度图,包括:

10.根据权利要求1所述的基于深度学习的冰壶赛道区域识别与分割方法,其特征在于,所述基于所述区域点集族和规则尺寸生成合成样本作域随机化预训练赛道解析网络,交替优化网络参数与各帧单应矩阵,并按更新间隔作在线自适应,包括: