一种用于自动摄影设备的商品图像分割方法及系统与流程

摘要: 本发明涉及计算机视觉,尤其是涉及一种用于自动摄影设备的商品图像分割方法及系统。背景技术:1、电商行业大量使用自动摄影设备完成商品批量拍摄,商品放置于白色台面上,...
一种用于自动摄影设备的商品图像分割方法及系统与流程

本发明涉及计算机视觉,尤其是涉及一种用于自动摄影设备的商品图像分割方法及系统。

背景技术:

1、电商行业大量使用自动摄影设备完成商品批量拍摄,商品放置于白色台面上,后方搭配白色或者浅灰渐变背景,拍摄得到高分辨率商品原图,需要自动分割得到商品前景图像。该场景存在白上白技术难点,白色商品和白色背景色彩接近,颜色、纹理、边缘信号部分失效;同时需要区分三类外观相近区域,真实镂空需要保留透明效果,织物纹理孔需要做填实处理,模型漏检的商品内部区域需要恢复填充;还需要兼顾高分辨率图像下边缘质量与内存占用。

2、现有云端商业抠图服务会出现商品部件整块丢失的情况,错误结果直接交付,无法区分不同孔洞处理逻辑,存在数据安全风险,不能本地化部署。通用提示式分割模型受输入分辨率限制,细小白色结构容易丢失,容易将展台误识别为前景,参数难以跨款式泛化,白上白场景依靠颜色处理会直接破坏白色商品主体。

3、单独使用端到端高分辨率抠图模型,容易将真实透孔处理为实心结构,浅色内腔、鞋底容易发生漏检,输出边缘存在白边,缺少孔洞语义区分能力,无法支撑生产环境人工复核。传统色度键控、背景差分方法受接触阴影和白上白条件限制,不存在稳定可分阈值,分割效果差。现有各类方案无法同时解决孔洞语义区分、无信号区域可控处理、高分辨率下算力内存平衡、本地零边际成本部署的多重现实需求。

技术实现思路

1、为了解决上述技术问题,本发明提供一种用于自动摄影设备的商品图像分割方法及系统。采用如下技术方案:

2、一种用于自动摄影设备的商品图像分割方法,包括以下步骤:

3、步骤1,获取自动摄影装置采集的商品图像,摄影装置具备第一背景白的背景件与第二背景白的商品承载台面,保留图像全分辨率副本并生成工作分辨率副本;

4、步骤2,将工作分辨率副本输入训练完成的抠图神经网络,生成软前景alpha图,经二值化、连通域清理得到基础轮廓,提取基础轮廓对应的全部封闭孔洞;

5、步骤3,针对每一个封闭孔洞,结合孔洞内部粗量化灰度共生矩阵纹理统计量、孔洞颜色分别与第一背景白、第二背景白的色差,输出填充、保留、人工复核标记三态决策;

6、步骤4,依据三态决策处理封闭孔洞,对被模型糊合的白上白真实透孔执行开孔修复处理;

7、步骤5,采用受多证据门控约束的单目深度估计仅对外轮廓执行校正,深度估计不改动封闭孔洞的三态决策结果;

8、步骤6,在全分辨率图像的轮廓窄带区域开展边缘细化,生成全分辨率rgba分割图像,同步输出携带结构化信息的人工复核标记。

9、可选的,步骤3中粗量化灰度共生矩阵纹理统计量,是将图像l*通道量化为4-16级,对多方向偏移计算局部灰度共生矩阵对比度并归一化得到;封闭孔洞处理还包括细缝双信号判据、背景色门判断、台面与背景弧线接缝例外判断;细缝双信号判据为:仅当孔洞腐蚀区域纹理大于纹理阈值,且孔洞颜色与两种背景白色差均大于色差阈值,才执行填充操作。

10、可选的,所述第一背景白、第二背景白,通过图像角部像素中值、商品轮廓下方横带像素中值自动标定,或者由摄影装置出厂预标定得到。

11、可选的,步骤4开孔修复处理包含封闭环开孔机制、置信墙开孔机制和保留孔修边机制;

12、封闭环开孔机制:对被高置信实心前景包围、alpha压低、内部平坦且面积达阈值的候选区域强制设为透明;

13、置信墙开孔机制:以已验证透明核心为种子,依托周边高置信商品壁向外生长得到真实透孔;

14、保留孔修边机制:以孔洞内部腐蚀区域颜色作为局部背景参照,多条件约束向外生长清除孔缘附着的背景碎片。

15、可选的,步骤5单目深度估计校正还包括对图像逐图自标定深度带,包括以下步骤:

16、灾难性缺失填充,同时满足凸包亏缺、犹豫像素占比、严重度面积门、处于深度带内多条件时找回丢失前景区域;

17、背景误抓修剪,同时满足深度位置、背景色、背景深度水平三证据时剪除误纳入的背景区域;

18、保留否决,仅当两项条件同时成立才将已保留孔洞改为填充;

19、深度估计全程不推翻孔洞三态决策。

20、可选的,步骤6边缘细化采用精确模式:对图像上采样后构建三分图,沿轮廓分块运行三分图抠图网络求解未知区域alpha;设置拓扑保护区域,强制保护区域内保持前景实心与原始色彩,透孔边缘保留抗锯齿效果,仅在边缘窄带做前景去污消除白边。

21、可选的,还包括可切换的快速模式,采用导向滤波贴合全分辨率图像边缘,搭配层级曲线映射消除背景侧alpha低尾巴,实现白边消除,提升处理速度。

22、可选的,工作分辨率副本最长边设置为1536-4096像素,全部语义、拓扑判别运算在工作分辨率副本完成,仅边缘细化运算在全分辨率图像的轮廓窄带内执行。

23、可选的,修改性决策均需要至少两路独立证据,条件不满足则不执行对应改动;人工复核标记携带孔洞类型、面积占比、纹理值、色差、包围盒结构化信息。

24、一种用于自动摄影设备的商品图像分割系统,用于实现一种用于自动摄影设备的商品图像分割方法,系统包括:

25、双分辨率载入模块,用于获取商品图像,保存全分辨率副本并生成工作分辨率副本;

26、软遮罩生成模块,用于调用抠图神经网络生成软前景alpha图,输出基础轮廓与封闭孔洞集合;

27、孔洞三态判别模块,用于结合粗量化灰度共生矩阵纹理统计量、双背景白色差,输出封闭孔洞的填充、保留、人工复核标记三态决策;

28、白上白孔洞补救模块,用于执行封闭环开孔、置信墙开孔、保留孔修边的透孔修复;

29、深度辅助外轮廓校正模块,用于运行单目深度估计网络,在多证据门控下对外轮廓校正,不改动孔洞三态决策;

30、全分辨率边缘细化模块,用于在轮廓窄带完成边缘求解、拓扑保护、前景去污,输出rgba图像;

31、复核标记输出模块,用于输出携带结构化信息的人工复核标记。

32、综上所述,本发明包括以下至少一种有益技术效果:

33、本发明能提供一种用于自动摄影设备的商品图像分割方法及系统,利用摄影设备自带的两类背景白作为先验信息,结合纹理统计实现封闭孔洞三态判别,能够对真实镂空,织物纹理孔,漏检商品内部执行差异化处理,有效解决白上白场景分割难题。

34、设置三类白上白孔洞补救机制,修复神经网络造成的真实透孔糊合缺陷。单目深度估计设置多层证据门控,仅用于外轮廓校正,不会破坏孔洞判定结果,既可以找回灾难性漏检区域,又能够避免误修改带来的副作用。

35、对于缺少有效像素信号的区域输出人工复核标记,避免静默输出错误分割结果,满足生产流水线可控作业要求。采用双分辨率处理架构,语义拓扑运算在工作分辨率完成,仅在全分辨率轮廓窄带执行边缘细化,在消费级硬件上即可处理超高分辨率图像,消除合成白边,控制内存峰值。

36、整套方案可以实现完全本地化部署,图像数据无需向外传输,单张图像处理不存在额外边际成本,全局参数即可适配多类商品款式,不需要逐例调参,分割精度高,运行稳定可靠。