基于图像识别的衣物洗护分类方法、装置及存储介质与流程
本发明涉及图像识别,特别是涉及一种基于图像识别的衣物洗护分类方法、装置及存储介质。
背景技术:
1、随着智能洗护设备和图像识别技术的发展,利用衣物水洗标图像识别洗涤、漂白、干燥、熨烫及专业维护信息,已逐步应用于衣物洗护分类和程序推荐;现有方案通常通过光学字符识别获取文字内容,或通过目标检测识别洗护符号,再依据关键词、符号类别或版面距离确定洗护要求。
2、然而,水洗标通常同时记载面料、里料、填充物及可拆卸附件等多个部件的材料成分和洗护说明,文字、符号、分隔线及多语言内容在版面上交错排列;仅将识别结果转换为连续文本,或简单按照相邻位置建立对应关系,容易造成材料成分与部件错配、局部洗护指令被误认为适用于整件衣物,以及重复说明被重复计算;此外,现有方案多侧重于水洗标内容识别,未结合衣物整体图像核对帽子、毛领、腰带等部件的实际装配状态,已拆除附件仍可能参与整衣洗护条件计算。
3、上述问题可能导致整衣洗护分类过严、过宽或相互冲突,难以为洗护设备提供可靠的程序依据。因此,如何准确识别水洗标中各类信息的版面关系和适用对象,并结合衣物部件实际状态形成安全、合理的整衣洗护分类,仍是本领域需要解决的技术问题。
技术实现思路
1、本发明提供一种基于图像识别的衣物洗护分类方法、装置及存储介质,以至少解决如前所述背景技术中存在的部分技术问题。
2、根据本发明的第一方面,提供了一种基于图像识别的衣物洗护分类方法,包括以下步骤:
3、对水洗标图像执行几何校正和亮度归一化,得到经校正的水洗标图像;
4、对经校正的水洗标图像执行文字检测与识别、符号检测与识别及版面辅助元素检测,生成版面元素集合,根据各元素间邻近关系和对齐关系生成候选说明区域;
5、将经校正的水洗标图像、版面元素集合和候选说明区域输入版面关系识别模型,识别部件名称、材料成分和洗护指令,确定各洗护指令的适用范围及具体适用部件,输出水洗标关系数据;
6、将衣物整体图像输入衣物部件分割模型得到标准部件类别,以水洗标关系数据中的标准部件类别建立部件节点,将部件分割结果与同类部件节点匹配并设置存在状态;
7、将各部件节点的洗护指令转换为部件级洗护属性,整衣范围指令应用于除确认未装配部件之外的全部节点;选取存在状态为确认存在或未核实的部件节点,计算所选节点洗护属性的共同允许范围,生成整衣洗护分类。
8、优选地,所述版面元素集合包括文字元素、洗护符号元素和版面辅助元素;所述文字元素包括文字内容、文字框坐标、阅读顺序和字符识别置信度;所述洗护符号元素包括符号类别、符号框坐标、符号图像特征和符号识别置信度;所述文字框坐标和符号框坐标采用经校正的水洗标图像中的归一化坐标。
9、优选地,生成所述候选说明区域时,将文字元素和洗护符号元素作为元素节点,当两个元素在阅读方向上相邻、边缘对齐或位于同一分隔范围内时建立邻接关系,根据所述邻接关系形成候选说明区域;所述候选说明区域保留层级关系,同一较大区域中的局部区域与该较大区域同时保留。
10、优选地,所述版面关系识别模型的输入序列包括文字词元、符号词元、辅助词元、区域词元和图像词元;所述文字词元包括词元语义向量、二维位置向量、元素类型向量和识别可信向量,所述识别可信向量由字符识别置信度经线性映射得到;所述符号词元由符号类别、符号框坐标、符号视觉特征和符号识别置信度向量化得到;所述区域词元包括区域边界向量、区域层级向量和区域内元素统计向量;经校正的水洗标图像按固定尺寸图像块划分后经线性投影形成图像词元;各文字词元或符号词元通过区域归属标记关联至区域词元。
11、优选地,所述版面关系识别模型包括输入编码模块、多模态特征编码模块、实体识别模块、部件类别识别模块、适用范围识别模块、成分归属关系模块、指令适用关系模块和重复说明识别模块;所述多模态特征编码模块包括多层变换器编码层,所述实体识别模块将文字内容识别为部件名称、材料成分、文字洗护指令、品牌尺码信息或其他信息。
12、优选地,所述适用范围识别模块输出整衣范围概率和部件范围概率,当二者差值大于范围判定差值时选择概率较大的范围类别,当二者差值不大于所述范围判定差值时标记为范围待确认;所述指令适用关系模块对部件范围的洗护指令分别计算其与各部件名称实体的相关或不相关分类结果,对整衣范围的洗护指令关联至整衣对象并停止建立具体部件关系;对于部件范围的洗护指令,若没有任何部件关系被识别为相关,则标记为适用对象待确认。
13、优选地,各部件节点的存在状态包括确认存在、确认未装配和未核实状态;衣物部件分割模型检测到相应部件时设为确认存在;确认未装配仅适用于可拆卸部件,并要求图像显示连接位置且确认附件不存在;其他情况设为未核实。
14、优选地,设置所述存在状态前,将文字洗护指令输入指令语义分类模型,该模型输出洗护属性语义和部件状态语义;所述部件状态语义包括拆除、保留、单独处理和无状态要求;当部件状态语义包含拆除语义时,将相应部件记录为可拆卸部件;所述洗护属性语义在部件级洗护属性生成时作为文字洗护指令的转换依据。
15、根据本发明的第二方面,提供了一种基于图像识别的衣物洗护分类装置,包括:
16、图像校正模块,用于对水洗标图像执行几何校正和亮度归一化,得到经校正的水洗标图像;
17、版面元素处理模块,用于对经校正的水洗标图像执行文字检测与识别、符号检测与识别及版面辅助元素检测,生成版面元素集合,根据各元素间邻近关系和对齐关系生成候选说明区域;
18、版面关系识别模块,用于将经校正的水洗标图像、版面元素集合和候选说明区域输入版面关系识别模型,识别部件名称、材料成分和洗护指令,确定各洗护指令的适用范围及具体适用部件,输出水洗标关系数据;
19、部件节点处理模块,用于将衣物整体图像输入衣物部件分割模型得到标准部件类别,以水洗标关系数据中的标准部件类别建立部件节点,将部件分割结果与同类部件节点匹配并设置存在状态;
20、洗护分类生成模块,用于将各部件节点的洗护指令转换为部件级洗护属性,整衣范围指令应用于除确认未装配部件之外的全部节点;选取存在状态为确认存在或未核实的部件节点,计算所选节点洗护属性的共同允许范围,生成整衣洗护分类。
21、根据本发明的第三方面,提供一种计算机可读存储介质,当所述存储介质中的可执行的计算机程序由处理器执行时,能够实现第一方面所述的方法。
22、本发明通过对水洗标图像进行校正,并综合文字、洗护符号、版面辅助元素及候选说明区域的图像、位置和语义信息,能够识别部件名称、材料成分与洗护指令之间的对应关系,较为准确地区分整衣范围指令和部件范围指令,从而降低仅依据文字顺序、关键词或空间距离造成的部件归属错误。通过将水洗标关系数据与衣物整体图像中的部件分割结果进行匹配,并对可拆卸部件设置确认存在、确认未装配或未核实的状态,使已经拆除的附件不参与当前整衣洗护分类,同时避免因不可见部件未被检测而错误认定其不存在。在此基础上,按照各参与部件洗护属性的共同允许范围生成整衣洗护分类,并保留适用对象待确认信息及冲突指令来源,可提高分类结果的准确性和安全性,为洗护设备生成洗涤及护理程序提供可靠依据。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com