基于多模态缺陷复核的卡牌品相评级方法、系统、设备及介质与流程

本发明涉及计算机视觉，特别是涉及一种基于多模态缺陷复核的卡牌品相评级方法、系统、设备及介质。

背景技术：

1、集换式卡牌是以纸质或多层复合卡基印制、兼具收藏与流通交易属性的卡片，涵盖球星卡及各类集换式游戏卡。卡牌在印制、搬运、把玩和多次流转过程中，其边角与表面会逐渐产生不同程度的损耗。在市场交易中，以卡牌品相来表征卡牌物理完好程度的综合状态，品相评级即辨识卡牌牌面或边角处缺陷并据此确定品相等级的过程，通常以数值等级或相应档位表示。卡牌品相是决定其市场价值的核心因素之一，同一卡牌在不同品相下价格可相差数倍乃至数十倍，同时也是买卖定价、交易争议处理和卡牌长期保值的共同依据。

2、目前，现有的线上卡牌品相评级主要依赖人工评级和基于单模态图像的自动化辅助检测两种方式，人工评级通常由评级人员借助专业工具，对卡牌的边角磨损、表面划痕等项目逐项观察，并依据既定评级标准给出数值等级或档位，或者买家根据卖家提供的卡牌照片和描述自行评级。该方式虽然能够结合经验进行综合判断，但主观性较强，评级结果易受评级人员经验、疲劳程度、观察角度、光照条件等因素影响，不同评级人员之间的一致性难以保证，同一卡牌多次复评也可能出现差异，评级精准度较低。其次，基于机器视觉的自动化辅助检测方式通常采集卡牌的可见光图像，利用边缘检测、阈值分割或图像分类等方法，识别卡牌表面或边角处的缺陷，并据此自动输出品相分数或等级。然而，此类方式多依赖单一模态、单一视角的二维图像，所获取的信息维度有限，这是因为卡牌表面的反光、阴影、纹理、效果等容易与真实缺陷混淆，光照条件、拍摄角度、采集设备差异也会导致检测结果不稳定。对于压痕、暗裂、凹凸、边缘分层、表面污染等与材质、深度或表面形态相关的缺陷，单模态可见光图像往往难以准确识别和量化，较易导致评级的精准度较低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高卡牌图像评级精准度的基于多模态缺陷复核的卡牌品相评级方法、系统、设备及介质。

2、本发明提供了一种基于多模态缺陷复核的卡牌品相评级方法，所述方法包括：

3、获取用户上传的初始卡牌图像，并对所述初始卡牌图像设置图像质量门禁，以筛选通过所述图像质量门禁的标准卡牌图像；

4、从所述标准卡牌图像中提取多个关键点，并通过所述关键点将所述标准卡牌图像映射至标准坐标系中，以对所述标准卡牌图像的检测区域生成区域掩膜；

5、基于所述图像质量门禁和区域掩膜，调用专用视觉模型执行缺陷候选检测，以获取多个缺陷候选记录；

6、将每个缺陷候选记录对应的标准卡牌图像整合为复核图像组，并将所述复核图像组输入预构建的多模态复核模型，以输出缺陷复核结果；

7、基于所述缺陷复核结果，按照预设的确定性规则计算卡牌品相评分，并将所述卡牌品相评分映射输出为对应的卡牌品相等级。

8、在其中一个实施例中，所述获取用户上传的初始卡牌图像，并对所述初始卡牌图像设置图像质量门禁，以筛选通过所述图像质量门禁的标准卡牌图像，包括：

9、提取所述初始卡牌图像中的卡牌轮廓以及所述卡牌轮廓内对应的有效像素，并根据所述卡牌轮廓的有效像素确定所述初始卡牌图像的清晰度；

10、在所述清晰度满足设定清晰阈值时，对所述初始卡牌图像进行遮挡分割，并根据遮挡分割结果确定所述初始卡牌图像中的待检测区域；

11、提取所述待检测区域内的像素亮度特征，并在所述像素亮度特征满足预设的图像质量条件时，将对应的待检测区域判定为缺陷检测区域；

12、其中，所述标准卡牌图像为清晰度满足设定清晰阈值且待检测区域内的像素亮度特征满足预设的图像质量条件的初始卡牌图像。

13、在其中一个实施例中，所述像素亮度特征包括亮度分布和饱和度分布，所述方法还包括：

14、基于所述待检测区域内的亮度分布，将亮度高于设定亮度阈值的像素聚合为疑似高亮区域，并统计所述疑似高亮区域对应的饱和度分布，以将饱和度低于设定饱和度阈值的疑似高亮区域判定为光照异常区域；

15、提取饱和度不低于设定饱和度阈值的疑似高亮区域作为待检测区域，并根据所述光照异常区域确定所述待检测区域对应的过曝状态和反光状态。

16、在其中一个实施例中，所述获取用户上传的初始卡牌图像，并对所述初始卡牌图像设置图像质量门禁，以筛选通过所述图像质量门禁的标准卡牌图像，还包括：

17、核验同一初始卡牌图像是否具有正面卡牌图像和背面卡牌图像，并将清晰度不满足设定清晰阈值、遮挡分割结果中的遮挡区域以及所述光照异常区域对应的待检测区域汇总为非判定区域；

18、基于所述正面卡牌图像和背面卡牌图像的核验结果以及非判定区域，生成对应的补拍请求，并响应于所述补拍请求重新获取对应的初始卡牌图像，以对所述初始卡牌图像进行图像质量门禁筛选。

19、在其中一个实施例中，所述从所述标准卡牌图像中提取多个关键点，并通过所述关键点将所述标准卡牌图像映射至标准坐标系中，以对所述标准卡牌图像的检测区域生成区域掩膜，包括：

20、在所述卡牌轮廓上定位对应标准卡牌图像的四角关键点，并根据所述四角关键点与卡牌标准矩形之间的比例关系确定透视变换关系；

21、按照所述透视变换关系将所述标准卡牌图像映射至标准坐标系中，得到校正后的标准卡面，并识别所述标准卡面为所述正面卡牌图像或背面卡牌图像，以标记正面标识或背面标识；

22、根据所述正面标识或背面标识选取对应的正面区域模板或背面区域模板，并按照所述正面区域模板或背面区域模板在所述标准卡面上界定多个检测区域，以在每个检测区域生成对应的区域掩膜。

23、在其中一个实施例中，所述基于所述图像质量门禁和区域掩膜，调用专用视觉模型执行缺陷候选检测，以获取多个缺陷候选记录，包括：

24、选取所述区域掩膜与通过所述图像质量门禁筛选的待检测区域之间的交集作为待检测区域掩膜，并将所述非判定区域对应的区域掩膜划分为屏蔽掩膜；

25、调用所述专用视觉模型的多分支结构在所述待检测区域掩膜内提取缺陷候选，并对所述缺陷候选进行融合、去重以及区域归属处理，以生成多个缺陷候选记录；

26、对所述缺陷候选记录进行置信度筛选，并将不满足设定要求的缺陷候选记录标记为非确定候选，以输出满足设定要求和置信度的多个缺陷候选记录。

27、在其中一个实施例中，所述将每个缺陷候选记录对应的标准卡牌图像整合为复核图像组，并将所述复核图像组输入预构建的多模态复核模型，以输出缺陷复核结果，包括：

28、提取每个缺陷候选记录中对应标准卡面的全局上下文图、区域上下文图以及其他视图，并将所述全局上下文图、区域上下文图以及其他视图整合为所述复核图像组；

29、将所述复核图像组输入所述多模态复核模型，并调用所述多模态复核模型对所述缺陷候选记录进行约束复核，以输出缺陷复核结果记录；

30、从所述缺陷复核结果记录中提取确认缺陷和非确定候选，并对所述确认缺陷生成确定性评分，同时对所述非确定候选生成补拍请求。

31、本发明还提供了一种基于多模态缺陷复核的卡牌品相评级系统，用于实现上述任一项所述的基于多模态缺陷复核的卡牌品相评级方法，所述系统包括：

32、卡牌图像筛选模块，用于获取用户上传的初始卡牌图像，并对所述初始卡牌图像设置图像质量门禁，以筛选通过所述图像质量门禁的标准卡牌图像；

33、区域掩膜生成模块，用于从所述标准卡牌图像中提取多个关键点，并通过所述关键点将所述标准卡牌图像映射至标准坐标系中，以对所述标准卡牌图像的检测区域生成区域掩膜；

34、缺陷候选检测模块，用于基于所述图像质量门禁和区域掩膜，调用专用视觉模型执行缺陷候选检测，以获取多个缺陷候选记录；

35、缺陷记录复核模块，用于将每个缺陷候选记录对应的标准卡牌图像整合为复核图像组，并将所述复核图像组输入预构建的多模态复核模型，以输出缺陷复核结果；

36、卡牌品相评级模块，用于基于所述缺陷复核结果，按照预设的确定性规则计算卡牌品相评分，并将所述卡牌品相评分映射输出为对应的卡牌品相等级。

37、本发明还提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的基于多模态缺陷复核的卡牌品相评级方法。

38、本发明还提供了一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的基于多模态缺陷复核的卡牌品相评级方法。

39、上述基于多模态缺陷复核的卡牌品相评级方法、系统、设备及介质，相较于现有技术，具有以下有益效果：

40、（1）本发明通过图像质量门禁逐检测区域判定清晰度、遮挡、过曝与反光，隔离不可判定区域并生成定向补拍要求，再通过关键点定位与标准坐标系映射生成区域掩膜，统一缺陷位置和面积度量。之后，在区域掩膜与缺陷检测区域约束下由专用视觉模型检测缺陷候选，实现了局部微小缺陷的结构化定位。随后，通过多模态复核模型结合复核图像组对候选的成立、类型、位置、面积和严重度进行全局复核，降低反光、阴影、印刷图案等干扰，结合确定性规则计算品相评分并映射品相等级，使评分等级可重复、可追溯、可复算，有效克服了主观评级一致性差和单模态检测不稳定的技术问题。

41、（2）本发明通过专用视觉模型与多模态复核模型的分工协作，先由专用视觉模型在区域掩膜和缺陷检测区域约束下提出局部缺陷候选，再由多模态复核模型结合局部放大图、区域上下文图、全局上下文图以及多角度或多光照对应视图进行受约束复核，既保留了专用视觉模型对微小缺陷、边界异常和纹理异常的局部定位能力，又利用多模态模型的全局上下文辨别能力降低反光、印刷图案、文字边缘和拍摄伪影造成的误判，从而在缺陷成立性、缺陷类型、位置、面积和严重度判别上兼顾定位精度与语义准确性，有效提高了卡牌品相评级的精准度和鲁棒性。