多源数据融合的物品形态评价方法、装置、设备及介质与流程
本技术涉及数据处理,特别是涉及一种多源数据融合的物品形态评价方法、装置、设备及介质。
背景技术:
1、观赏石,是指天然形成的、在形态、纹理、色彩、质地和韵味等方面独具特色、可供观赏,并能引发人们美感和联想的天然石质物体。观赏石涵盖了造型石、图纹石、矿物晶体、化石等多种类型。以戈壁石为例,仅阿拉善地区就包含风凌石、葡萄玛瑙、沙漠漆石等10个代表性石种。
2、长期以来,观赏石的鉴赏高度依赖专家的经验判断,形成了以自然要素和人文要素为核心的评价体系。根据国家观赏石鉴评标准,鉴评要素主要涵盖形态、质地、纹理、韵意等多个维度;
3、现有技术中,对观赏石的评价多依赖于高水平的鉴评专家,鉴评专家培养周期长、数量有限,难以满足日益增长的收藏和交易需求。许多爱好者因缺乏专业知识,难以独立完成价值判断。
技术实现思路
1、本技术的目的是提供一种多源数据融合的物品形态评价方法、装置、设备及介质,将原本依赖人工经验判断的奇石形态特征转化为可追溯的数字指标,降低人工主观性和提高批量处理效率。
2、为实现上述目的,本技术提供了如下方案:
3、第一方面,本技术提供了一种多源数据融合的物品形态评价方法,包括:
4、获取物体的多源视觉数据;所述多源视觉数据包括点云数据和图像数据;
5、基于所述多源视觉数据提取第一特征向量;基于所述第一特征向量通过第一预设多任务学习模型获取对应的第一评价结果,所述第一评价结果用于描述物体的特征相似度、第一纹理复杂度、特征协调度和轮廓完整度;
6、对所述图像数据基于深度网络进行特征提取获取第二特征向量;对所述点云数据基于深度网络进行特征提取获取第三特征向量;根据所述第二特征向量和所述第三特征向量进行多模态特征融合获取第四特征向量;基于所述第四特征向量通过预训练的第二预设多任务学习模型获取第二评价结果;所述第二评价结果用于描述所述物体的象形度、意境相似度、第二纹理复杂度和形态稀有度;
7、基于第一评价结果和所述第二评价结果获取综合评价。
8、可选地,所述基于所述多源视觉数据提取第一特征向量;基于所述第一特征向量通过第一预设多任务学习模型获取对应的第一评价结果;包括:
9、对所述图像数据进行预处理获取第一图像数据,对所述点云数据进行预处理获取第一点云数据;
10、对所述第一图像数据进行特征提取获取第一图像特征向量,对所述第一点云数据进行特征提取获取第一点云特征向量,基于所述第一图像特征向量和所述第一点云特征向量拼接获取第一特征向量;其中,所述第一图像特征包括基于灰度特征矩阵提取的对比度、信息熵、能量,边缘连通域数量、边缘方向直方图、各颜色通道的灰度分布概率、颜色矩,基于尺度不变特征变换获取的关键点位置、尺度、方向,轮廓提取获取的闭合度、曲率变化、尖锐度,闭合度、曲率变化、尖锐度与标准物体的闭合度、曲率变化、尖锐度的相似度中的一种或者多种;所述第一点云特征向量包括轮廓曲面、根据所述轮廓曲面获取的主轴方向、长宽高比例和曲率分布,边界曲线闭合度、曲率变化分布、通过主成分分析方法获取的三个主轴方向、点特征直方图以及所述点特征直方图与标准物体的点特征直方图的特征空间距离中的一种或者多种;
11、将所述第一特征向量输入至预训练的第一预设多任务学习模型获取第一特征相似度评分、第一纹理复杂度评分、第一特征协调度评分和第一轮廓完整度评分;
12、对所述第一特征相似度评分、第一纹理复杂度评分、第一特征协调度评分和第一轮廓完整度评分进行加权求和获取第一评价结果。
13、可选地,所述多源视觉数据还包括光谱数据,所述第一特征向量还包括第一光谱特征向量,所述基于所述多源视觉数据提取第一特征向量,还包括:
14、对所述光谱数据进行预处理获取第一光谱数据;
15、对所述第一光谱数据进行特征提取获取第一光谱特征向量;所述第一光谱特征向量包括基于主成分分析方法获取的主要变化方向、特征谱线位置、强度比值和基于多尺度分解获取的各层细节系数能量分布中的一种或者多种。
16、可选地,所述根据所述第二特征向量和所述第三特征向量进行多模态特征融合获取第四特征向量,包括:
17、将所述第二特征向量映射到所述预设特征空间获取第五特征向量;
18、将所述第三特征向量映射到所述预设特征空间获取第六特征向量;
19、将所述第五特征向量和所述第六特征向量输入至预训练的预设多模态自适应门控融合模块获取第四特征向量。
20、可选地,所述第二预设多任务学习模型采用lightgbm模型,所述预训练的第二预设多任务学习模型的训练方法包括:
21、采集若干样品的所述多源视觉数据;
22、对所述图像数据基于深度网络进行特征提取获取第二特征向量;对所述点云数据基于深度网络进行特征提取获取第三特征向量;根据所述第二特征向量和所述第三特征向量进行多模态特征融合获取第四特征向量;
23、将人工标注的所述第二象形度评分、第二意境相似度评分、第二纹理复杂度评分和第二形态稀有度评分作为第四特征向量对应的标签对预设的第二预设多任务学习模型进行训练以获取预训练的第二预设多任务学习模型
24、可选地,所述对所述图像数据基于深度网络进行特征提取获取第二特征向量,包括:
25、对所述图像数据进行预处理获取第一图像数据;所述图像数据为在不同预设角度下拍摄获取的物体图像,每个所述预设角度包括对应的第一重要性权重;
26、针对每个所述预设角度下的所述第一图像数据,将所述图像数据输入至预设resnet-50骨干网络获取每个所述预设角度下的卷积特征;
27、对所有所述预设角度下的卷积特征根据所述第一重要性权重进行加权求和获取所述第二特征向量。
28、可选地,所述对所述点云数据基于深度网络进行特征提取获取第三特征向量;包括:
29、对所述点云数据进行预处理获取第一点云数据;
30、通过预设pointnet++骨干网络对所述第一点云数据进行特征提取获取第三特征向量。
31、第二方面,本技术提供了一种多源数据融合的物品形态评价装置,包括:
32、数据采集模块,用于获取物体的多源视觉数据;所述多源视觉数据包括点云数据和图像数据;
33、第一评价模块,用于基于所述多源视觉数据提取第一特征向量;基于所述第一特征向量通过第一预设多任务学习模型获取对应的第一评价结果,所述第一评价结果用于描述物体的特征相似度、第一纹理复杂度、特征协调度和轮廓完整度;
34、第二评价模块,用于对所述图像数据基于深度网络进行特征提取获取第二特征向量;对所述点云数据基于深度网络进行特征提取获取第三特征向量;根据所述第二特征向量和所述第三特征向量进行多模态特征融合获取第四特征向量;基于所述第四特征向量通过预训练的第二预设多任务学习模型获取第二评价结果;所述第二评价结果用于描述所述物体的象形度、意境相似度、第二纹理复杂度和形态稀有度;
35、综合评价模块,用于基于第一评价结果和所述第二评价结果获取综合评价。
36、第三方面,本技术提供了一种计算机设备,包括:存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述中任一项所述的多源数据融合的物品形态评价方法的步骤。
37、第四方面,本技术提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述中任一项所述的多源数据融合的物品形态评价方法的步骤。
38、第五方面,本技术提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述中任一项所述的多源数据融合的物品形态评价方法的步骤。
39、根据本技术提供的具体实施例,本技术公开了以下技术效果:
40、本技术提供了一种多源数据融合的物品形态评价方法、装置、设备及介质,分别构建了基于基础特征的第一预设多任务学习模型和基于深度网络多模态特征的第二预设多任务学习模型,实现了对物体多维度特征的分层评价,将原本依赖人工经验判断的奇石形态特征转化为可追溯的数字指标,降低人工主观性和提高批量处理效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com