一种基于增强现实的文创产品设计展示方法及系统

本技术涉及产品展示，更具体地说，本技术涉及一种基于增强现实的文创产品设计展示方法及系统。

背景技术：

1、产品展示是指构建一种将产品信息进行多层次拆解与重组，并以高度可感知的方式传递给观者的数字化表达体系；在传统模式下，它往往局限于平面图册，固定视角的视频，或者实体样机，观者只能被动接收那些被选择过且彼此割裂的片面信息；随着智能终端与三维视觉技术的普及，产品展示已演变为一个连续且动态的体验流程；它是指通过高精度影像采集，材质与光影物理属性的解算，三维模型重建或参数化设计，以及交互逻辑的可视化编程等一系列数字化处理过程。

2、在现有的基于增强现实的文创产品设计展示过程中，传统方法多依赖通用点特征进行位姿追踪，但在博物馆展柜场景下，玻璃反光、纹理稀疏与局部遮挡极易导致特征丢失和误匹配，使追踪频繁中断。尤其是当展柜边框线特征被遮挡后，仅存的文创原型展品局部剪影缺乏规则几何属性，传统方法既无法将该非结构化轮廓与展柜语义地图中预先标定的三维空间信息进行有效配准，也缺少对恢复位姿的可靠性验证机制，常造成虚拟模型跳变或漂移；例如，当游客遮挡部分展柜边框时，系统仅能观测到文创原型展品剪影的不完整区域，传统算法因无法将该可见局部与文创原型展品三维模型在上一有效位姿下的投影轮廓进行约束配准与一致性校验，极易将局部剪影错误匹配到模型其他部位，导致叠加的文创产品虚拟模型瞬间偏离正确位置；因此，如何通过文创原型展品剪影的可见局部区域进行位姿校正，以维持展示稳定成为了业界面临的难题。

技术实现思路

1、本技术提供一种基于增强现实的文创产品设计展示方法及系统，可通过文创原型展品剪影的可见局部区域进行位姿校正，以维持展示稳定。

2、第一方面，本技术提供一种基于增强现实的文创产品设计展示方法，包括如下步骤：

3、采集文创展柜的实时图像和用户设备的惯性测量单元原始数据，提取所述实时图像中的展柜边框线特征和文创原型展品剪影特征；

4、将所述展柜边框线特征和所述文创原型展品剪影特征与预先构建的展柜语义地图进行匹配，确定用户设备相对于所述展柜的初始位姿；

5、在用户移动设备的过程中，持续追踪所述展柜边框线特征与所述文创原型展品剪影特征的帧间像素位移，结合惯性测量单元预积分数据，以所述初始位姿为起点更新用户设备的实时位姿；

6、当有效边框线特征数量低于预设阈值导致追踪中断时，提取所述文创原型展品剪影特征的可见区域，将所述可见区域与所述展柜语义地图中文创原型展品三维模型的边缘点集在上一有效位姿下的投影进行局部配准，以惯性预积分预测位姿为初始值恢复当前位姿并验证，若验证通过则恢复追踪并更新实时位姿，否则触发全局重定位流程；

7、根据所述实时位姿，将文创产品虚拟模型渲染到所述展柜内所述文创原型展品剪影特征对应的空间位置，生成展示画面。

8、在一些实施例中，将所述展柜边框线特征和所述文创原型展品剪影特征与预先构建的展柜语义地图进行匹配，确定用户设备相对于所述展柜的初始位姿具体包括：

9、将所述展柜边框线特征与预先构建的展柜语义地图中存储的展柜三维边框信息进行匹配，建立图像中二维线段与世界坐标系下三维边框的对应关系；

10、基于所述对应关系解算用户设备相对于展柜的初步位姿；

11、将所述文创原型展品剪影特征与展柜语义地图中文创原型展品三维模型在所述初步位姿下的投影轮廓进行匹配，并依据匹配结果修正所述初步位姿，确定用户设备相对于展柜的初始位姿。

12、在一些实施例中，在用户移动设备的过程中，持续追踪所述展柜边框线特征与所述文创原型展品剪影特征的帧间像素位移，结合惯性测量单元预积分数据，以所述初始位姿为起点更新用户设备的实时位姿具体包括：

13、在用户移动设备的过程中，从当前帧的所述展柜边框线特征和所述文创原型展品剪影特征中提取用于追踪的特征点集；

14、基于上一帧的特征点集，在当前帧中追踪所述特征点集中各特征点的像素坐标，获取所述特征点集的帧间像素位移；

15、对所述惯性测量单元原始数据进行预积分处理，生成相邻帧之间的相对位姿增量预测值；

16、根据所述帧间像素位移和上一帧的实时位姿，将展柜语义地图中的对应三维点投影至当前帧，建立三维点与二维追踪点的对应关系；

17、以惯性预积分相对位姿增量预测值为初始值，利用所述三维点与二维追踪点的对应关系解算当前帧的实时位姿，更新用户设备的实时位姿。

18、在一些实施例中，当有效边框线特征数量低于预设阈值导致追踪中断时，提取所述文创原型展品剪影特征的可见区域具体包括：

19、当有效边框线特征数量低于预设阈值导致追踪中断时，从当前帧的所述文创原型展品剪影特征中获取前景蒙版，确定文创原型展品在图像中所占的像素区域；

20、在所述像素区域内提取文创原型展品剪影特征的外边界轮廓，得到可见轮廓点集；

21、对所述可见轮廓点集进行均匀采样，提取所述文创原型展品剪影特征的可见区域。

22、在一些实施例中，将所述可见区域与所述展柜语义地图中文创原型展品三维模型的边缘点集在上一有效位姿下的投影进行局部配准，以惯性预积分预测位姿为初始值恢复当前位姿并验证，若验证通过则恢复追踪并更新实时位姿，否则触发全局重定位流程作为实时位姿具体包括：

23、对追踪中断时间段内的惯性测量单元原始数据进行预积分处理，生成当前帧的惯性预积分预测位姿；

24、将所述可见区域中的采样点作为待配准点集，将所述展柜语义地图中文创原型展品三维模型的边缘点集在所述惯性预积分预测位姿下的投影作为目标点集；

25、执行迭代最近点算法进行局部配准，得到当前帧的待验证位姿；

26、计算所述待验证位姿下文创原型展品的重投影误差，根据所述重投影误差对所述待验证位姿进行验证；

27、验证通过时，将所述待验证位姿作为当前实时位姿并恢复追踪，更新用户设备的实时位姿；

28、验证未通过时，提取当前帧中所有可见的展柜边框线段和展品剪影特征，与展柜语义地图进行全局特征匹配，重新求解初始位姿。

29、在一些实施例中，根据所述实时位姿，将文创产品虚拟模型渲染到所述展柜内所述文创原型展品剪影特征对应的空间位置，生成展示画面具体包括：

30、根据所述实时位姿，在所述展柜语义地图中确定与所述文创原型展品剪影特征对应的文创原型展品三维模型的空间位置；

31、基于所述文创原型展品三维模型的空间位置确定文创产品虚拟模型的放置位置，并构建所述文创产品虚拟模型的模型变换矩阵；

32、通过所述实时位姿和相机内参矩阵构建投影矩阵，将所述文创产品虚拟模型从三维世界坐标系投影至二维图像平面，生成渲染图层；

33、将所述渲染图层与当前帧的实时图像进行叠加合成，生成展示画面。

34、在一些实施例中，所述展柜语义地图包含展柜及内部文创原型展品的三维空间信息和展品相对拓扑位置信息。

35、第二方面，本技术提供一种基于增强现实的文创产品设计展示系统，包括：

36、采集模块，用于采集文创展柜的实时图像和用户设备的惯性测量单元原始数据，提取所述实时图像中的展柜边框线特征和文创原型展品剪影特征；

37、处理模块，用于将所述展柜边框线特征和所述文创原型展品剪影特征与预先构建的展柜语义地图进行匹配，确定用户设备相对于所述展柜的初始位姿；

38、所述处理模块，还用于在用户移动设备的过程中，持续追踪所述展柜边框线特征与所述文创原型展品剪影特征的帧间像素位移，结合惯性测量单元预积分数据，以所述初始位姿为起点更新用户设备的实时位姿；

39、所述处理模块，还用于当有效边框线特征数量低于预设阈值导致追踪中断时，提取所述文创原型展品剪影特征的可见区域，将所述可见区域与所述展柜语义地图中文创原型展品三维模型的边缘点集在上一有效位姿下的投影进行局部配准，以惯性预积分预测位姿为初始值恢复当前位姿并验证，若验证通过则恢复追踪并更新实时位姿，否则触发全局重定位流程；

40、执行模块，用于根据所述实时位姿，将文创产品虚拟模型渲染到所述展柜内所述文创原型展品剪影特征对应的空间位置，生成展示画面。

41、第三方面，本技术提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的基于增强现实的文创产品设计展示方法的步骤。

42、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于增强现实的文创产品设计展示方法的步骤。

43、本技术公开的实施例提供的技术方案具有以下有益效果：

44、本技术提供的基于增强现实的文创产品设计展示方法及系统中，首先，展柜语义地图预先包含展柜及内部文创原型展品的三维空间信息，该过程将文创原型展品从依赖视角的二维剪影提升为与观察角度无关的空间结构先验，从而为仅凭局部可见剪影进行位姿校正提供了唯一且明确的三维参照基准，使得碎片化的可见轮廓能够被约束到已知几何体上，不再是缺乏空间归属的孤立特征；随后，将可见区域的文创原型展品剪影与文创原型展品三维模型的边缘点集在上一有效位姿下的投影进行局部配准，该配准操作以惯性测量单元预积分预测位姿作为迭代初始值，将视觉特征匹配约束在真实运动轨迹的邻域范围内，同时依赖于所述三维空间信息，将原本模糊的二维到二维匹配转化为受三维模型投影约束的空间一致性检验，通过从完整几何模型边缘点集投射出的理论轮廓与局部剪影进行比对，为位姿校正提供了具有空间可解释性的匹配目标，避免了将局部剪影错误匹配至非对应部位；进而，将文创产品虚拟模型渲染至展柜内文创原型展品剪影特征对应空间位置的最终展示需求，驱动位姿校正必须满足将虚拟模型精确叠加于文创原型展品真实三维坐标的刚性空间条件，该过程将单纯的轮廓匹配提升为面向渲染目标的空间定位任务，为恢复的位姿提供了可量化的验证依据，使得通过重投影误差等手段判定位姿可靠性成为可能；在此基础上，当位姿验证失败时，触发全局重定位流程而非依赖局部信息持续尝试恢复，避免了在错误位姿邻域内反复迭代导致的累积误差，同时融合惯性测量单元原始数据的持续采集与展柜边框线特征的重新检测，以多源信息协同的方式重新确定用户设备的全局位姿，确保虚拟模型能够稳定锚定在文创原型展品正确的三维坐标上，避免因错误匹配导致模型跳变或漂移；综上所述，该方案可通过文创原型展品剪影的可见局部区域进行位姿校正，以维持展示稳定。