展品导览方法及相关装置、移动终端和存储介质与流程

1.本技术涉及计算机视觉技术领域，特别是涉及一种展品导览方法及相关装置、移动终端和存储介质。


背景技术：

2.目前，通常由人工讲解来进行导览，成本较高。随着电子信息技术的发展，通过扫码、语音讲解器等方式来进行语音讲解，以实现导览，受到越来越多的欢迎。
3.然而，无论是扫码的方式，还是语音讲解器的方式，在导览过程中均鲜有交互，互动体验较差。故此，如何提升导览体验成为亟待解决的问题。


技术实现要素：

4.本技术提供一种展品导览方法及相关装置、移动终端和存储介质。
5.本技术第一方面提供了一种展品导览方法，包括：响应于在移动终端的拍摄画面中识别到目标展品，对拍摄画面进行检测，得到拍摄画面中目标展品的关键部位的图像位置；其中，目标展品为预先设有讲解数据的展品，且讲解数据包括目标展品各个关键部位的讲解信息；在图像位置处，显示ar指示标识；响应于用户触发ar指示标识，输出关键部位的讲解信息。
6.因此，响应于在移动终端的拍摄画面中识别到目标展品，对拍摄画面进行检测，得到拍摄画面中目标展品的关键部位的图像位置，且目标展品为预先设有讲解数据的展品，讲解数据包括目标展品各个关键部位的讲解信息，基于此在图像位置处显示ar指示标识，并响应于用户触发ar指示标识，输出关键部位的讲解信息，故在展品导览过程中，用户能够通过移动终端拍摄展品进行识别，并在识别为目标展品的情况下，通过目标展品的关键部位在拍摄画面中图像位置上显示ar指示标识来与用户进行交互互动，从而能够通过互动触发讲解的交互形式实现展品导览，并提升讲解效率，进而能够提升导览体验。
7.其中，在响应于在移动终端的拍摄画面中识别到目标展品，对拍摄画面进行检测，得到拍摄画面中目标展品的关键部位的图像位置之前，还包括：将拍摄画面分别与各个展品模型进行匹配，得到匹配结果；其中，匹配结果包括：当前展品分别与各个展品模型的匹配度；基于匹配结果进行分析，得到拍摄画面的识别结果；其中，识别结果包括：当前展品是否为目标展品。
8.因此，将拍摄画面分别与各个展品模型进行匹配，得到匹配结果，且匹配结果包括当前展品分别与各个展品模型的匹配度，再基于匹配结果进行分析，得到拍摄画面的识别结果，且识别结果包括当前展品是否为目标展品，从而能够通过模型匹配的方式识别拍摄画面中是否存在目标展品，进而能够有利于提升展品识别的准确性。
9.其中，基于匹配结果进行分析，得到拍摄画面的识别结果，包括：响应于最大匹配度高于预设阈值，将最大匹配度对应的展品模型所属展品作为目标展品，并确定识别结果包括当前展品为目标展品。
10.因此，在最大匹配度大于预设阈值的情况下，将最大匹配度对应的展品模型所属展品作为目标展品，并确定识别结果包括当前展品为目标展品，故能够在展品识别过程中，筛选出与当前展品匹配度最大，且匹配度大于预设阈值的展品模型，并基于此确定出目标展品以及识别结果，故有利于进一步提升识别目标展品的准确性。
11.其中，展品模型所属展品包含若干关键部位，展品模型在关键部位对应的模型位置上标记有关键部位的讲解信息。
12.因此，展品模型所属展品包含若干关键部位，且展品模型在关键部位对应的模型位置上标记有关键部位的讲解信息，从而后续能够直接根据标记有讲解信息的模型位置来检测拍摄画面中的关键部位，并直接从展品模型获取关键部位的讲解信息，即检测关键部位和获取讲解信息均能够基于展品模型实现，有利于提升展品导览的效率。
13.其中，目标展品有多个关键部位，方法还包括：响应于存在未被检测到的关键部位，输出第一提示；其中，第一提示用于提示调整移动终端的拍摄位姿，以拍摄到未被检测到的关键部位。
14.因此，目标展品有多个关键部位，并响应于存在未被检测到的关键部位，输出第一提示，且第一提示用于提示调整移动终端的拍摄位姿，以拍摄到未被检测到的关键部位，故能够在目标照片有多个关键部位且尚存在未被检测到关键部位的情况下，通过输出第一提示对用户进行提示，以尽可能地使用户在参观目标展品的过程中了解到目标展品所有的关键部位，有利于提升展品导览的交互体验。
15.其中，在输出第一提示之前，方法还包括：获取未被检测到的关键部位在目标展品上的第一位置，并获取移动终端的当前位姿；基于第一位置和当前位姿进行分析，得到移动终端需要调整的拍摄位姿。
16.因此，在输出第一提示之前，先获取未被检测到的关键部位在目标展品上的第一位置，并获取移动终端的当前位姿，以及基于第一位置和当前位姿进行分析，得到移动终端需要调整的拍摄位姿，故在展品导览过程中，能够在存在未被检测到的关键部位的情况下，通过结合未被检测到的关键部位在目标展品上的第一位置和移动终端的当前位姿，确定出移动终端需要调整的拍摄位姿，故能够提升拍摄位姿的准确性。
17.其中，方法还包括：响应于用户调整移动终端至新的拍摄位姿且在移动终端新的拍摄画面中识别到目标展品，显示在新的拍摄位姿下的ar指示标识。
18.因此，响应于用户调整移动终端至新的拍摄位姿且在移动终端新的拍摄画面中识别到目标展品，显示在新的拍摄位姿下的ar指示标识，从而能够在用户调整拍摄位姿之后，能够支持ar指示标识跟随显示，进而能够有利于提升展品导览的交互体验。
19.其中，方法还包括：响应于展馆中存在与目标展品相关的关联展品，输出第二提示；其中，第二提示用于提示用户参观关联展品。
20.因此，响应于展馆中存在与目标展品相关的关联展品，输出第二提示，且第二提示用于提示用户参观关联展品，也就是说，展馆中存在与用户当前参观的目标展品相关的关联展品时，通过输出第二提示来提示用户参观关联展品，从而能够尽可能地满足用户对感兴趣展品的导览需求，进而能够提升展品导览的交互体验。
21.其中，在输出第二提示之后，方法还包括：响应于接收到用户关于参观关联展品的确认指令，获取关联展品在展馆中的第二位置，并获取移动终端的当前位姿；基于第二位置
和当前位姿，在移动终端的当前画面显示ar导航标识。
22.因此，在输出第二提示之后，响应于接收到用户关于参观关联展品的确认指令，获取关联展品在展馆中的第二位置，并获取移动终端的当前位姿，从而基于第二位置和当前位姿，在移动终端的当前画面显示ar导航标识，故在用户确定参观关联展品之后，能够结合关联展品在展馆中的第二位置和移动终端的当前位姿，通过在移动终端的当前画面显示ar导航标识对用户进行导航，有利于提升展品导览的交互体验。
23.本技术第二方面提供了一种展品导览装置，包括：检测模块、标识模块和交互模块，检测模块，用于响应于在移动终端的拍摄画面中识别到目标展品，对拍摄画面进行检测，得到拍摄画面中目标展品的关键部位的图像位置；其中，目标展品为预先设有讲解数据的展品，且讲解数据包括目标展品各个关键部位的讲解信息；标识模块，用于在图像位置处，显示ar指示标识；交互模块，用于响应于用户触发ar指示标识，输出关键部位的讲解信息。
24.本技术第三方面提供了一种移动终端，包括摄像头、显示屏、存储器和处理器，摄像头、显示屏、存储器分别耦接至处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的展品导览方法。
25.本技术第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的展品导览方法。
26.上述方案，响应于在移动终端的拍摄画面中识别到目标展品，对拍摄画面进行检测，得到拍摄画面中目标展品的关键部位的图像位置，且目标展品为预先设有讲解数据的展品，讲解数据包括目标展品各个关键部位的讲解信息，基于此在图像位置处显示ar指示标识，并响应于用户触发ar指示标识，输出关键部位的讲解信息，故在展品导览过程中，用户能够通过移动终端拍摄展品进行识别，并在识别为目标展品的情况下，通过目标展品的关键部位在拍摄画面中图像位置上显示ar指示标识来与用户进行交互互动，从而能够通过互动触发讲解的交互形式实现展品导览，并提升讲解效率，进而能够提升导览体验。
附图说明
27.图1是本技术展品导览方法一实施例的流程示意图；
28.图2a是本技术展品导览方法一实施例的效果示意图；
29.图2b是本技术展品导览方法另一实施例的效果示意图；
30.图2c是本技术展品导览方法又一实施例的效果示意图；
31.图2d是本技术展品导览方法又一实施例的效果示意图；
32.图3a是本技术展品导览方法又一实施例的效果示意图；
33.图3b是本技术展品导览方法又一实施例的效果示意图；
34.图4是本技术展品导览装置一实施例的框架示意图；
35.图5是本技术移动终端一实施例的框架示意图；
36.图6是本技术计算机可读存储介质一实施例的框架示意图。
具体实施方式
37.下面结合说明书附图，对本技术实施例的方案进行详细说明。
38.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
39.本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
40.请参阅图1，图1是本技术展品导览方法一实施例的流程示意图。
41.具体而言，可以包括如下步骤：
42.步骤s11：响应于在移动终端的拍摄画面中识别到目标展品，对拍摄画面进行检测，得到拍摄画面中目标展品的关键部位的图像位置。
43.本公开实施例中，目标展品为预先设有讲解数据的展品，且讲解数据包括目标展品各个关键部位的讲解信息。
44.在一个实施场景中，展馆中各个展品均可以预先设有讲解数据，即展馆中各个展品均可以为目标展品；或者，展馆中仅部分展品可以预先设有讲解数据，即展馆中仅部分展品可以为目标展品，示例性地，可以选取展馆中存世较为稀少的，或独有的，或独具特色的展品，作为目标展品，并为这些目标展品预先设置讲解数据。
45.在一个实施场景中，目标展品的关键部位可以为至少一个，即目标展品可以有一个关键部位，也可以有两个关键部位，或者也可以有三个或三个以上的关键部位，在此不做限定。示例性地，以目标展品是瓷瓶为例，其关键部位可以包括但不限于：瓶口、瓶颈、圈足、螭耳等，在此不做限定。其他情况可以以此类推，在此不再一一举例。
46.在一个实施场景中，关键部位的讲解信息可以包括但不限于：文本信息、图像信息、音频信息、视频信息等，在此不做限定。当然，也可以是上述多种信息的组合。示例性地，可以预先录制目标展品所属领域的专家、学者或研究人员对该目标展品的各个关键部位的讲解视频，以作为各个关键部位的讲解信息，或者，也可以将讲解视频浓缩为文本信息作为讲解信息，或者仅提取讲解视频中音频信息作为讲解信息，在此不做限定。
47.在一个实施场景中，为了便于从移动终端的拍摄画面中识别出是否存在目标展品，可以预先从各个角度拍摄目标展品，得到多张图像，并将多张图像进行组合，形成目标展品的图像集。示例性地，可以从正视、侧视(如左视、右视)、俯视等多个视角分别对目标展品进行拍摄，在此不做限定。此外，为了尽可能地降低后续识别干扰，在拍摄时可以尽可能地排除其他物体出现在拍摄镜头内，或在拍摄完毕后可以剔除图像中目标展品以外的物体。在此基础上，在对拍摄画面进行识别时，仅需将拍摄画面分别与各个目标展品的图像集进行比对，得到各个目标展品的比对得分，且若最大比对得分大于预设阈值，则可以确定拍摄画面中存在目标展品，且拍摄画面中的目标展品可以确定为最大比对得分所对应的目标展品。具体而言，可以先检测出拍摄画面中当前展品的图像区域，基于此，可以对于每个目标展品的图像集而言，可以获取图像集内各个图像分别与前述图像区域的相似度，并将图像集内各个图像分别对应的相似度进行统计(如，求和、取平均、加权等)，得到目标展品的比对得分。
48.在一个具体的实施场景中，为了提升检测当前展品在拍摄画面中图像区域的精度和效率，可以预先训练一个目标检测网络，用于检测当前展品的图像区域，在此基础上，可
以利用目标检测网络对拍摄画面进行检测，得到拍摄画面中目标展品的图像区域。示例性地，目标检测网络可以包括但不限于卷积神经网络等，在此不做限定。在目标检测网络的训练过程中，可以预先收集若干展品的样本图像，且标注有展品在样本图像中的样本区域。在此基础上，可以利用目标检测网络对样本图像进行检测，得到展品在样本图像的预测区域，并基于样本图像与预测区域之间的差异，调整目标检测网络的网络参数。需要说明的是，差异的具体度量方式可以参阅诸如交叉熵等损失函数，参数的具体调整方式可以参阅诸如梯度下降等优化方式，在此不再赘述。
49.在一个具体的实施场景中，为了提升度量相似度的精度和效率，可以预先训练一个特征提取网络，用于提取图像特征，在此基础上，可以利用特征提取网络提取前述图像区域的第一特征，并利用特征提取网络分别提取图像集内各个图像的第二特征，以及基于第一特征、第二特征之间的相似性(如，余弦相似性)，得到图像集内各个图像分别与前述图像区域的相似度。示例性地，特征提取网络可以包括但不限于卷积层等，在此对特征提取网络的网络结构不做限定。在特征提取网络的训练过程中，可以预先收集若干展品的样本图像，并利用特征提取网络分别提取样本图像的样本特征，以及对于每个样本图像而言，可以将属于相同展品的样本图像作为正例图像，将属于不同展品的样本图像作为负例图像，从而可以基于样本图像的样本特征与其正例图像的样本特征之间的差异、样本图像的样本特征与其负例图像的样本特征之间的差异，得到特征提取网络的损失值。在此基础上，即可基于损失值，调整特征提取网络的网络参数。需要说明的是，差异的具体度量方式可以参阅诸如三元组损失等损失函数，参数的具体调整方式可以参阅诸如梯度下降等优化方式，在此不再赘述。
50.在一个具体的实施场景中，目标展品的图像集内不仅可以包含分别从不同角度对目标展品拍摄到的图像，还可以包含目标展品各个关键部位的图像。则在拍摄画面中识别到目标展品的情况下，可以将拍摄画面中当前展品的图像区域分别与目标展品各个关键部位的图像进行特征点匹配，得到关键部位的匹配度和关键部位在拍摄画面的图像位置。在此基础上，可以筛选匹配度大于预设阈值的关键部位，并确定拍摄画面中存在上述筛选得到的关键部位。需要说明的是，上述特征点匹配可以包括但不限于：orb(即oriented fast and rotated brief)、sift(scale invariant feature transform，尺度不变特征转换)等，在此不做限定。
51.在一个实施场景中，为了提升识别目标展品的准确性，区别于前述预先收集各个目标展品的图像集，还可以预先构建各个目标展品的展品模型。在此基础上，可以将拍摄画面分别与各个目标展品的展品模型进行匹配，得到匹配结果，且匹配结果包括拍摄画面中当前展品分别与各个展品模型的匹配度，从而可以基于匹配结果进行分析，得到拍摄画面的识别结果，且识别结果包括当前展品是否为目标展品。上述方式，能够通过模型匹配的方式识别拍摄画面中是否存在目标展品，进而能够有利于提升展品识别的准确性。
52.在一个具体的实施场景中，可以从不同角度对目标展品进行拍摄，得到一系列包含视觉运动信息的二维图像，并基于sfm(即structure from motion)等方式对上述二维图像进行三维重建，得到目标展品的展品模型。三维重建的具体过程，可以参阅诸如sfm等三维重建方式的技术细节，在此不再赘述。此外，本公开实施例中展品模型可以经模型渲染等操作，从而使得展品模型具有目标展品的纹理、色彩等特征。示例性地，仍以目标展品“瓷
瓶”为例，最终生成的展品模型不仅具有目标展品“瓷瓶”的外形特征，还具有其纹理特征，如“瓷瓶”表面粗细不等的线条等，也具有色彩特征，如“瓷瓶”表面各种釉彩等，在此不做限定。
53.在一个具体的实施场景中，如前所述，可以先检测出拍摄画面中当前展品的图像区域，再基于该图像区域分别与各个目标展品的展品模型进行匹配。图像区域的具体检测方式，可以参阅前述相关描述，在此不再赘述。在此基础上，对于每个目标展品的展品模型而言，可以与上述图像区域进行匹配，得到目标展品的展品模型与当前展品的匹配度。具体而言，可以基于图像区域中像素点的二维坐标、深度值、移动终端的相机位姿以及相机内参等，将像素点投影至三维空间，得到投影点，并获取由投影点组成的点云数据，从而可以比对点云数据分别与各目标展品的展品模型之间的匹配度。需要说明的是，上述相机位姿可以基于slam(simultaneous localization and mapping，即同步定位与建图)等视觉定位方式确定，具体可以参阅slam等视觉定位方式的技术细节，在此不再赘述。
54.在一个具体的实施场景中，区别于前述先检测当前展品的图像区域再将其与展品模型进行匹配，也可以先在拍摄画面提取特征点，再基于提取到的特征点分别与各个展品模型进行匹配。需要说明的是，特征点可以包括但不限于：结构特征点、纹理特征点等，在此不做限定。关于提取特征点的具体过程，可以参阅诸如orb(oriented fast and rotated brief)、surf(speeded-up robust features)等特征点检测的技术细节，在此不再赘述。
55.在一个具体的实施场景中，在得到各个目标展品的展品模型分别与当前展品之间的匹配度之后，可以获取其中最大的匹配度，并检测最大匹配度是否大于预设阈值，若是则可以将最大匹配度对应的展品模型所属展品作为目标展品，并确定识别结果包括当前展品为目标展品。也就是说，在最大匹配度大于预设阈值情况下，可以直接将最大匹配度对应的展品模型所属展品，确定为拍摄画面中所出现的当前展品。反之，则可以认为拍摄画面中不存在目标展品。需要说明的是，预设阈值具体可以根据实际应用需要进行设置。例如，在对目标展品识别要求精度较高的情况下，可以将预设阈值设置地稍微大一些，而在对目标展品的识别精度要求相对宽松的情况下，可以将预设阈值设置地适当小一些，在此不做限定。上述方式，能够在展品识别过程中，筛选出与当前展品匹配度最大，且匹配度大于预设阈值的展品模型，并基于此确定出目标展品以及识别结果，故有利于进一步提升识别目标展品的准确性。
56.在一个具体的实施场景中，展品模型所属展品包含若干关键部位，且展品模型在关键部位对应的模型位置上可以标记有关键部位的讲解信息。仍以展品是“瓷瓶”为例，关键部位可以包括但不限于：瓶口、瓶颈、圈足、螭耳等。在此基础上，可以在“瓷瓶”的展品模型上对应于关键部位“瓶口”的模型位置处标记“瓶口”的讲解信息，并在对应于关键部位“瓶颈”的模型位置处标记“瓶颈”的讲解信息，并在对应于关键部位“圈足”的模型位置处标记“圈足”的讲解信息，以及在对应于关键部位“螭耳”的模型位置处标记“螭耳”的讲解信息。其他情况可以以此类推，在此不再一一举例。
57.在一个具体的实施场景中，在拍摄画面中识别到目标展品的情况下，可以从目标展品的展品模型中提取关键部位的图像，可以将拍摄画面中当前展品的图像区域分别与目标展品的各个关键部位的图像进行特征点匹配，得到关键部位的匹配度和关键部位在拍摄画面的图像位置。在此基础上，可以筛选匹配度大于预设阈值的关键部位，并确定拍摄画面
中存在上述筛选得到的关键部位。
58.步骤s12：在图像位置处，显示ar指示标识。
59.具体而言，在拍摄画面中识别到目标展品，且在拍摄画面中检测到目标展品的关键部位的图像位置之后，即可在拍摄画面的各个图像位置上，显示ar指示标识。需要说明的是，ar指示标识具体可以通过具有如下形状的标识来表示，如放大镜、喇叭等，在此不做限定。
60.步骤s13：响应于用户触发ar指示标识，输出关键部位的讲解信息。
61.在一个实施场景中，ar指示标识的触发方式可以包括但不限于：单次点击、长按、连续多次点击等，在此不做限定。
62.在一个实施场景中，请结合参阅图2a和图2b，图2a是本技术展品导览方法一实施例的效果示意图，图2b是本技术展品导览方法另一实施例的效果示意图。如图2a和图2b所示，拍摄画面中存在两个目标展品的两个关键部位，其中一个是“瓶耳”，另一个是“花纹”，且这两个关键部位在拍摄画面的图像位置处分别显示有ar指示标识(如，图2a、图2b中的放大镜所示)，用户可以触发任意一个ar指示标识。如图2b所示，讲解信息可以为文本信息，则在触发“花纹”对应的ar指示标识之后，拍摄画面上可以叠加文本框，且“花纹”的讲解信息(如，图2b中“花纹为
……
，寓意
……”
)显示于文本框内；或者，讲解信息也可以为音频信息，则在触发“花纹”对应的ar指示标识之后，可以播放“花纹”的讲解信息；或者，讲解信息也可以为视频信息，则在触发“花纹”对应的ar指示标识之后，可以以悬浮窗的形式播放“花纹”的讲解信息。
63.在一个实施场景中，目标展品可以有多个关键部位，仍以目标展品“瓷瓶”为例，如图2a或图2b所示，目标展品“瓷瓶”在当前视角有2个关键部位(即“瓶耳”和“花纹”)，并请结合参阅图2c，图2c是本技术展品导览方法又一实施例的效果示意图，目标展品“瓷瓶”在背面还有1个关键部位(即有缺口的“圈足”)。其他情况可以以此类推，在此不再一一举例。在此情况下，可以响应于存在未被检测到的关键部位，输出第一提示，且第一提示用于提示调整移动终端的拍摄位姿，以拍摄到未被检测到的关键部位。上述方式，能够在目标照片有多个关键部位且尚存在未被检测到关键部位的情况下，通过输出第一提示对用户进行提示，以尽可能地使用户在参观目标展品的过程中了解到目标展品所有的关键部位，有利于提升展品导览的交互体验。
64.在一个具体的实施场景中，如前所述，可以预先拍摄目标展品各个关键部位的图像，则在通过将拍摄画面与各个关键部位的图像进行匹配，检测到拍摄画面中关键部位之后，可以将该目标展品未匹配到的关键部位作为尚未被检测到的关键部位，在此情况下，可以输出第一提示。或者，如前所述，也可以预先构建目标展品的展品模型，并在展品模型与关键部位对应的模型位置上标记该关键部位的讲解信息，则在拍摄画面与从展品模型的各个关键部位提取到的图像进行匹配，检测到拍摄画面中关键部位之后，可以将该目标展品未匹配到的关键部位作为尚未被检测到的关键部位，在此情况下，可以输出第一提示。
65.在一个具体的实施场景中，在输出第一提示之前，可以先获取未被检测到的关键部位在目标展品上的第一位置，并获取移动终端的当前位姿，从而可以基于第一位置和当前位姿进行分析，得到移动终端需要调整的拍摄位姿。在此基础上，可以基于拍摄位姿，生成第一提示，并输出第一提示。需要说明的是，未被检测到的关键部位在目标展品上的第一
位置，可以通过预先构建的展品模型确定得到，或者，在预先拍摄目标展品各个关键部位的图像，可以标记各个关键部位在目标展品上的位置，从而可以通过标记的位置，确定未被检测到的关键部位在目标展品上的第一位置。此外，移动终端的当前位姿，可以通过诸如slam等视觉定位得到，在此不做限定。在得到第一位置和当前位姿之后，即可估算出需要调整的拍摄位姿，如右旋20度、左旋30度等，在此不做限定。请结合参阅图2d，图2d是本技术展品导览方法又一实施例的效果示意图。如图2d所示，通过上述计算可以确定需要调整的拍摄位姿为右旋180度，则可以生成第一提示“请顺右手边旋转180度，拍摄背面关键部位”。上述方式，在展品导览过程中，能够在存在未被检测到的关键部位的情况下，通过结合未被检测到的关键部位在目标展品上的第一位置和移动终端的当前位姿，确定出移动终端需要调整的拍摄位姿，故能够提升拍摄位姿的准确性。
66.在一个具体的实施场景中，响应于用户调整移动终端至新的拍摄位姿且在移动终端新的拍摄画面中识别到目标展品，可以显示在新的拍摄位姿下的ar指示标识。示例性地，可以再检测新的拍摄画面中目标展品的关键部位的图像位置，再在新的拍摄画面中所检测得到的各个图像位置处分别显示ar指示标识。或者，示例性地，可以检测新的拍摄画面中未被触发部位的图像位置，并在未被触发部位的图像位置处，显示ar指示表示，且未被触发部位为已触发部位之外的关键部位，而已触发部位为用户已触发的ar指示标识所对应的关键部位。仍以图2a至图2d所示的情况为例，在用户依照第一提示顺右手边旋转180度之后，即可拍摄得到如图2c所示的画面，此时可以重复上述检测过程，并在拍摄画面中检测到关键部位“瓶耳”和关键部位“圈足”。由于用户已经触发关键部位“瓶耳”对应的ar指示标识，则可以确定未触发部位仅有“圈足”，故可以在拍摄画面中关键部位“圈足”的图像位置处显示ar指示表示(如图2c中放大镜所示)。其他情况可以以此类推，在此不再一一举例。上述方式，在用户调整拍摄位姿之后，在新的拍摄画面中不再重复检测已触发部位，从而能够减少已触发部位在位姿调整之后对用户交互的干扰，进而能够有利于提升展品导览的交互体验。
67.在一个实施场景中，展馆中可以有各种各样的展品，某些展品与用户当前参观的目标展品相关，例如，某些展品与用户当前参观的目标展品具有相同或相似的关键部位，或者，某些展品与用户当前参观的目标展品在关键部位上存在历史延续性等，则可以将这些展品作为目标展品的关联展品。在此情况下，可以响应于展馆中存在与目标展品相关的关联展品，输出第二提示，且第二提示用于提示用户参观关联展品。请结合参阅图3a，图3a是本技术展品导览方法又一实施例的效果示意图。如图3a所示，在用户与未被检测到的关键部位(如图2c中“圈足”)进行交互之后，检测到展馆c1区还存在与当前参观的目标展品相关的关联展品，此时可以生成第二提示“展馆c1区存在与当前展品相关的关联展品，是否前往参观？”，并通过弹窗形式(如，顶部弹窗)输出第二提示。当然，也可以通过其他形式(如，语音提示等)输出第二提示，在此不做限定。上述方式，展馆中存在与用户当前参观的目标展品相关的关联展品时，通过输出第二提示来提示用户参观关联展品，从而能够尽可能地满足用户对感兴趣展品的导览需求，进而能够提升展品导览的交互体验。
68.在一个具体的实施场景中，在展馆中存在多个与目标展品相关的关联展品的情况下，第二提示还可以包括分别对应于多个关联展品的选项，以供用户在需要前往参观关联展品的情况下进行选择。
69.在一个具体的实施场景中，响应于接收到用户关于参观关联展品的确认指令，可以获取关联展品在展馆中的第二位置，并获取移动终端的当前位姿。在此基础上，可以基于第二位置和当前位姿，在移动终端的当前画面显示ar导航标识。示例性地，可以预先构建展馆的三维地图，从而可以基于三维地图，获取关联展品在展馆中的第二位置。此外，可以基于slam等视觉定位得到移动终端的当前位姿。在此基础上，即可通过第二位置和当前位姿进行路径规划，并通过规划得到的导航路径以及实时定位得到的当前位姿，显示ar导航标识，直至用户导航至展馆中的关联展品处。请结合参阅图3a和图3b，图3b是本技术展品导览方法又一实施例的效果示意图。如图3a所示，在用户选择“是”的情况下，可以认为接收到用户关于参观关联展品的确认指令，此时通过上述过程，可以在当前画面显示ar导航标识(如图3b中右转箭头)，以将用户导航至关联展品。上述方式，在用户确定参观关联展品之后，能够结合关联展品在展馆中的第二位置和移动终端的当前位姿，通过在移动终端的当前画面显示ar导航标识对用户进行导航，有利于提升展品导览的交互体验。
70.上述方案，响应于在移动终端的拍摄画面中识别到目标展品，对拍摄画面进行检测，得到拍摄画面中目标展品的关键部位的图像位置，且目标展品为预先设有讲解数据的展品，讲解数据包括目标展品各个关键部位的讲解信息，基于此在图像位置处显示ar指示标识，并响应于用户触发ar指示标识，输出关键部位的讲解信息，故在展品导览过程中，用户能够通过移动终端拍摄展品进行识别，并在识别为目标展品的情况下，通过目标展品的关键部位在拍摄画面中图像位置上显示ar指示标识来与用户进行交互互动，从而能够通过互动触发讲解的交互形式实现展品导览，并提升讲解效率，进而能够提升导览体验。
71.请参阅图4，图4是本技术展品导览装置40一实施例的框架示意图。展品导览装置40包括：检测模块41、标识模块42和交互模块43，检测模块41，用于响应于在移动终端的拍摄画面中识别到目标展品，对拍摄画面进行检测，得到拍摄画面中目标展品的关键部位的图像位置；其中，目标展品为预先设有讲解数据的展品，且讲解数据包括目标展品各个关键部位的讲解信息；标识模块42，用于在图像位置处，显示ar指示标识；交互模块43，用于响应于用户触发ar指示标识，输出关键部位的讲解信息。
72.上述方案，响应于在移动终端的拍摄画面中识别到目标展品，对拍摄画面进行检测，得到拍摄画面中目标展品的关键部位的图像位置，且目标展品为预先设有讲解数据的展品，讲解数据包括目标展品各个关键部位的讲解信息，基于此在图像位置处显示ar指示标识，并响应于用户触发ar指示标识，输出关键部位的讲解信息，故在展品导览过程中，用户能够通过移动终端拍摄展品进行识别，并在识别为目标展品的情况下，通过目标展品的关键部位在拍摄画面中图像位置上显示ar指示标识来与用户进行交互互动，从而能够通过互动触发讲解的交互形式实现展品导览，并提升讲解效率，进而能够提升导览体验。
73.在一些公开实施例中，展品导览装置40还包括匹配模块，用于将拍摄画面分别与各个展品模型进行匹配，得到匹配结果；其中，匹配结果包括：拍摄画面中当前展品分别与各个展品模型的匹配度；展品导览装置40还包括结果分析模块，用于基于匹配结果进行分析，得到拍摄画面的识别结果；其中，识别结果包括：当前展品是否为目标展品。
74.因此，将拍摄画面分别与各个展品模型进行匹配，得到匹配结果，且匹配结果包括拍摄画面中当前展品分别与各个展品模型的匹配度，再基于匹配结果进行分析，得到拍摄画面的识别结果，且识别结果包括当前展品是否为目标展品，从而能够通过模型匹配的方
式识别拍摄画面中是否存在目标展品，进而能够有利于提升展品识别的准确性。
75.在一些公开实施例中，分析模块包括选择子模块，用于响应于最大匹配度高于预设阈值，将最大匹配度对应的展品模型所属展品作为目标展品，分析模块包括确定子模块，用于确定识别结果包括当前展品为目标展品。
76.因此，在最大匹配度大于预设阈值的情况下，将最大匹配度对应的展品模型所属展品作为目标展品，并确定识别结果包括当前展品为目标展品，故能够在展品识别过程中，筛选出与当前展品匹配度最大，且匹配度大于预设阈值的展品模型，并基于此确定出目标展品以及识别结果，故有利于进一步提升识别目标展品的准确性。
77.在一些公开实施例中，展品模型所属展品包含若干关键部位，展品模型在关键部位对应的模型位置上标记有关键部位的讲解信息。
78.因此，展品模型所属展品包含若干关键部位，且展品模型在关键部位对应的模型位置上标记有关键部位的讲解信息，从而后续能够直接根据标记有讲解信息的模型位置来检测拍摄画面中的关键部位，并直接从展品模型获取关键部位的讲解信息，即检测关键部位和获取讲解信息均能够基于展品模型实现，有利于提升展品导览的效率。
79.在一些公开实施例中，目标展品有多个关键部位，展品导览装置40还包括第一提示模块，用于响应于存在未被检测到的关键部位，输出第一提示；其中，第一提示用于提示调整移动终端的拍摄位姿，以拍摄到未被检测到的关键部位。
80.因此，目标展品有多个关键部位，并响应于存在未被检测到的关键部位，输出第一提示，且第一提示用于提示调整移动终端的拍摄位姿，以拍摄到未被检测到的关键部位，故能够在目标照片有多个关键部位且尚存在未被检测到关键部位的情况下，通过输出第一提示对用户进行提示，以尽可能地使用户在参观目标展品的过程中了解到目标展品所有的关键部位，有利于提升展品导览的交互体验。
81.在一些公开实施例中，展品导览装置40还包括第一获取模块，用于获取未被检测到的关键部位在目标展品上的第一位置，并获取移动终端的当前位姿；展品导览装置40还包括位姿分析模块，用于基于第一位置和当前位姿进行分析，得到移动终端需要调整的拍摄位姿。
82.因此，在输出第一提示之前，先获取未被检测到的关键部位在目标展品上的第一位置，并获取移动终端的当前位姿，以及基于第一位置和当前位姿进行分析，得到移动终端需要调整的拍摄位姿，故在展品导览过程中，能够在存在未被检测到的关键部位的情况下，通过结合未被检测到的关键部位在目标展品上的第一位置和移动终端的当前位姿，确定出移动终端需要调整的拍摄位姿，故能够提升拍摄位姿的准确性。
83.在一些公开实施例中，标识模块42还用于响应于用户调整移动终端至新的拍摄位姿且在移动终端新的拍摄画面中识别到目标展品，显示在新的拍摄位姿下的ar指示标识。
84.因此，响应于用户调整移动终端至新的拍摄位姿且在移动终端新的拍摄画面中识别到目标展品，显示在新的拍摄位姿下的ar指示标识，从而能够在用户调整拍摄位姿之后，能够支持ar指示标识跟随显示，进而能够有利于提升展品导览的交互体验。
85.在一些公开实施例中，展品导览装置40还包括第二提示模块，用于响应于展馆中存在与目标展品相关的关联展品，输出第二提示；其中，第二提示用于提示用户参观关联展品。
86.因此，响应于展馆中存在与目标展品相关的关联展品，输出第二提示，且第二提示用于提示用户参观关联展品，也就是说，展馆中存在与用户当前参观的目标展品相关的关联展品时，通过输出第二提示来提示用户参观关联展品，从而能够尽可能地满足用户对感兴趣展品的导览需求，进而能够提升展品导览的交互体验。
87.在一些公开实施例中，展品导览装置40还包括第二获取模块，用于响应于接收到用户关于参观关联展品的确认指令，获取关联展品在展馆中的第二位置，并获取移动终端的当前位姿；展品导览装置40还包括导航模块，用于基于第二位置和当前位姿，在移动终端的当前画面显示ar导航标识。
88.因此，在输出第二提示之后，响应于接收到用户关于参观关联展品的确认指令，获取关联展品在展馆中的第二位置，并获取移动终端的当前位姿，从而基于第二位置和当前位姿，在移动终端的当前画面显示ar导航标识，故在用户确定参观关联展品之后，能够结合关联展品在展馆中的第二位置和移动终端的当前位姿，通过在移动终端的当前画面显示ar导航标识对用户进行导航，有利于提升展品导览的交互体验。
89.请参阅图5，图5是本技术移动终端50一实施例的框架示意图。移动终端50包括摄像头51、显示屏52、存储器53和处理器54，摄像头51、显示屏52、存储器53分别耦接至处理器54，处理器54用于执行存储器53中存储的程序指令，以实现上述任一展品导览方法实施例中的步骤。具体地，移动终端50可以包括但不限于：手机、平板电脑、智能眼镜等，在此不做限定。
90.具体而言，处理器54用于控制其自身以及摄像头51、显示屏52、存储器53以实现上述任一展品导览方法实施例的步骤。处理器54还可以称为cpu(central processing unit，中央处理单元)。处理器54可能是一种集成电路芯片，具有信号的处理能力。处理器54还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器54可以由集成电路芯片共同实现。
91.上述方案，在展品导览过程中，用户能够通过移动终端拍摄展品进行识别，并在识别为目标展品的情况下，通过目标展品的关键部位在拍摄画面中图像位置上显示ar指示标识来与用户进行交互互动，从而能够通过互动触发讲解的交互形式实现展品导览，并提升讲解效率，进而能够提升导览体验。
92.请参阅图6，图6为本技术计算机可读存储介质60一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令601，程序指令601用于实现上述任一展品导览方法实施例的步骤。
93.上述方案，在展品导览过程中，用户能够通过移动终端拍摄展品进行识别，并在识别为目标展品的情况下，通过目标展品的关键部位在拍摄画面中图像位置上显示ar指示标识来与用户进行交互互动，从而能够通过互动触发讲解的交互形式实现展品导览，并提升讲解效率，进而能够提升导览体验。
94.在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划
分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
95.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
96.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
97.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
98.本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的ar效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、slam、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。
99.可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。