一种景区电子导览方法及装置、电子设备、存储介质与流程

技术特征：
1.一种景区电子导览方法，其特征在于，应用于云端服务器，包括：获取移动终端通过无线传输的压缩后的查询图像，所述压缩后的查询图像由所述移动终端接收处理器通过蓝牙传输的查询图像并对所述查询图像进行压缩得到，所述查询图像由所述处理器获取全景环带相机采集的全景图像并对所述全景图像进行处理得到；将所述压缩后的查询图像输入训练好的视觉定位模型中，得到数据库中与所述查询图像相似度最高的图像；将所述图像对应的语音导览信息发送至移动终端以使得音频输出模块接收移动终端发送的所述语音导览信息并进行播放，从而进行景区电子导览。2.根据权利要求1所述的方法，其特征在于，所述视觉定位模型包括：用于接收压缩后的查询图像并对所述压缩后的查询图像进行编码，得到浅层次特征图的第一主干网络；用于对所述浅层次特征图进行编码，得到包含局部特征的深层次特征图的第二主干网络，所述第二主干网络的输入端与所述第一主干网络的输出端相连接；用于根据所述浅层次特征图，得到第一局部描述子和第一关键点分数的解码器，所述解码器的输入端设置在所述第一主干网络的输出端和所述第二主干网络的输入端之间；及用于根据所述深层次特征图，得到第一全局描述子的聚合器，所述聚合器的输入端与所述第二主干网络的输出端相连接。3.根据权利要求2所述的方法，其特征在于，所述视觉定位模型还包括：用于根据所述压缩后的编码图像生成第二局部描述子和第二关键点分数以对所述局部描述子和关键点分数进行调优的局部教师模型，所述局部教师模型设置在所述第一主干网络的输入端和所述解码器的输出端之间；及用于根据所述压缩后的编码图像生成第二全局描述子以对所述第一全局描述子进行调优的全局教师模型，所述全局教师模型设置在所述第一主干网络的输入端和所述聚合器的输出端之间。4.根据权利要求3所述的方法，其特征在于，所述视觉定位模型的训练过程包括：获取待训练图像集并对所述待训练图像集进行预处理；将所述待训练图像集中的一张待训练图像输入所述第一主干网络中，得到由所述解码器输出的第一关键点分数、第一局部描述子和由所述聚合器输出的第一全局描述子；将所述待训练图像输入局部教师模型中，得到第二关键点分数和第二局部描述子；将所述待训练图像输入全局教师模型中，得到第二全局描述子；根据所述第二关键点、第二局部描述子和第二全局描述子，分别对所述第一关键点、第一局部描述子和第一全局描述子求损失函数；对所述第一关键点、第一局部描述子和第一全局描述子的损失函数进行加权求和，得到总损失函数；根据所述总损失函数，更新所述第一主干网络、第二主干网络、解码器和聚合器的参数；对其余待训练图像依次执行从将所述待训练图像集中的一张待训练图像输入所述视觉定位模型中，得到第一关键点、第一局部描述子和第一全局描述子到根据所述总损失函数，更新所述第一主干网络、第二主干网络、解码器和聚合器的参数的步骤，直至所述总损
失函数收敛。5.根据权利要求1所述的方法，其特征在于，将所述压缩后的查询图像输入训练好的视觉定位模型中，得到所述查询图像对应的语音导览信息，包括：将所述压缩后的查询图像输入训练好的视觉定位模型中，得到全局描述子和局部描述子；将所述全局描述子与数据库中所有图像的描述子进行暴力匹配，得到第一相似度；选取第一相似度最高的若干图像；计算所述查询图像与所述若干图像中每一张图像的匹配特征点间的基础矩阵；计算所述基础矩阵中的内点数量，将所述内点数量作为第二相似度；将最高的所述第二相似度对应的图像作为与所述查询图像最相似的图像；将所述图像的语音导览信息作为所述查询图像对应的语音导览信息。6.一种景区电子导览装置，其特征在于，应用于云端服务器，包括：获取模块，用于获取移动终端通过无线传输的压缩后的查询图像，所述压缩后的查询图像由所述移动终端接收处理器通过蓝牙传输的查询图像并对所述查询图像进行压缩得到，所述查询图像由所述处理器获取全景环带相机采集的全景图像并对所述全景图像进行处理得到；输入模块，用于将所述压缩后的查询图像输入训练好的视觉定位模型中，得到数据库中与所述查询图像相似度最高的图像；发送模块，用于将所述图像对应的语音导览信息发送至移动终端以使得音频输出模块接收移动终端发送的所述语音导览信息并进行播放，从而进行景区电子导览。7.根据权利要求6所述的装置，其特征在于，所述视觉定位模型包括：用于接收压缩后的查询图像并对所述压缩后的查询图像进行编码，得到浅层次特征图的第一主干网络；用于对所述浅层次特征图进行编码，得到包含局部特征的深层次特征图的第二主干网络，所述第二主干网络的输入端与所述第一主干网络的输出端相连接；用于根据所述浅层次特征图，得到第一局部描述子和第一关键点分数的解码器，所述解码器的输入端设置在所述第一主干网络的输出端和所述第二主干网络的输入端之间；及用于根据所述深层次特征图，得到第一全局描述子的聚合器，所述聚合器的输入端与所述第二主干网络的输出端相连接。8.一种景区电子导览系统，其特征在于，包括：采集处理模块，包括全景环带相机和处理器，所述全景环带相机用于采集全景图像，所述处理器用于获取所述全景图像并对所述全景图像进行处理，得到查询图像；中转显示模块，所述中转显示模块包括移动终端，所述移动终端用于接收所述处理器通过蓝牙传输的查询图像并对所述查询图像进行压缩；存储计算模块，所述存储计算模块包括云端服务器，所述云端服务器上存储有景区各景点的图像和对应的语音导览信息的数据库和训练好的视觉定位模型，用于将所述移动终端通过无线传输的压缩后的查询图像输入所述训练好的视觉定位模型，得到所述图像数据库中与所述查询图像相似度最高的图像并将所述图像对应的语音导览信息发送至移动终端；
音频输出模块，所述音频输出模块用于接收移动终端发送的所述语音导览信息并进行播放。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5任一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-5中任一项所述方法的步骤。

技术总结
本发明公开了一种景区电子导览方法及装置、电子设备、存储介质，所述方法包括：获取移动终端通过无线传输的压缩后的查询图像，所述压缩后的查询图像由所述移动终端接收处理器通过蓝牙传输的查询图像并对所述查询图像进行压缩得到，所述查询图像由所述处理器获取全景环带相机采集的全景图像并对所述全景图像进行处理得到；将所述压缩后的查询图像输入训练好的视觉定位模型中，得到数据库中与所述查询图像相似度最高的图像；将所述图像对应的语音导览信息发送至移动终端以使得音频输出模块接收移动终端发送的所述语音导览信息并进行播放，从而进行景区电子导览。本发明具有大视场，高实时性可靠性，低价便捷卫生等优点。低价便捷卫生等优点。低价便捷卫生等优点。


技术研发人员：邱翌 石泽 王东明 王泽
受保护的技术使用者：宁波利安科技股份有限公司
技术研发日：2021.12.22
技术公布日：2022/4/15