一种确定和呈现目标标记信息的方法与设备与流程

1.本技术涉及通信领域，尤其涉及一种用于确定和呈现目标标记信息的技术。


背景技术：

2.增强现实(augmented reality，ar)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。ar增强现实技术是促使真实世界信息和虚拟世界信息之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，将虚拟信息内容叠加在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。在增强现实过程中，通常需要对特定位置或者特定目标等进行标记从而使用户更容易获取交互内容等。


技术实现要素：

3.本技术的一个目的是提供一种确定并呈现目标标记信息的方法与设备。
4.根据本技术的一个方面，提供了一种确定目标标记信息的方法，应用于第一用户设备，该方法包括：
5.通过摄像装置拍摄关于当前场景的初始场景图像，根据所述初始场景图像对所述当前场景进行三维跟踪初始化；
6.通过所述摄像装置拍摄关于所述当前场景的实时场景图像，通过三维跟踪获取所述摄像装置的实时位姿信息及所述当前场景对应的3d点云信息，获取用户在所述当前场景的实时场景图像中输入的标记信息及所述标记信息对应的目标图像位置；
7.根据所述实时位姿信息及所述目标图像位置确定对应的目标空间位置，根据所述目标空间位置及所述标记信息生成对应的目标标记信息，其中，所述目标标记信息用于在所述3d点云信息的目标空间位置叠加呈现所述标记信息。
8.根据本技术的另一个方面，提供了一种呈现目标标记信息的方法，应用于第二用户设备该方法包括：
9.获取与当前场景相匹配的目标场景信息，其中，所述目标场景信息包括对应的目标标记信息，所述目标标记信息包括对应标记信息及目标空间位置；
10.通过所述摄像装置拍摄关于所述当前场景的当前场景图像；
11.根据所述摄像装置的当前位姿信息及所述目标空间位置确定对应的目标图像位置，在所述当前场景图像的目标图像位置叠加呈现所述标记信息。
12.根据本技术的一个方面，提供了一种确定并呈现目标标记信息的方法，该方法包括：
13.第一用户设备通过摄像装置拍摄关于当前场景的初始场景图像，根据所述初始场
景图像对所述当前场景进行三维跟踪初始化；
14.所述第一用户设备通过所述摄像装置拍摄关于所述当前场景的实时场景图像，通过三维跟踪获取所述摄像装置的实时位姿信息及所述当前场景对应的3d点云信息，获取用户在所述当前场景的实时场景图像中输入的标记信息及所述标记信息对应的目标图像位置；
15.所述第一用户设备根据所述实时位姿信息及所述目标图像位置确定对应的目标空间位置，根据所述目标空间位置及所述标记信息生成对应的目标标记信息，其中，所述目标标记信息用于在所述3d点云信息的目标空间位置叠加呈现所述标记信息；
16.所述第二用户设备获取与所述当前场景相匹配的所述目标场景信息，其中，所述目标场景信息包括对应的目标标记信息，所述目标标记信息包括对应标记信息及目标空间位置；
17.所述第二用户设备通过所述摄像装置拍摄关于所述当前场景的当前场景图像；
18.所述第二用户设备根据所述摄像装置的当前位姿信息及所述目标空间位置确定对应的目标图像位置，在所述当前场景图像的目标图像位置叠加呈现所述标记信息。
19.根据本技术的一个方面，提供了一种确定目标标记信息的第一用户设备，其中，该设备包括：
20.一一模块，用于通过摄像装置拍摄关于当前场景的初始场景图像，根据所述初始场景图像对所述当前场景进行三维跟踪初始化；
21.一二模块，用于通过所述摄像装置拍摄关于所述当前场景的实时场景图像，通过三维跟踪获取所述摄像装置的实时位姿信息及所述当前场景对应的3d点云信息，获取用户在所述当前场景的实时场景图像中输入的标记信息及所述标记信息对应的目标图像位置；
22.一三模块，用于根据所述实时位姿信息及所述目标图像位置确定对应的目标空间位置，根据所述目标空间位置及所述标记信息生成对应的目标标记信息，其中，所述目标标记信息用于在所述3d点云信息的目标空间位置叠加呈现所述标记信息。
23.根据本技术的另一个方面，提供了一种呈现目标标记信息的第二用户设备，其中，该设备包括：
24.二一模块，用于获取与当前场景相匹配的目标场景信息，其中，所述目标场景信息包括对应的目标标记信息，所述目标标记信息包括对应标记信息及目标空间位置；
25.二二模块，用于通过所述摄像装置拍摄关于所述当前场景的当前场景图像；
26.二三模块，用于根据所述摄像装置的当前位姿信息及所述目标空间位置确定对应的目标图像位置，在所述当前场景图像的目标图像位置叠加呈现所述标记信息。
27.根据本技术的一个方面，提供了一种计算机设备，其中，该设备包括：
28.处理器；以及
29.被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上任一所述方法的步骤。
30.根据本技术的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令在被执行时使得系统进行执行如上任一所述方法的步骤。
31.根据本技术的一个方面，提供了一种计算机程序产品，包括计算机程序/指令，其
特征在于，该计算机程序/指令被处理器执行时实现如上任一所述方法的步骤。
32.与现有技术相比，本技术通过对当前场景进行三维跟踪获取当前场景对应的3d点云信息和摄像装置的实时位姿，用于确定用户在当前场景的实时场景图像中输入的标记信息对应的空间位置，能够方便用户对场景中目标对象进行编辑从而提供相关交互信息，另外，还有利于多个用户的场景协作等，提升了用户的使用体验。
附图说明
33.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
34.图1示出根据本技术一个实施例的一种确定目标标记信息的方法流程图；
35.图2示出根据本技术另一个实施例的一种呈现目标标记信息的方法流程图；
36.图3示出根据本技术一个实施例的一种确定并呈现目标标记信息的系统方法流程图；
37.图4示出根据本技术一个实施例的第一用户设备的功能模块；
38.图5示出根据本技术一个实施例的第二用户设备的功能模块；
39.图6示出可被用于实施本技术中所述的各个实施例的示例性系统。
40.附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
41.下面结合附图对本技术作进一步详细描述。
42.在本技术一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(central processing unit，cpu))、输入/输出接口、网络接口和内存。
43.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(random access memory，ram)和/或非易失性内存等形式，如只读存储器(read only memory，rom)或闪存(flash memory)。内存是计算机可读介质的示例。
44.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(phase
‑
change memory，pcm)、可编程随机存取存储器(programmable random access memory，pram)、静态随机存取存储器(static random
‑
access memory，sram)、动态随机存取存储器(dynamic random access memory，dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(electrically
‑
erasable programmable read
‑
only memory，eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(compact disc read
‑
only memory，cd
‑
rom)、数字多功能光盘(digital versatile disc,dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
45.本技术所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑、智能眼镜等，
所述移动电子产品可以采用任意操作系统，如android操作系统、ios操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程逻辑器件(programmable logic device，pld)、现场可编程门阵列(field programmable gate array，fpga)、数字信号处理器(digital signal processor，dsp)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(cloud computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、vpn网络、无线自组织网络(ad hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
46.当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本技术，也应包含在本技术保护范围以内，并在此以引用方式包含于此。
47.在本技术的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
48.图1示出了根据本技术一个方面的一种确定目标标记信息的方法，应用于第一用户设备，其中，该方法包括步骤s101、步骤s102以及步骤s103。在步骤s101中，通过摄像装置拍摄关于当前场景的初始场景图像，根据所述初始场景图像对所述当前场景进行三维跟踪初始化；在步骤s102中，通过所述摄像装置拍摄关于所述当前场景的实时场景图像，通过三维跟踪获取所述摄像装置的实时位姿信息及所述当前场景对应的3d点云信息，获取用户在所述当前场景的实时场景图像中输入的标记信息及所述标记信息对应的目标图像位置；在步骤s103中，根据所述实时位姿信息及所述目标图像位置确定对应的目标空间位置，根据所述目标空间位置及所述标记信息生成对应的目标标记信息，其中，所述目标标记信息用于在所述3d点云信息的目标空间位置叠加呈现所述标记信息。在此，所述第一用户设备包括但不限于带有摄像装置的人机交互设备，具体如个人电脑、智能手机、平板电脑、投影仪、智能眼镜或者智能头盔等，其中，第一用户设备可以是本身含有摄像装置，也可以是外接摄像装置。在一些情形下，第一用户设备还包括显示装置(如显示屏、投影仪等)，用于在呈现的实时场景图像中叠加显示对应标记信息等。
49.具体而言，在步骤s101中，通过摄像装置拍摄关于当前场景的初始场景图像，根据所述初始场景图像对所述当前场景进行三维跟踪初始化。例如，用户持有第一用户设备，通过第一用户设备的摄像装置采集关于当前场景的初始场景图像，该初始场景图像的数量可以是一个或多个。第一用户设备可以基于该一个或多个初始场景图像对当前场景进行三维跟踪初始化，如slam(simultaneous localization and mapping，同步定位与建图)初始化等。具体地初始化方法包括但不限于双帧初始化、单帧初始化、2d识别初始化、3d模型初始化等。其中，第一用户设备可以在本地完成三维跟踪初始化，也可以是将采集的初始场景图像上传到其他设备(如网络服务器端)由其他设备进行三维跟踪初始化，在此不做限定。通过进行三维跟踪初始化能够获取摄像装置的初始位姿信息，在一些情形下，除获取初始位姿外，还可以获取当前场景对应的初始地图点信息。在一些实施例中，在完成slam初始化后，第一用户设备可以向用户呈现初始化完成的提示信息，以提醒用户添加标记信息(如ar
标记信息)等。所述初始化的方法包括但不限于：通过识别所述当前场景中预设的2d标识物完成初始化；单帧初始化；双帧初始化；3d模型初始化等。具体示例如下：
50.1)通过2d识别slam初始化；
51.在当前场景的对应位置上放置2d识别图，将2d识别图提取2d特征并保存为文件，形成2d特征库。第一用户设备通过摄像装置获取放置有2d识别图的图像后，提取图像特征并与存储的特征库进行匹配识别，确定摄像装置相对于当前场景的位姿，将识别算法得到的信息(摄像装置位姿)发送给slam算法，完成跟踪的初始化。
52.2)单帧初始化
53.单帧初始化在图像传感器(即摄像装置)获取到一个近似平面场景的条件下，利用单应性矩阵得到对应的旋转和平移矩阵，从而初始化地图点和摄像装置的姿态。
54.3)双帧初始化
55.选取两个特征点数目大于一定阈值的两个连续帧进行匹配，匹配点数大于一定阈值视为匹配成功，然后计算两帧之间的单应性矩阵homography matrix和基本矩阵(fundamental matrix)，根据情况选择使用单应性矩阵或者基本矩阵恢复位姿rt(两个图像帧的相对位姿)，将初始化成功的第一帧(拍摄的第一帧)作为世界坐标系，得到第一帧到第二帧的相对位姿，然后通过三角化得到深度，计算得到地图点。更新关键帧之间的关系进而执行ba(bundle adjustment)优化，以优化地图点。最后将地图点的深度归一化后，添加初始化关键帧和当前关键帧到地图中，完成初始化。
56.4)3d模型初始化
57.首先需要获取跟踪目标的3d模型，利用3d模型来获取3d边缘特征，然后获取跟踪目标的初始位姿。在应用界面渲染初始位姿下的3d边缘特征，拍摄含跟踪目标的视频，读取视频的图像帧，用户通过3d模型边缘特征对准场景中的目标，进行跟踪匹配，跟踪到目标后，获得当前的位姿和特征点信息，传给slam算法进行初始化。
58.当然，本领域技术人员应能理解上述三维跟踪初始化方法仅为举例，其他现有的或今后可能出现的三维跟踪初始化方法如可适用于本技术，也应包含在本技术保护范围以内，并在此以引用方式包含于此。
59.在步骤s102中，通过所述摄像装置拍摄关于所述当前场景的实时场景图像，通过三维跟踪获取所述摄像装置的实时位姿信息及所述当前场景对应的3d点云信息，获取用户在所述当前场景的实时场景图像中输入的标记信息及所述标记信息对应的目标图像位置。例如，第一用户设备在进行三维跟踪初始化后，继续通过摄像装置扫描当前场景得到对应的实时场景图像，通过三维跟踪算法的跟踪线程、局部建图线程等对该实时场景图像进行处理，获取摄像装置的实时位姿信息及当前场景对应的3d点云信息，其中，该3d点云信息可以根据后续的实时场景图像信息进行更新。其中，3d点云信息包括3d点，例如，3d点云信息包括通过图像匹配和深度信息获取后确定的3d地图点，又例如，所述3d点云信息包括透过3d扫瞄仪所取得之资料型式，该扫描资料以点的型式记录，每一个点包含有三维坐标，有些可能含有色彩资讯(r,g,b)或物体反射面强度。在一些实施方式中，所述3d点云信息除了包含对应的3d地图点，还包括但不限于：点云信息对应的关键帧、点云信息对应的共视图信息、点云信息对应的生长树信息等。其中，实时位姿信息包括摄像装置在空间中的实时位置和姿态，通过实时位姿信息可以进行图像位置与空间位置的转换等，如，位姿信息包括该摄
像装置相对于当前场景的世界坐标系的外参，又如，位姿信息包括该摄像装置相对于当前场景的世界坐标系的外参以及摄像装置的相机坐标系与图像/像素坐标系的内参，在此不做限定。第一用户设备可以获取用户在实时场景图像中的相关操作，如触摸、点击、语音、手势或者头部动作等确定的目标点位的选中操作。第一用户设备基于用户在实时场景图像中的选中操作可以确定目标点位的目标图像位置，该目标图像位置用于表征目标点位在实时场景图像对应的像素/图像坐标系中的二维坐标信息等。第一用户设备还可以获取用户输入的标记信息，该标记信息包括用户输入的人机交互内容，用于叠加至目标图像位置在当前场景对应的空间位置等。例如，用户在第一用户设备上选择一标记信息，如3d箭头，然后点击显示屏幕中显示的实时场景图像中的某一位置，该点击位置为目标图像位置，然后该3d箭头叠加显示在实时场景中。
60.在一些实施方式中，所述标记信息包括但不限于：标识信息；文件信息；表单信息；应用调用信息；实时传感信息。例如，标记信息可以包括箭头、画笔
‑
在屏幕上随意涂鸦、圆圈、几何形状等标识信息。还如，标记信息还可以包括对应多媒体文件信息，如图片、视频、3d模型、pdf文件、office文档等各类文件等。又如，标记信息还可以包括表单信息，例如在对应目标图像位置生成表单，供用户查看或输入内容等。还如，标记信息还可以包括应用调用信息，用于执行应用的相关指令等，如打开应用、调用应用具体的功能
‑
如拨打电话、打开链接等。还如，标记信息还可以包括实时传感信息，用于连接传感装置(如传感器等)并获取目标对象的传感数据。在一些实施例中，标记信息包括以下任一项：标记标识，如标记的图标、名称等；标记内容，如pdf文件的内容、标记的颜色、尺寸等；标记类型，如文件信息、应用调用信息等。当然，本领域技术人员应能理解上述标记信息仅为举例，其他现有的或今后可能出现的标记信息如可适用于本技术，也应包含在本技术保护范围以内，并在此以引用方式包含于此。
61.在一些实施方式中，所述应用调用信息用于调用当前设备中已安装的第一目标应用。例如，第一用户设备当前已安装多个应用，该应用调用信息用于调用第一用户设备当前已安装的应用之一，例如启动对应应用后并执行相关快捷指令，如启动电话应用，并发起向张xx的通话等。当然，该标记信息当前呈现于第一用户设备，则该应用调用信息用于调用第一用户设备中的应用，若该标记信息呈现于其他用户设备(如第二用户设备等)，则该应用调用信息用于调用对应第二用户设备中的应用，如启动第二用户设备的电话应用，并发起向张xx的通话。在一些情形下，对应第二用户设备中若未安装该应用调用信息对应的应用，则该应用调用信息用于提示用户安装对应应用并在安装完成后进行调用等。
62.在一些实施方式中，所述应用调用信息用于调用对应第三用户设备中已安装的第二目标应用，其中，所述第三用户设备与所述第一用户设备之间存在通信连接。例如，第三用户设备处于当前场景中，且第三用户设备与第一用户设备之间通过有线、无线或者网络设备等进行通信连接。基于对应通信连接，第一用户设备可以向第三用户设备发送应用调用信息对应的指令，从而第三用户设备调用相关应用执行对应操作等。具体地，如第一用户设备为增强现实眼镜，第三用户设备为当前场景中工作台上的操作设备，第三用户设备上安装有对工件进行操作的操作应用，第一用户设备可以基于用户的操作在实时场景图像中添加标记信息，该标记信息是关于第三用户设备的操作应用对应的应用调用信息，后续若获取到相关用户关于该应用调用信息的触发操作，则第三用户设备调用对应操作应用对工
件进行加工等。在一些实施例中，用户设备(如第一用户设备或者第二用户设备等)获取用户在场景图像中关于呈现的标记信息的触发操作时，将对应应用调用信息对应的指令发送至第三用户设备，从而第三用户设备调用相关的应用执行相关操作或者指令等。其中，所述触发操作包括但不限于点击、触摸、手势指令、语音指令、按键、头部运动指令等。
63.在步骤s103中，根据所述实时位姿信息及所述目标图像位置确定对应的目标空间位置，根据所述目标空间位置及所述标记信息生成对应的目标标记信息，其中，所述目标标记信息用于在所述3d点云信息的目标空间位置叠加呈现所述标记信息。在一些实施例中，根据摄像装置获取的实时位姿信息，可以估计出摄像装置拍摄的实时场景图像上的二维坐标对应的空间三维坐标，从而基于目标图像位置确定对应的目标空间位置等。例如，slam初始化完成后根据实时场景图像实时计算环境中的3d点云和摄像装置位姿，用户通过点击实时场景图像添加标记信息时，算法使用当前场景中的3d点云拟合出一个世界坐标系下的平面，得到平面表达式。同时通过摄像装置光心和用户点击点在像平面的坐标构建基于通过相机坐标系的射线，然后将此射线转换到世界坐标系下，在世界坐标系下由射线表达式和平面表达式计算得到射线与平面的交点，此交点即为摄像装置拍摄的场景图像中2d点击点所对应的3d空间点，将该3d空间点对应的坐标位置确定为标记信息对应的目标空间位置，该目标空间位置用于在空间中放置对应标记信息，使得该标记信息叠加显示在摄像装置拍摄的实时场景图像中的对应位置处，在实时场景图像上渲染该标记信息。第一用户设备根据对应目标空间位置和标记信息生成对应的目标标记信息，如生成对应标签配置文件，该配置文件包含空间坐标信息及标记信息等，在一些实施例中，对应标签配置文件可以与对应的场景3d点云信息存储于同一文件，从而方便管理和存储等。当然，本领域技术人员应能理解上述根据实时位姿信息及目标图像位置确定对应的目标空间位置的方法仅为举例，其他现有的或今后可能出现的确定方法如可适用于本技术，也应包含在本技术保护范围以内，并在此以引用方式包含于此。在一些实施方式中，所述标记信息包括实时传感信息，所述实时传感信息用于指示对应传感装置的实时传感数据，所述传感装置与所述第一用户设备之间存在通信连接。例如，实时传感数据包括通过信息传感器、射频识别技术、全球定位系统、红外线感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程，所包含的声、光、热、电、力学、化学、生物、位置等各种需要的信息。其中，较为常见的传感装置包括温度传感器、湿度传感器、亮度传感器等，上述传感装置仅为举例，不作限定。对应传感装置与第一用户设备之间通过有线、无线或者网络设备等建立通信连接，从而基于该通信连接，第一用户设备可以获取传感装置的实时传感信息等，该传感装置设置于目标对象用于采集目标对象(如其他设备或者物体等)的实时传感数据，该实时传感信息可以基于当前采集的实时图像进行更新，或者，该实时传感信息可以基于预定时间间隔进行更新。例如，在实时场景图像中，第一用户设备可以呈现该场景图像中包含的一个或多个可选对象，其中，每个可选择对象已设置相应的传感装置，用户在第一用户设备上选择一实时传感信息的标记信息，如温度传感器，然后点击显示屏幕中显示的已设置温度传感器的某一可选择对象，该实时温度传感标记信息叠加显示在实时场景中的该可选择对象的位置处，后续该温度传感器的数据每隔0.5秒进行更新；又如，用户确定某一可选择对象设置的传感装置，然后用户在第一用户设备上选择该传感装置对应的实时传感信息的标记信息，点击显示屏幕中显示的该可选择对象，该选择的实时传感标记信息叠加显示在实时场
景中的该可选择对象的位置处，后续该传感器的数据根据每张实时场景图像进行更新。
64.在一些实施方式中，所述方法还包括步骤s104(未示出)，在步骤s104中，接收所述网络设备返回的、所述传感装置获取的实时传感信息；其中，所述根据所述目标空间位置及所述标记信息生成对应的目标标记信息，包括：根据所述目标空间位置及所述实时传感信息生成对应的目标标记信息，其中，所述目标标记信息用于在所述3d点云信息的目标空间位置叠加呈现所述实时传感信息。例如，第一用户设备基于用户的操作确定在实时场景图像中添加对应实时传感信息，并确定该实时传感信息对应的目标空间位置，该第一用户设备与传感装置通过网络设备建立通信连接，网络设备可以实时获取该传感装置的实时传感数据，并将该实时传感数据发送至第一用户设备。第一用户设备接收对应的实时传感数据，并在实时场景图像对应空间位置(如根据目标空间位置、实时位姿信息等实时计算对应的实时图像位置)叠加呈现该实时传感数据。
65.在一些实施方式中，所述根据所述实时位姿信息及所述目标图像位置确定对应的目标空间位置，包括：根据所述实时位姿信息将所述目标图像位置映射至空间中确定对应的3d直线；根据所述3d点云信息及所述3d直线确定目标点位对应的目标空间位置。例如，第一用户设备根据实时位姿信息及目标点位在实时场景图像中的目标图像位置先确定对应3d直线，再根据3d点云信息与该3d直线的空间位置关系，从而确定对应目标点位的目标空间位置，如根据3d直线与某平面的交点、3d直线与3d点云信息中特征点的距离等，其中，该3d直线可以是处于摄像装置相机坐标系中的直线，还可以是处于世界坐标系中的直线。例如，将目标图像位置即2d标记点(目标点位)p2d映射到摄像装置相机坐标系下的一条直线l3dc，将slam算法得到的3d点云映射到相机坐标系下，得到相机坐标系下的3d点，在一些实施例中，在相机坐标系下的3d点云中找到距离该直线l3dc垂直距离最近的点p3d’c，用p3d’c的深度值在直线l3dc上取该深度值对应的点p3dc；在另一些实施例中，根据相机坐标系下的3d点云与l3dc的距离加权平均来作为深度值，根据这个深度值，在直线l3dc上取该深度值对应的点p3dc；将点p3dc映射到世界坐标系下得到p3d，则p3d即为该2d点在3d空间中的估计，从而确定目标图像位置对应的目标空间位置。还如，将世界坐标系中slam算法获得的3d点云映射到像素坐标系下，得到多个2d点，并记录2d点与3d点云的映射关系。获取与2d标记点p2d在一定距离阈值范围内的多个2d点，记为2ds。在一些实施例中，在这些2ds点中找到与标记点p2d距离最小的点，这个2ds点对应的相机坐标系下的3d点的深度值就作为截取的深度值，在标记点p2d映射到相机坐标系下的一条直线l3dc上取该深度值对应的点，得到相机坐标系下的估计点p3dc，再转换到世界坐标系，得到目标空间位置；在一些实施例中，在这些2ds点中找到与标记点p2d距离最小的点，这个2ds点对应的世界坐标系下的3d点的深度值就作为截取的深度值，在标记点p2d映射到世界坐标系下的一条直线l3d上取该深度值对应的点，得到世界坐标系下的估计点p3d，得到目标空间位置；在另一些实施例中，根据这些2ds点与标记点p2d之间的距离确定权重，根据这些2ds点对应的相机坐标系下的3d点的深度值加权平均来确定最终深度值，加权平均就是(各点的权重*深度值)/点的个数，根据最终深度值，在标记点p2d映射到相机坐标系下的一条直线l3dc上截取估计点p3dc，再转换到世界坐标系，得到目标空间位置。在另一些实施例中，根据这些2ds点与标记点p2d之间的距离确定权重，根据这些2ds点对应的世界坐标系下的3d点的深度值加权平均来确定最终深度值，根据最终深度值，在标记点p2d映射到世界坐标系下的一条直线l3d上截取估计
点p3d，得到目标空间位置。其中，上述坐标系之间的映射利用摄像装置的位姿信息。
66.在一些实施方式中，所述3d点云信息包括多个特征点，每个特征点包含对应的深度信息；其中，所述根据所述3d点云信息及所述3d直线确定目标点位对应的目标空间位置，包括：根据所述3d点云信息中各个特征点与所述3d直线的距离，从所述3d点云信息中确定至少一个目标特征点；基于所述至少一个目标特征点的深度信息确定所述3d直线上的目标点位的深度信息，从而确定对应的目标空间位置。其中，多个特征点是指3d点云信息中的3d点。如在一些情形下，通过在当前场景的实时场景图像中输入标记信息时对应的实时位姿信息将目标图像位置即2d标记点(目标点位)p2d映射到世界坐标系下的一条直线l3d，从slam算法获得的世界坐标系下的3d点云中计算各特征点距离该直线l3d的距离，根据各特征点与该直线的距离筛选出对应的至少一个目标特征点。第一用户设备根据至少一个目标特征点的深度信息确定该目标点位的深度信息，如将至少一个目标特征点中某个目标特征点的深度信息作为目标点位的深度信息，或者通过加权平均的计算方式确定目标点位的深度信息等，根据该目标点位的深度信息确定对应的目标空间位置，如根据该目标点位的深度信息在标记点p2d映射到世界坐标系下的一条直线l3d上取该深度值对应的点，得到世界坐标系下的估计点p3d，从而得到目标空间位置。如在一些实施方式中，所述至少一个目标特征点包括与所述3d直线的距离最小的特征点。还如在一些实施方式中，所述至少一个目标特征点中每个目标特征点与所述3d直线的距离小于或等于距离阈值；其中，所述基于所述至少一个目标特征点的深度信息确定所述3d直线上的目标点位的深度信息，包括：根据所述至少一个目标特征点与所述3d直线的距离信息确定每个目标特征点的权重信息；基于所述每个目标特征点的深度信息、权重信息确定所述3d直线上的目标点位的深度信息。
67.例如，通过在当前场景的实时场景图像中输入标记信息时对应的实时位姿信息将2d标记点p2d映射到世界坐标系下的一条直线l3d，在一些实施例中，从slam算法获得的世界坐标系下的3d点云中找到距离该直线l3d垂直距离最近的点p3d’，根据该3d点p3d’的深度值在直线l3d上取该深度值对应的点作为估计点p3d，得到世界坐标系下的估计；在另一些实施例中，根据slam算法获得的世界坐标系下的3d点云与l3d的距离加权平均来作为深度值，进一步地，参与加权平均计算的3d点云，其与直线l3d的距离小于或等于距离阈值，根据这个深度值，在直线l3d上取该深度值对应的点作为估计点p3d，得到世界坐标系下的估计。其中，3d点与l3d的距离加权平均具体是(各个3d点的z值*权重系数)/点的个数，权重的大小是根据3d点到直线l3d的垂直距离，距离越小，权重越小，权重之和为1。
68.在一些实施方式中，所述方法还包括步骤s105(未示出)，在步骤s105中，基于所述目标标记信息更新目标场景信息，其中，所述目标场景信息存储于场景数据库，所述场景数据库包括一个或多个目标场景信息，每个目标场景信息包括目标标记信息及对应的3d点云。例如，所述场景数据库可以保存在第一用户设备本地，还可以保存在与第一用户设备存在通信连接的网络设备。在一些情形下，第一用户设备根据目标标记信息、3d点云信息等生成关于当前场景的目标场景信息，并基于该目标场景信息更新本地的场景数据库，或者，将该目标场景信息发送至对应网络设备以更新场景数据库等。在一些情形下，第一用户设备可以在确定完当前场景的全部目标标记信息后更新目标场景信息，或者，第一用户设备以预设时间间隔更新目标场景信息，又或者，第一用户设备基于用户的手动操作，如点击保存按钮，更新目标场景信息等。其中，目标场景信息包括此场景对应的3d点云信息，以及该3d
点云信息相关联的至少一个目标标记信息，对应目标标记信息包含对应标记信息以及目标空间位置等。在一些实施方式中，所述每个目标场景信息还包括对应的设备参数信息。其中，设备参数信息包括设备摄像装置的内参或设备的标识信息，如生成3d点云信息的用户设备摄像装置的内参或该设备的标识信息。例如，通过第一用户设备对场景进行三维跟踪确定场景的3d点云信息并确定目标标记，目标场景信息除3d点云信息和目标标记信息外，还包括第一用户设备摄像装置的内参，当除第一用户设备外的其他用户设备使用该目标场景后，进行点云初始化时需要使用第一用户设备摄像装置的内参，从而增加目标标记在其他用户设备显示装置上显示位置的准确度。在一些情形下，目标场景信息可以直接包括设备摄像装置的内参，也可以通过设备的标识信息(如id、名称等)确定设备摄像装置的内参，如设备摄像装置的内参与设备标识有对应关系。当然，在一些情形下，每个目标场景信息还包括对应的场景标识信息，如场景预览图及描述等，如用该场景的一张图片标识该场景，并在设备上呈现该场景的图片等。
69.第一用户设备存储对应目标场景信息后，可以在后续供用户进行调用或者继续采集等，如在一些实施方式中，所述方法还包括步骤s106(未示出)，在步骤s106中，将所述目标场景信息发送至对应网络设备，其中，所述目标场景信息基于第二用户设备的场景调用请求经由所述网络设备发送至所述第二用户设备，所述目标场景信息用于在所述第二用户设备采集的当前场景图像中叠加所述标记信息。例如，第二用户持有第二用户设备，通过该第二用户设备向网络设备发送至关于当前场景的场景调用请求，对应场景调用请求包括当前场景的场景标识信息，网络设备根据场景标识信息匹配确定当前场景的目标场景信息，并将该目标场景信息发送至第二用户设备。或者网络设备预先向第二用户设备下发多个目标场景信息，第二用户设备可以基于用户选择操作或者第二用户设备拍摄的当前场景图像等从多个目标场景信息中确定用户选中或自动匹配的目标场景信息，然后该目标场景信息中的第一用户设备对应用户添加的标记信息通过第二用户设备的显示装置呈现，当然，若存在其他用户在该目标场景信息中添加的其他标记信息，则同时呈现对应其他标记信息；换言之，该目标场景信息可能存在多个标记信息，每个标记信息的源用户可能不同，该多个标记信息根据最新更新结果，呈现于第二用户设备端。在一些实施例中，第二用户除了可以查看目标场景信息中包括的标记信息外，还可以对第二用户设备显示装置呈现的标记信息进行编辑操作，如新增、删除、修改、替换标记信息或者移动标记信息的位置等，在此仅为举例，不作限定。
70.在一些实施方式中，所述方法还包括步骤s107(未示出)，在步骤s107中，接收对应第二用户设备发送的关于所述目标场景信息的场景调用请求；响应于所述场景调用请求，将所述目标场景信息发送至所述第二用户设备，其中，所述目标场景信息用于在所述第二用户设备采集的当前场景图像中叠加所述标记信息。例如，第一用户设备与第二用户设备直接建立了通信连接，无需通过网络设备进行数据存储和传输等。第二用户设备向第一用户设备发送至关于当前场景的场景调用请求，对应场景调用请求包括当前场景的场景标识信息，第一用户设备根据场景标识信息匹配确定当前场景的目标场景信息，并将该目标场景信息发送至第二用户设备。或者第一用户设备预先向第二用户设备共享多个目标场景信息，第二用户设备可以基于用户选择操作或者第二用户设备拍摄的当前场景图像等从多个目标场景信息中确定用户选中或自动匹配的目标场景信息，该目标场景信息中的标记信息
通过第二用户设备的显示装置呈现。
71.在一些实施方式中，所述方法还包括步骤s108(未示出)，在步骤s108中，通过所述第一用户设备的摄像装置继续拍摄关于所述当前场景的后续场景图像，基于所述目标场景信息将所述标记信息叠加呈现于所述当前场景对应的后续场景图像。例如，对应目标场景信息除了供其他设备进行调用之外，还可以供第一用户设备继续拍摄当前场景并进行后续更新等，如第一用户设备在基于目标标记信息更新目标场景信息之后继续添加其他标记信息或编辑已有标记信息从而继续更新目标场景信息，或者第一用户设备在后续时间段重新加载目标场景信息，并基于该目标场景信息添加标记或者对已有标记进行编辑等。第一用户设备通过摄像装置继续拍摄关于当前场景的后续场景图像，并在该后续场景图像中叠加呈现已有标记信息，如根据已有标记的目标空间位置、摄像装置的实时位姿信息等实时计算后续场景图像中对应的实时图像位置进行呈现。
72.图2示出根据本技术另一个方面的一种呈现目标标记信息的方法，应用于第二用户设备，其中，该方法包括步骤s201、步骤s202以及步骤s203。在步骤s201中，获取与当前场景相匹配的目标场景信息，其中，所述目标场景信息包括对应的目标标记信息，所述目标标记信息包括对应标记信息及目标空间位置；在步骤s202中，通过所述摄像装置拍摄关于所述当前场景的当前场景图像；在步骤s203中，根据所述摄像装置的当前位姿信息及所述目标空间位置确定对应的目标图像位置，在所述当前场景图像的目标图像位置叠加呈现所述标记信息。例如，第二用户持有第二用户设备，第二用户设备可以通过向网络设备或者第一用户设备发送场景调用请求，从而通过第二用户设备下载一个或多个目标场景信息到本地。在一些情形下，第二用户设备上获取到目标场景信息后，通过第二用户设备的摄像装置扫描当前场景获取当前场景图像，并通过三维跟踪(如slam)进行点云初始化，将当前世界坐标系与目标场景信息中的3d点云信息的世界坐标系对齐，从而实现标记信息的目标空间位置与当前场景对齐，根据目标场景信息中标记信息的目标空间位置、通过三维跟踪获得的第二用户设备摄像装置的实时位姿信息等实时计算该标记信息在当前场景图像中对应的目标图像位置，该标记信息叠加显示在第二用户设备显示屏幕中的对应位置处，目标场景信息中包括的标记信息复现。第二用户设备获取与当前场景相匹配的目标场景信息，在一些情形下，可以通过第二用户手动选择获取，在另一些情形下，通过自动匹配获取，如第二用户设备通过摄像装置拍摄当前场景图像，根据该场景图像确定相匹配的目标场景信息，如通过三维跟踪的2d识别初始化(如场景中有2d识别图)确定相匹配的目标场景信息；又如通过三维跟踪的点云初始化，确定相匹配的目标场景信息。在一些情形下，上述第二用户设备获取与当前场景相匹配的目标场景信息，还可以基于第二用户设备提供的相关信息来确定，该相关信息包括但不限于：第二用户设备的位置信息，如gps位置信息、wifi射频指纹信息等、第二用户设备用户的身份信息、第二用户设备用户的权限信息，如用户的访问权限、查看编辑权限等、第二用户设备用户正在执行的任务信息等。在一些实施例中，上述获取与当前场景相匹配的目标场景信息的方法可以组合使用，如先通过第二用户设备提供的相关信息下载对应的目标场景信息或者从已下载的目标场景信息中筛选符合的目标场景信息，然后再通过手动选择或自动匹配确定相匹配的目标场景等。本领域技术人员应能理解，上述第二用户设备获取与当前场景相匹配的目标场景信息的方法仅为举例，其他现有的或今后可能出现的确定方法如可适用于本技术，也应包含在本技术保护范围以内，并在
此以引用方式包含于此。在一些实施例中，slam的点云初始化流程包括：1)判断当前场景的场景图像与一个或多个目标场景信息中的点云相似度，选择相似度最高的点云(如分别采用bow(bag of words)模型计算当前图像帧特征点与一个或多组目标场景信息中地图点云中的多个关键帧的特征点之间的匹配点数，选择匹配特征点数最多的一组)进行加载，执行slam重定位，完成初始化。其中，重定位流程如下：
73.slam系统对获取到的当前图像帧提取orb特征，采用bow(bag of words)模型计算当前图像帧特征点与地图点云中的多个关键帧之间的匹配点；匹配数量满足一定阈值被视为候选关键帧。对于每个候选关键帧通过ransac(随机采样一致性算法)和pnp估计当前帧相机位姿，然后更新估计得到的内点(内点是ransac算法中适用于估计模型的点)为地图点，进而利用图优化理论优化当前帧相机位姿，如果优化后的内点较少，则重复上述过程，对选择的多个候选关键帧的地图点进行更多的匹配，最后再次优化位姿，内点满足一定阈值时，重定位成功，从而建立与地图点云中的坐标系一致的slam坐标系(获得相机位姿)，完成初始化。
74.在此，所述目标场景信息的生成过程与前述图1中目标场景信息的生成过程相同或相似，不再赘述。
75.在一些实施方式中，所述方法还包括步骤s204(未示出)，在步骤s204中，获取对应用户关于所述目标场景信息的编辑操作，基于所述编辑操作更新所述目标场景信息。例如，编辑操作包括但不限于对目标场景信息中目标标记信息的编辑，如对标记信息的修改、添加替换和删除等，或者对于标记信息的位置的移动等。具体地，第二用户设备通过显示装置在当前场景图像上呈现目标场景信息中已添加的标记信息，标记信息复现后，第二用户可以在当前场景中进行编辑操作，具体示例如下：1)第二用户在显示装置上的当前场景图像中添加标记信息，可以调整标记信息的内容、位置、大小和角度等；
76.2)第二用户可以删除标记信息：
77.第二用户可以选中显示装置上显示的标记信息，如目标场景信息中已添加的标记信息或者第二用户新添加的标记信息，出现删除选项，进行删除。
78.3)、第二用户查看标记信息：
79.第二用户可以查看显示装置上显示的标记信息，如点击pdf标记，打开该pdf进行查看；又如查看温度传感器的实时传感信息等；
80.4)、第二用户操作标记信息
81.第二用户可以对当前场景中添加的标记信息执行相应的操作，如调用应用的快捷功能，第二用户点击该应用调用信息的标记后，可以启动该应用并调用相应的快捷功能；又如填写表单，第二用户点击该表单信息的标记后，可以填写该表单。
82.又例如，编辑操作包括对目标场景信息中的3d点云信息的更新，如通过移动第二用户设备的摄像装置，通过三维跟踪算法更新所述目标场景信息对应的3d点云信息。在一些实施例中，第二用户对目标场景的编辑操作同步到云端服务器，更新对应的场景数据库，如第二用户对目标场景的编辑操作覆盖之前的目标场景信息，又如，第二用户对目标场景的编辑操作另外保存为一个新的目标场景信息等。
83.如在一些实施方式中，所述方法还包括步骤s205(未示出)，在步骤s205中，将更新后的目标场景信息发送至网络设备以更新对应场景数据库。在一些实施方式中，所述标记
信息包括实时传感信息，所述实时传感信息用于指示对应传感装置的实时传感数据，所述传感装置与所述第二用户设备之间存在通信连接；其中，所述方法还包括步骤s207(未示出)，在步骤s207中，获取所述传感装置对应的实时传感数据；其中，所述在所述当前场景图像的目标图像位置叠加呈现所述标记信息，包括：在所述当前场景图像的目标图像位置叠加呈现所述实时传感数据。例如，实时传感数据包括通过信息传感器、射频识别技术、全球定位系统、红外线感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程，所包含的声、光、热、电、力学、化学、生物、位置等各种需要的信息。对应传感装置与第二用户设备之间通过有线、无线或者网络设备等建立通信连接，从而基于该通信连接，第二用户设备可以获取传感装置的实时传感信息等，该传感装置设置于目标对象用于采集目标对象(如其他设备或者物体等)的实时传感数据，该实时传感信息可以基于当前采集的实时图像进行更新，或者，该实时传感信息可以基于预定时间间隔进行更新。例如，在实时场景图像中，第二用户设备可以呈现该场景图像中的某个目标对象已添加的一个或多个实时传感信息的标记信息，通过实时传感信息的更新，第二用户可以查看该目标对象的实时传感信息，以了解该目标对象的设备状态。
84.在一些实施方式中，所述标记信息包括应用调用信息，所述应用调用信息用于调用当前设备中的目标应用；其中，所述方法还包括步骤s206(未示出)，在步骤s206中，获取对应用户关于所述当前场景图像中应用调用信息的触发操作，基于所述触发操作调用所述第二用户设备中的目标应用。例如，第二用户设备当前已安装多个应用，该应用调用信息用于调用第二用户设备当前已安装的应用之一，例如启动对应应用后并执行相关快捷指令，如启动电话应用，并发起向张xx的通话等。在一些情形下，对应第二用户设备中若未安装该应用调用信息对应的应用，则该应用调用信息用于提示用户安装对应应用并在安装完成后进行调用等。第三用户设备处于当前场景中，且第三用户设备与第二用户设备之间通过有线、无线或者网络设备等进行通信连接。基于对应通信连接，第二用户设备可以向第三用户设备发送应用调用信息对应的指令，从而第三用户设备调用相关应用执行对应操作等。具体地，如第二用户设备为增强现实眼镜，第三用户设备为当前场景中工作台上的操作设备，第三用户设备上安装有对工件进行操作的操作应用，第二用户设备可以查看当前实时场景中已添加的应用调用信息的标识信息，如当前在实时场景图像中呈现了关于第三用户设备的操作应用对应的应用调用信息，若获取到第二用户关于该应用调用信息的触发操作，则第三用户设备调用对应操作设备对工件进行加工等。在一些情形下，第二用户也可以在实时场景信息中添加关于第三用户设备的操作应用对用的应用调用信息的标识信息。其中，所述触发操作包括但不限于点击、触摸、手势指令、语音指令、按键、头部运动指令等。
85.图3示出根据本技术一个方面的一种确定并呈现目标标记信息的方法，其中，所述方法包括：
86.第一用户设备通过摄像装置拍摄关于当前场景的初始场景图像，根据所述初始场景图像对所述当前场景进行三维跟踪初始化；
87.所述第一用户设备通过所述摄像装置拍摄关于所述当前场景的实时场景图像，通过三维跟踪获取所述摄像装置的实时位姿信息及所述当前场景对应的3d点云信息，获取用户在所述当前场景的实时场景图像中输入的标记信息及所述标记信息对应的目标图像位置；
88.所述第一用户设备根据所述实时位姿信息及所述目标图像位置确定对应的目标空间位置，根据所述目标空间位置及所述标记信息生成对应的目标标记信息，其中，所述目标标记信息用于在所述3d点云信息的目标空间位置叠加呈现所述标记信息；
89.所述第二用户设备获取与所述当前场景相匹配的所述目标场景信息，其中，所述目标场景信息包括对应的目标标记信息，所述目标标记信息包括对应标记信息及目标空间位置；
90.所述第二用户设备通过所述摄像装置拍摄关于所述当前场景的当前场景图像；
91.所述第二用户设备根据所述摄像装置的当前位姿信息及所述目标空间位置确定对应的目标图像位置，在所述当前场景图像的目标图像位置叠加呈现所述标记信息。
92.在此，上述确定并呈现目标标记信息的过程与前述图1中确定目标标记信息和图2中呈现目标标记信息的过程相同或相似，不再赘述。
93.上文主要对本技术的一种确定并呈现目标标记信息的方法的各实施例进行介绍，此外，本技术还提供了能够实施上述各实施例的具体设备，下面我们结合图4、5进行介绍。
94.图4示出了根据本技术一个方面的一种确定目标标记信息的第一用户设备100，其中，该设备包括一一模块101、一二模块102以及一三模块103。一一模块101，用于通过摄像装置拍摄关于当前场景的初始场景图像，根据所述初始场景图像对所述当前场景进行三维跟踪初始化；一二模块102，用于通过所述摄像装置拍摄关于所述当前场景的实时场景图像，通过三维跟踪获取所述摄像装置的实时位姿信息及所述当前场景对应的3d点云信息，获取用户在所述当前场景的实时场景图像中输入的标记信息及所述标记信息对应的目标图像位置；一三模块103，用于根据所述实时位姿信息及所述目标图像位置确定对应的目标空间位置，根据所述目标空间位置及所述标记信息生成对应的目标标记信息，其中，所述目标标记信息用于在所述3d点云信息的目标空间位置叠加呈现所述标记信息。
95.在一些实施方式中，所述标记信息包括但不限于：标识信息；文件信息；表单信息；应用调用信息；实时传感信息。在一些实施方式中，所述应用调用信息用于调用当前设备中已安装的第一目标应用。在一些实施方式中，所述应用调用信息用于调用对应第三用户设备中已安装的第二目标应用，其中，所述第三用户设备与所述第一用户设备之间存在通信连接。在一些实施方式中，所述标记信息包括实时传感信息，所述实时传感信息用于指示对应传感装置的实时传感数据，所述传感装置与所述第一用户设备之间存在通信连接。
96.在此，所述图4示出的一一模块101、一二模块102以及一三模块103对应的具体实施方式与前述图1示出的步骤s101、步骤s102以及步骤s103的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
97.在一些实施方式中，所述设备还包括一四模块(未示出)，用于接收所述网络设备返回的、所述传感装置获取的实时传感信息；其中，所述根据所述目标空间位置及所述标记信息生成对应的目标标记信息，包括：根据所述目标空间位置及所述实时传感信息生成对应的目标标记信息，其中，所述目标标记信息用于在所述3d点云信息的目标空间位置叠加呈现所述实时传感信息。在一些实施方式中，所述根据所述实时位姿信息及所述目标图像位置确定对应的目标空间位置，包括：根据所述实时位姿信息将所述目标图像位置映射至空间中确定对应的3d直线；根据所述3d点云信息及所述3d直线确定目标点位对应的目标空间位置。在一些实施方式中，所述3d点云信息包括多个特征点，每个特征点包含对应的深度
信息；其中，所述根据所述3d点云信息及所述3d直线确定目标点位对应的目标空间位置，包括：根据所述3d点云信息中各个特征点与所述3d直线的距离，从所述3d点云信息中确定至少一个目标特征点；基于所述至少一个目标特征点的深度信息确定所述3d直线上的目标点位的深度信息，从而确定对应的目标空间位置。如在一些实施方式中，所述至少一个目标特征点包括与所述3d直线的距离最小的特征点。还如在一些实施方式中，所述至少一个目标特征点中每个目标特征点与所述3d直线的距离小于或等于距离阈值；其中，所述基于所述至少一个目标特征点的深度信息确定所述3d直线上的目标点位的深度信息，包括：根据所述至少一个目标特征点与所述3d直线的距离信息确定每个目标特征点的权重信息；基于所述每个目标特征点的深度信息、权重信息确定所述3d直线上的目标点位的深度信息。
98.在一些实施方式中，所述设备还包括一五模块(未示出)，用于基于所述目标标记信息更新目标场景信息，其中，所述目标场景信息存储于场景数据库，所述场景数据库包括一个或多个目标场景信息，每个目标场景信息包括目标标记信息及对应的3d点云。在一些实施方式中，所述每个目标场景信息还包括对应的设备参数信息。
99.在一些实施方式中，所述设备还包括一六模块(未示出)，用于将所述目标场景信息发送至对应网络设备，其中，所述目标场景信息基于第二用户设备的场景调用请求经由所述网络设备发送至所述第二用户设备，所述目标场景信息用于在所述第二用户设备采集的当前场景图像中叠加所述标记信息。在一些实施方式中，所述设备还包括一七模块(未示出)，用于接收对应第二用户设备发送的关于所述目标场景信息的场景调用请求；响应于所述场景调用请求，将所述目标场景信息发送至所述第二用户设备，其中，所述目标场景信息用于在所述第二用户设备采集的当前场景图像中叠加所述标记信息。在一些实施方式中，所述设备还包括一八模块(未示出)，用于通过所述第一用户设备的摄像装置继续拍摄关于所述当前场景的后续场景图像，基于所述目标场景信息将所述标记信息叠加呈现于所述当前场景对应的后续场景图像。
100.在此，所述一四模块至一八模块对应的具体实施方式与前述步骤s104至步骤s108的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
101.图5示出根据本技术另一个方面的一种呈现目标标记信息的第二用户设备200，其中，该设备包括二一模块201、二二模块202以及二三模块203。二一模块201，用于获取与当前场景相匹配的目标场景信息，其中，所述目标场景信息包括对应的目标标记信息，所述目标标记信息包括对应标记信息及目标空间位置；二二模块202，用于通过所述摄像装置拍摄关于所述当前场景的当前场景图像；二三模块203，用于根据所述摄像装置的当前位姿信息及所述目标空间位置确定对应的目标图像位置，在所述当前场景图像的目标图像位置叠加呈现所述标记信息。
102.在此，所述图5示出的二一模块201、二二模块202以及二三模块203对应的具体实施方式与前述图2示出的步骤s201、步骤s202以及步骤s203的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
103.在一些实施方式中，所述设备还包括二四模块(未示出)，用于获取对应用户关于所述目标场景信息的编辑操作，基于所述编辑操作更新所述目标场景信息。在一些实施方式中，所述设备还包括二五模块(未示出)，用于将更新后的目标场景信息发送至网络设备以更新对应场景数据库。在一些实施方式中，所述标记信息包括实时传感信息，所述实时传
感信息用于指示对应传感装置的实时传感数据，所述传感装置与所述第二用户设备之间存在通信连接；其中，所述设备还包括二七模块(未示出)，用于获取所述传感装置对应的实时传感数据；其中，所述在所述当前场景图像的目标图像位置叠加呈现所述标记信息，包括：在所述当前场景图像的目标图像位置叠加呈现所述实时传感数据。在一些实施方式中，所述标记信息包括应用调用信息，所述应用调用信息用于调用当前设备中的目标应用；其中，所述设备还包括二六模块(未示出)，用于获取对应用户关于所述当前场景图像中应用调用信息的触发操作，基于所述触发操作调用所述第二用户设备中的目标应用。
104.在此，所述二四模块至二七模块对应的具体实施方式与前述步骤s204至步骤s207的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
105.除上述各实施例介绍的方法和设备外，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
106.本技术还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
107.本技术还提供了一种计算机设备，所述计算机设备包括：
108.一个或多个处理器；
109.存储器，用于存储一个或多个计算机程序；
110.当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
111.图6示出了可被用于实施本技术中所述的各个实施例的示例性系统；
112.如图6所示在一些实施例中，系统300能够作为各所述实施例中的任意一个上述设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或nvm/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本技术中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
113.对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
114.系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
115.系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的dram。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(ddr4sdram)。
116.对于一个实施例，系统控制模块310可包括一个或多个输入/输出(i/o)控制器，以向nvm/存储设备320及(一个或多个)通信接口325提供接口。
117.例如，nvm/存储设备320可被用于存储数据和/或指令。nvm/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。
118.nvm/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，nvm/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
119.(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
120.对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。
121.在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。
122.需要注意的是，本技术可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本技术的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本技术的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本技术的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
123.另外，本技术的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本技术的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
124.通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、rf、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
125.作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(ram,dram,sram)；以及非易失性存储器，诸如闪存、各种只读存储器(rom,prom,eprom,eeprom)、磁性和铁磁/铁电存储器(mram,feram)；以及磁性和光学存储设备(硬盘、磁带、cd、dvd)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
126.在此，根据本技术的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本技术的多个实施例的方法和/或技术方案。
127.对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其他的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。