一种电子设备及其交互方法与流程

1.本技术属于手写交互技术领域，尤其涉及一种电子设备及其交互方法。


背景技术：

2.虚拟现实、增强现实以及混合现实等产业正随着5g传输技术、显示技术和交互技术的发展而逐渐崛起。比如，混合现实技术通过合并现实和虚拟世界而产生新的可视化环境，通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
3.通过数据手套等新兴的针对混合现实场景的交互技术可以较好的针对游戏娱乐场景，但是通过数据手套输入文字内容的能力较弱。而通过视觉算法采集手写笔图像进行笔尖检测的操作方式，无法准确的确定笔尖位置，因而不能对书写轨迹进行准确的还原。


技术实现要素：

4.本技术实施例提供了一种电子设备及其交互方法，可以解决现有技术中通过手写笔进行交互输入时，无法准确确定笔尖位置问题。
5.第一方面，本技术实施例提供了一种电子设备的交互方法包括：电子设备显示交互图像，所述交互图像可以为当前场景的图像，或者也可以为播放多媒体文件的图像；电子设备根据手写笔的运动信息获取手写笔的第一操作，其中所述运动信息包括手写笔的相对运动信息，所述第一操作可以包括点击操作、书写操作，或者还可以包括手写笔在腾空状态下的笔尖移动操作；电子设备在所述交互图像上显示虚拟交互界面，在所述虚拟交互界面响应所述第一操作，当所述第一操作为点击操作时，可以在所述虚拟交互界面中触发点击指令，当所述第一操作为书写操作时，可在所述虚拟交互界面中显示对应的书写轨迹或书写内容。
6.所述电子设备用于显示交互图像和虚拟交互界面，可以接收手写笔等输入设备输入的交互数据，在所显示的虚拟交互界面中响应交互数据。所述电子设备可以为头戴式显示设备，虚拟现实眼镜、增强现实眼镜或混合现实眼镜等电子设备。所述相对运动信息，可以通过陀螺仪、惯性传感器、加速度传感器等传感设备采集得到。所述电子设备通过获取手写笔的相对运动信息，可以对手写笔进行更为细致的相对位移检测，从而能够更为准确的确定手写笔的书写轨迹，对书写轨迹能够进行更为准确的还原，便于实现更为精细的交互操作。在可能的实现方式中，所述传感设备设置在手写笔的笔尖位置，通过采集笔尖位置的相对运动信息，能够更为准确的获取手写笔的书写轨迹。
7.在一种实现方式中，所述交互图像为当前场景的图像，可以通过当前场景的图像与交互图像的对应关系，确定手写笔的书写位置。可以包括：根据当前场景的图像，获取手写笔在所述当前场景中的位置，其中，手写笔在当前场景中的位置，可以通过手写笔相对于手写平面的相对位置关系来表示；根据所述手写笔在所述当前场景中的位置，确定手写笔的笔尖在所述虚拟交互界面中的手写位置，通过手写笔相对于手写平面的相对位置关系，
结合预先所设定的映射关系，可以确定笔尖在虚拟交互界面中的对应位置。
8.在确定手写笔的书写轨迹的同时，还可以通过对手写笔在当前场景中的位置进行定位，确定手写笔在当前场景中的位置，可以对处于腾空状态的手写的待书写位置进行跟踪。比如，可以通过移动虚拟图标，包括如虚拟手写笔、虚拟光标的方式，实时跟踪手写笔在虚拟交互界面中的对应位置，从而提升用户书写的便利性。
9.在确定手写笔在当前场景中的位置的实现方式中，可以包括：根据摄像头获取当前场景的图像，通过当前场景的图像直接确定手写笔在当前场景中的位置；或者，还包括获取当前场景的深度信息，结合深度信息，更为准确的获取所述手写笔在当前场景中的位置。
10.通过摄像头所采集的当前场景的图像时，可以根据预先所设定的手写笔特征，识别所述当前场景的图像中的手写笔的初始位置。比如，可以根据当前场景的图像中手写笔的笔尖位置，相对于图像中的其它参照信息的位置，确定手写笔的初始位置。其它参照信息可以为书写平面的边、顶点、书写平面中包括的文字或图案等信息。或者，在一种实现方式中，可以结合当前场景的图像，以及当前场景的深度信息，确定笔尖位置、书写平面的位置，相对于书写平面的位置，根据所确定的相对位置，得到书写笔尖在虚拟交互界面中的对应位置。
11.在一种确定手写笔在所述当前场景中的位置的实现方式中，可以包括：在当前场景的图像中检测手写笔的笔尖特征，确定手写笔的笔尖在当前场景的图像中的位置；根据当前场景的图像与深度信息的匹配关系，获得所述笔尖所匹配的深度信息；根据所述笔尖的深度信息，可以确定笔尖的空间坐标，结合所确定的手写平面的空间坐标，可以得到所述笔尖相对于手写平面的位置。
12.通过获取当前场景的图像，结合笔尖特征，可以确定笔尖在当前场景的图像中的位置。通过当前场景的图像以及当前场景的图像所对应的深度信息，可以确定当前场景的图像中的物体的深度信息，结合手写笔的笔尖的深度信息，可以确定手写笔的笔尖相对于书写平面的相对位置，根据该相对位置，即可有效的确定手写笔对应于虚拟交互界面中的书写位置。
13.在一种手写笔的笔尖特征的设置方式中，所述笔尖特征包括颜色特征、反射光特征或荧光特征中的一项或者多项。包括颜色特征和反射光特征结合、反射光特征和荧光特征相结合，或者颜色特征和荧光特征相结合，或者颜色特征、荧光特征和反射光特征相结合等。
14.通过设置手写笔的笔尖为特定颜色，可以通过颜色检测快速得到笔尖在当前场景的图像中的位置。所述笔尖的颜色可以与书写平面的颜色不同。在一种实现方式中，可以检测当前的书写平面的颜色，并根据当前书写平面的颜色，调整所述笔尖的颜色，从而便于适应不同书写平面的笔尖检测要求。或者，所述笔尖可以设置为反光材料层，通过反光材料反射光线，在当前场景的图像中检测到该反射光线的位置，确定笔尖的位置。或者，所述笔尖可以设置荧光材料层，通过检测当前场景的图像中的荧光位置，确定笔尖的位置。
15.在一种确定笔尖在虚拟交互界面中的手写位置的实现方式中，可以包括：当所述手写笔为腾空状态时，获取所述手写笔的位置，以及当前场景的书写平面的位置，确定手写笔相对于书写平面的相对位置关系；根据所述手写笔相对于书写平面的相对位置关系，结合预先确定的书写平面与虚拟交互界面的映射关系，确定所述手写笔在所述虚拟交互界面
中的位置。
16.通过预先设定书写平面与虚拟交互界面的位置关系，在手写笔处于腾空状态时，通过获取手写笔的位置，以及书写平面的位置，可以确定手写笔相对于书写平面的位置。再结合书写平面与虚拟交互界面的映射关系，即可确定手写笔在虚拟交互界面中的位置。通过在手写笔处于腾空状态时检测手写笔的位置，可以确定手写笔在腾空状态时，书写位置在虚拟交互界面中的变化，便于用户实时察了解手写笔在落笔时，对应于虚拟交互界面的书写位置。
17.在一种交互图像的生成方式中，所述交互图像通过摄像头采集得到，或者通过预定透明度的显示设备呈现，即按照所设定的透明度，允许现实场景的图像部分穿透所述显示设备，用户可以通过所述预定透明度的显示设备观看到现实场景的图像。
18.其中，通过摄像头采集得到的交互图像，可以为用户当前场景的图像。所述交互图像的图像内容，可以与用户未佩戴所述电子设备时的裸眼的视力范围对应，从而能够与虚拟交互界面混合，得到混合现实的图像。或者，所述交互图像可以通过预定透明度的显示设备中显示。所述预定透明度的显示设备可以与场景信息相关。比如，所述显示设备的透明度可以在场景光线强度增加时，透明度逐渐减小，在场景光线强度降低时，透明度逐渐增大，从而能够得到亮度更为舒适的交互图像。
19.在虚拟交互界面显示的实现方式中，可以包括在所述交互图像中的预定区域显示所述虚拟交互界面，即虚拟交互界面的显示位置是固定的，便于记录画面的通用信息，比如记录当前场景的图像所对应的感受、心情或日期等信息；或者，根据当前场景中的平面区域确定所述虚拟交互界面的位置，便于协调书写位置与书写轨迹的显示位置的统一。
20.通过在交互图像中的固定区域显示所述虚拟交互界面，可以更为灵活的选择交互图像，比如可以在没有可书写的平面的交互图像中显示所述虚拟交互界面，并且用户可以在交互图像之外的区域进行书写，在交互图像中显示所书写的信息。此时，可以通过摄像头等传感器采集手写笔的位置信息。
21.通过当前场景中的平面区域确定所述虚拟交互界面的位置时，可以在手写笔的位置显示书写信息，可以使得书写位置与显示内容的对应关系，更符合用户的使用习惯，提高用户使用的便利性。
22.在根据当前场景中的平面区域确定虚拟交互界面的位置时，可以包括：根据预设的平面区域要求，对当前场景中的平面区域进行筛选；根据筛选后的平面区域的形状和/或位置，确定所述虚拟交互界面的形状和/或位置。其中，所述预设要求可以包括平面区域尺寸范围、平面区域的朝向或平面区域距离摄像头的距离中的一项或者多项。
23.比如，通过预先设定平面区域的尺寸范围，可以筛选尺寸较小的平面区域，可以自动选择尺寸较大或符合尺寸范围要求的平面区域，从而便于用户书写。通过平面区域朝向要求，可以选择平面朝向为向上，或者朝向用户的平面区域，以提高用户书写的便利性。通过平面区域与摄像头之间的距离的筛选，可以将距离较远、不便于用户书写的平面区域筛除，得到更便于用户书写的平面区域。
24.在对平面进行筛选的实现方式中，当满足所述平面区域要求的平面区域包括多个时，所述方法还包括：根据预先确定的手写笔的较佳书写位置，在多个平面区域中选择与所述较佳书写位置更匹配的平面区域。
25.其中，根据所确定的较佳书写位置选择平面区域时，可以包括：分别获取多个待选的平面区域与所述较佳书写位置的距离；选择距离较近的平面区域。
26.或者，获取所述较佳书写位置对应的较佳书写区域；分别获取多个待选的平面区域与所述较佳书写区域的相交区域；选择相交区域的面积较大的待选的平面区域。
27.所述较佳书写位置可以由用户设定，或者也可以根据用户的书写习惯对较佳书写位置进行统计分析得到，即对用户的书写图像进行分析，确定用户书写次数较多的位置，将所确定的位置作为较佳书写位置。
28.在确定书写平面与较佳书写位置的距离时，可以为书写平面的边与较佳书写位置的最近距离，或者也可以为书写平面的中心与较佳书写位置的距离。所述较佳书写区域的大小，可以由用户指定，也可以根据用户的书写习惯，自动的统计得到所述较佳书写范围。
29.在一种实现方式中，所述方法还包括：在所述虚拟交互界面中显示编辑按键；在所述虚拟交互界面响应所述书写信息包括：当检测到手写笔在所述编辑按键的对应位置的点击操作时，响应所述编辑按键的对应功能。
30.通过在所述虚拟交互界面中显示虚拟按键，通过手写笔点击虚拟按键，实虚拟按键对应的功能。比如，虚拟按键可以包括画笔形状、画笔功能等按键，通过点击按键，实现书写笔所画的图像的编辑，或者对当前场景的图像所生成的信息或图像进行编辑。
31.在虚拟交互界面中显示虚拟按键的实现方式中，还可以包括保存和/或向其它用户发送所编辑后的图像或文字内容；或者，选择所述虚拟交互界面的文字内容，向网络发送搜索所选择的文字内容的请求；接收并在所述虚拟交互界面显示所述请求对应的结果。
32.通过触发虚拟按键，可以将交互图像与虚拟交互界面的图像保存，可以通过网络将实时保存的图像传送至其它用户。或者，所述电子设备还可以实时采集音频信息，将音频信息与保存的图像实时传送给其它用户，从而可以实现便捷的在线教学讲解。
33.通过选择虚拟交互界面的文字内容，由虚拟按键触发搜索请求，并接收和显示请求对应的结果，可以便于用户与网络实时互动。所述虚拟交互界面的文字内容，可以为电子设备自动识别的现实场景中的文字媒体的内容，从而便于对实现场景进行更为便捷的查询。或者，所述虚拟交互界面的文字内容也可以多媒体图像中包括的文字内容等。
34.在一种对电子设备的书写精度进行校准的实现方式中，所述方法包括通过视觉感知模块获取笔尖在执行绘制时的图像，根据执行绘制时的图像生成第一轨迹；通过相对运动感知单元获取所述笔尖在执行所述绘制时的相对位移信息，根据所述相对位移信息生成第二轨迹；比较所述第一轨迹与第二轨迹的差异，根据所述差异对所述相对运动信息进行校准。
35.通过视觉感知模块生成第一轨迹，通过相对运动信息生成第二轨迹，通过比较第一轨迹与第二轨迹的不同之处，对相对运动信息进行校准，比如对相对位移信息获取的传感设备进行调整，从而可以提升相对运动的精度。通过视觉感知模块获取第一轨迹时，可以通过建立三维场景模型，根据手写笔在交互图像中的位置，以及交互图像的深度信息的方式，确定手写笔的笔尖在三维场景模型中的位置，从而得到更为准确的第一轨迹。
36.第二方面，本技术实施例提供了一种电子设备，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的电子设备的交互方法。
37.第三方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的电子设备的交互方法。
38.第二方面所述的电子设备、第三方面所述的可读存储介质，与第一方面所述的电子设备的交互方法对应。
附图说明
39.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本技术实施例提供的一种电子设备结构的示意框图；
41.图2是本技术实施例提供的一种电子设备的使用状态示意图；
42.图3是本技术实施例提供的一种虚拟交互界面的显示示意图；
43.图4是本技术实施例提供的又一虚拟交互界面的显示示意图；
44.图5是本技术实施例提供的一种根据较佳书写位置确定虚拟交互界面的示意图；
45.图6是本技术实施例提供的又一根据较佳书写位置确定虚拟交互界面的示意图；
46.图7是本技术实施例提供的一种头戴式显示设备的布局示意图；
47.图8是本技术实施例提供的一种虚拟交互界面示意图；
48.图9是本技术实施例提供的一种电子设备的交互方法的实现流程示意图；
49.图10是本技术实施例提供的一种主体设备的图像采集示意图；
50.图11是本技术实施例提供的一种深度信息计算示意图；
51.图12是本技术实施例提供的一种当前场景图像的检测示意图；
52.图13是本技术实施例提供的一种笔尖位置确定示意图；
53.图14是本技术实施例提供的一种视觉感知设备拍摄图像的示意图；
54.图15是本技术实施例提供的一种虚拟交互界面示意图；
55.图16是本技术实施例提供的一种设备校准示意图；
56.图17是本技术实施例提供的一种电子设备用于签名的画面示意图；
57.图18是本技术实施例提供的一种电子设备用于直播的画面示意图；
58.图19是本技术实施例提供的一种电子设备进行书写的画面示意图；
59.图20是本技术实施例提供的一种电子设备的交互装置示意图。
具体实施方式
60.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
61.以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一
个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本技术实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a、b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
62.本技术实施例提供的电子设备的交互方法可以应用于增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、手机、平板电脑、可穿戴设备、车载设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)等设备上，本技术实施例对电子设备的具体类型不作任何限制。
63.例如，所述电子设备可以是wlan中的站点(staion，st)，可以是蜂窝电话、无绳电话、会话启动协议(session initiationprotocol，sip)电话、无线本地环路(wireless local loop，wll)站、个人数字处理(personal digital assistant，pda)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、车联网终端、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备、无线调制解调器卡、电视机顶盒(set top box，stb)、用户驻地设备(customer premise equipment，cpe)和/或用于在无线系统上进行通信的其它设备以及下一代通信系统，例如，5g网络中的移动终端或者未来演进的公共陆地移动网络(public land mobile network，plmn)网络中的移动终端等。
64.作为示例而非限定，当所述电子设备为可穿戴设备时，该可穿戴设备还可以是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，如智能手表、头戴式显示设备或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。
65.在一种实现方式中，所述电子设备包括主体设备和手写笔。图1示出的是与本技术实施例提供的电子设备的部分结构的示意框图。参考图1，所述电子设备包括作为主体设备的头戴式显示设备1以及与主体设备可建立连接的手写笔2。其中，所述头戴式显示设备1包括第一通信单元110、视觉感知模块120、深度传感单元130、显示单元140、第一计算处理单元150、第一存储单元160和第一供电单元180，所述手写笔2包括第二通信单元210、相对运动传感单元220、第二计算处理单元230、第二存储单元240和第二供电单元250。本领域技术人员可以理解，图1中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
66.下面结合图1对电子设备的各个构成部件进行具体的介绍：
67.所述第一通信单元110可与第二通信单元210通信。或者，所述第一通信单元110、第二通信单元210可以采用短距离通信电路，包括但不限于蓝牙通信电路、红外通信电路、wifi通信电路等。所述第一通信单元110可与第二通信单元210建立连接链路。所述第一通信单元110或第二通信单元210也可以与其它电子设备建立通信连接。比如，所述第一通信
单元110、第二通信单元210可以与智能手机、电脑等设备建立通信链路，将头戴式显示设备1或手写笔2所采集或处理后的数据发送至其它电子设备，或者通过该链路，由头戴式显示设备1或手写笔2接收其它电子设备所发送的数据。
68.比如，在图2所示的电子设备的使用状态示意图中，用户可以通过佩戴的方式，将所述头戴式显示设备1固定在用户的头部，所述头戴式显示设备1可以通过摄像头采集图像的方式，并将采集的当前场景的图像实时显示在头戴式显示设备中的显示屏。比如，可以将采集的图像分为第一图像和第二图像，分别在头戴式显示设备中的第一显示屏和第二显示屏中显示，使得用户可以通过所述头戴式显示设备观看到当前场景中的真实图像。
69.或者，所述头戴式显示设备的显示屏可以为预定透明度的屏幕，比如为半透明结构的显示屏。用户通过该显示屏中透过的光线，可实时查看到当前场景中的画面。
70.与此同时，所述头戴式显示设备中的显示屏中还可以显示虚拟画面，所述虚拟画面可以包括虚拟交互界面。比如，所述虚拟交互界面中可以显示图2所示的用户所持有的手写笔所书写的笔迹。或者，所述虚拟交互界面中可以显示对当前场景中的文字媒介进行文字识别的得到文字内容。或者，所述虚拟交互界面还可以包括用户打开的应用程序界面，对所书写的文字、图像的编辑处理等画面内容。
71.所述头戴式显示设备1中设置有第一通信单元110，所述手写笔2中设置有第二通信单元210。第一通信单元110和第二通信单元210可以通过蓝牙建立链路连接。
72.所述手写笔1中设置有用于检测相对运动的传感设备，可以采集手写笔的相对位移数据。所述相对位移数据可以包括手写笔的笔尖相对于上一检测时刻的位置，手写笔的笔尖在当前检测时刻所移动的距离和移动的方向，将所采集的相对位移数据通过所述链路发送给头戴式显示设备。即用户在使用所述手写笔书写文字、绘画或其它编辑处理动作时，如果检测到手写笔为写状态，则根据预先设定的每两个相邻检测时刻的时间间隔进行检测，获得每个检测时刻相对于上一检测时刻的相对位移数据，即获得当前检测时刻相对于上一检测时刻的相对位移距离和相对位移的方向。根据所述相对位移数据，结合上一检测时刻的笔尖位置，即可确定当前检测时刻的笔尖位置。在确定了每个检测时刻的笔尖位置后，即可得到用户通过手写笔书写时的笔尖轨迹。
73.在一种实现方式中，所述手写笔2还可以通过压力传感器检测手写笔是否为写状态或腾空状态，并将所检测的手写笔状态信息通过所述链路发送给头戴式显示设备，或者也可以由手写笔根据所述手写笔状态信息采集手写笔相对于手写平面的相对位移数据。
74.所述视觉感知模块120可以为可见光摄像头。通过所述摄像头可以拍摄外部环境信息生成视频流信号，为当前场景制图(mapping)、手写笔定位(localization)、手势、手写笔笔势等动作识别提供数据。在一种实现方式中，可以设置多个摄像头，在不同的视场角度采集场景中的图像，为当前场景制图提供多目立体视觉。其中，当前场景制图可以包括绘制当前场景中包括的物体、物体的图像、物体的大小、物体在当前场景中的位置、物体与用户之间的距离等信息中的一项或者多项。
75.在一种实现方式中，所述主体设备包括第一摄像头1201和第二摄像头1202，其中，第一摄像头可以为可见光摄像头，第二摄像头可以为可见光摄像头或红外摄像头。通过第一摄像头和第二摄像头采集的图像，结合第一摄像头与第二摄像头的相机参数，包括摄像头内部参数和摄像头外部参数，确定所述图像中的物体的深度信息。根据所确定的图像中
的物体的深度信息，即可在当前场景制图时，用于确定物体在当前场景的图像中的位置，或者确定物体与用户之间的距离等。
76.在一种实现方式中，所述头戴式显示设备1还可以包括补光单元180。所述补光单元180可以提供可见光补光。当所述第二摄像头为红外摄像头时，所述补光单元180还可以提供红外补光。通过红外补光，配合红外摄像头进行图像采集，在不影响环境观感的前提下，可有效的提升笔尖视觉定位精度和鲁棒性。
77.所述深度传感单元130用于检测当前场景中的物体与头戴显示设备1之间的距离。所述深度传感单元可以包括两个或两个以上的摄像头。或者，所述深度传感单元130可以包括飞行时间测距的摄像头、结构光测距系统、雷达、超声波传感器等测距单元中的一项或多项。
78.通过所述深度传感单元130所检测到的物体的深度信息，结合摄像头所采集的图像，可以对当前场景进行3d建模，对当前场景中的平面进行检测，完成对场景的即时定位与地图构建slam(simultaneous localization and mapping)等。
79.当所述深度传感单元130为两个摄像头时，根据两个摄像头所拍摄的图像，结合两个摄像头参数信息，确定图像中的物体的深度信息。
80.当所述深度传感单元130为单个摄像头时，可以通过向物体发射光束，记录光束的发射时间。并且，当摄像头拍摄到物体反射的光束时，记录光束的接收时间，根据发射时间和接收时间之间的时间差，结合光的传播速度，即可计算得到物体与摄像头之间距离。
81.所述显示单元140可用于显示交互图像，所述交互图像可以为摄像头所拍摄的视频图像，或者还可以包括虚拟交互界面。或者所述显示单元140为预定透明度的显示设备。所述预定透明度可以为半透明显示设备，用户可通过所述显示设备看到当前场景，并且在所述半透明显示设备上叠加显示虚拟交互界面。所述预定透明度还可以根据当前场景的亮度而自动改变。比如，当前场景的亮度增加时，可以降低所述显示设备的透明度，当前场景的亮度降低时，可以增加所述显示设备的透明度，从而使得用户通过所述显示单元查看亮度适宜的交互图像。
82.如图3所示为本技术实施例提供的虚拟交互界面的显示示意图。如图3所示的一种实现方式中，可以在交互图像，比如当前场景图像301上，叠加显示所述虚拟交互界面302。所述虚拟交互界面302，可以为显示交互内容的区域，比如显示手写笔的轨迹和显示手写笔对应的光标的区域。在可能的实现方式中，所述虚拟交互界面还可以包括虚拟图像信息。比如，所述虚拟图像信息可以包括文字编辑界面，所述文字编辑界面中可以包括根据场景图像中所包括的文字图像所识别的文字内容，以及可以用于对所述文字内容进行编辑的虚拟按键等。用户可以使用手写笔在所述虚拟交互界面中进行绘图、签名、文字输入或者对内容进行编辑等处理。
83.所述虚拟交互界面的显示位置，可以为场景图像中的预定位置。比如，可以如图3所示，在预先设定的场景图像中的右下角位置预定区域，叠加显示所述虚拟交互界面。当然，所述虚拟交互界面可以根据场景图像中所检测到的平面信息来确定。
84.如图4所示，可以根据预先设定的平面区域要求，判断当前场景中的平面区域是否满足预定平面区域要求。当前场景中有平面区域满足预定平面区域要求，则可以直接根据当前场景中的平面区域生成对应的虚拟交互界面。比如图4中检测到当前场景的图像中的
桌面303满足预定平面区域要求，则可以根据当前场景的图像中的桌面的位置，确定所述虚拟交互界面的位置。或者，还可以根据所述桌面的形状，确定所述虚拟交互的形状。
85.所预先设定的平面区域要求可以包括平面尺寸范围、平面朝向、平面距离摄像头或用户的距离等限定条件中的一个或者多个。所述平面大小可以包括所设定的平面最小尺寸的要求。所述平面朝向可以包括朝向向上或朝向用户等，或者，所述平面朝向可以包括平面的倾斜角度范围。比如，所述倾斜角度范围可以包括由水平角度变化至与水平面垂直的角度的范围。为了便于用户在场景图像中的平面通过手写笔进行交互，所述平面距离摄像头或用户的距离可以小于先设定的距离值。比如，所述限定条件可以包括平面大小、平面朝向和平面距离摄像头的距离，通过平面大小筛选、平面朝向筛选和平面与摄像头之间的距离相结合，筛选得到较佳的平面。
86.在一种实现场景中，如图5所示，当场景中包括多个平面，且多个平面区域均符合虚拟交互界面的要求。则可以根据预先确定的手写笔的较佳书写位置，来选择多个平面中的较佳平面作为虚拟交互界面。可以根据平面与较佳书写位置的距离进行选择。当平面距离较佳书写位置越近，则优先选择。比如图4中包括符合预先设定的虚拟交互界面的要求的平面区域a和平面区域b，平面区域a距离预先设定的较佳书写位置n较近，选择平面区域a作为虚拟交互界面。
87.可能的实现方式，如图6所示，所述较佳书写位置也可以为预先设定的较佳书写区域。根据所述较佳书写区域确定虚拟交互界面时。可以先根据虚拟交互界面的要求确定多个待选平面，然后将多个待选平面分别与所述较佳书写区域计算相交区域的面积，选择相交面积最大的待选平面作为所述虚拟交互界面。比如，图6中检测得到当前场景中包括平面区域c和平面区域d，平面区域c与平面区域d与较佳书写区域m计算相交面积，选择相交面积较大的平面d作为所述虚拟交互界面。
88.其中，所述手写笔的较佳书写位置，可以通过接收用户指定的方式来确定，或者，也可以根据人体生理结构的特点，在用户的手臂和手肘处于预定角度时，用户所握持的手写笔的笔尖所在位置，确定为所述较佳书写位置。比如，可以通过摄像头采集用户握持手写笔的状态，并检测到手臂和手肘处于预定角度时，记录该时刻的笔尖位置，作为所述手写笔的较佳书写位置。所述较佳书写区域可以通过所述较佳书写位置来确定。比如，所述较佳书写区域可以为较佳书写位置为中心的矩形区域、椭圆区域或其它形状的区域等。
89.当所述电子设备包括头戴式显示设备时，如图7所示头戴式显示设备的布局示意图中，所述显示单元可以包括第一显示单元211和第二显示单元212，可用于分别显示所构建的3d场景的视频或者包括虚拟交互界面的图像，用户通过佩戴所述头戴式显示设备，可观看所生成的3d场景图像。可在所述显示单元和第二显示单元的中部设置视觉感知单元22和深度传感单元23，或者还包括补光单元24等。
90.通过显示设备可以在当前场景的交互图像上显示虚拟交互界面，可以在虚拟交互界面上显示用户输入的数据。
91.在一种实现方式中，用户可以通过手写笔在场景中的任意平面进行书写，手写笔通过相对运动传感单元检测到手写笔的笔尖的相对位移数据，确定笔尖的书写轨迹，根据所述书写轨迹确定用户的书写数据，包括绘画轨迹、文字内容或虚拟按键操作等。在图3所示的显示固定位置的虚拟交互界面显示所述书写数据，或者响应用户的虚拟按键操作，比
如响应虚拟按键的删除操作。
92.在一种实现方式中，当手写笔为腾空状态时，可以通过摄像头检测并追踪手写笔的笔尖的标识特征，确定手写笔的笔尖位置。通过检测和追踪手写笔在腾空时的笔尖位置，可以确定笔尖在写状态时初始位置。如图4所示，所述虚拟交互界面与场景中的物体的平面在当前场景的图像，即交互图像中的位置相同。通过检测手写笔在写状态时的初始位置，结合笔尖的相对运动信息，可以在虚拟交互界面的对应位置显示对应的书写轨迹，从而使得用户通过头戴式显示设备，在书写位置查看到书写轨迹，从而能够更好的与用户平时的书写习惯相符，提升用户手写笔的书写体验。或者根据写状态的初始位置，接收手写笔在该位置对应的功能按键上触发的点击操作等。
93.其中，用户使用手写笔在场景中的物体平面中书写的信息，可以包括文字、图像、编辑指令等。
94.比如，用户在物体平面书写文字时，可以记录用户书写的轨迹，并识别所述轨迹对应的文字，可以在所述虚拟交互界面中显示所识别出的文字。
95.或者，所述虚拟交互界面中包括文字以及对文字进行编辑的按键，用户可以通过手写笔触发虚拟交互界面中的按键，实现对应文字进行编辑处理，并可通过虚拟交互界面显示编辑处理的响应信息。图8所示的虚拟交互界面示意图中，用户通过“批注”按键801，对虚拟交互界面中包括的文字添加批注802。在通过“批注”按键对所述虚拟交互界面中的文字进行批注处理时，用户可以使用手写笔移动至待批注位置，在待批注位置点击，使编辑光标在所述待批注位置保持为闪烁状态。移动手写笔至批注按键801对应位置，可以通过点击等触发方式，触发所述批注按键对应的批注指令，在所述光标位置生成批注802。可以在批注处于激活状态时，在批注框中显示用户添加的批注内容。
96.或者，所述虚拟交互界面可以用于显示用户对当前场景中的文件所输入的签名数据，或者对当前场景中的文字的复制、粘贴、剪切等操作。在可能的实现方式中，还可以对当前场景中的文字媒介，比如书本、纸张所对应的文字图像进行文字识别，得到文本图像对应的文本内容。对所述文本内容进行编辑后，并将编辑后的文本保存，比如保存对文本的修改，或者保存对文本的批注或者签名等。
97.所述第一处理单元150可用于对采集的视频图像、所接收的传感信息进行处理，包括获取当前场景中物体的深度信息，根据物体的深度信息和当前场景的图像，结合相机参数进行slam同步定位和建图，根据图像中的手写笔或指尖的特征信息，确定笔尖或指尖的绝对位置。
98.或者，所述第一处理单元150或第二处理单元230用于根据手写笔所采集的笔尖相对位移数据，根据所述绝对位置和所述相对位移数据，确定手写笔的笔尖的准确位置，从而准确的计算得到手写笔书写的轨迹所对应的数据。
99.所述第一处理单元150还可以包括对当前场景中的文字媒介，比如书本或纸张中的文字进行文字识别，得到可进行编辑的文字内容，结合手写笔输入的编辑信息，对所识别的文字内容进行编辑处理。比如，在当前场景中检测到书本文件或者纸张等文字媒介时，当检测到手写笔处于按压的书写状态，且按压位置处于所述文字媒介所在区域时，可以对所述文字媒介的图像进行文字识别处理，获取所述文字媒介中包括的文字信息，并根据手写笔所书写的数据处理信息，对所述文字媒体进行编辑，包括修改文字内容、添加批注信息、
复制选择、翻译或者在当前场景中叠加的虚拟交互界面的控制按键的触发指令等。
100.其中，所述文字媒介检测，可以根据预先设定的文字媒介特征，在采集的场景图像中进行对比检测，获得场景图像中包括的文字媒介。
101.所述第一处理单元150或第二处理单元230是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，第一处理单元150或第二处理单元230可包括一个或多个处理单元；优选的，第一处理单元150可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到第一处理单元150中。
102.所述第一存储单元160或第二存储单元240可以可用于存储软件程序以及模块，第一处理单元150通过运行存储在第一存储单元160的软件程序以及模块，第二计算处理单元230通过运行存储在第二存储单元240的软件程序以及模块，从而执行电子设备的各种功能应用以及数据处理。所述第一存储单元160或第二存储单元240可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如视频图像、编辑后的电子文本或图像等)等。此外，所述第一存储单元160或第二存储单元240可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
103.所述第一供电单元170或第二供电单元250可以为电池，优选的，所述第一供电单元170或第二供电单元250可以通过电源管理系统与计算处理单元逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
104.所述相对运动传感单元220可以包括压力感知单元2201、手写轨迹信息感知单元2202。所述压力感知单元2201可以检测手写笔是否处于书写状态。根据所述压力感知单元2201检测到笔尖与书写平面之间的压力，当所述压力大于预定值时，则认为所述手写笔处于书写状态。所述手写轨迹信息感知单元2202可以包括激光干涉单元和/或惯性感知单元，通过激光干涉单元获取所述笔尖的相对位移信息，通过惯性感知单元感知笔尖的加速度大小和方向的变化，根据加速度的大小和方向的变化，确定笔尖的运动轨迹。或者所述手写轨迹信息感知单元也可以包括摄像头等位移感知传感器，通过笔尖所设置的摄像头所采集的图像的变化，检测感知所述笔尖的相对位置的变化。
105.所述惯性感知单元可以为加速度传感器和陀螺仪等，用于检测笔尖的加速度大小和方向的变化。所述惯性感知单元可以包括多个，分别设置在笔尖的不同位置。比如可以在笔尖、笔末端分别设置惯性感知单元，通过惯性感知单元所感知到的加速度的差异，确定手写笔的姿势的变化。
106.在一种的实现方式中，所述手写笔的笔尖还设置有笔尖特征。所述笔尖特征可以为特殊的颜色标记，或者为红外反光、荧光等标记。当所述手写笔设置有笔尖特征后，摄像头拍摄得到包括手写笔的当前场景的图像时，通过对当前场景的图像进行笔尖特征的检测，根据当前场景的图像中检测到的笔尖特征，确定笔尖在当前场景中的绝对位置。当手写笔的书写平面与虚拟交互界面的位置一致时，根据所确定的笔尖在当前场景中的绝对位
置，可以有效的确定笔尖在虚拟交互界面中的位置，实现手写笔的书写位置与书写内容的显示位置的匹配，从而更好的提升用户的书写体验。
107.可以理解的是，本技术所述电子设备并不局限于此，还可以包括其它未列出的组件。比如，所述手写笔2还可以包括显示屏，通过所述显示屏可以显示所述手写笔的书写状态，或者还可以显示时间等信息。或者所述第二显示单元可以为触摸屏，通过所述第二显示单元，可以调节手写笔对于书写状态检测的敏感程度。比如，手写笔所设定的压力阈值为f1，当手写笔的压力传感器当前检测到手写笔的笔尖的压力为f2，如果f2大于f1，则认为手写笔当前为书写状态。当前检测到的手写笔的笔尖的压力为f3，如果f3小于f1，则认为手写笔当前为腾空状态。通过所述第二显示单元可以调节所述压力阈值的大小。当压力阈值调大时，则书写状态切换的敏感度降低，需要较大的压力才能触发为书写状态。当压力阈值调小时，书写状态切换的敏感度提高，较小的压力即可触发为书写状态。
108.当用户使用混合现实系统等电子设备输入数据信息时，为了解决手写输入数据时，通过电子设备上的摄像头拍摄的图像，通过视觉算法检测笔尖位置来校正手写笔的移动轨迹不准确的问题，以及需要依赖手写板进行输入，使得手写输入不便的缺陷，本技术提出了一种如图9所示的电子设备的交互方法，作为示例而非限定，该方法可以应用于上述电子设备中。
109.在步骤s901中，手写交互设备显示交互图像。
110.所述交互图像，可以是通过视觉感知模块所获取的当前场景的图像，也可以为其它待播放的多媒体图像，比如视频图像、ppt图像等。
111.其中，所述交互图像为当前场景的图像时，为了准确获取笔尖在虚拟交互界面所对应的光标位置，可以对当前场景进行实时定位和建图slam，以便于根据所重构的三维场景模型，确定所检测到的笔尖在抬笔状态下，相对于场景中的物体的位置的变化，根据所述位置的变化，确定笔尖位置所对应的手写交互区域或手写交互区域中的交互位置。
112.其中，所述手写交互区域，可以为手写笔所接触的当前场景中的区域。所述手写交互区域通常为平面区域。比如桌面、墙面或者其它平整的表面等区域。
113.下面就场景重构进行说明。
114.1.1场景图像获取
115.可以通过可见光摄像头，比如图1所示的第一摄像头获取当前场景的图像。在可能的实现方式中，还可以采用多个摄像头获取当前场景的多个图像，根据多个图像所对应的摄像头的角度和位置，或者根据图像内容，对所述多个图像进行拼接，得到更为全面的当前场景的图像。所述图像可以为视频或者其它多媒体形式。
116.在一种实现方式中，如图10所示，所述主体设备设置有可见光摄像头a和可见光摄像头b，由可见光摄像头a获取第一视频图像p1，可见光摄像头b获取第二视频图像p2，根据预先设定的可见光摄像头a和可见光摄像头b的位置和角度关系，或者根据第一视频图像p1和第二视频图像p2的图像内容，对所述第一视频图像p1和第二视频图像p2进行拼接，得到拼接后的视频图像p，或者还可以对拼接后的视频图像进行增强处理。
117.1.2获取场景深度信息
118.在获取当前场景的深度信息时，可以基于两个或两个以上的摄像头所拍摄的图像，确定图像中的物体所对应的深度信息，也可以基于深度传感器获取当前场景中的物体
与主体设备之间的距离。
119.利用两个或两个以上的摄像头所获取的图像，可以基于三角测距原理，确定图像中的物体的深度信息时。如图11所示，当两个参数相同的摄像头位于同一平面，且两个摄像头的焦距f、两个摄像头的中心距为t均预先已知。在获取图像中的物体的深度信息时，可以根据物体在所拍摄的图像中的位置，确定物体在两个图像中的视差(xr-xt)，物体的深度信息为z，根据图11所示的三角形相似原理，可以得到：[t-(xr-xt)]/t＝(z-f)/z，可以求解得到：
[0120]
z＝f*t/(xr-xt)，
[0121]
由于焦距f、两个摄像头之间的中心距离b预先已知。通过检测图像中的某一特征点在两幅图像中的位置，即可确定视差(xr-xt)，因而能够计算得到深度信息z。
[0122]
当两个以上的摄像头确定深度信息时，可以选择其中的任意两具摄像头所拍摄的图像进行深度信息的计算，或者还可以计算得到图多个深度信息，根据多个深度信息取平均的方式等优化方法，确定较佳深度信息。
[0123]
在获取所述物体的深度信息时，还可以根据深度传感单元中的飞行时间测距的摄像头、结构光测距系统、雷达测距系统、超声波传感器等测距模块或系统，获取场景中的物体的深度信息。
[0124]
1.3匹配图像中的物体和深度信息
[0125]
当所述深度传感单元为两个或两个以上的摄像头时，根据摄像头所获取的同一物体在两个或两个以上摄像头所拍摄的图像中的位置，计算图像中的物体的深度信息。将所计算的深度信息直接与图像中的位置进行匹配。
[0126]
或者，当所述深度传感单元为其它测距单元时，可以根据所测量的物体的位置，确定该物体在图像中所对应的位置。或者还可以根据测距单元所测量的距离信息的特征信息，包括距离的变化特征等，与图像中的物体的匹配关系，确定图像中的物体所对应深度信息。基于所确定的物体的深度信息，可以获取摄像头所拍摄的图像的坐标转换为当前场景中的物体在世界坐标系中的坐标位置的坐标转移矩阵。
[0127]
根据摄像头的相机参数信息，可以获取相机图像的图像坐标系中坐标与三维空间的世界坐标系中的坐标转换矩阵。根据所计算的深度信息，结合所述坐标转换矩阵，可以获取摄像头所拍摄的图像的坐标位置在世界坐标系中的坐标位置。
[0128]
1.4当前场景重构
[0129]
根据所获取的深度信息，可以确定当前场景中的物体的表面形状信息，根据所述形状信息对当前场景中的物体进行重构。根据所获取的图像信息，可对图像中的特征点进行检测，获取图像中的特征信息。
[0130]
所述图像中的特征信息，可以为用于描述图像中的物体的特征点，包括如描述物体的角点等。
[0131]
在一种实现方式中，特征信息检测还可以包括对场景中的平面检测，确定所述场景中包括的平面区域。可以对所述平面区域进一步进行内边缘检测。其中，内边缘检测是指对于位于所检测到的平面区域内的边缘线特征检测，判断是存存在内边缘区域。
[0132]
如图12所示，通过摄像头采集的当前场景的图像s中，根据平面特征检测，包括如深度抽样检测等，获取由桌面的平面区域s1。对所述平面区域s1进下进行内边缘检测，得到
由内边缘所确定的内边缘区域，即平面区域s2。可以判断所述平面区域s2是否包括方形交互区域，或者识别平面区域s2是否包括书本等文字媒介。其中，所述方形交互区域可以根据预定的方形交互区域的尺寸特征，或者形状特征进行检测。
[0133]
在识别到所述内边缘区域，即平面区域s2包括文字媒介时，可以将所述文字媒介对应的图像进行文字识别处理，得到文字媒介中包括的文字内容，并可在虚拟交互界面中显示所识别的文字内容，以便于用户对所述文字媒介中的文字内容进行编辑处理。包括如修改文字媒介中的内容、复制文字媒介中的内容或者标注、批注等操作处理。或者还可以根据所选择的文字媒介中的内容，获取与所选择的文字媒介内容相关的信息，包括如获取所选择的内容的翻译信息，或者获取所选择的内容的其它相关搜索信息等。
[0134]
基于1.3所重建的当前场景，还可以包括步骤s902，手写交互设备根据手写笔的运动信息获取手写笔的第一操作，所述运动信息包括手写笔的相对运动信息。
[0135]
所述第一操作可以为写状态时的书写操作、点击操作，或还可以包括手写笔处于腾空状态时的移动操作。
[0136]
可以通过相对运动传感单元精确的相对位置检测，在手写笔处于书写状态时，获取手写笔在书写时的轨迹信息，即手写笔的书写轨迹。所述相对运动传感单元可以包括陀螺仪、惯性传感器或加速度传感器等传感设备中的一种或多种。
[0137]
在一种实现方式中，还可以对手写笔的笔尖进行定位，从而能够根据笔尖在空间位置的改变，确定手写笔的书写内容的位置的改变。可以对图像中的手写笔的笔尖位置进行检测，根据所检测到的笔尖在图像中的位置，对手写笔的笔尖进行定位、追踪，具体可以包括：
[0138]
2.1笔尖特征识别
[0139]
根据预先设定的笔尖特征，包括如笔尖所设置的特殊颜色的特征，或者笔尖所设置的荧光特征，在所获取的有色图像中查找笔尖位置，或者根据预先在笔尖设置的红外反光材料的反光特征，在红外图像中查找笔尖位置。
[0140]
2.2笔尖深度信息获取
[0141]
根据所查找的笔尖位置，可以根据预先根据深度传感单元所获取的该笔尖位置所对应的深度信息。在用户佩戴所述主体设备移动，比如佩戴头戴式显示设备移动时，根据摄像头实时获取的图像，实时计算所述笔尖位置所对应的深度信息。
[0142]
2.3获取笔尖空间位置
[0143]
基于步骤1所确定的摄像头的坐标转换矩阵，可根据笔尖在图像中的位置，以及该位置所对应的深度信息，计算得到笔尖所对应的空间位置。
[0144]
如图13所示的笔尖位置确定示意图中，图像中包括确定图像中的像素点的位置的uv坐标系，由相机所确定的相机坐标系xcyczc，以及世界坐标系xyz，其中，相机坐标系中的原点与成像平面之间的距离根据相机参数所确定。
[0145]
由摄像头所拍摄的图像中，经过特征检测，确定手写笔的笔尖p在图像中的位置为点a。当所述深度传感单元为双摄像头时，可以通过双摄像头之间的相机中心距、双摄像头焦距、以及手写笔的笔头p在两个摄像头所拍摄的图像的视差，结合图11所示的三角形相似原理，计算得到手写笔的笔头p相对于相机的距离，即笔头p的深度信息。
[0146]
或者，也可以根据深度传感器，比如雷达、飞行时间测距的摄像头、结构光测距系
统、超声波传感器测量笔头p的距离，得到笔头p与相机的距离。
[0147]
根据深度传感单元所检测得到的笔头与相机的距离，即摄像头拍摄的图像中，笔头所对应的图像点a所对应的深度信息后，可以唯一的确定当前场景中的点p。根据步骤1所确定的由图像坐标系到世界坐标系的坐标转换矩阵，结合所述笔尖位置在图像中的位置(点a)、笔尖位置(点a)所对应的深度信息，确定所述笔尖位置在世界坐标系下所对应的世界坐标。并可根据所采集的图像的变化，实时的确定笔尖所对应的世界坐标，对笔尖进行实时追踪。
[0148]
在步骤s903中，电子设备在所述交互图像上显示虚拟交互界面，在所述虚拟交互界面响应所述第一操作。
[0149]
可以在所述交互图像上的任意位置生成虚拟交互界面，也可以为交互图像上的固定位置生成虚拟交互界面，或者也可以在所述交互图像中包括的平面区域中，选择平面区域所对应的虚拟交互界面。
[0150]
当所述笔尖为抬笔状态时，可以根据所述笔尖的空间位置和生成的三维场景模型，确定笔尖在虚拟交互界面中的位置，当所述笔尖为落笔状态时，根据所述手写笔的相对运动传感单元获取所述手写笔在所述虚拟交互界面中的笔迹信息。
[0151]
其中，所述相对运动传感单元可以为惯性传感器或激活干涉仪等传感设备。
[0152]
为了显示所获取的所述手写笔对应的操作数据，需要预先在电子设备生成虚拟交互界面，根据电子设备类型的不同，所述虚拟交互界面的生成方式也会存在区别。
[0153]
当所述电子设备为虚拟现实vr设备时，可在所述虚拟现实vr设备的显示单元中直接显示所述虚拟交互界面，并可建立所述虚拟交互界面中的位置与当前场景中的位置的对应关系。根据当前场景中的手写笔的绝对位置，确定手写笔对应的光标所述虚拟交互界面的位置或手写笔的轨迹。
[0154]
在所述虚拟现实vr设备中所显示的所述虚拟交互界面，可以为虚拟画面中的某一固定区域，或者也可以为随着视线移动的、位于视线范围内的预定距离的平面区域。
[0155]
当所述电子设备为增强现实ar设备或混合现实mr设备时，则需要将当前场景与所述虚拟交互界面进行匹配，具体可以包括：
[0156]
3.1确定所显示的当前场景图像
[0157]
在显示单元所显示的当前场景图像，可以为半透明的显示单元直接透过的当前场景的图像，或者也可以为显示单元，比如摄像头所拍摄当前场景的图像。在所述显示单元显示所述当前场景的图像时，所显示的当前场景图像的视角与通过半透明的显示单元的视角基本一致，从而能够使得匹配虚拟交互界面后，提高用户在所述虚拟交互界面中的操作的调协性。
[0158]
3.2显示虚拟交互界面
[0159]
在显示所实时拍摄的当前场景图像，或者透过所述当前场景图像的同时，在所述显示单元还在所述当前场景图像中显示虚拟交互界面，以便于用户与当前场景的图像进行交互。
[0160]
所述虚拟交互界面的位置的设定，可以固定在虚拟画面中的固定区域，或者为随视线移动、位于视线范围内的预定距离的平面范围。
[0161]
或者，所述虚拟交互界面可以与当前场景图像中的手写交互区域的位置对应。根
据手写交互区域在现实空间中的位置，在真实场景或实时图像信号中的手写交互区域作为所述虚拟交互界面。当书写交互区域在图像中的位置发生变化时，所述虚拟交互界面在显示单元中所显示的位置也相应的发生变化。
[0162]
当所述当前场景图像中包括多个平面时，可以根据所述手写笔的位置，确定所述当前场景图像中的手写交互区域，并根据所确定的手写交互区域，调整所述虚拟交互界面。
[0163]
比如，在所述当前场景的图像中包括平面x和平面y，当用户通过手写笔或指尖在平面x输入数据，比如输入公式、草图时，在所述平面x显示所述手写交互区域，当用户手写笔或指尖在平面y输入数据时，在改变所述虚拟交互界面的位置，在所述平面y处生成对应的虚拟交互界面。在一种实现方式中，在所述平面y处生成的虚拟交互界面，可以保留之前所输入的数据，从而能够使得用户输入能够减少环境的约束，大大的提高输入的便利性。
[0164]
在一种实现方式中，当所述当前场景中包括真实的文字媒介，所述手写笔针对所述真实的文字媒介进行交互时，所述虚拟交互界面可以覆盖所述真实的文字媒介的区域。可以电子化识别真实的文字媒介(文件的内容，并在所述真实的文字媒介的对应位置显示所电子化的内容，且所识别的内容的位置，可以与真实的文字媒介中的内容的位置一一对应，可以在所述显示单元中直接显示当前场景中的真实的文字媒介，或者显示电子化后的文字内容。所述虚拟交互界面还可以包括手写交互区域的物理范围。所述手写交互区域的物理范围，可以根据所述场景边缘等视觉特征来确定。比如，手写交互区域可以为真实的文字媒介所对应的边缘，即纸张所确定的区域。
[0165]
在可能的实现方式中，当所述虚拟交互界面可以为显示单元中的固定区域，在所述虚拟交互界面中的固定位置显示所述虚拟交互界面。所述虚拟交互界面中可以包括预先设定的按键或者按钮等，以便于用户在某些固定场所，比如用户通过本技术所述电子设备完成直播、公式输入、草图绘制等操作。
[0166]
其中，本技术在检测手写笔的状态时，可以通过设置在手写笔的笔头位置的压力感知单元来确定。当所述压力感知单元所感知的压力大于预定值时，则判断所述手写笔处于书写状态，当所述压力感知单元所感知的压力小于或等于预定值时，则判断所述手写笔处于抬笔状态。
[0167]
或者，所述手写笔或指尖的状态也可以通过所获取的笔尖或指尖的绝对位置，以及重构的当前场景中的手写交互平面之间的位置来确定所述手写笔的状态。
[0168]
当所述手写笔或指尖为抬笔状态时，根据所计算得到的手写笔的笔尖或手指的指尖所确定绝对位置，以及所重构的当前场景图像，确定所述指尖或笔尖在所述当前场景图像中的位置。根据所述指尖或笔尖在所述当前场景图像中的位置，即可确定用户所输入的操作的轨迹的位置。根据所述轨迹的位置所对应的数据当前场景中的内容，或者用户所输入的操作所对应的虚拟交互界面中的内容。
[0169]
当手写笔为落笔书写状态时，由于手部或者手写笔的遮挡，由摄像头所采集的图像可能会出现不能显示指尖或笔尖位置的情形，或者由于书写的轨迹在图像中所占的范围较小，均会影响所识别的笔尖或指尖所书写的轨迹内容的准确度。为了克服该问题，通过压力感知单元或视觉图像检测到所述手写笔处于落笔状态时，可通过本技术实施例所述的相对运动传感单元获取所述手写笔的相对移动轨迹信息。
[0170]
其中，通过相对运动传感单元获取所述手写笔的相对位移信息时，可以通过手写
轨迹信息感知单元来获取笔尖的相对位移信息。比如，可以通过所述手写轨迹感知单元中的激光干涉单元获取所述笔尖的相对位移信息，根据所述相对位移确定所述手写笔的笔迹。或者，通过惯性感知单元感知所述手写笔的笔尖的加速度的大小和方向的变化，来确定所述笔尖对应的相对位移信息。
[0171]
或者所述手写轨迹感知单元可以包括摄像头，根据摄像头所拍摄的画面的变化，确定笔尖移动的距离和方向。
[0172]
在获取所述相对移动轨迹信息时，还可以获取所述压力感知单元所采集的笔尖压力，根据所述笔尖压力的大小，确定所述相对移动轨迹信息的线条粗细，从而得到更为准确的相对移动轨迹信息。
[0173]
所述手写笔所设置的惯性感知单元中，所述惯性感知单元可以包括加速度传感器和/或陀螺仪。所述惯性感知单元可以包括多个，并分别设置在手写笔的不同部位，比如可以分别设置在笔尖和笔末端位置，通过惯性感知单元获取所述手写笔的笔尖和笔末端的加速度的大小和方向，根据所述加速度的大小和方向的变化，确定所述手写笔的姿态信息。可以将所确定的姿态信息，调整所述虚拟交互界面中的手写笔的姿态，使用户能够得到更为真实的书写体验。
[0174]
为了进一步提升用户的书写体验，在获取所述手写笔的书写笔迹之前，还可以包括对所述手写笔的相对运动方向进行校准的步骤。可以在虚拟交互界面与现实图像叠加区域生成引导线。所述引导线可以为直线，也可以为其它形状的曲线。当用户通过手写笔在手写交互区域绘制所述引导线时，通过视觉感知模块获取所述手写笔绘制过程中所对应的第一运动轨迹，通过相对运动传感单元获取所述手写笔的笔尖的相对位移信息所确定第二运动轨迹。通过比较第一运动轨迹与第二运动轨迹的差异，对所述相对运动方向进行校准调整。
[0175]
比如，通过视觉感知模块获取笔尖在图像中的位置，根据视觉感知模块或深度传感单元获取笔尖的深度信息，根据所述笔尖在图像中的位置以及笔尖的深度信息，确定笔尖在当前场景中的空间位置，根据所获得的视频图像，跟踪所述笔尖在当前场景中的空间位置，得到所述笔尖的绝对运动轨迹，即第一运动轨迹。根据运动感知单元获取笔尖的第二运动轨迹，比较所述第一运动轨迹和第二运动轨迹之间的差异。比如所采集的第一运动轨迹为倾斜角度为a的直线，第二运动轨迹的倾斜角度为b的直线，则将所述运动感知单元的向倾斜角度a调整，调整幅度为|b-a|。
[0176]
另外，为了进一步提升所述手写轨迹信息感知单元的感知精度，在所述手写笔上还可以设置距离传感器。通过所述距离传感器检测所述手写笔与手写交互区域之间的距离，当所述距离小于预设值时，通过手写笔上设置的激光干涉单元和/或惯性感知单元对所述笔尖位置进行微调，提高由视觉定位所述笔尖位置的精度，得到更为准确的相对运动信息。
[0177]
在本技术可能的实现方式中，可以识别当前场景中的真实的文本媒介，保存所识别的文本媒介对应的文本的内容。或者可以接收用户的编辑信息，保存编辑后的内容。
[0178]
对所述文本的内容进行编辑时，可以根据手写笔的位置确定所编辑的文本。比如，可以根据手写笔的笔式、手写笔按键、手势或语音指令，实现对文本的选中、复制、检索或翻译等编辑操作，或者通过扬声器播放所翻译的内容。
[0179]
在本技术可能的实现方式中，可将场景图像信息和手写交互过程保存或传送至网络，可便于与其它用户共享交互过程。
[0180]
基于本技术所述的电子设备及电子设备的交互方法，可在教育、办公、娱乐等领域得到广泛的应用，手写输入的便利性和输入精度的提升，可大大的提升的操作使用体验，下面简单举例进行说明。
[0181]
比如，在办公场景下，用户在阅读纸质文件，比如书本或者其它包括文字的纸件时，可以通过佩戴本技术所述的电子设备。所述电子设备可以包括头戴式显示设备和手写笔。通过头戴式显示设备中的视觉感知模块拍摄如图14所示包括纸质文件1401的图像1402，通过深度传感单元获取所述图像所对应的深度信息，构建所拍摄的图像所对应的3d模型。对所述3d模型中的平面的内边缘进行检测，识别所述图14中的平面1403中所包括纸质文件1401的文字媒介。
[0182]
根据图14所识别的文字媒介，可截取所述文字媒介对应的图像区域，通过ocr识别的方式，识别所述文字媒介中的文字内容，可根据所述文字媒介中的文字内容生成如图15所示的虚拟交互界面151，并根据所述文字媒介在图像中的位置，确定所述虚拟交互界面的位置(不局限于此，所述虚拟交互界面也可根据需要采用固定在图像中的某个位置的方式，或者固定在视线方向的预定距离处的区域)。
[0183]
为了提高用户对文本进行批注的便利性，如图15所示，在所述虚拟交互界面中还包括有工具栏152，所述工具栏中包括不同颜色的选择框153，用户可以通过移动手写笔，选择不同颜色对文本内容添加不同的底色，或者通过所选择的颜色为文本添加不同的批注内容，生成批注154等。当然，工具栏的内容不局限于此，还可以包括复制、粘贴、剪切、加粗、撤销等编辑工具等。
[0184]
用户通过手写笔对图15所示的虚拟交互界面进行编辑操作时，可以根据手写笔的笔尖所设置的视觉特征，包括如特殊颜色、荧光或反光等特征，确定笔尖在图像中的位置。根据深度传感单元所获取的图像所对应的深度信息，确定所述笔尖对应的深度信息。根据所述笔尖在图像中的位置、笔尖的深度信息，结合坐标转换矩阵，可以计算得到所述笔尖在当前场景中所对应的空间位置。
[0185]
根据手写笔的笔尖所设置的压力传感单元，或者根据所检测到的笔尖的空间位置，确定所述手写笔是否为抬笔状态或落笔状态。
[0186]
当所述手写笔为抬笔状态时，可以根据所构建的图像对应的3d模型，以及笔尖在所述3d模型中的位置，确定所述笔尖对应于虚拟交互界面中的光标位置。比如，可以根据所述笔尖的空间位置生成手写交互区域所在平面的垂线，根据所述垂线与所述手写交互区域的相交点，即为所述笔尖所对应的光标位置。在手写笔为抬笔状态时，实时更新所述手写笔的笔尖所对应的光标位置，从而使得用户在对文本进行编辑时，可以清楚的知道在即将落笔时，所对应的即将编辑的内容。
[0187]
可在手写笔的笔尖设置距离传感器，当检测到所述笔尖距离手写交互区域的距离小于预定值时，可以通过相对运动感知单元对所述笔尖的位置进行调整，从而提高笔尖位置的定位精度。
[0188]
比如，可以通过视觉感知模块和深度传感单元所确定的笔尖的空间位置对应于虚拟交互界面中的光标位置为m，在所述笔尖距离手写交互区域的距离小于预定值，比如小于
0.5厘米时，通过相对运动传感单元确定所述笔尖在虚拟交互界面中的光标位置为n，则可以通过微调的方式，调整所述虚拟交互界面中的光标的位置，从而提高所获取的笔迹的准确度。其中，所述相对运动传感单元可以通过激光干涉、惯性传感单元或摄像头拍摄图像的方式，来确定笔尖所对应的光标位置。
[0189]
另外，为了减少相对运动感知单元所检测到的笔尖轨迹的误差，可以在虚拟交互界面中生成一校准按钮，或者也可以在手写笔上设置该校准按钮，当用户触该校准按钮时，可根据所述校准按键的触发信息，在所述虚拟交互界面生成一校准直线。
[0190]
如图16所示的设备校准示意图中，对于虚拟交互界面中所生成的校准直线，用户可以通过头戴式显示设备观看到该校准直线。通过视觉感知的方式，用户可以根据该校准直线的绘制提示，根据所感知的直线的位置，在感知的位置处进行绘制。此时，可以通过头戴式显示设备所拍摄到的笔尖的位置，得到笔尖的绝对运动轨迹，即第一轨迹l1。
[0191]
通过手写笔所设置的相对运动传感单元，同样可以获得笔尖的运动轨迹，得到第二轨迹l2。
[0192]
根据第一轨迹l1与第二轨迹l2的差异，可以对第二轨迹l2出现的误差进行校准。比如，对于第二轨迹的方向偏离度，校准所述相对运动传感单元中的方向传感器的方向等。
[0193]
可以按照预定的时长，对所述相对运动传感单元进行校准，从而能够更进一步保证系统所检测的轨迹信息的精度。
[0194]
在对电子化的文字内容进行编辑处理后，可以保存编辑后的文本内容，便于分享给其它用户或者方便用户自己查看。比如查看对书本部分文字的批注信息、对书本部分文字的划线信息等。或者，可以根据工具栏中包括的翻译、朗读等工具，对选择的文本进行翻译和朗读等操作。根据所实现的功能的不同，可以在所述虚拟交互界面显示不同的功能标签，当接收到用户对功能标签的触发指令时，则显示该功能标签对应的功能按键，比如编辑标签下包括批注、删除、复制等功能按键。
[0195]
或者，如图17所示为所述虚拟交互界面172可以显示待签名文件。所述合同文件可以通过第一通信单元所接收的合同文件或者其它需要签名的文件对应的图像171。
[0196]
或者，所述待签名文件也可以为当前场景中的合同纸件，通过头戴式显示设备中的视觉感知模块可以得到所述待签名文件的图像，可以在获取到待签名文件对应的图像后，接收用户的签名处理，在所述待签名文件对应的图像中添加签名数据，并可将签名后的图像发送至其它需要签名的用户端，从而方便的实现快捷方便的手写笔签名操作。
[0197]
当所述待签名文件为当前场景中的纸件所对应的图像，并且所述虚拟交互界面在场景图像中的位置，与手写平面在场景图像中的位置一致时，用户可以直接在纸件的签名位置进行签名操作。根据虚拟交互界面的显示位置与手写平面位置的一致性，可以准确的在待签名文件的图像的签名处生成签名信息，可使得用户感受到使用手写笔在真实的纸件书写的体验，并且能够得到有效的签名文件对应的图像。
[0198]
当所述虚拟交互界面显示的图像为其它用户所发送的待签名文件的图像时，或者所述虚拟交互界面为场景图像中的固定区域时，可以在所述虚拟交互界面显示手写笔对应的光标，根据所显示的光标的位置，用户可以在手写平面中移动所述手写笔，从而使得光标移动至签名位置，完成对虚拟交互界面中的文件的签名操作，实现高效、安全的混合现实办公操作。
[0199]
又比如，用户可以佩戴所述电子设备进行直播讲解。在所述头戴式显示设备中的显示单元中可以播放所需要讲解的内容。比如，所述需要讲解的内容可以为多媒体文件，包括如视频、ppt等，或者，所述需要讲解的内容也可以用户现场直播时，由视觉感知单元所采集的当前图像。
[0200]
在显示单元播放所述多媒体文件或显示当前场景时，可以设定显示单元所播放的图像的预设区域为虚拟交互界面，或者显示单元所播放的整个画面均为虚拟交互界面。为了不影响播放的画面清晰度，可以设定所述虚拟交换界面为透明图层。当接收到手写笔在所述虚拟交互界面中的标记时，相应的在虚拟交互界面中显示对应的标记信息，便于通过所述电子设备实现对显示单元所显示的内容进行更为方便的讲解操作。比如图18所示，在用户使用本技术所述电子设备时，用户对当前直播的内容，即由视觉感知单元所采集的当前场景的图像，可以通过手写笔绘制标记(图中的虚线区域)等操作，实现更为生动的讲解。
[0201]
在可能的实现方式中，可以将所述虚拟交互界面和所述显示单元播放的图像合成后发送给其它用户，或者还可以将讲解时的音频合成后发送给其它用户，使得其它用户得到生动的讲解信息。
[0202]
在对显示单元播放的内容进行标记时，可以通过对手写笔的书写状态进行检测。当手写笔为抬笔状态时，可以在所述虚拟交互界面显示笔尖所对应的光标，在手写笔为落笔状态时，根据对所述手写笔的相对运动传感单元获取手写笔的书写轨迹，在所述交互界面中显示对应的轨迹内容。比如在虚拟交互界面播放教学视频时，通过视觉感知确定手写笔在抬笔状态下的光标位置，通过相对运动感知确定手写笔在落笔时所对应的笔迹，在手写交互区域方便的进行标记等操作。可将所述虚拟交互界面、标记信息，以及所采集用户的语音信号，分享给其它用户。
[0203]
在可能的实现场景中，还可通过本技术所述电子设备进行公式演算、图纸绘画等。如图19所示，可以在虚拟交互界面中显示与手写交互区域对应的空白区域191，在所述空白区域的周围，包括公式演算或图纸绘画所对应的工具192。通过视觉感知确定手写笔在抬笔状态下的光标位置，通过相对运动感知确定手写笔在落笔时所对应的笔记，使得在进行手写输入时，不需要依赖专门的手写板，且能有效的提高笔迹的输入精度。
[0204]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0205]
对应于上文实施例所述的电子设备的交互方法，图20示出了本技术实施例提供的装置的结构框图，为了便于说明，仅示出了与本技术实施例相关的部分。
[0206]
参照图20，该装置包括：
[0207]
图像显示模块2001，用于由电子设备显示交互图像；
[0208]
操作信息获取模块2002，用于由电子设备根据手写笔的运动信息获取手写笔的第一操作，其中所述运动信息包括手写笔的相对运动信息；
[0209]
响应模块2003，用于由电子设备在所述交互图像上显示虚拟交互界面，在所述虚拟交互界面响应所述第一操作。
[0210]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的
功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0211]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0212]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0213]
在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0214]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0215]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0216]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到手写输入装置/混合现实交互设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0217]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各
实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。