在移动设备使用期间增加行人意识的系统和方法与流程

在移动设备使用期间增加行人意识的系统和方法
1.相关申请的交叉引用
2.本技术要求于2019年8月6日提交的美国申请号16/532，723的优先权，该申请的全部内容通过引用并入本文。
技术领域

背景技术：

3.移动电子设备(如智能电话、平板计算机、混合计算机和其他手持式设备)以紧凑和方便的形式要素为用户提供视觉信息。然而，这些设备的视觉性质可能使用户的注意力远离用户正在其中移动的物理环境。用户在人行横道或走廊上行走或移动时可能遇到行人障碍，诸如围栏、门或其他人。此外，行人可能面临在人行横道或停车场中与机动车辆碰撞的风险。在用户正在查看移动电子设备的显示器时，允许用户查看物理环境可以改进用户安全性。
4.本文所要求保护的主题不限于解决任何缺点或仅在诸如上文描述的那些环境中操作的实施例。相反，此背景仅提供用于说明其中可实践本文中所描述的一些实施例的一个示例性技术领域。


技术实现要素：

5.在一些实施例中，移动电子设备包括视频相机、显示器、处理器和硬件存储设备。视频相机定位在移动电子设备的第一侧上，显示器定位在移动电子设备的与第一侧相对的第二侧上。处理器与视频相机和显示器进行数据通信。硬件存储设备与处理器进行数据通信。硬件存储设备上存储有指令，所述指令在由处理器执行时使处理器：使用视频相机对移动电子设备的物理环境进行成像；在显示器上，在显示区域的第一部分中，实时显示视频馈送；以及在第一部分中显示视频馈送的同时，在显示区域的第二部分中显示第二软件应用。
6.在一些实施例中，移动电子设备包括视频相机、显示器、处理器、和硬件存储设备。视频相机定位在移动电子设备的第一侧上，显示器定位在移动电子设备的与第一侧相对的第二侧上。处理器与视频相机和显示器进行数据通信。硬件存储设备与处理器进行数据通信。硬件存储设备上存储有指令，所述指令在由处理器执行时，使处理器：对视场内的移动电子设备的物理环境进行成像；识别视场内的物理环境的行人障碍；在显示器上，在显示区域的第一部分中实时显示视频馈送；在视频馈送上突出显示行人障碍；以及在第一部分中显示视频馈送的同时，在显示区域的第二部分中显示第二软件应用。
7.在一些实施例中，移动电子设备包括视频相机、光学元件、显示器、处理器和硬件存储设备。视频相机定位在移动电子设备的第一侧上，显示器定位在移动电子设备的与第一侧相对的第二侧上。光学元件被光学地定位在视频相机前方。光学元件包括至少一个折射表面以改变朝向视频相机的入射光的方向。处理器与视频相机和显示器进行数据通信。硬件存储设备与处理器进行数据通信。硬件存储设备上存储有指令，所述指令在由处理器
执行时，使处理器：对移动电子设备的物理环境进行成像；在显示器上，在显示区域的第一部分中，实时显示视频馈送；以及在第一部分中显示视频馈送的同时，在显示区域的第二部分中显示第二软件应用。
8.提供该发明内容部分以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。该发明内容部分并不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
9.附加的特征和优点将在下面的描述中阐述，并且部分地从描述中是显而易见的，或者可以通过本文教导的实践而获知。本公开的特征和优点可以通过所附权利要求中特别指出的装置和组合来实现和获得。本公开的特征将根据以下描述和所附权利要求变得更加显而易见，或者可通过如下文所阐述的本公开的实践来获知。
附图说明
10.为了描述可以获得本公开的上述特征和其他特征的方式，将通过参考在附图中示出的其具体实施例来呈现更具体的描述。为了更好地理解，贯穿各个附图，相同的元件由相同的参考标号表示。虽然附图种的一些可以是概念的示意性或夸大的表示，但是至少一些附图可按比例绘制。应当理解，附图描绘了一些示例实施例，将通过使用附图用附加特征和细节来描述和解释这些实施例，在附图中：
11.图1是根据本公开的至少一个实施例的在包括行人障碍的物理环境中使用移动电子设备的行人用户的侧示意图；
12.图2-1是根据本公开的至少一个实施例的具有在第一部分中呈现的视频馈送的移动电子设备的正视图；
13.图2-2是根据本公开的至少一个实施例的图2-1的移动电子设备的后视图；
14.图3是根据本公开的至少一个实施例的移动电子设备的侧视图，该移动电子设备具有被定位在其上以改变移动电子设备的视场的方向的光学元件；
15.图4是根据本公开的至少一个实施例的移动电子设备的后视图，该移动电子设备具有选择性地可定位在移动电子设备的相机上方的可移除光学元件；
16.图5是根据本公开的至少一个实施例的移动电子设备的后视图，该移动电子设备具有可滑动的光学元件，该可滑动的光学元件选择性地可定位在移动电子设备的相机上方；
17.图6是根据本公开的至少一个实施例的移动电子设备的系统图；
18.图7是根据本公开的至少一个实施例的在移动电子设备的显示器上突出显示行人障碍的移动电子设备的正视图；
19.图8-1至图8-3示出了根据本公开的至少一个实施例的各种示例行人障碍；
20.图9是根据本公开的至少一个实施例的第二电子设备的检测的俯视图；
21.图10-1是根据本公开的至少一个实施例的指示在相机和/或显示器的视场之外的潜在行人障碍的移动电子设备的正视图；
22.图10-2是根据本公开的至少一个实施例的在地图显示器上指示潜在行人障碍的移动电子设备的正视图；
23.图11是根据本公开的至少一个实施例的通过音频检测潜在行人障碍的俯视图；以
及
24.图12是根据本公开的至少一个实施例的移动电子设备的正视图，该移动电子设备指示在相机和/或显示器的视场之外的潜在行人障碍的所检测到的音频。
具体实施方式
25.本公开总体涉及电子设备和使用方法。更具体地，本公开涉及移动计算设备和用户在车辆外部行走或以其他方式(例如，在自行车、滑板、旱冰鞋上)移动时使用的其他移动电子设备。例如，本公开可涉及可在用户向下看移动电子设备时向用户提供前向可见性和/或视觉指示符的移动电子设备。
26.根据本公开的移动电子设备可以在移动电子设备的显示器上提供用户路径的“直通”或其他视频馈送。通过在显示器上显示实时视频馈送，移动电子设备能够通过在用户视场内的用户界面的一部分上物理地显示用户的视场之外的环境障碍来增加用户的安全性。用户随后可对环境障碍作出反应或响应，并避免在使用移动电子设备时的危害或不便。
27.在一些实施例中，移动电子设备具有视频相机，该视频相机具有可以在用户正将设备保持在其前方时包围用户路径中的物体或人的视场。在其他实施例中，移动电子设备包括光学元件，该光学元件被定位在视频相机的前方以将入射光重定向到视频相机。例如，移动电子设备可包括潜望镜状光学元件，该潜望镜状光学元件允许视频相机在用户将移动电子设备保持平放在用户的前方时对前向路径成像。在此类示例中，视频相机可常规地直接向下成像，而光学元件可允许视频相机对前向路径进行成像，从而为用户提供环境障碍的警告。
28.移动电子设备可以在该移动电子设备的显示器上显示所成像的物理环境，从而使得视频馈送被定位在用户的周边视觉内。在一些实施例中，移动电子设备能够识别潜在的行人障碍，并且显示器能够为用户突出显示那些行人障碍。例如，用户可以在键入、阅读或以其他方式查看移动电子设备的显示器的同时向下看移动电子设备。视频馈送被显示在显示器的第一部分(例如，上部)上，而第二软件应用被显示在显示器的第二部分上。视频馈送可以闪烁显示所识别的行人障碍以帮助用户辨识行人障碍。用户然后可以查看视频馈送以避免行人障碍或者从显示器查找以查看行人障碍从而避免行人障碍。
29.图1是在用户102行走时使用的具有改进的安全性的移动电子设备100的实施例。移动电子设备100的用户102的常见问题是在用户的注意力在移动电子设备100的显示器上被训练时，注意到行人障碍和/或对行人障碍作出反应。当用户102移动时，移动电子设备100被频繁使用。用户102经常遇上物理环境106中的其他行人、围栏、门、杆或其他行人障碍104或被物理环境106中的其他行人、围栏、门、杆或其他行人障碍104撞击。
30.根据本公开的移动电子设备100包括具有视场(fov)110的视频相机108。移动电子设备100可以在显示器112上显示来自视频相机108的视频馈送以供用户查看。在一些实施例中，fov 110足够宽以对物理环境106中的行人障碍104进行成像。例如，移动电子设备100的fov 110可以是120
°
，并且当用户102保持移动电子设备100与地面成45
°
角时，fov110可以在前向方向114上方延伸15
°
。在其他示例中，当用户102保持移动电子设备100与地面成30
°
角时，120
°
的fov 110可以仅对物理环境106的地面成像。在这样的示例中，移动电子设备100可以包括光学元件，该光学元件被光学地定位在视频相机108的前方，以反射、折射或
以其他方式改变入射光的方向，以在前向方向114上对更多的物理环境106进行成像。
31.图2-1是根据本公开的移动电子设备200的实施例的正视图。移动电子设备200具有显示器212。显示器212可以是能够向用户提供视频显示的任何显示系统。例如，显示器可以是液晶显示器(lcd)、发光二极管(led)显示器、有机led(oled)显示器、三维显示器、触敏显示器、弯曲显示器、柔性和/或可折叠显示器、包括触觉反馈、任何其他显示器或其组合。例如，显示器212可以是柔性触敏oled显示器。在其他示例中，显示器212可以是具有触觉反馈的弯曲led显示器。
32.显示器212在显示器212的第一部分220上呈现来自视频相机(如关于图1所描述的视频相机108)的视频馈送216。显示器212还在显示器212的第二部分222上呈现第二软件应用。在一些实施例中，当用户选择应用和/或命令移动电子设备200在第一部分220中显示视频馈送216时，第一部分220显示视频馈送216。在一些实施例中，当移动电子设备200被保持在水平取向时，第一部分220显示视频馈送216。例如，每当移动电子设备200与显示器一起在预设范围或用户可选择的角度范围(例如，在水平的-45
°
与-45
°
之间)内使用时，显示视频馈送216。在其他示例中，当移动电子设备200被以水平取向保持并且移动电子设备200的gps或其他位置感测设备检测到用户和/或移动电子设备200正在移动时，第一部分220显示视频馈送216。移动电子设备200可以使用一个或更多个传感器来测量移动电子设备200的取向，所述一个或更多个传感器诸如用于测量移动电子设备200的旋转的陀螺仪或用于测量移动电子设备200相对于重力方向的取向的加速度计。
33.在一些实施例中，显示在第二部分222上的第二软件应用是基于文本的通信应用。例如，基于文本的通信应用可以是蜂窝文本消息应用(例如，sms或mms消息)。在其他示例中，基于文本的通信应用可以是电子邮件消息应用。在又一些其他示例中，基于文本的通信应用可以是基于互联网数据的文本消息应用(例如，what’s app、apple imessage、facebook messenger、skype)。
34.在其他实施例中，显示在第二部分222上的第二软件应用是基于视频的通信应用。例如，第二软件应用可以是视频聊天或视频呼叫，诸如apple facetime、skype等。在其他示例中，显示在第二部分222上的第二软件应用可以是显示流式传输或本地保存的视频的另一视频回放应用，诸如youtube、microsoft movies、netflix、hulu等。
35.在又一些其他实施例中，显示在第二部分222上的第二软件应用是导航应用。例如，第一部分220提供用户路径的前向视图的同时，用户可能正在查看导航应用，允许用户查看导航应用而不损害用户对用户路径中的危害的认识，其中，该导航应用正在第二部分222上的地图上提供实时位置和指导信息。
36.在另外的实施例中，显示在第二部分222上的第二软件应用是移动电子设备200上的互联网浏览器或其他互联网连接的软件应用。在又一些另外的实施例中，第二软件应用是在第二部分222上显示视觉信息的任何软件应用。
37.在一些实施例中，第一部分220是在具有(包括20％、25％、30％、35％、40％、45％、50％中的任一值或它们之间的任何值的)上限值、下限值或上限值和下限值的范围内的显示器212的总面积的百分比。例如，第一部分220可以是显示器212的总面积的至少20％。在其他示例中，第一部分220可以小于显示器212的总面积的50％。在又一些其他示例中，第一部分220可以在显示器212的总面积的20％和50％之间。在至少一个示例中，第一部分220可
以是显示器212的总面积的大约1/3。
38.图2-2是关于图2-1所描述的移动电子设备200的第二侧的后视图。在一些实施例中，视频相机208被定位在移动电子设备200的与图2-1中所示的显示器212相对的第二侧上。在其他实施例中，视频相机208可以沿着移动电子设备200的顶部边缘或在移动电子设备200的顶部边缘处定位，以便在移动电子设备被保持在水平位置处或在水平位置附近时在前向方向上成像。视频相机208可以是黑白相机、红-绿-蓝(rgb)相机、其他彩色相机、红外相机、深度相机或任何其他成像传感器。
39.视频相机208可以包括一个或更多个镜头以将光引导朝向视频相机208的成像传感器。视频相机208的fov可以取决于视频相机的镜头和/或镜头堆叠。例如，视频相机208可具有鱼眼镜头或允许视频相机208具有180
°
的fov的其他广角镜头。在其他示例中，视频相机208可以具有固定镜头或镜头堆叠以确定fov。在又一些其他示例中，视频相机208可以具有可移动镜头或镜头堆叠以调节fov。
40.在一些实施例中，视频相机208的fov处于具有(包括90
°
、100
°
、110
°
、120
°
、130
°
、140
°
、150
°
、160
°
、170
°
、180
°
中的任一值或它们之间的任何其他值的)上限值、下限值或上限值和下限值的范围内。例如，视频相机208的fov大于90
°
。在其他示例中，视频相机208的fov小于180
°
。在又一些其他示例中，视频相机208的fov在90
°
与180
°
之间。在至少一个示例中，视频相机208的fov为约120
°
。当用户在使用期间将移动电子设备200保持在水平位置处或水平位置附近时，视频相机208的fov可能不足以测量前向方向。
41.图3是具有光学元件326的移动电子设备300的侧视图，该光学元件326被光学地定位在视频相机308的前方。光学元件光学地定位在另一个的前方应当被理解为处于指向视频相机308的光的光路中。例如，虽然当移动电子设备300被水平地保持时光学元件326被定位在移动电子设备300下方，但是光学元件326改变入射光328的方向。入射光328由光学元件326朝向视频相机308被重定向。因此，光学元件326光学地位于入射光328和视频相机308的前方。
42.光学元件326是可以反射、折射、衍射或以其他方式改变入射光328的方向的任何元件。例如，图3的移动电子设备300水平地定位，其中视频相机308向下定向，但是fov 310指向用户移动的前向方向314以在前向方向314上对环境进行成像。
43.在一些实施例中，当光学元件326被光学地定位在视频相机308的前方并且移动电子设备300被水平地定位时，fov 310是以前向方向314为中心的。例如，90
°
的fov可高于前向方向314 45
°
和低于前向方向314 45
°
。在其他实施例中，当光学元件326被光学地定位在视频相机308的前方并且移动电子设备300被水平地定位时，fov 310的大部分是在前向方向314下方。例如，90
°
的fov可高于前向方向314 40
°
和低于前向方向314 50
°
。在又其他实施例中，当光学元件326被光学地定位在视频相机308的前方并且移动电子设备300被水平地定位时，fov 310的大部分被定位在前向方向314的上方。例如，90
°
的fov可高于前向方向314 60
°
和低于前向方向314 30
°
。
44.在一些实施例中，视频相机308被定向成与移动电子设备300的后表面329成角度，以便在不使用附加光学元件326的情况下将fov 310指向前向方向314。在至少一个实施例中，视频相机308是可旋转的，以相对于移动电子设备300调节fov 310。在另一实施例中，光学元件326是可旋转的，以相对于移动电子设备300调节fov 310。
45.在一些实施例中，移动电子设备的视频相机收集移动电子设备的视场的深度信息。例如，移动电子设备300的视频相机308可以包括与视频相机308和移动电子设备300的处理器进行数据通信的结构光或飞行时间照明器。光学元件326可被光学地定位在视频相机308和照明器的前方，使得(飞行时间或结构光)照明可被引导在视频相机308的fov 310的方向上。
46.在一些实施例中，移动电子设备300具有集成到移动电子设备300中的光学元件。图4示出了移动电子设备400的实施例的后视图，该移动电子设备400具有选择性地将光学元件426附接到移动电子设备400的可移除壳体430或支撑件。图4中的示例示出了在侧面431-1、431-2上连接至移动电子设备400并且在视频相机的前方光学地支撑光学元件426的壳体430。在其他示例中，壳体430可以沿侧面431-1、431-2可滑动，以沿着移动电子设备400和视频相机移动光学元件426。
47.现在参考图5，在其他实施例中，光学元件526可以相对于壳体530移动，该壳体530进而相对于移动电子设备500固定。例如，光学元件526可沿壳体530中的轨道532移动。光学元件526因此可从光学地位于视频相机508前方的第一位置(诸如图4所示的光学元件426的位置)移动到非光学地位于视频相机508前方的第二位置，如图5所示。当处于第二位置时，光学元件526允许视频相机508的常规使用。
48.图6是移动电子设备600的示意性表示。移动电子设备600包括与显示器612进行数据通信的处理器634。处理器634向显示器612提供视觉信息，随后在显示器612上为用户呈现该视觉信息。视觉信息的至少一部分是来自视频相机608的视频馈送。由处理器634接收视频馈送，并且在显示器612上向用户呈现视频馈送的一部分(或全部)。
49.在一些实施例中，处理器634在操作系统级提供视频馈送。例如，处理器634可在显示器612的第一部分上显示视频馈送，且将移动电子设备600的正常主屏幕、桌面、软件应用或其他常规视觉信息移位到显示器612的第二部分。在其他实施例中，处理器634可以以分屏配置显示视频馈送和其他软件应用。在其他实施例中，处理器634可以显示单个软件应用，该单个软件应用在显示器612的第一部分中显示视频馈送并且在显示器612的第二部分中提供诸如导航之类的第二功能。
50.处理器634可以进一步与存储设备636进行数据通信。存储设备636可以是硬件存储设备，例如基于压板的存储设备、固态存储设备或其他非暂时性或长期存储设备。存储设备636可以具有存储在其上的用于执行本文所描述的一个或更多个方法或方法的部分的指令。移动电子设备600还可以包括电池638或其他电源，以便为处理器634、显示器612、视频相机608和移动电子设备600的其他电子部件供电。
51.图7示出了具有显示视频馈送716的用户界面的移动电子设备700的实施例。视频馈送716被显示在显示器712的第一部分720中。定位前向方向的视频馈送716可通过提供用户周边视觉内的行人障碍或其他物体的视图来改进用户安全性。用户在与第二部分722接合时查看和识别显示器712的第一部分720上的物体所需的时间量小于将用户的视图从显示器712改变到前向方向(例如，离开移动电子设备700)所需的时间量。
52.在一些实施例中，显示器712上的视频馈送716可以进一步包括突出显示行人障碍704的一个或更多个特征。例如，移动电子设备700可显示围绕视频馈送716中的行人障碍704的边界740。在其他示例中，行人障碍704的边界740、轮廓或其他部分可以闪烁742以进
一步突出显示行人障碍704并且将用户的注意力吸引到行人障碍704上。
53.图8-1至图8-3示出了行人障碍检测的示例。图8-1示出了第一类型的行人障碍检测。在一些实施例中，移动电子设备的处理器可以使用一个或更多个边缘检测算法来搜索由视频相机提供的视频馈送的帧中的边缘844-1。例如，边缘检测可以搜索在视频馈送中具有高对比度的边缘。在一个示例中，边缘检测可以诸如使用霍夫变换搜索具有高对比度的线性边缘844-1。在其他示例中，边缘检测可以通过使用像素内核分析来将相邻或附近像素处的对比度水平与内核中心处的原始像素进行比较来搜索具有高对比度的非线性边缘。在至少一个示例中，移动电子设备可包括加速计、陀螺仪或允许移动电子设备确定移动电子设备的取向的其他传感器。移动电子设备的处理器可随后确定边缘相对于移动电子设备的位置的取向并确定垂直或水平边缘或表面。
54.图8-1示出了可以使用霍夫变换识别的线性边缘844-1的示例。线性边缘844-1(例如，垂直、水平或对角线边缘)的识别可允许移动电子设备识别且突出显示许多常见行人障碍804-1，例如柱子、低墙壁、长凳、楼梯、路缘、大门或行人可能遇到垂直支撑件或水平表面的其他物体。在其他示例中，行人障碍804-1可以是可移动或可改变的物体，例如人行横道信号。移动电子设备可以为显示“行走”信号与“不行走”信号的人行横道信号提供不同的视觉指示符。在至少一个示例中，移动电子设备可以提供围绕“行走”信号的边界，并且当人行横道信号变成“不行走”信号时，该边界可以闪烁。
55.图8-2示出了使用根据本公开的移动电子设备可以识别的行人障碍804-2的另一示例。在一些示例中，边缘检测可以检测在视频馈送中成像的环境中的所有垂直边缘。然而，并非所有垂直边缘都与用户的安全性相关。移动电子设备的处理器可对视频馈送执行边缘检测以识别边缘，然后识别和/或突出显示具有满足某些标准的边缘的行人障碍。
56.例如，标准可以是具有平行边缘844-2、844-3的物体。平行边缘844-2、844-3更可能在用户的前向方向上识别障碍或路径的周边侧。例如，图8-2中所示的平行边缘844-2、844-3位于可能是用户路径中的行人障碍804-2的门的两侧。在其他示例中，平行边缘可以识别打开的门道的内部边缘，用户可以通过该打开的门道安全地行走。在任一情形中，引起用户的注意，使得用户可从移动电子设备查找并增加用户的环境意识可提高用户的安全性。
57.在其他实施例中，边缘检测可以用于检测非线性边缘或边缘例如相对于环境中的静止物体的移动。图8-3示出了行人障碍(行走的人)804-3的示例。移动的行人障碍804-3可不同于静止的障碍846-1、846-2被识别和/或突出显示。移动的行人障碍804-3可能需要比静止障碍846-1、846-2更大量的用户注意来避免，因为移动的行人障碍804-3需要多于一次的看来自移动电子设备的显示器的视频馈送或从移动电子设备的显示器向上看来避免。
58.在这样的示例或其他示例中，不同的行人障碍可以根据行人障碍的类别或类型而不同地突出显示。在图8-3中所示的先前示例中，移动的行人障碍804-3可用围绕移动的行人障碍804-3的闪烁周边突出显示，以帮助用户识别移动的行人障碍804-3是动态的和变化的。例如，移动的行人障碍804-3可具有移动的突出显示。静止障碍(诸如信箱846-1或植物846-2)可分别使用相对于信箱846-1或植物846-2静止的边界(诸如关于图7描述的边界740)被突出显示。
59.在一些实施例中，移动电子设备的视频相机收集移动电子设备的视场的深度信
息。深度信息能够允许移动电子设备基于到相机的fov中的物体的相对距离来突出显示或以其他方式通知用户行人障碍。例如，移动的行人障碍804-3比信箱846-1或植物846-2更靠近图8-3中的查看者。因此，移动的行人障碍804-3可以用较粗的突出显示或闪烁的突出显示来突出显示，以便优先考虑障碍的相对距离。
60.在一些实施例中，深度信息允许移动电子设备识别潜在障碍正在接近用户的速度。例如，与10米远处朝向用户行走的行人相比，在10米远处朝向用户移动的骑自行车者向用户呈现更迫切的障碍。以大于阈值的速率朝向用户移动的行人障碍可促使在移动电子设备的显示器上的突出显示。
61.图9示出了用户在人行道上行走的同时正在查看移动电子设备900的场景。用户正在接近人行道的拐角，其中侧面的视图被建筑物948或其他物体阻挡。建筑物948阻止移动电子设备900成像和/或检测建筑物948后面的任何潜在行人障碍。在一些实施例中，第二用户正携带有第二电子设备950，且第二电子设备950发射无线信号952。由移动电子设备900检测无线信号952以在没有到达第二电子设备950的视线的情况下识别和定位第二电子设备950。
62.在一些实施例中，无线信号952是wifi信号。在一些实施例中，无线信号952是蓝牙信号。在一些实施例中，无线信号952是近场通信(nfc)信号。在一些实施例中，无线信号952是光学地穿透不透明物体的另一射频(rf)信号。
63.移动电子设备900可以通过无线通信请求954与第二电子设备950通信，该无线通信请求向第二电子设备950进行连通检测(ping)以获取电子设备标识(edid)或关于第二电子设备950的其他信息。因此，除了第二电子设备950的位置和/或移动之外，移动电子设备900可以向用户通知第二电子设备950接近建筑物948的拐角的性质和/或位于建筑物948的拐角周围的第二电子设备950的性质。
64.图10-1是图9的移动电子设备900的用户界面的示例。显示器912可以向用户呈现来自移动电子设备900的相机的视频馈送916。然而，在关于图9描述的示例中，行人障碍位于相机的fov之外，并且在视频馈送916上不可见。在此类实施例中，可在显示器912上呈现附加的视觉指示符和/或图标以指示行人障碍的位置。
65.在一些实施例中，如图10-1所示，方向指示符956覆盖在视频馈送916或显示器912的其他部分上。例如，方向指示符956可以是指示方向的箭头或其他形状。在其他示例中，方向指示符956可以是基于方向指示符956在显示器912和/或视频馈送916上的位置来指示方向的点形、圆形、其他形状、显示器912和/或视频馈送916的边界的突出显示的、动画的、或闪烁的部分。方向指示符956被定位在显示器912和/或视频馈送916的边界或周边处，以指示相对于显示器912和/或视频馈送916的中心的方向。
66.在一些示例中，仅当在相机的fov之外检测到行人障碍时，方向指示符956存在于显示器912上。在其他示例中，当检测到第二电子设备时，方向指示符956存在于显示器912上。
67.在一些实施例中，方向指示符956还包括距离指示。例如，方向指示符956可包括邻近方向指示符956定位的距离值(例如，5米)，以示出距行人障碍的距离。在其他示例中，方向指示符956相对于到行人障碍的距离改变尺寸。例如，当行人障碍接近移动电子设备900时，方向指示符956在显示器912上的尺寸增加。
68.在一些实施例中，方向指示符956可以闪烁以引起用户的注意。例如，方向指示符956可以在检测到行人障碍时闪烁，以警报用户在相机和/或视频馈送916的fov之外的新的行人障碍。在其他示例中，当行人障碍在距移动电子设备900的阈值距离内时(例如当行人障碍在5米内、3米内、2米内或1米内时)，方向指示符956可闪烁。尽管更远的阈值距离(例如，5米)将为用户生成更多的通知，但是更大量的闪烁警报可能使用户对闪烁警报不敏感，而更短的阈值距离(例如，1米)将指示与行人障碍的更临近的碰撞。
69.在其他实施例中，方向指示符956不足以提供帮助用户的信息。例如，在狭窄走廊、街道或巷道中，简单的方向可能对于行人障碍的性质、速度或位置是不清楚的。图10-2示出了具有位置指示符958的用户界面的另一实施例。移动电子设备900的显示器912包括地图或其他导航面板作为位置指示符958。因此，位置指示符958可提供所检测到的行人障碍的位置的空间背景。
70.在一些实施例中，移动电子设备可以检测和通知用户可听的行人障碍。例如，行人障碍可以在移动电子设备900的相机fov之外。移动电子设备900可具有多个麦克风和/或定向麦克风以检测潜在行人障碍的声音。在一些示例中，用户可能已经听力受损或者正佩戴有头戴式耳机或耳机，并且移动电子设备900可以可视化地呈现方向性通知和/或位置通知，以警报用户听得见的行人障碍。
71.图11示出了使用移动电子设备1000的实施例行走的用户的示例。移动电子设备1000具有对潜在行人障碍成像的相机fov 1010。在一些实例中，潜在的行人障碍位于fov 1010之外。例如，紧急车辆1060可能以高速率行驶并且对行人是危险的。紧急车辆1060产生声音1062，该声音1062可警报有听觉能力的用户紧急车辆1060的存在和移动。在一些实施例中，移动电子设备1000检测紧急车辆1060或其他可听行人障碍的声音1062且可向用户呈现视觉警告。
72.图12是图11的移动电子设备1000的用户界面的示例。在一些实施例中，移动电子设备的显示器1012在显示器1012和/或视频馈送1016上呈现方向指示符1056。方向指示符1056可与视觉音频指示符1064相关联，以向用户提供在视频馈送1016中没有另外示出的可听行人障碍的视觉指示。
73.在一些实施例中，移动电子设备1000的麦克风1066从可听行人障碍接收音频信息。显示器1012然后可以结合方向指示符1056呈现音频指示符1064，以通知用户行人障碍的存在和方向。
74.在一些实施例中，麦克风1066是方向麦克风，用于测量并提供所检测到的声音的源的方向。在其他实施例中，移动电子设备1000包含多个麦克风1066以测量所检测到的声音的方向性。在一些示例中，将所检测到的声音与数据库的已知声音进行比较，从而允许移动电子设备1000辨识所检测到的声音。
75.在这种示例中，显示器1012可以向用户提供关于行人障碍的进一步的信息。例如，所检测到的声音可被辨识为救护车警笛，并且音频指示符1064可包括图形或文本警报以通知用户检测到救护车警笛。在其他示例中，辨识所检测到的声音，且将所检测到的声音的音高与预期音高进行比较以确定行人障碍是接近移动电子设备1000、相对于移动电子设备1000静止还是移动远离移动电子设备1000。例如，当救护车朝向移动电子设备1000的麦克风1066移动时，多普勒效应将增加救护车警笛的音高。在其他示例中，当救护车远离移动电
子设备1000的麦克风1066移动时，多普勒效应将减小救护车警笛的音高。通过提供视觉音频指示符1064，移动电子设备1000可进一步改进听力受损的用户或具有头戴式受话器或耳机的用户的环境意识。
76.冠词“一(a)”、“一种(an)”和“该(the)”旨在意指在以上描述中存在一个或更多个元件。术语“包括(comprising)”、“包含(including)”以及“具有(having)”旨在是包括性的并且意味着可能存在除了所列出的元件之外的附加的元件。此外，应当理解，对本公开的“一个实施例”或“实施例”的引用不旨在被解释为排除也结合所列举的特征的附加实施例的存在。例如，关于本文的实施例描述的任何元件可与本文描述的任何其他实施例的任何元件组合。如由本公开的实施例所涵盖的本领域普通技术人员将理解的，本文所陈述的数字、百分比、比率或其他值旨在包括该值，并且还包括“约”或“近似”所陈述的值的其他值。因此，所陈述的值应当被足够广泛地解释为包括至少足够接近所陈述的值以执行期望的功能或实现期望的结果的值。所陈述的值至少包括在合适的制造或生产工艺中预期的变化，并且可以包括在所陈述的值的5％内、1％内、0.1％内或0.01％内的值。
77.根据本公开，本领域的普通技术人员应认识到，等效构造不脱离本公开的精神和范围，并且可以在不脱离本公开的精神和范围的情况下对在本文公开的实施例进行各种改变、替换和变更。等效构造(包括功能性的“装置加功能”的句子)旨在覆盖本文中描述为执行所述功能的结构，该结构包括以相同方式操作的结构等效物和提供相同功能的等效结构两者。除了与相关联的功能一起出现的词语“用于
…
的装置”之外，申请人的明确意图不援引任何权利要求所要求保护的装置加功能或其他功能。落入权利要求的含义和范围内的各实施例的增加、删除和变更均应包含在权利要求中。
78.应当理解，前述描述中的任何方向或参考系仅是相对方向或移动。例如，对“前”和“后”或“顶部”和“底部”或“左”和“右”的任何引用仅描述相关元件的相对位置或移动。
79.在不背离本公开的精神或特征的情况下，本公开可以以其他具体形式来实施。所描述的实施例被认为是说明性的而非限制性的。因此，本公开的范围由所附权利要求而不是由前述描述指示。落入权利要求的等同物的含义和范围内的改变将被包括在权利要求的范围内。