时间轴用户界面的制作方法

时间轴用户界面
1.本技术是分案申请，原申请的申请号是201880098839.x，原申请日是2018年10月19日，原申请的全部内容通过引用结合在本技术中。
技术领域
2.本公开大体上涉及电子设备，更具体地，涉及用于生成和显示基于用户特定时间轴的数据的方法和系统。


背景技术：

3.智能手机和可穿戴设备等个人电子设备的功能日益增强。这些设备能够提供电话功能、电子邮件和消息功能、视频会议功能、地图导航功能、游戏功能、图像和视频创建功能、媒体查看功能、日程安排功能、位置和活动跟踪功能等。这些设备还拥有数量不断增加的传感器，以持续跟踪有关手机环境的数据。目前，为了利用其电子设备的功能和数据，用户必须花大量时间与其设备进行交互。例如，安排某个事件可能需要用户打开多个应用和显示屏幕并在它们之间进行切换以收集安排该事件所需的全部信息，这会导致设备资源和支持设备的无线网络的低效使用。
4.因此，需要能够更有效地收集和显示信息以及安排事件的系统和方法。


技术实现要素：

5.描述了用于生成和显示基于用户特定时间轴的数据的示例性方法和系统，使得用户能够有效访问与用户相关的有意义的信息。在至少一些示例中，电子设备可以推导和显示信息，使得电子设备能够减少资源消耗。
6.根据第一示例性方面，提供了一种为电子设备(electronic device，ed)相关联用户生成用户时间轴的方法。所述方法包括：在所述ed运行期间收集数据，包括：所述ed的位置数据、从所述ed使用的多个应用接收的应用使用数据以及来自所述ed的输入设备和传感设备之一或全部的活动数据；基于所收集的数据检测是否发生预定类型的观察事件，每次检测到事件发生时，存储相应的观察事件记录，其中所述记录包括所述观察事件的时间和类型信息；针对用户计划参与的计划事件，存储计划事件记录，其中每个所述计划事件记录包括相应计划事件的时间和类型信息；基于所述观察事件记录和所述计划事件记录，对事件进行预测，并且针对每个预测事件，生成并存储相应的预测事件记录，其中所述记录包括所述预测事件的时间和类型信息；基于所述观察事件记录、所述计划事件记录和所述预测事件记录，在时间轴用户界面上分别输出观察事件、计划事件和预测事件的信息。
7.在所述方法的一些示例性实施例中，所述对事件进行预测还基于先前存储的预测事件记录。
8.在一些示例性实施例中，所述输出观察事件、计划事件和预测事件的信息包括在所述ed的显示器上生成时间轴图形用户界面(graphical user interface，gui)，其中所述时间轴gui包括图形事件指示符，每个所述图形事件指示符表示相应的观察事件记录、计划
事件记录或预测事件记录。在一些示例中，所述时间轴gui包括可滚动显示对象，所述可滚动显示对象显示图形事件指示符，所述图形事件指示符表示具有时间信息的观察事件记录、计划事件记录和/或预测事件记录，其中所述时间信息对应于时间轴显示时长。在一些示例中，所述可滚动显示对象是半透明的，并且在显示器上已显示的其他信息上面显示。
9.根据所述第一方面的一些示例性实施例，所述方法包括向预测事件分配置信度属性，其中所述图形事件指示符表示分配给其表示的预测事件的置信度值。
10.根据所述第一方面的一些示例性实施例，所述方法包括：响应于检测到选择所述图形事件指示符之一的预定义用户输入，使得所述ed采取预定义动作。在一些示例中，基于以下一项或多项确定所述预定义动作：(a)所选择的图形事件指示符表示的事件记录的事件类型信息；(b)检测到所述预定义用户输入时所述ed的位置；(c)相对于未来事件时间的选择时间。在一些示例中，至少部分所述观察事件记录标识可通过所述ed使用的所述应用中的一个或多个进行访问的内容的快捷方式，其中所选择的图形事件指示符表示标识快捷方式的所述观察事件记录之一，所述预定义动作为启用所述快捷方式。在一些示例中，所述内容是视频内容，所述快捷方式使得所述视频内容能够在先前暂停观看的指定位置恢复观看。
11.根据所述第一方面的一些示例性实施例，所述对事件进行预测包括：确定所述ed的位置与未来事件的位置之间存在位置间隔时，对出行建议事件进行预测。
12.根据所述第一方面的一些示例性实施例，所述方法包括：作为所述时间轴gui的一部分，显示事件之间的地图和路线信息，其中所述事件具有相应事件记录，所述事件记录由所述时间轴gui上的图形指示符来表示。
13.根据所述第一方面的一些示例性实施例，所述计划事件记录对应于日历或任务应用模块上安排的事件、通过所述时间轴gui输入的事件以及基于从所述ed通过网络接收的消息中提取的信息的事件。
14.根据所述第一方面的一些示例性实施例，所述对事件进行预测包括：基于所存储的事件记录将可能性值分配给多个候选事件，并选择具有最高可能性值的候选事件作为预测事件。
15.根据第二方面，公开了一种电子设备(electronic device，ed)，所述电子设备包括：处理器；耦合到所述处理器的存储器，用于存储可执行指令。所述可执行指令使得所述处理器通过以下方式为所述ed相关联用户生成用户时间轴：在所述ed运行期间收集数据，包括：所述ed的位置数据、从所述ed使用的多个应用接收的应用使用数据以及来自所述ed的输入设备和传感设备之一或全部的活动数据；基于所收集的数据检测是否发生预定类型的观察事件，每次检测到事件发生时，存储相应的观察事件记录，其中所述记录包括所述观察事件的时间和类型信息；针对用户计划参与的计划事件，存储计划事件记录，其中每个所述计划事件记录包括相应计划事件的时间和类型信息；基于所述观察事件记录和所述计划事件记录，对事件进行预测，并且针对每个预测事件，生成并存储相应的预测事件记录，其中所述记录包括所述预测事件的时间和类型信息；基于所述观察事件记录、所述计划事件记录和所述预测事件记录，在时间轴用户界面上分别输出观察事件、计划事件和预测事件的信息。
16.在示例性实施例中，所述存储器包括存储时间轴用户数据库的非瞬时性存储，所
述时间轴用户数据库包括所述观察事件记录、所述计划事件记录和所述预测事件记录。
17.根据第三示例性方面，提供了一种计算机可读介质，所述计算机可读介质有形地存储指令，当所述指令由处理器执行时，使得所述处理器通过以下方式为电子设备(electronic device，ed)相关联用户生成用户时间轴：在所述ed运行期间收集数据，包括：所述ed的位置数据、从所述ed使用的多个应用接收的应用使用数据以及来自所述ed的输入设备和传感设备之一或全部的活动数据；基于所收集的数据检测是否发生预定类型的观察事件，每次检测到事件发生时，存储相应的观察事件记录，其中所述记录包括所述观察事件的时间和类型信息；针对用户计划参与的计划事件，存储计划事件记录，其中每个所述计划事件记录包括相应计划事件的时间和类型信息；基于所述观察事件记录和所述计划事件记录，对事件进行预测，并且针对每个预测事件，生成并存储相应的预测事件记录，其中所述记录包括所述预测事件的时间和类型信息；基于所述观察事件记录、所述计划事件记录和所述预测事件记录，在时间轴用户界面上分别输出观察事件、计划事件和预测事件的信息。
附图说明
18.图1示出了根据示例性实施例的适合与电子设备(electronic device，ed)配套使用的通信系统的框图。
19.图2示出了根据示例性实施例的ed的框图。
20.图3示出了根据示例性实施例的由图2的ed实现的时间轴模块的功能块的框图。
21.图4示出了与图3中的时间轴模块相关联的时间轴数据日志中包含的示例位置数据的表格。
22.图5示出了根据示例性实施例的用于时间轴用户数据库中存储的事件记录的数据库架构。
23.图6示出了图3的时间轴模块的处理引擎检测到的示例类型的计划事件的表格。
24.图7示出了图3的时间轴模块的处理引擎观察到的示例类型的事件的表格。
25.图8示出了处理引擎检测到的物理位置事件和应用使用事件的示例记录格式的表格。
26.图9示出了图3的时间轴模块的预测引擎处理的事件的示例类型的表格。
27.图10示出了根据示例性实施例的在图2的ed的显示屏上显示的图形用户界面(graphical user interface，gui)的示意图。
28.图11示出了用于生成图10的gui的事件记录的表格。
29.图12示出了图10的gui的增强版本的示意图。
30.图13示出了图10的gui的基础版本的示意图。
31.图14示出了根据示例性实施例的时间轴模块基于接收到的文本消息创建计划事件记录。
32.图15示出了根据示例性实施例的显示地图信息的时间轴模块gui。
33.图16示出了根据示例性实施例的显示地图信息的另一时间轴模块gui的表示。
34.图17示出了根据示例性实施例的显示与时间轴事件相关联的图片的时间轴模块gui的表示。
35.图18示出了根据示例性实施例的可能性模型的表示。
36.图19示出了显示内容快捷特性的时间轴模块gui的表示。
37.图20示出了根据示例性实施例的由时间轴模块执行的方法。
具体实施方式
38.本公开参考附图，在附图中示出了实施例。而因可以使用许多不同的实施例，因此，不应将描述解释为限于本文所述的实施例。相反，提供这些实施例是为了使本公开详尽和完整。相似数字指示通篇的相似元素。示出的系统和设备的功能元件或模块的划分框或示出的划分并不一定要求这些功能或模块物理上相分离，因为此类元件之间的通信可以通过消息传递、功能调用、共享内存空间等方式进行，而无需任何此类物理分离。因此，功能或模块不需要在物理上或逻辑上相分离的平台中实现，然而为了便于说明，在本文中将分别进行描述。不同设备可以具有不同设计，这样，一些设备在固定功能硬件中实现某些功能，而其他设备可以在可编程处理器中通过从机器可读介质获得的代码实现此类功能。
39.参考图1和图2，将对本公开的电子设备(electronic device，ed)102的示例性实施例进行描述。图1示出了根据本公开的适合运行ed 102的通信系统100的框图。如下文更详细地描述，通信系统100可以包括与ed 102通信的多个不同类型的通信网络，这些通信网络中的每一个都可以直接或间接地连接到另一公共网络230，例如互联网，使得ed 102能够通过网络230访问一个或多个服务200。
40.在示例性实施例中，ed 102与至少一个签约用户或主要用户50相关联，用户50拥有、已分配有ed 102或与ed 102有其他关联。
41.本实施例中，如图2所示，ed 102是一种多用途移动电子设备，包括至少一个处理器104，其控制ed 102的整体运行。在一些示例中，ed 102可以实现为手持移动电子设备，例如智能手机或平板电脑。在一些示例中，本公开中所描述的ed 102的功能可以跨平台执行，例如在无线个人局域网中进行通信的智能手机和智能手表之间。处理器104通过通信总线(未示出)耦合到多个组件，通信总线提供组件与处理器104之间的通信路径。ed 102的组件包括数字存储107，其可以包括随机存取存储器(random access memory，ram)108、只读存储器(read only memory，rom)110和持久性(非易失性)存储器112，持久性(非易失性)存储器112可以是闪存可擦除可编程只读存储器(erasable programmable read only memory，eprom)(“闪存”)或其他合适的存储器形式。ed 102还可以包括数据端口122，例如串行数据端口(例如通用串行总线(universal serial bus，usb)数据端口)。
42.在示例性实施例中，ed 102的组件包括多个环境传感器130，其耦合到处理器104，用于感测ed 102的环境。传感器130可以包括以下传感器中的一个或多个：相机传感器130(1)；环境光传感器130(2)；压力传感器130(3)；湿度传感器130(4)；方位和运动传感器，例如陀螺仪130(5)、加速度计130(6)和磁力计130(7)；飞行时间(time-of-flight，tof)传感器130(8)；生物测定传感器130(9)(例如指纹识别器)；接近传感器130(10)；气压计130(11)；温度传感器130(12)；麦克风130(13)等音频传感器；以及其他传感器130(s)。
43.在示例性实施例中，处理器104还耦合到一个或多个输出设备(例如显示器132、扬声器134)、一个或多个用户输入设备136以及一个或多个其他i/o设备138。显示器132例如可以包括彩色液晶显示器(liquid crystal display，lcd)或有源矩阵有机发光二极管(active-matrix organic light-emitting diode，amoled)显示器。用户输入设备136可以
包括键盘或小键盘、一个或多个按钮、一个或多个开关、触摸板、摇杆开关或其他类型的输入设备。除了键盘或小键盘之外或代替键盘或小键盘，显示器132可以作为触摸屏或触敏显示器的一部分，触摸屏或触敏显示器提供用户输入设备136。显示器132连同可操作地耦合到电子控制器(未示出)的触敏叠加层或连同可操作地耦合到电子控制器(未示出)的集成于显示器132的触摸式传感器可以包括触敏显示器。其他i/o设备138可以包括，例如：一个或多个led通知灯、振动设备以及用于连接外部麦克风和音频输出设备的辅助i/o端口。
44.在ed运行期间，可以通过用户输入设备136和一个或多个传感器130与显示在显示器132上的图形用户界面(graphical user interface，gui)进行用户交互。文本、字符、符号、图像、图标等信息经由处理器104渲染并显示在显示器132上。处理器104还可以与一个或多个传感器130，例如陀螺仪130(5)、加速度计130(6)和磁力计130(7)进行交互，以检测重力作用力或重力感应反应力的方向，从而例如确定ed 102的方位，以便确定gui的屏幕方位以及确定ed 102的基于方位和加速度的用户输入。在示例性实施例中，麦克风130(13)可以与语音到文本引擎结合使用，以向处理器104提供命令的语音输入。
45.ed 102还包括卫星接收器120，用于从卫星网络194接收卫星信号，卫星网络194包括作为全球或区域卫星导航系统一部分的多个卫星。在一些实施例中，可以提供能够接发卫星信号的卫星收发器，而非只能提供只能接收卫星信号的卫星接收器。
46.ed 102可以使用卫星接收器120从卫星网络194中的多个卫星接收的信号来确定自身位置。在至少一些实施例中，卫星网络194包括作为至少一个全球导航卫星系统(global navigation satellite system，gnss)一部分的多个卫星，其中gnss提供全球覆盖的自主地理空间定位。例如，卫星网络194可以是gnss卫星的星座。例如，gnss包括美国的navstar全球定位系统(global positioning system，gps)或中国的北斗导航卫星系统(beidou navigation satellite system，bds)等。
47.ed 102还包括一个或多个无线收发器，用于交换至少数据通信。无线收发器至少包括蜂窝(rf)收发器114，用于与蜂窝网络192等多个不同的无线接入网(radio access network，ran)进行通信。无线收发器还可以包括无线局域网(wireless local area network，wlan)收发器116，用于经由wlan接入点(access point，ap)与wlan 190进行通信。wlan 190可以包括符合ieee 802.11x标准(有时也称为)的wi-fi无线网络。在其他实施例中，wlan 104可以使用其他通信协议。
48.无线收发器还可以包括无线个人局域网(wireless personal area network，wpan)收发器118，例如短距离无线或(蓝牙)收发器，用于与计算机240或者活动跟踪器或智能手机等其他启用设备进行通信。ed 102还可以使用物理链路，例如数据端口122(例如usb端口)，与计算机240或其他用户设备进行通信。无线收发器还可以包括近场通信(near field communication，nfc)收发器121。
49.再次参考图2，软件152存储在ed 102的数字存储107中，数字存储107包括用于处理器104执行的指令集。软件152可以例如存储在持久性存储器112中，可以包括操作系统(operating system，os)软件154和软件应用156。
50.数据150包括用户数据、数据库文件、已保存的日志以及其他数据，也存储在数字存储107中。在示例性实施例中，通过处理器104执行软件152创建的数据150的瞬时性部分可以存储在易失性存储器(例如ram 108)中，数据150的持久性部分可以存储在存储器112
或rom 110等持久性存储器中。在一些示例中，来自ram 108的数据可以传输到持久性存储器112以进行持久性存储。存储在持久性存储器112中的软件152和数据150或其部分可以临时加载到易失性存储器中，例如ram 108，易失性存储器用于存储运行时数据变量和其他类型的数据或信息。
51.在示例性实施例中，os软件154可以使得处理器104针对一些应用156和数据150使用设备外存储。例如，处理器104不立即需要的应用156和数据150的部分可以从ed 102的数字存储107中删除，并且传输和存储到与ed 102相关联的远程服务200中，然后由ed 102进行检索，并根据需要传输到数字存储107。
52.处理器104支持在ed 102上执行os软件152和软件应用156。os软件152和基本应用集156可以在制造过程中安装在ed 102上并在设备初始化期间进行更新。附加应用156可以通过网络230从提供服务200的各种软件上下载并在ed 102上安装。应用156包括使得处理器104实现各种功能模块160(1)至160(n)(以下统称为模块160)的指令组。在一些示例中，用于模块160的超集的指令可以包含在单个应用156中。在一些应用中，用于单个模块160的指令可以包含在多个应用156中。在一些示例中，单个模块160可以对应于单个应用156。在一些示例中，应用156中确定的模块160中的部分模块可以并入os软件154。部分模块160可以包括子模块，例如计算器微件等用于实现低资源消耗功能的微件。在各种实施例中，图2所示的模块160中的部分模块可以实现为并入较大模块的子模块，并且图2所示的模块160中的部分模块可以拆分成多个模块。在一些应用中，部分模块160可以是微件或客户端应用程序程序接口(application program interface，api)，这些是低资源模块，用于在后台运行，并通过网络230周期性地从一个或多个远程服务200(例如天气、交通和新闻api)中检索信息。
53.如图2所示，处理器104基于ue软件152中包含的指令实现的模块160中的部分模块例如可以包括控制基本设备操作的模块，例如语音通信模块160(1)和数据通信模块160(2)。其他基本模块160可以包括为ed用户50配置的个人信息管理(personal information management，pim)模块，例如电子邮件管理器模块160(3)、日历模块160(4)、联系人模块160(5)、任务模块160(6)以及网络服务提供商文本/sms模块160(7)。在示例性实施例中，pim模块160(3)-160(6)可以组织和管理ed用户50特定的pim数据项，例如电子邮件、日历事件、联系人、语音邮件、预约和任务项。pim模块160(3)-160(6)还可以通过ed 102的收发器116、118、121中的一个或多个发送和接收pim数据项。pim数据项可以通过通信系统100的无线网络与ed用户50的对应pim数据项进行无缝集成、同步和更新，其中ed用户50的对应pim数据项存储或关联到主机服务200。
54.模块160还可以包括位置服务模块160(8)，其基于从卫星接收器120、蜂窝收发器114、wlan收发器116、wpan收发器118、nfc收发器121之一或其组合接收或导出的位置信息，持续跟踪ed 102的地理位置。位置服务模块160(8)还可以从环境传感器130导出地理位置信息，包括例如来自陀螺仪130(5)、加速度计130(6)和磁力计130(7)的运动和方位信息，以及分别来自气压计130(11)和湿度传感器130(4)的气压和湿度信息。
55.地图模块160(9)，例如可以在ed 102中使用地图应用(例如(苹果)地图或(谷歌)地图)实现，能够将来自位置服务模块160(8)的位置信息与标记的地图位置和ed 102待输出的相应地图数据相关联。
56.模块160还可以包括相机模块160(10)、图像/视频管理器/查看器模块160(11)、网页浏览器模块160(12)、活动跟踪器模块160(13)、网络服务模块160(14)、网络零售模块160(15)、天气模块160(16)、社交媒体模块160(17)以及其他模块160(n)。
57.网络服务模块160(14)可以例如由相应的应用156实现，这些应用能够访问基于网络的服务，例如(优步)和(来福车)等按需乘车服务，和等汽车共享服务，食物配送服务以及(亿客行)、trip(到到网)、(爱彼迎)等旅游预约和预订服务。
58.网络零售模块160(15)可以例如由相应的应用156实现，这些应用能够访问(亚马逊)和(阿里巴巴)等网络使能的零售采购服务。
59.社交媒体模块160(17)可以例如由(脸书)、facebook(脸书即时通)、(瓦次普)、(照片墙)、(推特)等相应的应用实现。
60.在示例性实施例中，存储在ed 102的数字存储107中的软件152包括使得处理器104实现时间轴模块170的指令。如此处的详细描述，时间轴模块170与软件应用模块160和传感器130进行交互以收集和处理传感器数据和应用数据，从而为ed用户50生成时间轴事件数据，并且可以由ue 102通过交互式用户界面输出。在至少一些应用中，时间轴模块170可以有效使用ed 102及其支持无线网络之一或全部的资源等，从而减少与ed 102进行用户交互的次数，其中用户交互用于显示关键信息和支持用户请求的任务。
61.图3示出了根据示例性实施例的时间轴模块170的功能块和与时间轴模块170相关联的数据元素的框图。如图3所示，在示例性实施例中，时间轴模块170包括多个功能块，可以包括：数据收集引擎302、事件处理引擎304、事件预测引擎310以及时间轴用户界面(user interface，ui)引擎312。尽管描述为包括多个逻辑引擎，但在一些示例中，引擎302、304、310和312的部分或全部功能可以组合成更少的逻辑处理引擎，或者划分为更多的处理引擎。如图3所示，与时间轴模块170相关联的数据元素包括时间轴数据日志322和时间轴用户数据库314，在示例性实施例中，时间轴数据日志322和时间轴用户数据库314可以作为数据150的一部分存储在数字存储107中。
62.时间轴模块170用于生成和维护时间轴用户数据库314的数据。时间轴用户数据库314用作用户特定数据库，其包括ed 102生成并向ed 102的用户50显示时间轴事件所需的信息。在这方面，在示例性实施例中，时间轴用户数据库314包括事件记录315和用户配置文件信息321。如下文更详细的解释，事件记录315可分类为：ed 102在事件发生时观察到的事件的观察事件记录316；计划发生的事件的计划事件记录318；预测未来将发生的计划外事件的预测事件记录320。
63.用户配置文件记录321包含与时间轴模块170相关联的特定个人ed用户50的属性。例如，特定个人用户50可以是ed 102的主用户，并且用户配置文件记录321可以包括数据字段，这些数据字段指定主ed用户50的以下信息中的至少部分：名字、姓氏、年龄、出生日期、性别、婚姻状况、子女数量、身高、体重、家庭住址、工作地址。在一些示例中，随着时间轴模块170了解更多关于用户的情况，随着时间的推移，用户配置文件记录321增加额外的数据。例如，除了工作地址和家庭住址外，还可以添加经常访问的其他地点的位置信息和标签，例
如儿童学校的位置信息，标签为“(儿童姓名)的学校”。在一些示例中，事件处理引擎304应用基于过去事件数据和未来事件数据的时间推理来更新数据并将数据添加到用户配置文件记录321。
64.在示例性实施例中，时间轴用户数据库314的部分或全部数据存储在ed 102的持久性存储器112中，并且根据需要将部分数据或数据指针加载到ram 108。在至少一些示例中，时间轴用户数据库314是逻辑数据库，其可以跨多个设备和计算机分布或镜像，例如ed 102、计算机240和一个或多个服务200，该多个设备和计算机可以使用网络190、192、194和230中的一个或多个进行同步。在至少一些示例中，时间轴用户数据库314是关系数据库。在一些示例中，用户可以从多个平台上的时间轴用户数据库314接收信息，该多个平台支持与用户50相关联的时间轴模块170的相应实例，类似地，时间轴模块170可以从多个平台接收关于用户50的信息。
65.现在将更详细地解释图3的时间轴模块170的操作概述，从数据收集引擎302开始。在ed 102持续运行期间，数据收集引擎302从传感器130和软件152收集数据并处理数据以提供日志或数据集，其中日志或数据集的格式适合时间轴模块170的其他组件使用，例如事件处理引擎304和预测引擎310。在示例性实施例中，至少所收集的部分数据被处理并存储在时间轴数据日志322中，时间轴数据日志322维护在ram 108等瞬时性存储器中。时间轴数据日志322可以包括从应用模块160和传感器130收集的带有时间戳的应用使用数据324和带有时间戳的位置数据326。时间轴数据日志322还可以包括带有时间戳的活动数据328，活动数据328包括活动日志或数据集。活动日志或数据集包括多个连续的带有时间戳的数据条目，其中每个条目包括通过用户输入设备136与ed 102进行的物理用户交互的信息，以及通过传感器130测量的ed 102的其他动能状态参数，例如设备姿态(俯仰、偏航、滚转)、温度和振动等。在一些示例中，时间轴数据日志322可以包括针对从各传感器130和各模块160收集的数据的不同日志或数据集。在至少一些示例中，可以维护由来自多个传感器和/或模块160的数据合并而成的日志或数据集。
66.在示例性实施例中，可以通过所选传感器130和模块160的周期性轮询来获得通过数据收集为时间轴数据日志322的数据集收集的数据，并且可以针对不同数据集以不同频率进行此类轮询。在一些示例中，所选传感器130和模块160可以用于仅在发生预定事件或状态变化时将数据推送到时间轴模块170。在示例性实施例中，存储在时间轴数据日志322中的数据被视为瞬时性数据，并在经过预定时长或发生预定触发事件后(例如当数据集中存储的数据达到数据量阈值时)滚动丢弃。在示例性实施例中，所选模块160通过ed用户50的预授权或预注册与时间轴模块170相关联，以便所选关联模块160向时间轴模块170提供数据。
67.如上所述，时间轴数据日志322包括带有时间戳的位置数据326。在示例性实施例中，从数据收集引擎302接收带有时间戳的位置数据326，数据收集引擎302从位置服务模块160(8)收集带有时间戳的位置数据，并处理位置数据以提供位置日志或位置数据的数据集(称为位置日志或数据集)。如上所述，位置服务模块160(8)用于基于以下一项或多项生成ed102的位置数据：通过卫星接收器120接收的gnss(例如gps)信号；从收发器114、116、118和121之一或其组合导出的位置信息；从传感器130和数据收集引擎302导出的位置信息，其中数据收集引擎302收集位置数据并将位置数据处理成位置日志或数据集。图4示出了带有
时间戳的位置数据326的示例，位置数据326包括位置数据(例如gnss数据)的位置日志或数据集，该位置数据由数据收集引擎302从位置服务模块160(8)收集。如图4所示，位置日志或数据集包括多个连续的带有时间戳的数据条目，每个数据条目指定ed 102的以下位置信息：日、时间、纬度、经度、海拔、方位和速度。
68.例如，数据收集引擎302可收集的带有时间戳的活动数据328是包括陀螺仪130(5)、加速度计130(6)和磁力计130(7)在内的ed 102的惯性内部传感器所获得的惯性传感器数据。该惯性传感器数据由数据收集引擎312收集和处理，以提供活动日志或数据集。活动日志或数据集可以包括多个连续的带有时间戳的数据条目。活动日志或数据集中每个带有时间戳的数据条目可以包括指示ed 102相对于三个正交轴的方位或姿态的信息，以及相对于三个轴中每个轴的瞬时加速度信息。
69.又例如，数据收集引擎302可采集的带有时间戳的活动数据328是触摸屏交互数据，其由数据收集引擎302处理以提供活动日志或数据集。活动日志或数据集例如可以包括多个连续的带有时间戳的数据条目，每个数据条目标识在时间戳标记的瞬间施加在显示器132的触摸屏表面的压力的位置和大小。
70.例如，带有时间戳的应用使用数据324可以包括与时间轴模块170相关联的每个应用156的应用使用日志或数据集。例如，包括应用使用日志或数据集，该应用使用日志或数据集包括多个连续的带有时间戳的数据条目，其中每个条目包括日历160(4)和任务160(6)模块的活动数据的信息等。在一些示例中，应用使用日志或数据集包括带有时间戳的数据条目，数据条目包括数据收集引擎312从api收集的关于ed 102使用的一个或多个远程服务200的信息或关于驻留在ed 102上的微件的信息。例如，应用使用日志或数据集中的带有时间戳的应用数据条目可以包括天气信息和本地交通信息。
71.在至少一些示例中，时间轴数据日志322中包括的数据格式化为多维特征向量，多维特征向量可以作为神经网络的输入数据，神经网络用于实现时间轴模块170的其他组件，例如事件处理引擎304或预测引擎310。
72.图5以数据库架构的形式示出了事件记录315的示例。事件记录315包括事件元素352和相关元素354、356、358、360、362、364、366、368、370和372。如上所述，事件元素352可以包括指定以下信息的属性：唯一事件id(event_id)、事件标题(title)、事件类型(type_id)、事件记录创建时间(timestamp)、位置(loc-id)、事件开始时间(start_ts)、事件结束时间(end_ts)、事件是否要在时间轴上显示(visible)、事件数据是否已被用户手动校正或修改(corrected)、事件是否已被用户删除(deleted)、显示事件时所使用的徽标图像(with_image)、事件的时区(time_zone)以及事件的置信度属性(confidence)。相关元素354、356、358、360、362、364、366、368、370和372可以指定上述某些属性(例如事件类型(event_type)354和位置356)和以下信息：事件是否有关联图像，例如图片，以及这些图像的路径(是否有图像(has_images)358、图像360)；识别标签(如果有的话)，用于在时间轴ui上表示事件，以及这些标签的属性(是否有标签(has_tags)362、标签364)；任何事件参与者的信息(是否有参与者(has_participants)366、参与者368)；事件是否有关联文件，以及这些文件的路径(是否有文件(has_files)370、文件372)。置信度属性表示计划事件已正确生成的准确性置信度。
73.如图3所示，一类事件记录315包括针对ed用户50预定参与的计划事件的计划事件
记录318。计划事件记录318由时间轴模块170针对以下事件生成：(a)已通过或经由应用模块160之一(例如日历模块160(4)或任务模块160(6))有意为ed用户50安排的事件；或(b)已由ed用户50通过用户时间轴模块170有意安排的事件。在示例性实施例中，计划事件记录318使用图5所示的架构。图6通过非限制性示例的方式示出了指定类型604的计划事件的表格。如图6所示，计划事件属于上述提到的两类中的一类，即通过应用模块160(时间轴模块170除外)安排的事件，以及用户通过时间轴模块170安排的事件。
74.对于已经由或通过应用模块160之一有意安排的事件，在一些示例中，事件处理引擎304用于检测此类事件并生成相应的计划事件记录318，如下所述。数据收集引擎302用于记录日历模块160(4)安排或修改日历条目时的信息和任务模块160(6)安排或修改任务条目时的信息，作为带有时间戳的应用使用数据324。事件处理引擎304用于监控带有时间戳的应用使用数据324以检测日历模块160(4)和任务模块160(6)安排的事件，然后生成计划事件记录318以表示由日历模块160(4)和任务模块160(6)安排的事件。在各种示例性实施例中，相应的计划事件记录318可以由属性进行填充，该属性由数据收集引擎302收集，或者由事件处理引擎304从日历模块160(4)和任务模块160(6)维护的数据中获取或导出。
75.相应地，在示例性实施例中，事件处理引擎304周期性地从日历模块160(4)接收由数据收集引擎302收集的带有时间戳的应用使用数据324，该应用使用数据324指示关于日历事件的添加或修改的信息，以及来自任务模块160(6)的带有时间戳的应用使用数据324，该应用使用数据324指示关于日历事件的添加或修改的信息，并且基于带有时间戳的应用使用数据324创建或修改相应的计划事件记录318。
76.对于用户通过用户时间轴模块170安排的事件，在至少一些示例中，时间轴ui引擎312用于使得用户输入关于未来预约、会议、任务或提醒的信息，该信息可以用于事件处理引擎304针对计划的未来事件生成计划事件记录318。在一些示例中，时间轴ui引擎312可以与日历模块160(4)和任务模块160(6)进行交互，从而在用户50与时间轴ui引擎312进行交互时，使得用户50向这些模块(模块随后可以由数据收集引擎302/事件处理引擎304检测到)添加日历事件和任务事件。
77.如下文更详细地描述，在一些示例中，事件处理引擎304用于基于发生的观察事件，主动提示用户50输入关于未来预约、会议、任务或提醒的信息。
78.如上所述，存储在时间轴用户数据库314中的一类事件记录315是观察事件记录316。在示例性实施例中，观察事件记录316使用图5所示的架构。在示例性实施例中，事件处理引擎304用于检测观察事件发生，并生成和维护观察事件记录316，如下所述。由于该数据被收集并存储在时间轴数据日志322中，事件处理引擎304用于持续分析带有时间戳的应用使用数据324、位置数据326和活动数据328，以检测触发器，该触发器指示发生了指定类型的观察事件。对于检测到的每个触发器，事件处理引擎304针对指定类型的观察事件生成相应的观察事件记录316。在至少一些示例中，观察事件记录316中包括的属性基于带有时间戳的应用使用数据324、位置数据326和活动数据328进行分析，该数据从时间轴数据日志322中获取或导出。在示例性实施例中，事件处理引擎304用于检测的指定类型的观察事件基于以下一项或多项的组合预先确定：事件类型的初始默认列表；系统更新和/或用户输入(通过时间轴ui引擎312实现)，用于在列表中添加或移除事件类型；过去与时间轴模块170进行的用户交互；与时间轴模块170相关联的应用156。
79.例如，图7示出了表格700，其包括观察事件类型(观察事件类型704)的非详尽列表，该观察事件类型由事件处理引擎304基于存储在时间轴数据日志322中的带有时间戳的应用使用数据324、位置数据326和活动数据328以及存储在时间轴数据库314中的数据进行检测并记录。在一些示例中，事件处理引擎304基于规则，并在分析存储在时间轴数据日志322中的带有时间戳的应用使用数据324、位置数据326和活动数据328以及存储在时间轴数据库314中的数据时，应用组成的规则集324，以检测触发器，该触发器指示发生了指定观察事件类型704。该规则集可以是人为生成的、机器学习生成的或其组合。在一些示例中，经过训练的人工智能(artificial intelligence，ai)引擎，例如经过训练以识别与观察事件类型704相关联的数据模式的深度学习神经网络系统，而非基于明确规则的系统，可以用于在事件处理引擎304中实现过去事件识别功能。在一些示例中，可以结合基于规则的处理和经过训练的神经网络的处理来识别事件。
80.如图7所示，事件处理引擎304用于检测和记录的观察事件类型704的类型可以划分为类别702以便于处理，例如包括“位置”事件、“用户活动”事件和“应用使用”事件。例如，位置事件与基于带有时间戳的位置数据326确定的ed 102的地理位置有关，并且可以包括事件类型704，例如表格700中所示的事件类型(例如“工作”，对应于检测到的观察事件“工作中”)。在示例性实施例中，事件处理引擎304可以主要基于带有时间戳的位置数据326检测到属于“位置”类别的观察事件。
81.如图7所示，通过带有时间戳的应用使用数据324跟踪的主要与应用使用(例如模块160)相关的观察事件可划分为“应用使用”类别，例如，可以包括表格700中所示的事件类型。例如，可以基于针对ed 102上特定金融服务模块(应用c)(例如网络服务模块160(14)之一)收集的应用使用数据324确定可检测事件类型“支付账单”。在示例性实施例中，应用使用事件可以包括针对时间轴模块170自身检测到的事件，例如包括与时间轴ui进行的用户交互。
82.通过带有时间戳的活动数据328跟踪的主要与ed 102的动力学特性和与ed 102的用户交互相关的观察事件可划分为“用户活动”类别，例如，可以包括表格700中所示的事件类型。图7所示的事件和类别是一个具有代表性的示例，可以在各种实施例中定义许多其他观察事件类型和类别。
83.一旦检测到观察事件，事件处理引擎304针对该事件生成相应的观察事件记录316。除包括其他数据外，观察事件记录316还包括检测到事件时指示的时间戳以及图5的架构中指定的其他信息。参考图8，表格802提供了可包含在位置类事件的观察事件记录316中或可从中推断出的信息类型的示例，表格804提供了可包含在应用使用事件的观察事件记录316中或可从中推断出的信息类型的示例。
84.从图5的架构中可以看出，观察事件记录316可以是分层的，例如，位置类观察事件记录可以包括关于应用使用事件类型(例如“是否有图像(has_images)”)的嵌入信息。如图5的架构以及表格802和表格804中所示，针对观察事件和计划事件的每个事件记录315包括由事件处理引擎304分配的唯一事件id、包含时间信息(例如开始时间、结束时间)和事件类型的事件属性集等。
85.如上所述，第三类事件记录315是预测事件记录320。在示例性实施例中，预测引擎310针对以其他方式未计划或未安排的未来事件生成预测事件记录320。在示例性实施例
中，还根据图5的架构配置预测事件记录。现在将描述预测引擎310对事件进行预测并生成预测事件记录320的操作的概述。预测引擎310用于连续分析事件记录315(包括观察事件记录316、计划事件记录318和预测事件记录320)，用户配置文件321和时间轴数据日志322，以便预测是否发生了特定类型的事件。一旦进行了预测，这些事件成为“预测事件”，并且预测引擎310针对每个此类事件生成相应的预测事件记录320。
86.尽管计划事件记录318和预测事件记录320在生成时通常都与未来事件相关，但两者的区别在于，计划事件记录318是针对有意安排或计划的事件生成的；而预测事件记录320是针对未有意安排或计划的事件生成的，该事件基于推断来预测，该推断至少部分基于存储在时间轴用户数据库314中的数据。
87.在示例性实施例中，预测引擎310用于检测的指定类型的事件基于以下一项或多项的组合预先确定：事件类型的初始默认列表；系统更新和/或用户输入(通过时间轴ui引擎312实现)，用于在默认列表中添加或移除事件类型；过去与时间轴模块170进行的用户交互；与时间轴模块160相关联的应用模块160。
88.例如，图9示出了事件类型(预测事件类型900)的非详尽列表，该事件类型由预测引擎310基于存储在时间轴用户数据库314中的数据进行预测。在图9的示例中，预测事件类型可以包括事件，该事件可被划分为提示ed用户50采取特定动作(例如订购食物、订购运送)的建议事件，以及提醒ed用户50注意即将发生的事件(该事件可能需要也可能不需要ed用户50采取行动)的提醒事件(例如，网上订购的物品将在某一特定时间到达用户家中)。
89.在一些示例中，预测引擎310基于规则，并在分析存储在时间轴用户数据库314中的带有时间戳的应用使用数据324、位置数据326和活动数据328时，应用组成的规则集，以预测是否发生指定事件类型900。该规则集可以是人为生成的、机器学习生成的或其组合。在一些示例中，经过训练的人工智能(artificial intelligence，ai)引擎，例如经过训练以识别与事件类型904相关联的数据模式的深度学习神经网络系统，而非基于明确规则的系统，可以用于在预测引擎310中实现事件预测功能。在一些示例中，可以结合基于规则的处理和经过训练的神经网络的处理来识别事件。
90.在示例性实施例中，预测引擎310生成的预测事件记录320包括用于指定属性的信息，该属性与上文针对观察事件记录316和计划事件记录318所描述的属性类似，例如包括唯一事件id、记录创建的时间戳、预测事件类型、事件开始时间、事件结束时间、事件时长、事件附加信息。在至少一些示例中，针对至少部分预测事件的预测事件记录320还包括置信度属性。在这种情况下，置信度属性可以是由预测引擎310分配给预测事件记录320的置信度值，置信度值表示与该预测事件记录320对应的预测事件将会发生的可能性。在一些示例中，置信度属性可以是二进制值，指示置信度是否满足置信度阈值。例如，预测引擎310可以将置信度属性“1”分配给主要基于计划事件进行预测的预测事件对应的预测事件记录320，并将属性“0”分配给主要基于过去事件进行预测的预测事件对应的预测事件记录320。
91.在至少一些示例性实施例中，还为每个计划事件记录318分配置信度属性，置信度属性的默认值例如可以高于置信度阈值(例如“1”)。
92.在示例性实施例中，启用时间轴ui引擎312以便用户将附加计划事件记录318添加到事件处理引擎304和预测引擎310生成的记录中。在示例性实施例中，启用时间轴ui引擎312以便用户编辑事件记录属性或删除事件记录315，包括观察事件记录316、计划事件记录
318和预测事件记录320。
93.应理解的是，计划事件记录318和预测事件记录320通常针对未来事件生成。在某个时刻，实际时间将超过事件记录中指定的事件开始时间(start_ts)和结束时间(end_ts)，事件将变成已发生的或过去事件。在示例性实施例中，事件处理引擎304可以用于基于带有时间戳的应用使用数据324、位置数据326和活动数据328中的一项或多项确定计划事件或预测事件实际是否发生，并为计划事件对应的计划事件记录318或预测事件对应的预测事件记录320添加事件验证标志，以指示事件是否发生。在一些示例中，一旦事件时间过去，上述针对未来事件的置信度属性可以用作事件验证标志。
94.图10示出了时间轴图形用户界面(graphical user interface，gui)202的示例，gui 202可以由时间轴ui引擎312生成并在ed 102的显示屏132上显示。在图10的示例中，gui 202包括沿垂直线208延伸的一列屏幕上的图形元素，在本文中称为事件图标204。事件图标204分别表示具有相应事件记录的时间轴事件(例如观察事件、计划事件或预测事件)，如图11中所示，事件记录存储在时间轴用户数据库314中。例如，图10中每个事件图标的数字标记后面的括号中包含与事件图标相对应的事件记录(event record，er)数字标记(例如，事件图标214对应于事件记录316(1)，事件216对应于事件记录318(0)等)，如图11所示。事件图标204表示在时间轴显示时长232内发生的时间轴事件，并且按照时间顺序在行208中自上而下排列，其中水平线提供屏幕上的当前时间指示符210。每个事件图标204可以包括图形图像，其指示图标所表示的事件的事件类型。事件图标204包括位于当前时间指示符210之前(例如，之上)的过去事件图标214和216，以及位于当前时间指示符210之后(例如，之下)的未来事件图标218、220、222、224、226、228和230。
95.在示例性实施例中，gui 202是可滚动显示对象，并且用户交互(例如向下滑动和向上滑动)可以用于更改时间轴显示时长232的时间。例如，时间轴显示时长232可以具有默认设置，以表示7小时时长的事件，包括3小时的过去事件和4小时的未来事件。用户可以向下滚动，以便显示的7小时窗口显示更多未来事件和更少(或不显示)过去事件。在一些示例中，时间轴显示时长232所涵盖的时间段可以通过用户交互进行缩放(例如延长或缩短)，例如通过手指捏夹和手指伸展的屏幕交互。在一些示例中，时间轴显示时长232的时长和时间缩放可以由时间轴ui引擎312基于待显示的事件图标的数量自动执行。
96.在一些示例中，gui 202是半透明的显示对象，其覆盖在显示器132上显示的另一gui(例如主屏幕gui)之上。
97.如图10所示，可以在事件图标204的旁边显示一列文本和/或图形形式的附加信息206以提供每个相应事件的附加信息。在替代性实施例中，时间轴和事件图标204可以定位为水平时间轴格式或循环时间轴格式或其他方式，而非图10中所示的垂直列格式。此外，事件图标可以按时间倒序排列，而非按时间顺序排列。在至少一些示例中，gui 202中使用的时间轴结构和顺序可以是用户可配置的。
98.在至少一些示例性实施例中，事件图标204可以应用不同的显示属性，以区分过去事件和未来事件。此外，在一些实施例中，事件图标204可以应用不同的显示属性，以区分已分配超过置信阈值的高置信度值的未来事件和已分配低置信度值的未来事件。例如，在图10中，事件图标214和216周围的实线边框表示过去发生的事件，事件图标218和226周围的等长虚线边框表示置信度较低的未来事件，一组事件图标222、224、228和230周围的点线间
隔虚线边框表示置信度较高的未来事件。尽管图10中示出了不同的边框线(例如实线、等长虚线、点线间隔框线)以区分过去和未来事件的事件图标和/或具有不同置信度的事件，还可以应用其他视觉区分特性，例如不同的图标边框和背景颜色和/或不同的图标形状。
99.在示例性实施例中，任何给定时间轴显示时长232的观察事件、计划事件和预测事件的数量通常将超过可以用于清晰显示对应于所有此类事件的事件图标的屏幕空间。从图5的架构中可以看出，“事件”元素352可以包括“可视”属性，该属性指定是否将事件记录对应的事件显示在时间轴上。在示例性实施例中，时间轴ui引擎312用于从事件记录315选择事件子集(例如包括预定义可见属性的事件)，该事件包括在时间轴显示时长232中，时间轴显示时长232作为gui 202的一部分显示在屏幕上。在图10和图11的示例中，图11中仅示出了与图10中所显示的事件图标相对应的事件记录的子集。在示例性实施例中，时间轴模块170的引擎302、304、310和312使用一组预定义规则来选择时间轴显示时长232内的事件中哪些事件将由gui 202中相应的事件图标204来表示。在一些示例中，这些规则可以是自定义的，在一些示例中，这些规则可以由时间轴ui引擎312基于之前的用户交互获知。
100.现在将描述时间轴模块170的引擎302、304、310和312的协同操作的示例，该操作使得图10的gui 202显示如图11中所示的事件记录。在这方面，将根据示例性实施例描述事件图标214的生成。事件图标214表示检测到的“工作中”类型的事件，该事件与存储在时间轴用户数据库314中的观察事件记录316(1)相对应。如上所述，数据收集引擎302与时间轴数据日志322进行交互，时间轴数据日志322存储带有时间戳的应用使用数据324、位置数据326和活动数据328。带有时间戳的位置数据326包括日志或数据集，该日志或数据集包括用于指示来自位置服务模块160(8)的信息的数据条目。事件处理引擎304处理带有时间戳的位置数据326以检测基于物理位置的事件。在图10和图11的特定示例中，事件处理引擎304检测到在ed 102移动一段时间(例如，可被检测为“用户活动-地铁”事件)之后，ed 102在上午8:52开始的阈值时长内保持在一个地理边界内。基于所存储的带有时间戳的活动数据326，事件处理引擎304还确定这段时间内ed 102偶尔在地理边界内移动，因此仍然由用户ed 50管控。基于用户配置文件记录321中包括的信息，事件处理引擎304进一步确定该地理边界对应于用户的主要工作地点。基于这些推论，处理引擎304确定ed用户50正在工作，并创建起始时间(start_ts)为上午8:52的“工作”观察事件记录316(1)和相应的位置信息。在示例性实施例中，事件处理引擎304继续监控位置服务数据集600，并在检测到ed 102移动到用户的工作地点对应的地理区域之外时，更新“工作”观察事件记录316(1)以包括结束时间上午10:03。
101.在所述示例中，“工作中”类型的事件包括在时间轴用户界面312用于作为gui 202的一部分显示的事件类型中。相应地，时间轴用户界面312使得事件图标214包括在相关时间轴显示时长232内。如图10所示，在gui 202中显示事件图标214，其图标长度对应于检测到的“工作中”事件的时间长度。然而，其他图形配置也可以用于显示“工作中”事件，例如用不同图形标记替代统一的图标来表示“上班”和“下班”；类似地，存储在时间轴用户数据库314中的“工作中”观察事件记录316(1)可以用“上班”和“下班”事件记录来补充或替代。
102.在示例性实施例中，多个并发和/或重叠事件可以具有存储在时间轴用户数据库314中的相应事件记录，如图10中嵌套在“工作中”事件图标214内的“会议”事件图标216所示。在所述实施例中，“会议”事件图标216由时间轴用户界面312基于存储在时间轴用户数
据库314中的计划事件记录318(0)生成，计划事件记录318(0)针对在用户的工作地点发生的预定会议类型事件。在示例性实施例中，可以通过时间轴ui引擎312显示嵌套事件图标表示的事件附加信息，以响应预定义用户输入(例如向左滑动)。例如，图12示出了增强gui 202a，其中针对图10的gui 202的嵌套图标显示一列补充信息234，顶层事件图标的信息206从时间轴208的左侧移到其右侧。如图所示，事件图标216表示的会议的补充信息直接或间接地从相应事件记录318(0)的属性中获取，并且包括事件类型、开始时间和结束时间、会议室位置和与会者信息等信息。在示例性实施例中，接收到预定用户输入(例如向右滑动)时或用户在预定时间段内无活动时，时间轴ui引擎312将从gui 202a返回到gui 202。
103.在一些示例性实施例中，可以在显示器132上显示gui 202的简化版本或基本版本，如图13中所示的gui 202b。基本gui 202b包括的信息少于gui 202，例如，gui 202b可以仅包括时间轴事件的事件图标204，无任何进一步的描述性文本。在一些示例性实施例中，基本gui 202b可以是时间轴ui引擎312显示的默认gui，并且可以在ed 102主屏幕的左侧区域上方以半透明的状态显示。预定义用户交互(例如向左滑动)使得显示图10中更详细的gui 202，其中至少显示部分时间轴事件的附加信息，另一用户交互(例如再次向左滑动)使得显示图13中更详细的gui 202a。
104.如图11所示，事件处理引擎304生成的计划事件记录318包括计划事件记录318(2)，计划事件记录318(2)指定以下属性：事件id：1109；类型：出行；航班：下午2:00从多伦多皮尔逊国际机场(yyz)出发，下午3:30到达北京首都国际机场(pek)；置信度：1。在至少一些示例中，图11所示的信息可以不全部直接包括在计划事件记录318(2)中，而是包括在通过事件记录(例如“是否有文件(has_files)”元素370、“文件”元素372)链接的一个或多个文件中。在示例性实施例中，事件处理引擎304已生成事件记录318(2)，以响应由数据收集引擎302收集的日历模块160(4)生成的相应日历事件。
105.在示例性实施例中，预测引擎310用于基于事件记录315和用户配置文件321、316对未来可能对ed用户50有用的动作或信息进行预测。对于每个此类预测，预测引擎310生成相应的预测事件记录320，然后时间轴用户界面312可以使用预测事件记录320在合适的时间向ed用户50显示建议动作、相关信息和/或提醒。在图10和图11的示例中，预测引擎310检测到计划事件记录318(2)的存在，使得预测引擎310生成一组计划事件记录320(1)至320(6)，其表示针对计划事件记录318(2)的信息和建议动作。
106.例如，基于计划事件记录318(2)中包括的航班数据，预测引擎310推断出该航班为长途国际航班，并且按时起飞前ed用户50应在机场至少停留3小时(例如上午11:00)。在这方面，预测引擎310对涉及飞行前在yyz机场停留3小时的“出行前”事件进行预测，并生成包括该事件的一系列属性的相应事件记录320(1)，该属性包括：“事件id：1113；类型：出行前；航班：开始时间为上午11:00，结束时间为下午2:00；地点：yyz；置信度：1”。
107.在示例性实施例中，预测引擎310用于检测未来的计划或预测事件何时可能需要采取动作(例如订购汽车服务)，然后针对该动作的建议事件生成对应的预测事件记录320(2)。例如，预测引擎310能够推断出ed用户50需要到达yyz，并对预约建议事件进行预测，该事件随后在时间轴用户数据库314中表示为预测事件记录320(2)。在至少一些示例中，可以基于以下一项或多项对预约建议事件及其相关属性进行预测：(a)事件记录315，包括基于应用使用数据324的观察事件记录316，应用使用数据324指示ed用户50定期
使用乘车服务前往yyz机场；(b)事件记录315，指示ed用户50出发前往机场之前的位置；(c)基于用户位置，使用乘车服务需提前的时间，以便在起飞前3小时到达机场(可以基于事件数据记录315和/或从ed 102上的应用模块获得的当前信息)。
108.在图11的示例中，将“0”或低置信度属性值分配给针对乘车事件的预测事件记录320(2)，因为事件数据记录315指示用户偶尔也会乘坐特快列车前往yyz机场。在示例性实施例中，预测引擎310用于回顾和更新预测事件记录320。例如，在初始创建预测的乘车事件记录320(2)后，可以获取关于用户位置或交通拥堵或航班延误的新信息，这需要ed用户50提前乘车到达机场，或者允许ed用户50稍晚一点出发前往机场。
109.如图10所示，时间轴ui引擎312使得乘车事件记录320(2)对应的事件图标218显示在时间轴gui 202上。可以在图标旁边显示补充信息，时间轴gui 202可以包括用户可选链接240。用户选择该用户可选链路240(例如，用户点击显示器132上的图形链接位置)使得网络服务模块160(4)(例如ed 102上显示的应用)显示在显示器132上，并由目的地信息进行预填充，以便用户50通过与ed 102进行最少的交互来预约乘车服务。事件记录320(2)状态进行更新以显示乘车服务已预约，并且还可以包括预计到达时间。一旦用户最小化或关闭网络服务模块160(4)，gui 202上针对乘车事件图标218所显示的补充信息进行更新以显示新状态(例如“已预约：预计到达时间5分钟”)。
110.如图10和图11所示，预测引擎310还可以用于基于至少部分事件数据记录315对多个嵌套预测事件进行预测，该嵌套预测事件将在事件记录320(1)表示的“出行前”事件期间发生。例如，此类预测事件可以包括：(a)“值机”提醒事件，用于提醒ed用户50前往机场办理值机/行李托运(事件记录320(3)、事件图标222)；(b)“安全”提醒事件，用于提醒用户50及时进行安检(事件记录320(4)、事件图标224)；(c)“就餐”建议事件，用于建议用户登机前就餐(事件记录320(5)、事件图标226)；(d)“登机”提醒事件，用于提醒用户50及时在特定登机口登机(事件记录320(6))。
111.如图12所示，每个嵌套事件图标的补充信息234可由ed用户50通过向左滑动来访问，这使得显示增强时间轴gui 202a。
112.如图10至图12所示，时间轴gui 202中表示的事件之一是电话会议事件，该事件由计划事件记录318(1)对应的事件图标228表示，并且预定在事件图标220表示的“出行前”事件期间发生。在示例性实施例中，事件处理引擎304基于通过日历模块160(4)安排的事件生成计划事件记录318(1)。然而，在至少一些示例性实施例中，事件处理引擎304用于基于存储在时间轴数据日志322和/或过去事件记录315中的带有时间戳的应用使用数据324、位置数据326和活动数据328来检测可能的事件，其中ed用户50可能希望针对该可能的事件来安排计划事件；然后促进事件的安排。例如，事件处理引擎304可以用于检测接收到的消息(例如通过sms模块160(7)或社交媒体模块160(17)处理的消息)何时包括时间信息，然后触发时间轴ui引擎312针对所述事件创建计划日历事件记录318。
113.在这方面，图14示出了接收到的文本消息通知250的示例，文本消息通知250显示在ed 102的显示器132的主屏幕上。相关模块160(例如sms模块160(7))生成的文本消息通知250由数据收集引擎302收集和处理，数据收集引擎302生成一个或多个相应的日志或数据集，并将一个或多个相应的日志或数据集添加到带有时间戳的应用使用数据324中，该一
个或多个相应的日志或数据集由事件处理引擎304依次处理。基于应用使用数据324中包括的日志或数据集，事件处理引擎304检测到存在包括主题信息的文本消息通知250，并使得时间轴ui引擎312为文本消息通知250添加可视指示符252，可视指示符252指示文本消息中包括的可能事件的信息。预定义用户输入(例如，用户点击屏幕上可视指示符252的位置处以进行选择)使得显示交互式计划事件创建窗口254，以便ed用户50基于文本消息的内容创建计划事件。在一些示例中，用户可编辑的计划事件创建窗口254的字段基于至少部分从文本消息的内容导出的信息自动填充，在一些示例中，从存储在事件记录315中的过去事件的信息中导出。例如，同一消息组参与者过去使用的(谷歌环聊)的信息可以从事件记录数据315中获得。另一预定义用户输入(例如选择屏幕上显示的“保存”按钮256)会将计划事件记录318(1)保存到未来事件日期记录316中。在一些示例中，时间轴ui引擎312可以与其他模块160进行交互，例如日历模块160(4)、联系人模块160(5)和所选网络服务模块160(14)(例如ed 102上显示的客户端应用)，以生成界面窗口254和计划的事件记录318(1)的内容，并且还可能在这些其他模块160的数据库中针对事件生成相应的记录和/或通过其他模块160向其他参与者发送事件邀请。
114.因此，应理解的是，时间轴模块170能够通过与ed 102进行最少的用户交互来安排和确认未来事件，并且不需要ed用户50手动访问多个不同模块160。
115.再次参考图10，在示例性实施例中，当接收到与时间轴用户数据库314中的事件记录315对应的事件之一相关的用户输入时，时间轴用户界面312用于使ed 102执行预定义动作。例如，用户选择事件图标204中的一个(例如，点击屏幕上显示的事件图标的位置处)使得ed102采取相应的动作。在示例性实施例中，动作集可以基于以下一项或多项：(a)事件图标表示的事件类型；(b)ed 102在选择时的位置；(c)相对于事件时间的选择时间；(d)事件状态；(e)在选择时显示的是时间轴gui 202、202a和202b中的哪一个。
116.例如，在预定的预约时间之前20分钟的任意时刻选择乘车事件图标218可以显示计划事件的信息(例如，基于当前交通的预期行驶时长)。然而，在距预定时间20分钟以内的任意时刻选择乘车事件图标218可以使得时间轴用户界面312与乘车客户端应用进行交互，以便ed用户50预约乘车。在状态变更为“已预约”之后选择乘车事件图标218可以显示预计到达时间，该预计到达时间可以由时间轴用户界面312从乘车客户端应用获得。
117.类似地，在预定时间之前2分钟的任意时间选择预定电话会议事件图标228可以显示计划事件的信息。然而，在距预定时间2分钟以内的任何时间选择电话会议事件图标228可以使得时间轴用户界面312与google客户端应用进行交互，以便ed用户50直接加入谷歌环聊视频聊天。
118.在一些示例中，用户选择事件的图标将使得时间轴ui引擎312为用户显示编辑屏幕，以便用户编辑对应事件记录315的一个或多个属性并保存编辑后的事件记录。在一些示例中，“事件”元素包括用于表示事件记录315何时被编辑的“校正”属性，并且该信息可以用于改进预测引擎310未来的操作。
119.在一些示例中，在至少一些情况下，时间轴ui引擎312用于与地图模块160(9)进行交互，并在用户选择事件图标时显示地图位置。例如，图15示出了显示器132上显示的yyz机
场的地图信息260，响应于用户选择“出行前”事件图标220。在一些示例中，针对两个事件的用户输入使得时间轴ui引擎312与地图模块160(9)进行交互以显示地图信息，该地图信息示出了事件位置之间的路线信息。例如，图16示出了显示器132上显示的地图信息260，响应于用户同时选择“工作中”事件图标214和“出行前”事件图标220(例如，ed用户50使用大拇指和手指同时触摸“工作中”事件图标214和“出行前”事件图标220的屏幕位置)，地图信息260包括从ed用户50的工作地点前往yyz机场的路线信息262。
120.在一些示例中，时间轴ui引擎312可以用于当时间轴模块170识别到两个连续事件之间存在位置间隔时，在显示器132上自动显示地图和路线信息。例如，再次参考图16，当检测到观察事件(工作)和预测事件(机场)之间的位置间隔时，时间轴ui引擎312可以自动显示地图信息260，地图信息260包括从ed用户50的工作地点前往yyz机场的路线信息262。
121.在一些示例性实施例中，事件可以具有一个或多个与事件记录316(例如是否有图像(has_images)元素358和图像元素360)链接或相关联的图片。用户选择表示过去事件的事件图标可以使得时间轴ui引擎312在显示器132上显示关联图片的缩略图，以及与这些图片相关的选项(例如链接，用于在用户的instagram帐号上发布图片)。例如，图17示出了针对某一事件的事件图标270，该事件由事件处理引擎304基于一段时间的位置信息检测得到并划分为“访问动物园”事件。相应的事件记录包括标志或元素(例如是否有图像(has_images)元素358)，以指示在该事件期间使用ed 102的相机模块160(10)拍摄的图片。时间轴ui引擎312显示针对某一事件的事件图标270，事件图标270包括指示符(例如相机图像)，指示照片与该事件相关联。用户选择事件图标270时，显示器132上显示照片的图像数据272，该照片为事件的相关时间段内在事件的相关位置处拍摄得到。如图17所示，显示徽标274，ed用户50可以选择徽标274以便将相应的图像上传到远程服务200，并通过ed用户50的instragram客户端应用分发到ed用户50先前指定的默认instagram群组。
122.从上述描述中可以看出，事件处理引擎304和预测引擎310用于检测时间轴事件，并至少基于时间轴数据日志322和时间轴用户数据库314中包括的数据以及其他数据创建相应的事件记录。在一些示例中，时间轴模块170的引擎中的一个或多个可以用于应用时间推理算法和空间推理算法之一或全部来协助检测和预测事件。例如，时间推理可以基于以下综合观察：(a)ed用户50在特定时间使用哪些应用和模块；(b)ed用户50在这些时间期间、之前或之后参与哪些活动；(c)在这些时间期间、之前或之后和/或在某些活动期间，ed 102的位置。在一些示例中，可以创建时间轴事件记录，以确定值得作为事件跟踪的基于时间的事件类型，包括例如：用户在驾驶时使用waze(位智)/spotify(声破天)(例如，随后可以用作预测时间轴建议事件的基础，以供ed用户50在用户接近其车辆时开启或)；用户去(麦当劳)，然后到附近的tim(提姆霍顿)(例如，当用户在附近的时，可以用来预测前往tim的时间轴事件)；用户上班时间前往sport(例如，对于即将到来的午休时间，可以用来预测前往sport的时间轴事件)；用户已经忙了一星期，因为她有12个会议，还没有去过健身房(例如，可以用来预测去健身房的时间轴事件)。例如，空间推理可以用于主要基于位置数据(用户居住在枫树大道123号)来创建事件或信息。
123.在一些示例中，预测引擎310可以用于实现贝叶斯网络，以基于对用户意图的估计来预测未来事件(在示例性实施例中，ed用户50的意图定义为用户状态的变更)。从时间轴模块170的角度来看，ed用户50的意图(即用户状态的变更)可以基于多个类别(例如用户位置、用户疲劳度、一天中的时间、过去的用户活动等)中针对当前ed用户50状态的当前评估来估计。预测引擎310可以基于过去事件数据316和当前感知的信息，为相应的时间窗指定节点属性，然后生成可能性模型，其中基于多个类别中针对ed用户50状态的当前评估来确定替代事件的概率。例如，图18示出了时间窗内多个事件的可能性模型的一个示例。如图所示，基于事件记录315中包括的信息，将可能性值分配给用户可用的不同选项。预测引擎310用于预测未来事件，并且基于哪些事件具有最高可能性值来创建相应的预测事件记录。作为说明，在示例性场景中，事件处理引擎304至少基于位置数据326检测到ed用户50正在工作(图18中标记为“办公室”)。基于位置、时间、星期几、过去的观察事件记录316和计划事件记录318中的至少部分的组合，预测引擎310预测ed用户50可能将采取的下一步动作，以及每个动作的归一化概率值(例如，0.5-回家；0.1-去健身房；0.4-去购物)。基于预测的可能性值，预测引擎310预测建议的观测事件(例如回家)，并生成相应的预测事件记录320，预测事件记录320例如可以包括建议的出发时间和指向地图信息的链接。
124.相应地，在一些示例中，预测事件包括根据用户的特征为多个候选事件分配概率值，选择概率值最高的候选事件作为预测事件。
125.在示例性实施例中，时间轴ui引擎312用于使得ed用户50向前滚动所显示的时间轴gui 202的时间轴显示时长232以查看未来事件的事件图标204，并向后滚动以查看过去事件的事件图标204。这个特性可以很方便地让用户看到他们过去做了什么，以及他们计划或预测将来会做什么。如上所述，与所显示的事件图标204进行用户交互可以为用户显示不同的信息或选项，包括显示与过去事件相关联的图像、显示地图信息、为未来事件预约乘车服务、编辑事件信息等。
126.图19示出了另一可能采取的动作的示例，响应于与所显示的事件图标204进行的用户交互。该示例中，所显示的事件图标204可以用作快捷方式以查看ed 102上的应用156之一提供的媒体内容。在图19的示例中，设备模块160之一是视频流化模块(例如(网飞)客户端应用)。事件处理引擎304检测到用户观看了纪录片的一部分，并生成相应的观察事件记录316，其包括记录片暂停时间信息。在未来某个时刻，ed用户50决定继续观看视频，但是无法立即回忆起当时是在什么流媒体服务上观看的纪录片。ed用户50不必花费时间和资源打开和关闭ed 102上的各种流媒体应用并搜索该部分观看的纪录片，ed用户50只需向后滚动时间轴显示时长，直至表示针对暂停流媒体事件的事件记录的事件图标271出现在所显示的时间轴gui 202上。时间轴gui 202显示用户在netflix上停止了观看该纪录片，并且检测到的观看历史作为事件图标271显示在过去的时间轴上。当用户点击事件图标271时，显示器132上的背景处显示netflix应用窗口的预览图280(表示用户观看的最后一个场景)。ed用户50可以通过点击预览图280从停止时刻恢复影片，从而netflix应用窗口打开并恢复视频。
127.尽管gui 202、202a和202b采用图形的形式，但在至少一些示例中，时间轴用户界面312用于将部分或全部时间轴内容作为音频输出或触觉输出显示，以及用于通过触摸屏接触以外的其他手段(包括例如语音输入)来接收用户输入。
128.综上所述，根据示例性实施例，公开了一种为电子设备(electronic device，ed)相关联用户生成用户时间轴的方法。如图20所示，该方法包括：在ed运行期间收集数据，包括：ed的位置数据、从ed使用的多个应用接收的应用数据以及来自ed的输入设备和传感设备之一或全部的活动数据(动作502)；基于所收集的数据检测是否发生预定类型的观察事件，每次检测到事件发生时，存储相应的观察事件记录，其中该记录包括观察事件的时间和类型数据(动作504)；针对用户计划参与的计划事件，存储计划事件记录，其中每个计划事件记录包括相应计划事件的时间和类型数据(动作506)；基于观察事件记录和计划事件记录，对事件进行预测，并且针对每个预测事件，生成并存储相应的预测事件记录，其中该记录包括预测事件的时间和类型数据(动作508)；基于观察事件记录、计划事件记录和预测事件记录，在时间轴用户界面上分别输出观察事件、计划事件和预测事件的信息(动作510)。
129.本文描述的流程图和附图中的步骤和/或操作仅出于示例的目的。在不脱离本公开指导的情况下，这些步骤和/或操作可以有许多变化。例如，可以按照不同的顺序执行步骤，或者可以添加、删除或修改步骤。
130.尽管至少部分地从方法角度描述了本公开，但本领域普通技术人员将理解，本公开还涉及用于执行所述方法的至少部分方面和特征的各种组件，其可以是硬件部件、软件或两者的任意组合，或任何其他形式。此外，本公开还涉及一种预录存储设备或其他类似的机器可读介质，包括存储在其上的用于执行本文所述方法的程序指令。
131.本公开可以在不脱离权利要求的标的物的情况下以其他特定形式体现。所描述的示例性实施例在各方面都仅仅是示意性的，而不是限制性的。
132.本公开旨在涵盖和包括技术中的所有适当变化。因此，本公开的范围由所附权利要求来说明，而非前述描述。权利要求的范围不应受到示例中阐述的实施例的限制，而应具有与整体描述相一致的最宽泛的解释。