网页搜索方法及装置、电子设备和存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及一种网页搜索方法及装置、电子设备和存储介质。


背景技术：

2.随着互联网的不断普及，搜索引擎已经渗透到生活的各个角落，改变了人们的生活方式和思维方式。相关技术中，从用户的角度看，搜索引擎可提供一个包含搜索框的页码，用户在搜索框输入能够反映自己查询需求的查询词，通过浏览器提交给搜索引擎后，搜索引擎返回和输入的内容相关的搜索结果信息列表，用户进行点击查找所需的信息。
3.在信息需求的多样性和大数据技术的驱动下，搜索技术正在不断发展，变得更加强大。然而，为了更好地提高人们对搜索交互的体验，搜索技术在以下方面仍然有待加强：
4.第一，在相关技术的搜索范式下，用户将自己的信息需求总结为简短的查询词，并提交给搜索引擎来获取搜索结果的过程中，用户构建的查询词很难完整传达出用户真实的信息需求，然而，搜索引擎会强依赖于用此查询词进行相关文档的召回和排序，这为搜索结果带来了不确定性和歧义性，从而影响了搜索性能的提高。
5.第二，尽管相关技术中的搜索引擎会收集到用户的点击、停留时间等隐式的用户反馈，但是，这种隐式的用户反馈不能较为客观地反应用户真实的主观感受，还带有较多的噪声，会对搜索引擎的结果排序带来负面干扰。
6.第三，相关技术中搜索引擎的交互理论和方法多基于鼠标和键盘进行设计和构建，不适用于某些特殊场景和人群。


技术实现要素：

7.本公开提出了一种网页搜索技术方案。
8.根据本公开的一方面，提供了一种网页搜索方法，所述方法应用于用户终端，包括：显示视觉拼写页面，所述视觉拼写页面包括查询键盘；获取脑电信息中的稳态视觉诱发电位，所述稳态视觉诱发电位是在用户注视所述查询键盘上的按键时产生的；向服务器发送所述稳态视觉诱发电位，以使所述服务器根据所述稳态视觉诱发电位，确定用户输入的字符串，以及与所述字符串对应的访达页面；响应于接收到服务器发送的所述访达页面，显示所述访达页面。
9.在一种可能的实现方式中，所述方法还包括：在显示所述访达页面后，获取脑电信息，所述脑电信息是用户注视所述访达页面时产生的；向服务器发送所述脑电信息，以使所述服务器根据所述脑电信息，检测用户对访达页面的反馈信息，并根据所述反馈信息确定搜索引擎结果页面，其中，所述反馈信息包括根据所述脑电信息确定的情绪信息，所述搜索引擎结果页面包括与所述字符串对应的至少二种搜索结果；响应于接收到服务器发送的搜索引擎结果页面，显示所述搜索引擎结果页面。
10.在一种可能的实现方式中，所述视觉拼写页面还包括查询建议模块，所述向服务
器发送所述稳态视觉诱发电位，以使所述服务器根据所述稳态视觉诱发电位，确定用户输入的字符串，并根据所述字符串确定访达页面，包括：向服务器发送所述稳态视觉诱发电位，以使服务器根据所述稳态视觉诱发电位，确定用户输入的字符串，以及所述字符串对应的至少一个查询词；响应于接收到服务器发送的所述字符串和所述至少一个查询词，通过查询建议模块显示所述字符串和所述至少一个查询词；获取脑电信息中的搜索上下文，所述搜索上下文包括用户状态信息；向服务器发送所述搜索上下文，以使所述服务器根据至少一个查询词和所述搜索上下文，确定访达页面。
11.在一种可能的实现方式中，所述方法还包括：获取眼动信息，向服务器发送所述稳态视觉诱发电位，以使所述服务器根据所述稳态视觉诱发电位，确定用户输入的字符串，包括：向服务器发送所述稳态视觉诱发电位和所述眼动信息，以使所述服务器根据所述稳态视觉诱发电位和所述眼动信息，确定用户输入的字符串。
12.在一种可能的实现方式中，所述方法还包括：在所述眼动信息和/或所述脑电信息为关注所述访达页面中的预设区域的情况下，在所述访达页面中显示访达键盘，所述访达键盘包括至少一个键位，每个键位对应不同的操作；根据所述眼动信息和/或所述脑电信息，确定选中的键位并执行所述键位对应的操作。
13.在一种可能的实现方式中，所述方法还包括：在所述眼动信息和/或所述脑电信息为关注所述搜索引擎结果页面中的预设区域情况下，显示至少一个搜索引擎结果键盘，每个搜索引擎结果键盘包括至少一个键位，每个键位对应不同的操作；根据所述眼动信息和/或所述脑电信息，确定选中的键位并执行所述键位对应的操作。
14.根据本公开的一方面，提供了一种网页搜索方法，所述方法应用于服务器，包括：接收用户终端发送的稳态视觉诱发电位，所述稳态视觉诱发电位是在用户注视所述用户终端的查询键盘上的按键时产生的；根据所述稳态视觉诱发电位，确定用户输入的字符串，以及与所述字符串对应的访达页面；向所述用户终端发送所述访达页面，以使所述用户终端显示所述访达页面。
15.在一种可能的实现方式中，所述方法还包括：接收所述用户终端发送的脑电信息，所述脑电信息是用户注视所述用户终端的所述访达页面时产生的；根据所述脑电信息，检测用户对访达页面的反馈信息，所述反馈信息包括根据所述脑电信息确定的情绪信息；根据所述反馈信息确定搜索引擎结果页面，所述搜索引擎结果页面包括与所述字符串对应的至少二种搜索结果；向所述用户终端发送所述搜索引擎结果页面，以使所述用户终端显示所述搜索引擎结果页面。
16.在一种可能的实现方式中，根据所述稳态视觉诱发电位，确定用户输入的字符串，以及与所述字符串对应的访达页面，包括：根据所述稳态视觉诱发电位，确定用户输入的字符串，以及所述字符串对应的至少一个查询词；向所述用户终端发送所述字符串，以及所述字符串对应的至少一个查询词，以使所述用户终端在视觉拼写页面的查询建议模块显示所述字符串和所述至少一个查询词；接收所述用户终端发送的搜索上下文，所述搜索上下文包括用户状态信息；根据所述至少一个查询词和所述搜索上下文，确定访达页面。
17.在一种可能的实现方式中，根据所述反馈信息确定搜索引擎结果页面，包括：确定每个搜索结果与所述访达页面的主题的差异度；在所述反馈信息为不满意的情况下，在所述搜索引擎结果页面中使所述差异度高的搜索结果的排序高于所述差异度低的搜索结果，
或者，在所述反馈信息为满意的情况下，在所述搜索引擎结果页面中使所述差异度高的搜索结果的排序低于所述差异度低的搜索结果。
18.在一种可能的实现方式中，所述方法还包括：实时接收用户终端发送的脑电信息，所述脑电信息是用户在浏览所述用户终端显示的搜索引擎结果页面时产生的；根据获取的脑电信息，实时检测用户对搜索引擎结果页面中搜索结果的偏好信息；根据所述偏好信息，实时更新搜索引擎结果页面中各搜索结果的排序；实现发送更新后的搜索引擎结果页面至所述用户终端，使所述用户终端实时显示更新后的搜索引擎结果页面。
19.在一种可能的实现方式中，根据所述稳态视觉诱发电位，确定用户输入的字符串，以及所述字符串对应的至少一个查询词，包括：根据所述稳态视觉诱发电位，确定用户输入的字符串；基于互联网大规模信息的候选词生成算法，确定字符串对应的至少一个查询词。
20.在一种可能的实现方式中，所述方法还包括：接收所述用户终端发送的眼动信息，根据所述稳态视觉诱发电位，确定用户输入的字符串，包括：根据所述稳态视觉诱发电位和所述眼动信息，确定用户输入的字符串。
21.在一种可能的实现方式中，根据所述脑电信息，检测用户对访达页面的反馈信息，包括：将脑电信息输入满意度预测模型，确定用户的满意度；根据所述眼动信息和/或所述脑电信息，确定所述满意度与所述访达页面中各文本内容的对应关系；根据所述访达页面中各文本内容对应的满意度，确定反馈信息。
22.根据本公开的一方面，提供了一种网页搜索装置，所述装置应用于用户终端，包括：第一显示模块，用于显示视觉拼写页面，所述视觉拼写页面包括查询键盘；第一获取模块，用于获取脑电信息中的稳态视觉诱发电位，所述稳态视觉诱发电位是在用户注视所述查询键盘上的按键时产生的；第一发送模块，用于向服务器发送所述稳态视觉诱发电位，以使所述服务器根据所述稳态视觉诱发电位，确定用户输入的字符串，以及与所述字符串对应的访达页面；第二显示模块，用于响应于接收到服务器发送的所述访达页面，显示所述访达页面。
23.在一种可能的实现方式中，所述装置还包括：第二获取模块，用于在显示所述访达页面后，获取脑电信息，所述脑电信息是用户注视所述访达页面时产生的；第二发送模块，用于向服务器发送所述脑电信息，以使所述服务器根据所述脑电信息，检测用户对访达页面的反馈信息，并根据所述反馈信息确定搜索引擎结果页面，其中，所述反馈信息包括根据所述脑电信息确定的情绪信息，所述搜索引擎结果页面包括与所述字符串对应的至少二种搜索结果；第三显示模块，用于响应于接收到服务器发送的搜索引擎结果页面，显示所述搜索引擎结果页面。
24.在一种可能的实现方式中，所述视觉拼写页面还包括查询建议模块，第一发送模块用于：向服务器发送所述稳态视觉诱发电位，以使服务器根据所述稳态视觉诱发电位，确定用户输入的字符串，以及所述字符串对应的至少一个查询词；响应于接收到服务器发送的所述字符串和所述至少一个查询词，通过查询建议模块显示所述字符串和所述至少一个查询词；获取脑电信息中的搜索上下文，所述搜索上下文包括用户状态信息；向服务器发送所述搜索上下文，以使所述服务器根据至少一个查询词和所述搜索上下文，确定访达页面。
25.在一种可能的实现方式中，所述装置还包括：获取眼动信息，第一发送模块，用于：向服务器发送所述稳态视觉诱发电位和所述眼动信息，以使所述服务器根据所述稳态视觉
诱发电位和所述眼动信息，确定用户输入的字符串。
26.在一种可能的实现方式中，所述装置还用于：在所述眼动信息和/或所述脑电信息为关注所述访达页面中的预设区域的情况下，在所述访达页面中显示访达键盘，所述访达键盘包括至少一个键位，每个键位对应不同的操作；根据所述眼动信息和/或所述脑电信息，确定选中的键位并执行所述键位对应的操作。
27.在一种可能的实现方式中，所述装置还用于：在所述眼动信息和/或所述脑电信息为关注所述搜索引擎结果页面中的预设区域情况下，显示至少一个搜索引擎结果键盘，每个搜索引擎结果键盘包括至少一个键位，每个键位对应不同的操作；根据所述眼动信息和/或所述脑电信息，确定选中的键位并执行所述键位对应的操作。
28.根据本公开的一方面，提供了一种网页搜索装置，所述装置应用于服务器，包括：第一接收模块，用于接收用户终端发送的稳态视觉诱发电位，所述稳态视觉诱发电位是在用户注视所述用户终端的查询键盘上的按键时产生的；第一确定模块，用于根据所述稳态视觉诱发电位，确定用户输入的字符串，以及与所述字符串对应的访达页面；第三发送模块，用于向所述用户终端发送所述访达页面，以使所述用户终端显示所述访达页面。
29.在一种可能的实现方式中，所述装置还包括：第二接收模块，用于接收所述用户终端发送的脑电信息，所述脑电信息是用户注视所述用户终端的所述访达页面时产生的；检测模块，用于根据所述脑电信息，检测用户对访达页面的反馈信息，所述反馈信息包括根据所述脑电信息确定的情绪信息；第二确定模块，用于根据所述反馈信息确定搜索引擎结果页面，所述搜索引擎结果页面包括与所述字符串对应的至少二种搜索结果；第四发送模块，用于向所述用户终端发送所述搜索引擎结果页面，以使所述用户终端显示所述搜索引擎结果页面。
30.在一种可能的实现方式中，第一确定模块，用于：根据所述稳态视觉诱发电位，确定用户输入的字符串，以及所述字符串对应的至少一个查询词；向所述用户终端发送所述字符串，以及所述字符串对应的至少一个查询词，以使所述用户终端在视觉拼写页面的查询建议模块显示所述字符串和所述至少一个查询词；接收所述用户终端发送的搜索上下文，所述搜索上下文包括用户状态信息；根据所述至少一个查询词和所述搜索上下文，确定访达页面。
31.在一种可能的实现方式中，第二确定模块，用于：确定每个搜索结果与所述访达页面的主题的差异度；在所述反馈信息为不满意的情况下，在所述搜索引擎结果页面中使所述差异度高的搜索结果的排序高于所述差异度低的搜索结果，或者，在所述反馈信息为满意的情况下，在所述搜索引擎结果页面中使所述差异度高的搜索结果的排序低于所述差异度低的搜索结果。
32.在一种可能的实现方式中，所述装置还包括：实时接收用户终端发送的脑电信息，所述脑电信息是用户在浏览所述用户终端显示的搜索引擎结果页面时产生的；根据获取的脑电信息，实时检测用户对搜索引擎结果页面中搜索结果的偏好信息；根据所述偏好信息，实时更新搜索引擎结果页面中各搜索结果的排序；实现发送更新后的搜索引擎结果页面至所述用户终端，使所述用户终端实时显示更新后的搜索引擎结果页面。
33.在一种可能的实现方式中，根据所述稳态视觉诱发电位，确定用户输入的字符串，以及所述字符串对应的至少一个查询词，包括：根据所述稳态视觉诱发电位，确定用户输入
的字符串；基于互联网大规模信息的候选词生成算法，确定字符串对应的至少一个查询词。
34.在一种可能的实现方式中，所述装置还包括：接收所述用户终端发送的眼动信息，第一确定模块，用于：根据所述稳态视觉诱发电位和所述眼动信息，确定用户输入的字符串。
35.在一种可能的实现方式中，检测模块用于：将脑电信息输入满意度预测模型，确定用户的满意度；根据所述眼动信息和/或所述脑电信息，确定所述满意度与所述访达页面中各文本内容的对应关系；根据所述访达页面中各文本内容对应的满意度，确定反馈信息。
36.根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
37.根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
38.在本公开实施例中，不仅能够在无需手动操作的情况下，进行网页的检索与浏览，而且对比相关技术中输入查询词后直接显示包括多个搜索结果的搜索引擎结果页面，需要反复浏览搜索引擎结果页面，选择并点击可能满足用户信息需求的各搜索结果，才能得到满足用户信息需求的页面；本公开的实施例输入字符串后可显示最可能直接满足用户信息需求的访达页面，有利于通过尽可能少的页面来满足用户的信息需求，高效快速地满足用户的信息需求。
39.进一步，有利于后续在显示搜索引擎结果页面时，实时检测用户的搜索反馈，动态调整搜索结果，降低用户在网络搜索时交互操作的复杂度，提高用户的搜索体验。
40.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
41.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
42.图1示出根据本公开实施例的网页搜索方法的架构示意图。
43.图2示出根据本公开实施例的网页搜索方法的流程图。
44.图3示出根据本公开实施例的查询键盘的示意图。
45.图4示出根据本公开实施例的访达页面的示意图。
46.图5示出根据本公开实施例的搜索引擎结果页面的示意图。
47.图6示出根据本公开实施例的另一种网页搜索方法的流程图。
48.图7示出根据相关技术中网页搜索方法的示意图。
49.图8示出根据本公开实施例的网页搜索方法的示意图。
50.图9示出根据本公开实施例的网页搜索装置的框图。
51.图10示出根据本公开实施例的另一种网页搜索装置的框图。
52.图11示出根据本公开实施例的一种电子设备800的框图。
53.图12示出根据本公开实施例的一种电子设备1900的框图。
具体实施方式
54.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
55.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
56.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
57.另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
58.图1示出根据本公开实施例的网页搜索方法的架构示意图，如图1所示，本公开的实施例的搜索系统可以包括用户终端作为执行主体的用户交互模块，和服务器作为执行主体的数据处理模块。
59.运行在用户终端的用户交互模块，可用于展示控制键位和搜索引擎的结果，并将采集到的用户输入信息发送至服务器，其对应的功能页面可包括视觉拼写页面p1，访达页面p2和搜索引擎结果页面p3。运行在服务器的数据处理模块，可实时接收并解析用户终端发送的用户输入信息，得到用户指令或用户的反馈，从而与在用户终端运行的用户交互模块进行通信。
60.在用户与搜索系统(包括用户交互模块和数据处理模块)交互的角度，如图1所示的网页搜索方法可以包括查询构建、访达页面检验和重排序搜索引擎结果检验三种交互行为。
61.其中，在查询构建、访达页面检验和重排序搜索引擎结果检验的交互过程中，用户的输入信息为无需手动操作的输入信息，可包括脑电信息和/或眼动信息，可通过用户终端的脑机接口(brain computer interface，bci)采集脑电信息，通过用户终端的眼动仪采集眼动信息。本公开的实施例可以基于脑电信息或眼动信息实现用户与搜索系统的交互，也可以联合脑电信息和眼动信息实现用户与搜索系列的交互，本公开对此不作限制。
62.为了便于说明，图1以搜索系统采集的用户输入信息为脑电信息为例，对查询构建、访达页面检验和重排序搜索引擎结果检验三种交互进行简单介绍。
63.如图1所示，在查询构建的过程中，用户会将自己的信息需求总结为字符串并进行输入，例如，当用户想搜索猫科动物猎豹，可以将该需求总结为字符串“liebao”或者“lb”等。基于视觉拼写页面p1的查询键盘，用户可以将字符串输入至搜索系统。在输入识别过程，搜索系统可以基于脑电信息中的稳态视觉诱发电位，在无需手动操作的情况下，确定用户输入的字符串。搜索系统可以针对用户输入的字符串直接查询，也可以在得到字符串之后，搜索系统的查询建议模块根据用户已输入字符串，并结合互联网海量数据进行查询推荐，从而帮助用户进行快速的查询输入。
64.其中，在此阶段所产生的脑电信息可以包含信息需求、搜索上下文(例如包括用户
状态信息)，此部分信息是相关技术中基于手动操作的搜索引擎无法捕获的用户侧特征，可用于后续访达页面检验过程中访达页面p2的确定。
65.如图1所示，在访达页面检验的过程中，搜索系统的服务器的选择模块，可以根据查询构建过程得到的脑电信息，在互联网中查询检索，可从与查询相关的网页中，选择最优的一个作为访达页面p2。例如，假设查询构建阶段输入的字符串是“liebao”，与查询相关的网页可以包括关于猫科动物猎豹介绍的页面、猎豹浏览器页面、猎豹汽车相关的页面等，在这种情况下，假设从脑电信息包括的搜索上下文，分析出用户处于工作状态，可以从与查询相关的网页中，将猎豹浏览器页面确定为访达页面p2。其中，选择模块可以利用训练好的选择模型对与查询相关的网页进行选择，也可以利用非训练的方法进行选择，本公开对选择模块的具体算法不作限制。
66.在搜索系统确定了访达页面p2之后，可以在用户终端的显示器中显示访达页面p2，用户在浏览访达页面p2的过程汇总，如果浏览到期望中的信息，会比较满意，产生愉悦的情绪；如果浏览到无用信息，会不满意，产生烦躁的情绪。在用户浏览访达页面的同时，搜索系统可以实时采集用户的脑电信息，并对脑电信息进行解码，实时获取用户的满意度和用户的情绪。
67.如图1所示，在重排序搜索引擎结果检验过程中，搜索系统的重排序模块可以根据在访达页面检验阶段得到的用户满意度和用户情况，对原始搜索引擎结果中各搜索结果的顺序进行调整，并显示搜索引擎的结果页面p3。其中，重排序模块可以利用训练好的选择模型对搜索结果进行排序，也可以利用非训练的方法进行排序，本公开对重排序模块的具体算法不作限制。
68.应当理解，图1虽然没有示出眼动信息，但是为了提高用户与搜索系统的交互效率，提高用户体验。优选地，可以同时利用脑电信息和眼动信息，以脑电信息为主，以眼动信息为辅，共同帮忙用户高效地与搜索系统进行交互。
69.例如，可以基于眼动信息，实时追踪用户的注意力，将用户的注意力与搜索系统用户终端的显示界面内容进行对应，在视觉拼写页面p1可以提高字符输入的速度和准确率，在访达页面p2和搜索引擎结果页面p3，可以辅助脑电信息识别用户的动作意图，将更细更颗粒度的内容与用户的脑电信息相对应，从而可以更准确地对用户进行个性化建模来满足用户的信息需求，提高用户满意度。
70.在图1以用户与搜索系统交互的角度，介绍了本公开实施例的网页搜索方法的架构之后。下面分别以用户终端和服务器的角度对本公开实施例的网页搜索方法进行说明。
71.图2示出根据本公开实施例的网页搜索方法的流程图，该网页搜索方法可以应用于用户终端，该用户终端可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等，所述方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。下面以用户终端作为执行主体为例对本公开实施例的网页搜索方法进行说明。
72.如图2所示，所述网页搜索方法包括：
73.在步骤s11中，显示视觉拼写页面，所述视觉拼写页面包括查询键盘；
74.在步骤s12中，获取脑电信息中的稳态视觉诱发电位，所述稳态视觉诱发电位是在
用户注视所述查询键盘上的按键时产生的；
75.在步骤s13中，向服务器发送所述稳态视觉诱发电位，以使所述服务器根据所述稳态视觉诱发电位，确定用户输入的字符串，以及与所述字符串对应的访达页面；
76.在步骤s14中，响应于接收到所述服务器发送的所述访达页面，显示所述访达页面。
77.举例来说，在步骤s11中，可在用户终端的显示器上显示视觉拼写页面，该视觉拼写页面可包括一个虚拟的查询键盘。该查询键盘可以是基于稳态视觉诱发电位(steady-state visual evoked potential，ssvep)的键盘，可通过用户终端的脑机接口(brain computer interface，bci)，建立与用户大脑的连接，在无需手动操作的情况下，直接通过用户大脑的意念操作该查询键盘。
78.其中，该查询键盘可包括多个键位，每个键位拥有不同的频率闪烁，可分别对应不同的键位功能。由于在人的视野范围内，以一定强度的闪光或图形刺激视网膜，可在视觉皮层记录到电位变化。所以，当用户关注以某个频率进行闪烁的键位时，大脑中的视觉区域可被诱发出等频率(或倍数)的ssvep脑电信号(脑电信息中的稳态视觉诱发电位)，即ssvep谐波。
79.在步骤s11的视觉拼写页面可显示查询键盘的场景下，为了在用户不能进行手动操作的情况下获取用户希望点击的按键，可在步骤s12中，获取用户注视查询键盘上的按键时产生的ssvep脑电信号。其中，ssvep脑电信号是人类对特定频率视觉刺激的反应，当视网膜受到3.5hz到75hz的视觉刺激时，大脑的视觉皮层会产生与视觉刺激频率相同(或倍数)的脑电信号。
80.以一个含有33个刺激频率的查询键盘为例，图3示出根据本公开实施例的查询键盘的示意图。如图3所示，查询键盘的闪烁块(即键位)的频率范围可以是8-15.68hz，可每隔0.24hz可分配一个键位，并且每两个相邻的键位之间的相位差为0.5π，布局可采用了qwert键盘布局方式，也即以第一行开头6个字母是q、w、e、r、t、y的全键盘布局的方式。该查询键盘，包括了5个数字键(键位“1”～“5”)、26个字母键(键位“a”～“z”)和2个功能键(删除键“del”和搜索键“search”)。
81.在视觉拼写页面显示着如图3所示的查询键盘时，用户希望输入字符串“a”时，可以注视查询键盘中闪烁的键位“a”，用户终端可获取对应键位“a”的ssvep脑电信号。以此类推，通过注视查询键盘上不同的键位，可获取对应不同键位的ssvep脑电信号。
82.用户终端可以将在步骤s12中实时获取ssvep脑电信息，在步骤s13中实时发送至服务器。服务器可调用自身存储的识别方法，实时地对接收到的ssvep脑电信息进行分析处理，进而对用户输入键位的意图进行判断，确定用户输入的字符串。
83.服务器存储的ssvep脑电信息识别算法，可包括非训练的方法和监督训练的方法两类。
84.其中，非训练的方法可包括最小能量组合法(minimum energy combination，mec)、典型相关分析法(canonical correlation analysis，cca)、多变量同步指数法(multivariate synchronization index，msi)、滤波器组典型相关分析法(filter bank canonical correlation analysis，fbcca)、具有自回归谱分析的典型变量法(canonical variates with auto regressive spectral analysis、cvars)等。
85.其中，监督训练的方法可包括与任务相关成分分析法(task-related component analysis，trca)、多刺激任务相关成分分析法(multi-stimulus task-related component analysis，mstrca)、可扩展的典型相关分析法(extended cca)、可修改扩展的典型相关分析法(modified extended cca，m-extended cca)、基于l1正则化的多路典型相关分析法(l1-regularized multiway cca，l1mcca)和基于模板的单独典型相关分析法(individual template-based cca，itcca)等。
86.应当理解，本公开对根据ssvep脑电信息，识别出查询键盘输入字符串的具体方法不作限制。
87.下面以典型相关分析法(canonical correlation analysis，cca)为例，对根据ssvep脑电信息，识别查询键盘输入字符串的方法进行说明。
88.cca方法是一种非训练方法，是用来计算实时采集ssvep信号与参考信号(不同频率闪烁所诱发出的理论ssvep信号)之间的典型相关系数，其中，参考信号可包括构造的正余弦信号，此相关系数的最大值所对应的闪烁块(键位)即为用户的输入意图。
89.其中，ssvep信号可以用矩阵s表示，
90.s＝(x1，x2，x3，
…
x9)
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
91.在公式(1)中，矩阵s是一个9*ns的矩阵，ns是采样点的数目，矩阵的每一行代表一个脑电采集的信道。
92.参考信号rf可以用一个ns*10的矩阵表示，ns为ssvep信号中采样点的数目，我们可以用如下的公式来表示参考信号rf：
[0093][0094]
在公式(2)中，其中n为谐波的数目，例如可设为10，f为参考信号的频率，fs为采样率，ns是采样点数目。
[0095]
对于8到15.68hz的每个闪烁频率(例如，f＝8.00，8.24，8.48
…
15.68)，可以使用上述公式生成参考信号rf，然后计算每个参考信号rf和ssvep信号s之间的相关性。经过计算，可以选择相关性最高的参考信号rf作为识别结果，即可获得用户想要输入的目标键位，进而得到用户输入的字符串。
[0096]
在服务器确定了用户输入的字符串之后，服务器可以直接对用户输入的字符串在互联网上进行搜索，将与用户输入的字符串相关度最高的页面确定为访达页面；例如，假设用户输入的字符串为“cctv”，可以直接对“cctv”进行搜索，得到“cctv”对应的访达页面，即央视网的官网页面。
[0097]
或者，服务器也可以先根据字符串，确定与字符串对应的至少一个查询词。再基于字符串对应的至少一个查询词在互联网上进行搜索，得到字符串对应的访达页面。
[0098]
在一种可能的实现方式中，所述视觉拼写页面还包括查询建议模块，步骤s13可包括：
[0099]
步骤s131，向服务器发送所述稳态视觉诱发电位，以使服务器根据所述稳态视觉
诱发电位，确定用户输入的字符串，以及所述字符串对应的至少一个查询词；
[0100]
步骤s132，响应于接收到服务器发送的所述字符串和所述至少一个查询词，通过查询建议模块显示所述字符串和所述至少一个查询词；
[0101]
步骤s133，获取脑电信息中的搜索上下文，所述搜索上下文包括用户状态信息；
[0102]
步骤s134，向服务器发送所述搜索上下文，以使所述服务器根据至少一个查询词和所述搜索上下文，确定访达页面。
[0103]
举例来说，用户终端的视觉拼写页面不仅可以显示用于非手动操作就可以输入字符串的查询键盘，还可以包括查询建议模块，用于根据用户已输入字符串，并结合互联网海量数据进行查询推荐。
[0104]
在步骤s131中，用户终端可以向服务器发送稳态视觉诱发电位，以使服务器根据稳态视觉诱发电位，确定用户输入的字符串，具体过程可参考上文ssvep脑电信息识别算法，此处不再赘叙。
[0105]
服务器接收到字符串，可以根据字符串确定其所对应的至少一个查询词。在一般的搜索场景下，用户的搜索意图往往比较复杂，字符串很难准确匹配用户的信息需求。因此，可以利用服务器存储的查询推荐技术，提供候选查询，来帮助用户以较少的精力找到用户可能想要的查询词。其中，查询推荐技术可以利用一个训练好的推荐模型，获取至少一个查询词。推荐模型在训练的过程中，可以利用海量网络数据，集成互联网上大规模异构数据和用户行为的分析，如用户点击、查询重构、热点新闻跟踪等，可有效地减少用户意图和候选查询之间的差距。
[0106]
例如，假设用户输入的字符串为“liebao”，可以将“liebao”输入服务器存储的推荐模型，可以得到该字符串对应的至少一个查询词，可包括猎豹、猎豹浏览器、猎豹汽车等。
[0107]
在步骤s132，服务器在分析出字符串，和字符串对应的至少一个查询词之后，可以将字符串，以及字符串对应的至少一个查询词发送至用户终端。用户响应于接收到服务器发送的字符串和至少一个查询词，可以在查询建议模块显示字符串和至少一个查询词。
[0108]
例如，服务器还可以将包括猎豹、猎豹浏览器、猎豹汽车等查询词发送回用户终端，在用户终端的视觉拼写页面的查询建议模块可显示包括猎豹、猎豹浏览器、猎豹汽车等查询词。
[0109]
在步骤s133，用户终端可以获取脑电信息中的搜索上下文，该搜索上下文可以是用户注视查询键盘时采集的搜索上下文，也可以是用户注视查询建议模块时采集的搜索上下文，该搜索上下文可以用于确定用户的状态信息(例如休息状态、娱乐状态，运动状态，工作状态等)。可通过预训练的机器学习模型或相关算法，提取脑电信息中的搜索上下文，本技术对此不作限制。
[0110]
在步骤s134，向服务器发送所述搜索上下文，以使所述服务器根据至少一个查询词和所述搜索上下文，确定访达页面。
[0111]
例如，用户终端可采集用户注视查询建议模块时的脑电信息，并实时传输至服务器，服务器可分析接收到的用户注视查询建议模块时的脑电信息，假设服务器分析出用户当前处于工作状态，在猎豹、猎豹浏览器、猎豹汽车等查询词中，用户可能会倾向于利用猎豹浏览器进行工作，可对猎豹浏览器进行搜索，将猎豹浏览器的官网确定为访达页面。
[0112]
再例如，也可通过用户的眼动信号，分析用户对猎豹、猎豹浏览器、猎豹汽车词的
注意力，以注意力最高的查询词进行搜索，确定访达页面。
[0113]
因此，对比相关技术中，需要先利用输入法(拼音输入法，或五笔输入法)，将字符串转化为关键词，再针对关键词进行查询推荐。在本公开实施例中，输入字符串，可以直接在用户终端显示至少一个查询词，直接实现查询推荐，有利于提高查询效率，提高用户体验。
[0114]
步骤s13使服务器确定了访达页面，可在步骤s14中，用户终端响应于接收到服务器发送的访达页面，可在用户终端的显示器中显示该访达页面，例如，假设访达页面为猎豹浏览器的官网，可以在显示器中显示猎豹浏览器的官网页面。
[0115]
通过步骤s11～s14，不仅能够在无需手动操作的情况下，进行网页的检索与浏览，而且对比相关技术中输入查询词后直接显示包括多个搜索结果的搜索引擎结果页面(search engine result page，serp)，需要反复浏览搜索引擎结果页面，选择并点击可能满足用户信息需求的各搜索结果，才能得到满足用户信息需求的页面；本公开的实施例输入字符串后可显示最可能直接满足用户信息需求的访达页面，有利于通过尽可能少的页面来满足用户的信息需求，高效快速地满足用户的信息需求。
[0116]
进一步，有利于后续在显示搜索引擎结果页面时，实时检测用户的搜索反馈，动态调整搜索结果，降低用户在网络搜索时交互操作的复杂度，提高用户的搜索体验。
[0117]
应当理解，在步骤s11～s14的过程中，在不进行手动操作的情况下，不仅可以基于脑电信息进行网页搜索，还可以同时利用脑电信息和眼动信息进行网页搜索，以提高搜索效率和用户体验。
[0118]
在一种可能的实现方式中，获取眼动信息，向服务器发送所述稳态视觉诱发电位，以使所述服务器根据所述稳态视觉诱发电位，确定用户输入的字符串，包括：向服务器发送所述稳态视觉诱发电位和所述眼动信息，以使所述服务器根据所述稳态视觉诱发电位和所述眼动信息，确定用户输入的字符串。
[0119]
其中，眼动信息可以包括眼动仪跟踪测量的眼球位置及眼球运动特征。可用于实时追踪用户的注意力，将用户的注意力与显示界面的内容进行对应。
[0120]
举例来说，假设用户想输入字符“a”，用户的视线可以集中在显示器上查询键盘的键位a处(例如图3第三行的第一个键位)，用户终端可以获取用户的眼动信息和ssvep脑电信息。
[0121]
用户终端可以向服务器发送眼动信息和ssvep脑电信息，服务器在接收到这两种信息后，可以分析眼动信息和ssvep脑电信息，可以在眼动信息指示的位置与键位a的位置对应，并且ssvep脑电信息的频率与键位a闪烁的频率相同(或倍数)情况下，确定用户输入的字符为“a”，有利于提高字符输入的准确性；还可以在眼动信息指示的位置与键位a的位置对应，以及ssvep脑电信息的频率与键位a闪烁的频率相同(或倍数)两者满足其一，就确定用户输入的字符为“a”，有利于提高字符输入的效率。应当理解，本公开对根据眼动信息或脑动信息确定输入字符的具体方法不作限制。
[0122]
通过这种方式，有利于提高字符输入的速度和准确率。
[0123]
在步骤s11～s14显示访达页面后，如果用户对显示的访达页面不满意，还可以通过步骤s15～s17获取搜索引擎结果页面，以满足用户的信息需求。
[0124]
在一种可能的实现方式中，步骤s15～s17包括：
[0125]
在步骤s15中，获取脑电信息，所述脑电信息是用户注视所述访达页面时产生的；
[0126]
在步骤s16中，向服务器发送所述脑电信息，以使所述服务器根据所述脑电信息，检测用户对访达页面的反馈信息，并根据所述反馈信息确定搜索引擎结果页面；
[0127]
其中，所述反馈信息包括根据所述脑电信息确定的情绪信息，所述搜索引擎结果页面包括与所述字符串对应的至少二种搜索结果；
[0128]
在步骤s17中，在响应于接收到服务器发送的搜索引擎结果页面，显示所述搜索引擎结果页面。
[0129]
举例来说，假设用户输入的字符串是“liebao”，用户终端显示的访达页面是猎豹(猫科猎豹属下的一种动物)的介绍页面。在步骤s15中，用户终端可以采集用户浏览猎豹动物介绍页面时产生的脑电信息。
[0130]
在步骤s16中，用户终端可以将采集到的脑电信息，即用户在浏览猎豹动物介绍页面时产生的脑电信息，发送至服务器。服务器可以根据接收到的脑电信息，检测用户对猎豹动物介绍页面的反馈信息，该反馈信息可包括用户对猎豹动物介绍页面的情绪信息。情绪信息可以表示用户对访达页面的满意度，例如满意或不满意。
[0131]
如果反馈信息为不满意，当用户关闭该页面后，可以确定一个包括与“liebao”对应的至少二种搜索结果的搜索引擎结果页面，例如，在搜索引擎结果页面中可以包括猎豹浏览器、猎豹汽车等搜索结果。其中，在该搜索引擎结果页面中，可以将与访达页面在主题上有更多差异的搜索结果排在前面，将更多样化的搜索结果放在前面有利于快速满足用户对信息的需求。
[0132]
如果反馈信息为满意，当用户关闭该页面后，可以将与访达页面相关的搜索结果排在靠前的位置，例如，在搜索引擎结果页面中，可以将与猎豹动物相关的搜索结果(例如包括猎豹的地域分布、猎豹动物的分类等搜索结果)排在前面。
[0133]
可通过预训练的机器学习模型或相关算法，提取的脑电信息中的情绪信息，本公开对此不作限制。
[0134]
在步骤s17中，服务器确定了搜索引擎结果页面，可将搜索引擎结果页面发送至用户终端，用户终端可在显示器中显示该搜索引擎结果页面，例如可在用户终端的显示器中显示包括猎豹浏览器、猎豹汽车等搜索结果的搜索引擎结果页面。
[0135]
通过这种方式，在访达页面不能满足用户信息需求的情况下，有利于提供更多更丰富的搜索结果，以满足用户的信息需求，提高用户的使用体验。
[0136]
在步骤s15～s17过程中，用户可以对访达页面和搜索引擎结果页面进行交互操作。
[0137]
在一种可能的实现方式中，所述方法还包括：在所述眼动信息和/或所述脑电信息为关注所述访达页面中的预设区域的情况下，在所述访达页面中显示访达键盘，所述访达键盘包括至少一个键位，每个键位对应不同的操作；根据所述眼动信息和/或所述脑电信息，确定选中的键位并执行所述键位对应的操作。
[0138]
举例来说，图4示出根据本公开实施例的访达页面的示意图，如图4所示，当用户在整个访达页浏览结束或在屏幕当前显示页面浏览结束时，可以将目光移动至网页右侧的空白区域(预设区域)，搜索系统会自动显示访达键盘，访达键盘上的各键位(可以是闪烁块)可用于对访达页面执行操作，例如，该访达键盘可包括3个键位，即图4右侧所示的“关闭”、“上滑”、“下滑”等功能所对应的闪烁块。
[0139]
其中，预设区域可以是右侧空白区域、也可以是具有预设图标的区域，本公开对预设区域不作限制。
[0140]
应当理解，访达键盘的闪烁块可与图3中查询键盘中键位的工作原理一样，可参考上文查询键盘的ssvep脑电信息识别算法，同时，亦会将脑电信息和眼动信息的双模态特征用于控制逻辑的判断，此处不再赘叙。其中，闪烁块可以是3.5hz到75hz内的任意频率，本公开对闪烁块的大小，颜色，以及具体频率不作限制。
[0141]
此外，用户终端可实时采集用户的脑电信息，并发送至服务器使服务器可以实时检测用户在浏览此页面时的满意度、情绪等信息，如果服务器检验到用户在浏览过程中存在不满意的用户反馈，当用户执行了关闭操作后，可以跳转至搜索引擎结果页面，展示更多元化的搜索结果。
[0142]
通过这种方式，在无需手动操作的情况下，就可以实现网页浏览的交互操作，可以帮助无法使用键盘、鼠标的残疾人士或健康人群在特殊场景(双手处于非空闲状态)下可以正常进行浏览网页。
[0143]
在一种可能的实现方式中，在所述眼动信息和/或所述脑电信息为关注所述搜索引擎结果页面中的预设区域情况下，显示至少一个搜索引擎结果键盘，每个搜索引擎结果键盘包括至少一个键位，每个键位对应不同的操作；根据所述眼动信息和/或所述脑电信息，确定选中的键位并执行所述键位对应的操作。
[0144]
举例来说，图5示出根据本公开实施例的搜索引擎结果页面的示意图，如图5所示，在用户浏览搜索引擎结果页面的过程中，图中各键位(可以是闪烁块)可用于对搜索引擎结果页面执行操作，当用户视线移动到右侧空白区域(预设区域)时，除了关闭、上滑、下滑三个功能键的闪烁块外，显示界面还会为每个搜索结果展示一个固定频率的闪烁块，用于绑定用户对该结果的点击动作。其中，可以将将包括关闭、上滑、下滑三个功能键的闪烁块看作一个键盘，将绑定当前搜索结果的多个闪烁块看作一个键盘，本公开对搜索引擎结果键盘的数量，以及每个搜索引擎结果键盘包括的键位数量不作限制。
[0145]
其中，预设区域可以是右侧空白区域、也可以是具有预设图标的区域，本公开对预设区域不作限制。
[0146]
应当理解，搜索引擎结果键盘的闪烁块可与图3中查询键盘中键位的工作原理一样，可参考上文查询键盘的ssvep脑电信息识别算法，同时，亦会将脑电信息和眼动信息的双模态特征用于控制逻辑的判断，此处不再赘叙。其中，闪烁块可以是3.5hz到75hz内的任意频率，本公开对闪烁块的大小，颜色，以及具体频率不作限制。
[0147]
此外，当用户在搜索引擎结果页面进行下滑时，搜索结果会综合考虑用户在访达页面和已展示搜索结果的脑电反馈，动态调整新加载内容的排序策略。
[0148]
通过这种方式，在无需手动操作的情况下，就可以实现网页检索与浏览的交互操作，可以帮助无法使用键盘、鼠标的残疾人士或健康人群在特殊场景(双手处于非空闲状态)下可以正常进行浏览网页。
[0149]
通过步骤s11～s17，以用户终端为执行主体对本公开实施例的网页搜索方法进行了说明。下面以服务器为执行主体对本公开实施例的网页搜索方法进行了说明。
[0150]
图6示出根据本公开实施例的网页搜索方法的流程图，所述方法应用于服务器，如
图6所示，所述方法包括：
[0151]
在步骤s21中，接收用户终端发送的稳态视觉诱发电位，所述稳态视觉诱发电位是在用户注视所述用户终端的所述查询键盘上的按键时产生的；
[0152]
在步骤s22中，根据所述稳态视觉诱发电位，确定用户输入的字符串，以及与所述字符串对应的访达页面；
[0153]
在步骤s23中，向所述用户终端发送所述访达页面，以使所述用户终端显示所述访达页面。
[0154]
举例来说，服务器所收到的稳态视觉诱发电位，是用于注视如图3所示的查询键盘时产生的。服务器可实时接收用户终端发送的ssvep脑电信息(稳态视觉诱发电位)，例如，假设用户先注释查询键盘上的键位l，服务器可实时接收对应键位l的ssvep脑电信息，并根据该ssvep脑电信息，确定用户输入的字符为“l”；然后，用户注释了查询键盘上的键位b，服务器可实时接收对应键位b的ssvep脑电信息，并根据该ssvep脑电信息，确定用户输入的字符为“b”。可见，根据实时接收的ssvep脑电信息，可以确定用户输入的字符串为“lb”，可直接对字符串“lb”在网络上进行搜索，确定“lb”对应的访达页面(例如动物猎豹的介绍页面)。
[0155]
服务器在确定了访达页面之后，可以向用户终端发送该访达页面，使所述用户终端显示所述访达页面。
[0156]
通过步骤s21～s23，不仅能够在无需手动操作的情况下，进行网页的检索与浏览，而且对比相关技术中输入查询词后直接显示包括多个搜索结果的搜索引擎结果页面，需要反复浏览搜索引擎结果页面，选择并点击可能满足用户信息需求的各搜索结果，才能得到满足用户信息需求的页面；本公开的实施例接收用户输入的字符串后，可确定最可能直接满足用户信息需求的访达页面，有利于通过尽可能少的页面来满足用户的信息需求，高效快速地满足用户的信息需求，降低用户在网络搜索时交互操作的复杂度，提高用户的搜索体验。
[0157]
应当理解，上述过程中，步骤s22除了可以对字符串直接网络检索，确定字符串。为了提高检索的准确率，还可以基于字符串，先进行查询推荐，再进行网络检索。
[0158]
在一种可能的实现方式中，步骤s22可包括：根据所述稳态视觉诱发电位，确定用户输入的字符串，以及所述字符串对应的至少一个查询词；向所述用户终端发送所述字符串，以及所述字符串对应的至少一个查询词，以使所述用户终端在视觉拼写页面的查询建议模块显示所述字符串和所述至少一个查询词；接收所述用户终端发送的搜索上下文，所述搜索上下文包括用户状态信息；根据所述至少一个查询词和所述搜索上下文，确定访达页面。
[0159]
举例来说，根据所述稳态视觉诱发电位，确定用户输入的字符串，以及所述字符串对应的至少一个查询词，包括：根据所述稳态视觉诱发电位，确定用户输入的字符串；基于互联网大规模信息的候选词生成算法，确定字符串对应的至少一个查询词。
[0160]
服务器可以根据接收的ssvep脑电信息，确定一个字符串，并可以根据该字符串确定其所对应的至少一个查询词。
[0161]
在一般的搜索场景下，用户的搜索意图往往比较复杂，字符串很难准确匹配用户的信息需求。因此，可以利用服务器存储的查询推荐技术，例如，基于互联网大规模信息的
候选词生成算法，可提供候选查询，来帮助用户以较少的精力找到用户可能想要的查询词。
[0162]
其中，互联网大规模信息的候选词生成算法，可以通过一个训练好的推荐模型，获取至少一个查询词。推荐模型在训练的过程中，可以利用海量网络数据，集成互联网上大规模异构数据和用户行为的分析，如用户点击、查询重构、热点新闻跟踪等，可有效地减少用户意图和候选查询之间的差距，得到至少一个可满足用户需求的查询词。
[0163]
例如，假设用户输入的字符串为“liebao”，可以将“liebao”输入服务器存储的推荐模型，可以得到该字符串对应的查询词，可包括猎豹、猎豹浏览器、猎豹汽车等。
[0164]
服务器在分析出字符串，和字符串对应的至少一个查询词之后，可以将字符串，以及字符串对应的至少一个查询词发送至用户终端。用户响应于接收到服务器发送的字符串和至少一个查询词，可以在查询建议模块显示字符串和至少一个查询词。
[0165]
例如，服务器还可以将包括猎豹、猎豹浏览器、猎豹汽车等查询词发送回用户终端，在用户终端的视觉拼写页面的查询建议模块可显示包括猎豹、猎豹浏览器、猎豹汽车等查询词。并使用户终端可以获取脑电信息中的搜索上下文，该搜索上下文可以是用户注视查询键盘时采集的搜索上下文，也可以是用户注视查询建议模块时采集的搜索上下文，该搜索上下文可以用于确定用户的状态信息(例如休息状态、娱乐状态，运动状态，工作状态等)。
[0166]
服务器可接收用户终端发送的搜索上下文，并根据至少一个查询词和该搜索上下文，确定访达页面。例如，用户终端可采集用户注视查询建议模块时的脑电信息，并实时传输至服务器，服务器可分析接收到的用户注视查询建议模块时的脑电信息，假设服务器分析出用户当前处于工作状态，在猎豹、猎豹浏览器、猎豹汽车等查询中，用户可能会倾向于利用猎豹浏览器进行工作，可对猎豹浏览器进行搜索，将猎豹浏览器的官网确定为访达页面。
[0167]
因此，对比相关技术中，需要先利用输入法(拼音输入法，或五笔输入法)，将字符串转化为关键词，再针对关键词进行查询推荐。在本公开实施例中，输入字符串，可以直接在用户终端显示至少一个查询词，直接实现查询推荐，有利于提高查询效率，提高用户体验。
[0168]
应当理解，在上述过程中，服务器不仅可以根据所述稳态视觉诱发电位，确定用户输入的字符串；还可以接收所述用户终端发送的眼动信息，根据所述稳态视觉诱发电位和所述眼动信息，确定用户输入的字符串。其中，根据所述稳态视觉诱发电位和所述眼动信息，确定用户输入的字符串的方法可以参见用户终端的相关部分，此处不再赘叙。
[0169]
同时利用脑电信息和眼动信息进行字符串的输入，可以提高字符串输入的效率和准确度。
[0170]
在步骤s21～s23确定访达页面后，可以使用户终端显示该访达页面，并通过接收的脑电信息，实时检测用户对访达页面的满意度。还可以通过步骤s24～s27确定搜索引擎结果页面，以满足用户的信息需求。其中，可根据实时检测用户的搜索反馈，动态调整搜索结果。
[0171]
在一种可能的实现方式中，步骤s24～s27包括：
[0172]
在步骤s24中，接收所述用户终端发送的脑电信息，所述脑电信息是用户注视所述用户终端的所述访达页面时产生的；
[0173]
在步骤s25中，根据所述脑电信息，检测用户对访达页面的反馈信息，所述反馈信息包括根据所述脑电信息确定的情绪信息；
[0174]
在步骤s26中，根据所述反馈信息确定搜索引擎结果页面，所述搜索引擎结果页面包括与所述字符串对应的至少二种搜索结果；
[0175]
在步骤s27中，向所述用户终端发送所述搜索引擎结果页面，以使所述用户终端显示所述搜索引擎结果页面。
[0176]
举例来说，假设用户输入的字符串是“liebao”，用户终端显示的访达页面是猎豹(猫科猎豹属下的一种动物)的介绍页面。
[0177]
在步骤s24中，服务器可以实时接收用户终端发送的脑电信息，服务器收到的脑电信息为用户在浏览猎豹动物介绍页面时产生的脑电信息。
[0178]
在步骤s25中，服务器可以根据接收到的脑电信息，检测用户对猎豹动物介绍页面的反馈信息，该反馈信息可包括用户对猎豹动物介绍页面的情绪信息。
[0179]
在一种可能的实现方式中，步骤s25包括：将脑电信息输入满意度预测模型，确定用户的满意度；根据所述眼动信息和/或所述脑电信息，确定所述满意度与所述访达页面中各文本内容的对应关系；根据所述访达页面中各文本内容对应的满意度，确定反馈信息。
[0180]
举例来说，服务器可实时接收用户在浏览最佳访达页时产生的脑电信息，可以将获得的脑电信息输入根据监督训练得到的满意度预测模型，利用满意度预测模型对用户的脑电信息进行分析处理，对用户满意度进行实时的预估。
[0181]
例如，假设访达页面是猎豹动物的介绍页面，服务器的存储空间存储有训练好的满意度预测模型，服务器可实时接收用户浏览猎豹时产生的脑电信息，并将实时获取到的脑电信息，实时输入至满意度预测模型，由于猎豹动物的介绍页面包含了大量的信息，当用户对浏览到的文本内容(词组、句子、段落等)比较满意时，满意度预测模型输出的满意度大于预设阈值；当用户对浏览到的文本内容(词组、句子、段落等)不满意时，满意度预测模型输出的满意度小于预设阈值。
[0182]
其中，可以将大规模用户浏览网页时的脑电信息和对应的满意度标注标签作为满意度预测模型的训练数据，利用该训练数据对满意度预测模型进行训练，可以得到训练好的满意度预测模型。
[0183]
应当理解，训练数据包括的脑电信息可包含时域、频域和空域的一种或多种特征，满意度预测模型可为传统模型、神经网络模型等一系列的分类或回归模型对用户是否满意或满意度分数进行预测。本公开对训练数据的具体内容，以及满意度预测模型的具体结构不作限制。
[0184]
服务器可通过满意度预测模型对脑电信息分析处理，实时检测用户的满意度，而且服务器还可以根据眼动信息实时获取用户关注的文本内容。因此，可以结合用户的眼动信息包括的眼动行为，将用户满意度与更细粒度的文本内容(词组、句子、段落等)对应起来。例如，服务器可通过眼动行为判断出用户关注的信息在页面中的位置为第n行的首个词组，进而确定该关注位置对应的文本内容，以及该文本内容的满意度。
[0185]
根据访达页面中各文本内容对应的满意度，可确定反馈信息，该反馈信息可包括用户对猎豹动物介绍页面的情绪信息，情绪信息也即对构成访达页面的各文本内容的满意度。
[0186]
通过这种方式，通过这种方式，可以将用户的满意度与更颗粒化的文本内容对应起来，有利于后续获取到更能满足用户信息需求的搜索引擎结果页面。
[0187]
在步骤s26中，如果反馈信息为不满意，当用户关闭该页面后，可以确定一个包括与“liebao”对应的至少二种搜索结果的搜索引擎结果页面，例如，在搜索引擎结果页面中可以包括猎豹浏览器、猎豹汽车等搜索结果。
[0188]
在一种可能的实现方式中，步骤s26包括：确定每个搜索结果与所述访达页面的主题的差异度；在所述反馈信息为不满意的情况下，在所述搜索引擎结果页面中使所述差异度高的搜索结果的排序高于所述差异度低的搜索结果，或者，在所述反馈信息为满意的情况下，在所述搜索引擎结果页面中使所述差异度高的搜索结果的排序低于所述差异度低的搜索结果。
[0189]
举例来说，假设访达页面是猎豹动物的介绍页面，如果用户对访达页面的反馈信息为不满意，说明该访达页面的主题猎豹动物不是用户期望获取的信息。而搜索引擎结果页面中，包括了与字符串“liebao”对应的各种搜索结果，例如，在搜索引擎结果页面中可以包括猎豹动物，猎豹浏览器、猎豹汽车等相关主题的搜索结果。
[0190]
服务器可以确定搜索引擎结果页面中每个搜索结果与访达页面的主题的差异度，例如，猎豹浏览器、猎豹汽车等相关主题的搜索结果与访达页面的主题的差异度比较高，可以将猎豹浏览器、猎豹汽车等相关主题的搜索结果的排序提前；猎豹动物的相关主题(例如猎豹的分类、猎豹的颜色等主题)的搜索结果与访达页面的主题的差异度比较低，可以将猎豹动物的相关主题的搜索结果的排序靠后。
[0191]
如果用户对访达页面的反馈信息为满意，说明该访达页面的主题猎豹动物是用户期望获取的信息。用户在关闭访达页面还想浏览更多内容时，服务器可以将搜索引擎结果页面中与访达页面的主题的差异度比较低的搜索结果排在靠前的位置，满足用户的信息需求。
[0192]
通过这种方式，根据用户对访达页面的反馈信息，调整搜索引擎结果页面中搜索结果的排序，有利于帮助用户尽快找到满足用户信息需求的内容。
[0193]
在步骤s27中，服务器确定了搜索引擎结果页面，可将搜索引擎结果页面发送至用户终端，用户终端可在显示器中显示该搜索引擎结果页面，例如可在用户终端的显示器中显示包括猎豹浏览器、猎豹汽车等搜索结果的搜索引擎结果页面。
[0194]
通过这种方式，在访达页面不能满足用户信息需求的情况下，有利于提供更多更丰富的搜索结果，以满足用户的信息需求，提高用户的使用体验。
[0195]
在搜索引擎结果页面中，若靠前的搜索结果依然不能充分地满足用户的信息需求，为了进一步提高用户的搜索体验，可以将用户的脑电信息与不同的搜索结果对应起来，分析用户对不同搜索结果的个性化偏好，对搜索引擎结果页面中包括的各搜索结果的排序进行实时的更新。
[0196]
在一种可能的实现方式中，实时接收用户终端发送的脑电信息，所述脑电信息是用户在浏览所述用户终端显示的搜索引擎结果页面时产生的；
[0197]
根据获取的脑电信息，实时检测用户对搜索引擎结果页面中搜索结果的偏好信息；
[0198]
根据所述偏好信息，实时更新搜索引擎结果页面中各搜索结果的排序；
[0199]
实现发送更新后的搜索引擎结果页面至所述用户终端，使所述用户终端实时显示更新后的搜索引擎结果页面。
[0200]
举例来说，假设搜索引擎结果页面中，包括了与字符串“liebao”对应的各种搜索结果，服务器可实时接收用户终端发送的脑电信息，该脑电信息是用户在浏览用户终端显示的搜索引擎结果页面时产生的；
[0201]
服务器可将获取的脑电信息输入训练好的用于检测用户偏好信息的网络模型，实时检测用户对搜索引擎结果页面中搜索结果的偏好信息。其中，用于检测用户偏好信息的网络模型的训练方法可参考上文的满意度预测模型，此处不做赘叙。本公开对用于检测用户偏好信息的网络模型的模型结构不作限制。
[0202]
根据得到的用户对不同搜索结果的偏好信息，可实时更新搜索引擎结果页面中各搜索结果的排序，例如，假设搜索引擎结果页面中包括猎豹动物、猎豹浏览器、猎豹汽车相关的搜索结果，检测到用户偏好信息为猎豹汽车相关的搜索结果，当用户选择下滑加载更多搜索结果时，可以动态调整加载内容，将与猎豹汽车相关的搜索结果显示在前面。
[0203]
服务器可以实现发送更新后的搜索引擎结果页面至用户终端，使用户终端可以实时显示更新后的搜索引擎结果页面。
[0204]
通过这种方式，有利于更充分的满足用户的信息需求。
[0205]
为了更好的理解本公开实施例的效果，下面对相关技术中的网络搜索方法与本公开实施例的搜索方法进行对比说明。
[0206]
图7示出根据相关技术中网页搜索方法的示意图，如图7所示，在相关技术的搜索系统中，通常需要先通过输入法，将输入的字符串转换为查询词，才可以对查询词进行网络检索。输入查询词后搜索系统可直接显示包括多个搜索结果的搜索引擎结果页面，需要用户反复对浏览搜索引擎结果页面进行操作，从搜索引擎结果页面选择可能满足用户信息需求的搜索结果，反复进入各搜索结果对应的访达页面。在这个过程中，搜索引擎结果页面中各搜索结果的排序是不变的。
[0207]
图8示出根据本公开实施例的网页搜索方法的示意图，如图8所示，本公开实施例的网页搜索方法，无需手动操作，输入字符串后可显示最可能直接满足用户信息需求的访达页面，在关闭访达页面后，显示搜索引擎结果页面的过程中，搜索系统不仅可以根据用户对访达页面的满意度，调整搜索引擎结果页面中搜索结果的排序，而且搜索系统还可以实时检测用户对搜索引擎结果页面的反馈信息(包括用户对各搜索结果的偏好)，对搜索引擎结果页面中各搜索结果进行个性化重新排序。
[0208]
综上可知，本公开的实施例提出了以查询构建、访达页面检验、重排序搜索引擎结果检验为基础的三阶段交互方法，能够基于脑电信息和眼动信号实现用户的查询输入和搜索引擎控制。在交互过程中，系统能够实时采集用户的脑电信号，并解码相关信号来获取用户反馈，通过查询推荐、结果重排序等方式提高用户的搜索体验。
[0209]
其中，在查询构建过程，可以以输入的字符串为基础，综合考虑互联网的时事热点，为用户提供查询推荐，可有效减少用户意图和输入文本之间的差异，同时具备一定的容错能力。
[0210]
其中，在根据用户提交的查询进行搜索结果排序时，在根据用户提交的查询进行搜索结果排序时，会使用到用户在构建查询时的脑电数据作为特征，可包括用户的信息需
求、搜索上下文等充足的用户侧信息，为搜索引擎的结果排序提供有价值的特征输入。而且，在重排序搜索引擎结果检验的交互过程，能实时解码脑电获取用户满意度、情感状态等高级认知活动，根据用户的认知反馈，动态调整搜索引擎的排序策略，从而以尽可能快的速度满足用户的信息需求。
[0211]
因此，本公开的实施例的网页搜索方法，无需手动操作，能够以脑电信息为主、眼动信息为辅的交互模式，帮助用户快速与搜索引擎进行交互(如查询输入、搜索控制等)，使搜索引擎更好理解用户的信息需求和用户反馈，进而以更高的效率满足用户的信息需求，能够帮助无法使用键盘、鼠标的残疾人士或健康人群在特殊场景下可以正常进行网页检索与浏览网页。本公开的实施例提供了一个基于脑机接口构建搜索引擎的理论范式，随着脑电设备的逐渐市场化，具备良好的市场前景。
[0212]
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0213]
此外，本公开还提供了网页搜索装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种网页搜索方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
[0214]
图9示出根据本公开实施例的网页搜索装置的框图，所述装置应用于用户终端，如图9所示，所述装置包括：
[0215]
第一显示模块91，用于显示视觉拼写页面，所述视觉拼写页面包括查询键盘；
[0216]
第一获取模块92，用于获取脑电信息中的稳态视觉诱发电位，所述稳态视觉诱发电位是在用户注视所述查询键盘上的按键时产生的；
[0217]
第一发送模块93，用于向服务器发送所述稳态视觉诱发电位，以使所述服务器根据所述稳态视觉诱发电位，确定用户输入的字符串，以及与所述字符串对应的访达页面；
[0218]
第二显示模块94，用于响应于接收到服务器发送的所述访达页面，显示所述访达页面。
[0219]
在一种可能的实现方式中，所述装置还包括：第二获取模块，用于在显示所述访达页面后，获取脑电信息，所述脑电信息是用户注视所述访达页面时产生的；第二发送模块，用于向服务器发送所述脑电信息，以使所述服务器根据所述脑电信息，检测用户对访达页面的反馈信息，并根据所述反馈信息确定搜索引擎结果页面，其中，所述反馈信息包括根据所述脑电信息确定的情绪信息，所述搜索引擎结果页面包括与所述字符串对应的至少二种搜索结果；第三显示模块，用于响应于接收到服务器发送的搜索引擎结果页面，显示所述搜索引擎结果页面。
[0220]
在一种可能的实现方式中，所述视觉拼写页面还包括查询建议模块，第一发送模块93用于：向服务器发送所述稳态视觉诱发电位，以使服务器根据所述稳态视觉诱发电位，确定用户输入的字符串，以及所述字符串对应的至少一个查询词；响应于接收到服务器发送的所述字符串和所述至少一个查询词，通过查询建议模块显示所述字符串和所述至少一个查询词；获取脑电信息中的搜索上下文，所述搜索上下文包括用户状态信息；向服务器发送所述搜索上下文，以使所述服务器根据至少一个查询词和所述搜索上下文，确定访达页
面。
[0221]
在一种可能的实现方式中，所述装置还包括：获取眼动信息，第一发送模块93，用于：向服务器发送所述稳态视觉诱发电位和所述眼动信息，以使所述服务器根据所述稳态视觉诱发电位和所述眼动信息，确定用户输入的字符串。
[0222]
在一种可能的实现方式中，所述装置还用于：在所述眼动信息和/或所述脑电信息为关注所述访达页面中的预设区域的情况下，在所述访达页面中显示访达键盘，所述访达键盘包括至少一个键位，每个键位对应不同的操作；根据所述眼动信息和/或所述脑电信息，确定选中的键位并执行所述键位对应的操作。
[0223]
在一种可能的实现方式中，所述装置还用于：在所述眼动信息和/或所述脑电信息为关注所述搜索引擎结果页面中的预设区域情况下，显示至少一个搜索引擎结果键盘，每个搜索引擎结果键盘包括至少一个键位，每个键位对应不同的操作；根据所述眼动信息和/或所述脑电信息，确定选中的键位并执行所述键位对应的操作。
[0224]
图10示出根据本公开实施例的网页搜索装置的框图，所述装置应用于服务器，如图10所示，所述装置包括：
[0225]
第一接收模块101，用于接收用户终端发送的稳态视觉诱发电位，所述稳态视觉诱发电位是在用户注视所述用户终端的查询键盘上的按键时产生的；
[0226]
第一确定模块102，用于根据所述稳态视觉诱发电位，确定用户输入的字符串，以及与所述字符串对应的访达页面；
[0227]
第三发送模块103，用于向所述用户终端发送所述访达页面，以使所述用户终端显示所述访达页面。
[0228]
在一种可能的实现方式中，所述装置还包括：第二接收模块，用于接收所述用户终端发送的脑电信息，所述脑电信息是用户注视所述用户终端的所述访达页面时产生的；检测模块，用于根据所述脑电信息，检测用户对访达页面的反馈信息，所述反馈信息包括根据所述脑电信息确定的情绪信息；第二确定模块，用于根据所述反馈信息确定搜索引擎结果页面，所述搜索引擎结果页面包括与所述字符串对应的至少二种搜索结果；第四发送模块，用于向所述用户终端发送所述搜索引擎结果页面，以使所述用户终端显示所述搜索引擎结果页面。
[0229]
在一种可能的实现方式中，第一确定模块102，用于：根据所述稳态视觉诱发电位，确定用户输入的字符串，以及所述字符串对应的至少一个查询词；向所述用户终端发送所述字符串，以及所述字符串对应的至少一个查询词，以使所述用户终端在视觉拼写页面的查询建议模块显示所述字符串和所述至少一个查询词；接收所述用户终端发送的搜索上下文，所述搜索上下文包括用户状态信息；根据所述至少一个查询词和所述搜索上下文，确定访达页面。
[0230]
在一种可能的实现方式中，第二确定模块，用于：确定每个搜索结果与所述访达页面的主题的差异度；在所述反馈信息为不满意的情况下，在所述搜索引擎结果页面中使所述差异度高的搜索结果的排序高于所述差异度低的搜索结果，或者，在所述反馈信息为满意的情况下，在所述搜索引擎结果页面中使所述差异度高的搜索结果的排序低于所述差异度低的搜索结果。
[0231]
在一种可能的实现方式中，所述装置还包括：实时接收用户终端发送的脑电信息，
所述脑电信息是用户在浏览所述用户终端显示的搜索引擎结果页面时产生的；根据获取的脑电信息，实时检测用户对搜索引擎结果页面中搜索结果的偏好信息；根据所述偏好信息，实时更新搜索引擎结果页面中各搜索结果的排序；实现发送更新后的搜索引擎结果页面至所述用户终端，使所述用户终端实时显示更新后的搜索引擎结果页面。
[0232]
在一种可能的实现方式中，根据所述稳态视觉诱发电位，确定用户输入的字符串，以及所述字符串对应的至少一个查询词，包括：根据所述稳态视觉诱发电位，确定用户输入的字符串；基于互联网大规模信息的候选词生成算法，确定字符串对应的至少一个查询词。
[0233]
在一种可能的实现方式中，所述装置还包括：接收所述用户终端发送的眼动信息，第一确定模块102，用于：根据所述稳态视觉诱发电位和所述眼动信息，确定用户输入的字符串。
[0234]
在一种可能的实现方式中，检测模块用于：将脑电信息输入满意度预测模型，确定用户的满意度；根据所述眼动信息和/或所述脑电信息，确定所述满意度与所述访达页面中各文本内容的对应关系；根据所述访达页面中各文本内容对应的满意度，确定反馈信息。
[0235]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0236]
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
[0237]
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
[0238]
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
[0239]
电子设备可以被提供为终端、服务器或其它形态的设备。
[0240]
图11示出根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
[0241]
参照图11，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
[0242]
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
[0243]
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它
们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0244]
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
[0245]
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0246]
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
[0247]
i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0248]
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如互补金属氧化物半导体(cmos)或电荷耦合装置(ccd)图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0249]
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如无线网络(wi-fi)、第二代移动通信技术(2g)、第三代移动通信技术(3g)、第四代移动通信技术(4g)、通用移动通信技术的长期演进(lte)、第五代移动通信技术(5g)或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0250]
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列
(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0251]
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
[0252]
本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的ar效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、显示区域或显示物品等。视觉相关算法可涉及视觉定位、slam、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加显示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效显示、虚拟模型显示等交互场景。可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
[0253]
图12示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图12，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
[0254]
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(i/o)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如微软服务器操作系统(windows server
tm
)，苹果公司推出的基于图形用户界面操作系统(mac os x
tm
)，多用户多进程的计算机操作系统(unix
tm
),自由和开放原代码的类unix操作系统(linux
tm
)，开放原代码的类unix操作系统(freebsd
tm
)或类似。
[0255]
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
[0256]
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
[0257]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电
信号。
[0258]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0259]
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c 等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
[0260]
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0261]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0262]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0263]
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或
流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0264]
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0265]
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。