一种汽车电子手册交互方法、装置及车辆与流程

1.本技术涉及汽车人机交互技术领域，具体涉及一种汽车电子手册交互方法、汽车电子手册交互装置及车辆。


背景技术：

2.目前的汽车的使用手册，有纸质版本的，也有电子手册。在手册里列出了车辆各种功能的详细使用说明。
3.但是，对于普通的消费者来说，汽车是个比较复杂的产品，功能繁多，而且需要一定的技术背景知识，使用者如果想获取某一个功能的使用说明，要么在纸质手册上根据目录查找相应的功能，要么在中控屏幕上根据电子手册来查找或者搜索相应的功能，对于有些车厂做得比较人性化的电子手册，可能会有3d的车模，用户可以在3d车模中找到相应的位置或者功能区域，从而让用户可以比较直观地找到相应的位置，获取相关的说明。
4.然而，采用这种方式，在使用者开车过程中，容易分神，且一边开车一边控制3d车模，很可能会出现安全隐患。
5.因此，希望有一种技术方案来解决或至少减轻现有技术的上述不足。


技术实现要素：

6.本发明的目的在于提供一种汽车电子手册交互方法来至少解决上述的一个技术问题。
7.在本实施例中，功能模块是指在汽车的使用手册中记载的，能够实现汽车一定功能的模块，这种模块的表现形式可以是按钮、也可以是其他方式，例如车窗控制按钮、点烟器按钮、空调按钮等。
8.本发明的一个方面，提供一种汽车电子手册交互方法，所述汽车电子手册交互方法包括：
9.获取汽车电子手册数据库，所述汽车电子手册数据库包括至少一个预设功能模块信息以及与预设功能模块信息对应的功能说明信息；
10.获取使用者交互信息；
11.识别所述使用者交互信息，获取使用者交互信息中提及的功能模块信息；
12.获取与所述功能模块信息相同的预设功能模块信息所对应的功能说明信息；
13.将所述功能说明信息发送给人机交互装置。
14.可选地，所述识别所述使用者交互信息，获取使用者交互信息中提及的功能模块信息包括：
15.获取使用者的肢体信息或视线信息；
16.根据使用者的肢体信息或视线信息，获取使用者所关注区域；
17.判断使用者所关注区域内是否有功能模块，若有，则
18.获取该功能模块信息。
19.可选地，所述识别所述使用者交互信息，获取使用者交互信息中提及的功能模块信息进一步包括：
20.判断使用者所关注区域内是否有功能模块，若有，则
21.判断所关注区域内功能模块的数量是否超过一个，若是，则
22.分别获取各个功能模块信息。
23.可选地，所述获取与所述功能模块信息相同的预设功能模块信息所对应的功能说明信息包括：
24.根据获取的功能模块信息生成语音提问信息；
25.获取使用者根据所述语音提问信息反馈的语音回答信息；
26.识别所述语音回答信息的语义信息；
27.根据语义信息判断是否需要获取与所述功能模块信息相同的预设功能模块信息所对应的功能说明信息，若是，则
28.获取与所述功能模块信息相同的预设功能模块信息所对应的功能说明信息。
29.可选地，所述获取与所述功能模块信息相同的预设功能模块信息所对应的功能说明信息包括：
30.根据获取的功能模块信息生成指示灯闪烁信息，其中，一个功能模块信息生成一个对应的指示灯闪烁信息；
31.将指示灯闪烁信息发送给对应的功能模块，以使对应的功能模块上的显示装置根据获取的所述指示灯闪烁信息进行闪烁；
32.获取摄像装置拍摄的使用者头像动作轨迹；
33.根据所述使用者头像头像动作轨迹，判断是否获取与所述功能模块信息相同的预设功能模块信息所对应的功能说明信息，若是，则
34.获取与所述功能模块信息相同的预设功能模块信息所对应的功能说明信息。
35.可选地，所述使用者的肢体信息包括使用者的手指指向信息。
36.可选地，在判断使用者所关注区域内是否有功能模块，若有后，所述识别所述使用者交互信息，获取使用者交互信息中提及的功能模块信息进一步包括：
37.获取使用者提问语音信息；
38.根据所述提问语音信息，判断是否获取该功能模块信息，若是，则
39.获取该功能模块信息。
40.可选地，所述根据所述提问语音信息，判断是否获取该功能模块信息包括：
41.识别所述提问语音信息中的提问语义信息；
42.获取预设语音库，所述预设语音库中包括至少一个预设语义；
43.将所述提问语义信息与各个所述预设语义进行相似度计算，判断是否有一个预设语义与所述提问语义信息的相似度值超过预设阈值，若是，则
44.获取该功能模块信息。
45.本技术还提供了一种汽车电子手册交互装置，所述汽车电子手册交互装置包括：
46.汽车电子手册数据库获取模块，所述汽车电子手册数据库获取模块用于获取汽车电子手册数据库，所述汽车电子手册数据库包括至少一个预设功能模块信息以及与预设功能模块信息对应的功能说明信息；
47.交互信息获取模块，所述交互信息获取模块用于获取使用者交互信息；
48.功能模块信息获取模块，所述功能模块信息获取模块用于识别所述使用者交互信息，获取使用者交互信息中提及的功能模块信息；
49.功能说明信息获取模块，所述功能说明信息获取模块用于获取与所述功能模块信息相同的预设功能模块信息所对应的功能说明信息；
50.发送模块，所述发送模块用于将所述功能说明信息发送给人机互动模块，以使人机互动模块根据所述功能说明信息与使用者进行交互。
51.本技术还提供了一种车辆，所述车辆包括：
52.汽车电子手册交互装置，所述汽车电子手册交互装置采用如上所述的汽车电子手册交互方法获取功能说明信息；
53.人机交互装置，所述人机交互装置用于获取所述汽车电子手册交互装置所传递的功能说明信息，并通过人机交互装置中的声音输出装置将所述功能说明信息输出。
54.有益效果
55.本技术的汽车电子手册交互方法通过使用者交互信息感知用户对车辆中的哪个位置，或者哪个按钮有疑惑，想获取相关的说明介绍，从而非常直观高效地为用户提供其希望获取的说明信息。
附图说明
56.图1是本技术一实施例的汽车电子手册交互方法的流程示意图。
57.图2是本技术一实施例的能够实现图1所示的汽车电子手册交互方法的电子设备示意图。
具体实施方式
58.为使本技术实施的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本技术一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。下面结合附图对本技术的实施例进行详细说明。
59.图1是本技术一实施例的汽车电子手册交互方法的流程示意图。
60.如图1所示的汽车电子手册交互方法包括：
61.步骤1：获取汽车电子手册数据库，所述汽车电子手册数据库包括至少一个预设功能模块信息以及与预设功能模块信息对应的功能说明信息；
62.步骤1：获取使用者交互信息；
63.步骤2：识别使用者交互信息，获取使用者交互信息中提及的功能模块信息；
64.步骤3：获取与功能模块信息相同的预设功能模块信息所对应的功能说明信息；
65.步骤4：将功能说明信息发送给人机交互装置。
66.本技术的汽车电子手册交互方法通过使用者交互信息感知用户对车辆中的哪个
位置，或者哪个按钮有疑惑，想获取相关的说明介绍，从而非常直观高效地为用户提供其希望获取的说明信息。
67.在本实施例中，识别使用者交互信息，获取使用者交互信息中提及的功能模块信息包括：
68.获取使用者的肢体信息或视线信息；
69.根据使用者的肢体信息或视线信息，获取使用者所关注区域；
70.判断使用者所关注区域内是否有功能模块，若有，则
71.获取该功能模块信息。
72.在本实施例中，通过使用者的肢体信息或视线信息来进行交互，可以在不需要人主动进行交互的情况下，感知使用者的需求，并且解决使用者的需求，例如，车内的副驾驶或者其他位置有小孩在睡觉，使用者不想打扰到小孩睡觉，此时，只要通过视线在某一个地方的停留，从而来进行与汽车的交互。
73.在本实施例中，通过视线信息来识别出用户的视线指向的位置属于现有技术，例如，通过深度学习的算法识别用户的视线指向的位置，在此不再赘述。
74.当使用者的视线指向某个区域时，需要首先确定该区域是否有功能模块，例如，如果使用者看向窗户外，窗户外并没有功能模块，自然也不用去进行交互，而如果使用者在关注某些地方，例如点烟器附近，并且停留了一定时间，例如2s，则此时，可以认为使用者好奇点烟器的用处，或者好奇此处是什么功能模块。
75.在本一个实施例中，识别使用者交互信息，获取使用者交互信息中提及的功能模块信息进一步包括：
76.判断使用者所关注区域内是否有功能模块，若有，则
77.判断所关注区域内功能模块的数量是否超过一个，若是，则
78.分别获取各个功能模块信息。
79.当该关注区域内有多个模块时，此时无法通过视线来判断使用者具体想了解哪个功能模块，则获取各个功能模块信息，在进行播报时，可以将各个功能模块信息所对应的功能说明信息都进行播报。
80.在本实施例中，获取与功能模块信息相同的预设功能模块信息所对应的功能说明信息包括：
81.根据获取的功能模块信息生成语音提问信息；
82.获取使用者根据语音提问信息反馈的语音回答信息；
83.识别语音回答信息的语义信息；
84.根据语义信息判断是否需要获取与所述功能模块信息相同的预设功能模块信息所对应的功能说明信息，若是，则
85.获取与功能模块信息相同的预设功能模块信息所对应的功能说明信息。
86.采用这种方式，可以跟使用者进行语音确认，举例来说，当获取到功能模块信息后，例如该功能模块信息为点烟器，此时，生成语音提问信息：您是否要了解点烟器的功能？
87.使用者根据该语音提问信息反馈语音回答信息，例如，回答为是；
88.识别该语音信息的语义，获取到使用者需要了解该点烟器的功能，则获取与所述功能模块信息相同的预设功能模块信息所对应的功能说明信息并传递给人机交互装置进
行播报。
89.当功能区域有多个功能模块时，可以每个都问使用者：例如，您是否想了解点烟器的功能还是空调调节按钮的功能？
90.根据使用者的回答来进行下一步操作，例如，使用者的回答为了解点烟器的功能，此时，则获取点烟器的功能说明信息，若使用者说都需要，则同时获取两个功能说明信息，依次进行播报。
91.在本实施例中，获取与功能模块信息相同的预设功能模块信息所对应的功能说明信息包括：
92.根据获取的功能模块信息生成指示灯闪烁信息，其中，一个功能模块信息生成一个对应的指示灯闪烁信息；
93.将指示灯闪烁信息发送给对应的功能模块，以使对应的功能模块上的显示装置根据获取的所述指示灯闪烁信息进行闪烁；
94.获取摄像装置拍摄的使用者头像动作轨迹；
95.根据使用者头像头像动作轨迹，判断是否获取与所述功能模块信息相同的预设功能模块信息所对应的功能说明信息，若是，则
96.获取与功能模块信息相同的预设功能模块信息所对应的功能说明信息。
97.在有些情况下，可能使用者并不希望车辆突然说话，此时，车辆用指示灯的方式来提醒使用者是否想要了解这些功能，例如，当使用者的视线看向点烟器，此时，根据获取的功能模块信息生成指示灯闪烁信息，将指示灯闪烁信息发送给对应的功能模块(即点烟器)，然后使点烟器的显示装置闪烁。
98.当使用者需要了解该功能模块的功能说明信息时，可以通过点头的方式来进行动作，摄像装置获取到使用者的视频，并分析出是点头的含义，则获取与所述功能模块信息相同的预设功能模块信息所对应的功能说明信息。
99.在本实施例中，使用者的肢体信息包括使用者的手指指向信息。
100.通过深度学习的算法，识别者用户手指指向的位置，进而对应到车上的功能区域，比如某一个按钮，或者某一个功能。
101.在一个备选实施例中，在判断使用者所关注区域内是否有功能模块，若有后，识别所述使用者交互信息，获取使用者交互信息中提及的功能模块信息进一步包括：
102.获取使用者提问语音信息；
103.根据所述提问语音信息，判断是否获取该功能模块信息，若是，则
104.获取该功能模块信息。
105.举例来说，在该备选实施例中，通过深度学习的算法，识别出用户的视线指向的位置，或者用户手指指向的位置，进而对应到车上的功能区域，比如某一个按钮，或者某一个功能，在识别出该区域有功能模块后，获取使用者的语音，通过语音识别识别到该语音是需要进行下一步时，则获取该功能模块信息。
106.具体而言，根据所述提问语音信息，判断是否获取该功能模块信息包括：
107.识别提问语音信息中的提问语义信息；
108.获取预设语音库，所述预设语音库中包括至少一个预设语义；
109.将所述提问语义信息与各个所述预设语义进行相似度计算，判断是否有一个预设
语义与所述提问语义信息的相似度值超过预设阈值，若是，则
110.获取该功能模块信息。
111.例如，使用者问，“这个是什么”，“这个是干什么用的”，而预设语音库中包括一个预设语义为这是干什么用的，通过计算发现相似度与使用者提问的语义相似度超过阈值，则获取该功能模块信息。
112.继而自动搜寻出功能说明信息，并通过语音和/或屏幕等多种方式，为用户讲解，从而更加直观高效地为用户提供其需要的电子手册的信息，这种通过摄像头识别和语音识别的多模态融合的方式比传统的电子手册更加直观高效。
113.本技术还提供了一种汽车电子手册交互装置，所述汽车电子手册交互装置包括汽车电子手册数据库获取模块、交互信息获取模块、功能模块信息获取模块、功能说明信息获取模块以及发送模块，汽车电子手册数据库获取模块用于获取汽车电子手册数据库，所述汽车电子手册数据库包括至少一个预设功能模块信息以及与预设功能模块信息对应的功能说明信息；交互信息获取模块用于获取使用者交互信息；功能模块信息获取模块用于识别所述使用者交互信息，获取使用者交互信息中提及的功能模块信息；功能说明信息获取模块用于获取与所述功能模块信息相同的预设功能模块信息所对应的功能说明信息；发送模块用于将所述功能说明信息发送给人机互动模块，以使人机互动模块根据所述功能说明信息与使用者进行交互。
114.本技术还提供了一种车辆，所述车辆包括汽车电子手册交互装置以及人机交互装置，
115.所述汽车电子手册交互装置采用如上所述的汽车电子手册交互方法获取功能说明信息；
116.所述人机交互装置用于获取所述汽车电子手册交互装置所传递的功能说明信息，并通过人机交互装置中的声音输出装置将所述功能说明信息输出。可以理解的是，还可以通过显示装置将功能说明信息显示出来。
117.可以理解的是，上述对方法的描述，也同样适用于对装置的描述。
118.本技术还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的汽车电子手册交互方法。
119.本技术还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的汽车电子手册交互方法。
120.图2是能够实现根据本技术一个实施例提供的汽车电子手册交互方法的电子设备的示例性结构图。
121.如图2所示，电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中，输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设
备506；输出设备506将输出信息输出到电子设备的外部供用户使用。
122.也就是说，图2所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的汽车电子手册交互方法。
123.在一个实施例中，图2所示的电子设备可以被实现为包括：存储器504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的车辆运行中发动机效率优化方法。
124.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
125.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
126.计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数据多功能光盘(dvd)或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
127.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
128.此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
129.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
130.在本实施例中所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻
辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
131.存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
132.在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本技术虽然以较佳实施例公开如上，但其实并不是用来限定本技术，任何本领域技术人员在不脱离本技术的精神和范围内，都可以做出可能的变动和修改，因此，本技术的保护范围应当以本技术权利要求所界定的范围为准。
133.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
134.此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
135.虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。