基于眼球识别的兴趣点信息反馈方法、介质、设备及系统与流程

1.本发明属于智能驾驶的技术领域，涉及一种兴趣点信息反馈方法，特别是涉及一种基于眼球识别的兴趣点信息反馈方法、介质、设备及系统。


背景技术：

2.随着科学技术的发展，汽车的智能化程度越来越高，也因此满足了用户较多的需求。用户在驾车过程中需要集中精力，并不允许用户占用太多时间去欣赏车外沿途的风景与事物，也不允许用户对车外事故产生好奇时，花费较多的时间去了解。
3.进一步地，用户在驾车或停车过程中因养成错误的用车习惯或驾车操作不熟练的情况下经常会出现很多违规操作，由此带来很多安全隐患。于现在的驾车系统中，并不能对用户驾驶时的关注点进行监测，进而向用户发出违规操作的警示信息。


技术实现要素：

4.鉴于以上所述现有技术的缺点，本发明的一个目的在于提供一种基于眼球识别的兴趣点信息反馈方法、介质、设备及系统，其优势在于，通过获取的眼动数据中的视线光轴向量和用户所处的空间位置信息之间的坐标转换关系确定用户的视线落点，从而更加准确地确定用户的兴趣点，且无需用户语音指示说明，从而为用户提供更加便捷的用户体验；进而呈现所述兴趣点的关联信息，以便于用户直接、快速地获取目标信息或安全提示，提高信息反馈的效率，从而为用户提供更高的用车体验。
5.本发明的另一个目的在于提供一种基于眼球识别的兴趣点信息反馈方法，其优势在于，通过获取的眼动数据中的视线光轴向量和用户于车内的空间位置信息之间的坐标转换关系确定与用户视线落点对应的车内部件，从而更加准确地确定用户在进行某一车辆操作时的关注点，进而根据关注点判断用户是否正确的进行某一车辆操作，进一步提高了用车的安全性。
6.本发明的另一个目的在于提供一种基于眼球识别的兴趣点信息反馈方法，其优势在于，通过获取的眼动数据中的视线光轴向量和用户于车外的空间位置信息之间的坐标转换关系确定与用户视线落点对应的车外物体，从而更加准确地确定用户在驾车时的车外关注点，进而根据车外关注点向用户推送与之相关的关联信息，进一步提高了用户获取兴趣点相关信息的便捷性。
7.本发明的另一个目的在于提供一种基于眼球识别的兴趣点信息反馈系统，其优势在于，将用户所关注的兴趣点的关联信息通过全息影像装置予以呈现，使用户更直观化、多元化地获取信息，丰富了用户的用车体验。
8.为实现上述目的及其他相关目的，本发明一方面提供一种基于眼球识别的兴趣点信息反馈方法，所述方法包括以下步骤：获取用户的眼动数据以及用户所处的空间位置信息；基于所述眼动数据中的视线光轴向量和所述空间位置信息之间的坐标转换关系确定视线落点，所述视觉落点用于定位用户关注的兴趣点；基于所述视线落点所定位的兴趣点，呈
现所述兴趣点的关联信息。
9.于本发明的一实施例中，所述基于所述视线落点对应的兴趣点，呈现所述兴趣点的关联信息包括以下步骤：基于所述用户当前的车内操作，确定所述用户当前应当关注的车机部件；确定所述兴趣点与所述用户当前应当关注的车机部件是否一致；响应于确定所述兴趣点与所述用户当前应当关注的车机部件不一致，反馈提示信息，以用于指示异常驾驶信息。由此，可以基于用户关注的兴趣点实现车辆操作的违规监测，在用户产生违规操作时向用户发出警示。
10.于本发明的一实施例中，所述兴趣点为车外目标物；所述基于所述视线落点对应的兴趣点，呈现所述兴趣点的关联信息包括以下步骤：将所述视线落点于地图上进行坐标定位，查找与定位坐标对应的车外目标物；呈现所述车外目标物的关联信息。由此，可以结合用户关注的兴趣点实现智能、人性化地向用户推荐兴趣点关联的信息，以使用户获取该兴趣点对应的事物的具体信息，对其有更充分的了解。
11.于本发明的一实施例中，所述兴趣点为车外目标物；所述基于所述视线落点对应的兴趣点，呈现所述兴趣点的关联信息包括：以车辆为参考，确定所述视线落点相对于所述车辆的方位，查找该方位对应的车外目标物；所处车外目标物通过车辆不同方位上设置的影像装置拍摄的图片或视频确定；呈现所述车外目标物的关联信息；所述关联信息包括车外不同车道上行驶车辆的车型信息以及事故信息。由此，可以结合用户关注的兴趣点实现在驾车过程中帮助用户实时了解不同车道上车辆的情况，例如用户发现比较感兴趣的车型，需作进一步了解以及用户发现其他车道上的交通事故，以获取该交通事故的详细信息以及存储该交通事故的影像，以便于交通事故的取证。
12.为实现上述目的及其他相关目的，本发明另一方面提供一种非瞬态计算机可读存储介质，其上存储有机器可执行指令，所述机器可执行指令在被执行时使机器执行所述的方法的步骤。
13.为实现上述目的及其他相关目的，本发明又一方面提供一种电子设备，包括：存储器，被配置为存储一个或多个计算机程序；以及处理器，耦合至所述存储器并且被配置为执行所述一个或多个计算机程序使所述电子设备执行所述的方法。
14.为实现上述目的及其他相关目的，本发明最后一方面提供一种基于眼球识别的兴趣点信息反馈系统，所述基于眼球识别的兴趣点信息反馈系统包括：眼球识别装置和所述的电子设备；所述眼球识别装置与所述电子设备连接，用于将采集的用户的眼动数据发送至所述电子设备。
15.于本发明的一实施例中，所述基于眼球识别的兴趣点信息反馈系统还包括：全息影像装置；所述全息影像装置与所述电子设备通信连接，用于接收电子设备中待呈现的兴趣点的关联信息，以用于全息影像显示。
附图说明
16.图1显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的原理流程图。
17.图2a显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的视线落点确定流程图。
18.图2b显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的坐标转换示意图。
19.图3a显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的交点位置确定流程图。
20.图3b显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的交点位置示意图。
21.图4显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的关联信息呈现流程图。
22.图5显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的违规监测示意图。
23.图6显示为本发明的基于眼球识别的兴趣点信息反馈方法于另一实施例中的关联信息呈现流程图。
24.图7显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的车外目标物信息呈现示意图。
25.图8显示为本发明的基于眼球识别的兴趣点信息反馈方法于又一实施例中的关联信息呈现流程图。
26.图9显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的车道兴趣点示意图。
27.图10显示为本发明的电子设备于一实施例中的结构连接示意图。
28.图11显示为本发明的服务器于一实施例中的结构连接示意图。
29.图12显示为本发明的基于眼球识别的兴趣点信息反馈系统于一实施例中的结构示意图。
30.图13显示为本发明的基于眼球识别的兴趣点信息反馈系统于一实施例中的结构原理图。
31.元件标号说明
32.10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
电子设备
33.101
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
34.102
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
35.11
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
服务器
36.s11～s13
ꢀꢀꢀꢀꢀꢀꢀ
步骤
37.s121～s123
ꢀꢀꢀꢀꢀ
步骤
38.s122a～s122b
ꢀꢀꢀ
步骤
39.s131a～s133a
ꢀꢀꢀ
步骤
40.s131b～s132b
ꢀꢀꢀ
步骤
41.s131c～s132c
ꢀꢀꢀ
步骤
具体实施方式
42.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实
施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
43.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
44.本发明所述的基于眼球识别的兴趣点信息反馈方法将眼球识别与驾车进行结合，智能地反馈用户所关注的兴趣点的关联信息，提高了用户于车内的应用体验。
45.以下将结合图1至图13详细阐述本实施例的一种基于眼球识别的兴趣点信息反馈方法、介质、设备及系统的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的基于眼球识别的兴趣点信息反馈方法、介质、设备及系统。
46.请参阅图1，显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的原理流程图。如图1所示，所述基于眼球识别的兴趣点信息反馈方法具体包括以下几个步骤：
47.s11，获取用户的眼动数据以及用户所处的空间位置信息。
48.于一实施例中，所述用户的眼动数据由眼球识别装置采集，用户所处的空间位置信息既可以是用户于车内驾车时车辆所限定的空间位置信息，例如，根据车型确定车内眼动数据采集装置及各个车机部件的尺寸及其空间位置关系，进而确定用户处于驾驶座位上时与车内各个车机部件的空间位置关系；也可以是用户的位置变化于地图中或其他地理信息系统中体现的空间位置信息，即用户与车辆作为一整体，等效为地图上一个点，该点于地图上的位置信息为用户所处的空间位置信息，例如，通过车机gps或车内移动终端gps定位信息来确定用户所处的空间位置信息。
49.s12，基于所述眼动数据中的视线光轴向量和所述空间位置信息之间的坐标转换关系，确定视线落点，所述视觉落点用于定位所述用户关注的兴趣点。
50.于眼球结构中，在视网膜的中间存在一个小小的凹点，称为中央凹。把中央凹与角膜曲率中心的连线定义为视线，瞳孔中心与角膜曲率中心的连线定义为光轴。首先计算出角膜曲率中心和瞳孔中心，然后将瞳孔中心减去角膜曲率中心计算出视线光轴向量，最后将视线光轴向量转换为视线落点，以实现屏幕物理坐标到屏幕像素坐标的映射。其中，角膜曲率中心的坐标可以根据红外光源的坐标以及相机的坐标确定，相机的坐标由相机自身的外参数确定。需要说明的是，本发明的基于眼球识别的兴趣点信息反馈方法可应用于实际的电子设备的屏幕，也可应用于任何与用户看到的事物相对应的虚拟屏幕，本发明中屏幕的实质是与用户视线近似垂直或与用户面部近似平行的区域范围的划定。
51.请参阅图2a，显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的视线落点确定流程图。如图2a所示，s12包括：
52.s121，基于所述用户于所述眼动数据中的坐标定位以及所述用户于所述空间位置信息中的定位，确定所述坐标转换关系。
53.于一实施例中，所述空间位置信息为用户在车内的空间位置信息，将眼动数据中角膜曲率中心和瞳孔中心的坐标信息转换为角膜曲率中心和瞳孔中心的车内坐标信息。坐
标转换的依据是：用户的眼动数据是根据相机的拍摄获取的，而相机位于车内的固定位置，因此，通过相机建立坐标关联，可以实现角膜曲率中心和瞳孔中心的拍摄坐标到车内坐标的转换。具体地，请参阅图2b，显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的坐标转换示意图。如图2b所示，设角膜曲率中心的坐标为(x1，y1)，瞳孔中心的坐标为(x2，y2)，因为视线光轴向量是指瞳孔中心与角膜曲率中心的连线，由此，通过角膜曲率中心的坐标(x1，y1)与瞳孔中心的坐标(x2，y2)之间的坐标运算可得到所述视线光轴向量的向量坐标，通过向量坐标可得到用户基于双目所在水平线的一个倾斜角度，例如为向左下方倾斜30度，假设用户上身长决定的眼睛离驾驶座位垂直距离为85cm，则通过坐标转换，可将视线光轴向量所指方向定位至人眼与左侧后视镜之间的连线，进而确定交点位置为左侧后视镜。
54.于一实施例中，所述空间位置信息为用户于驾车时的定位信息，将眼动数据中角膜曲率中心和瞳孔中心的坐标信息转换为角膜曲率中心和瞳孔中心的地图坐标信息。坐标转换的依据是：用户的眼动数据是根据相机的拍摄获取的，而相机位于车内的固定位置，因此，将相机与车辆在地图上作为一个整体，等效为同一个点在地图上的坐标，通过该坐标建立眼动数据与地图的关联，可以实现角膜曲率中心和瞳孔中心的拍摄坐标到地图坐标的转换。具体地，将用户与车辆作为一整体进行宏观等效，因此，用户视线光轴向量的倾斜角度可等效为相对于地平线的倾斜角度，地面上其他的车外物体均相对于地面有固定的坐标或经纬度，由此结合该倾斜角度与车外物体高度进行几何计算，可进行坐标转换，进而确定交点位置为某一车外物体。
55.s122，将所述视线光轴向量叠加至所述空间位置信息的坐标中，确定所述视线光轴向量与所述坐标的交点位置。
56.请参阅图3a，显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的交点位置确定流程图。如图3a所示，s122包括：
57.s122a，当所述空间位置信息为车内空间位置信息时，基于车型确定车内坐标，将所述视线光轴向量叠加至所述车内坐标中，确定所述视线光轴向量与所述车内坐标的交点位置。
58.于一实施例中，将所述视线光轴向量作为一条射线，端点为用户眼球所在位置，确定该射线与车内部件的交点，例如，交点位置可以是侧方后视镜、车内后视镜或用户在用车过程中视线范围内其他车内操作所涉及的车内部件。
59.s122b，当所述空间位置信息为车外空间位置信息时，基于车机定位信息于地图上划定一坐标区域，在所述坐标区域内将所述视线光轴向量叠加至地图坐标中，确定所述视线光轴向量与所述地图坐标的交点位置。
60.于另一实施例中，将所述视线光轴向量作为一条射线，端点为用户眼球所在位置，确定该射线与车外目标物的交点，例如，交点位置可以是用户关注的一家店铺、一个楼盘、一栋特色建筑或其他用户在车内关注到的景色与事物。于该实施例的一种实施方式中，在地图上按照预设距离划定一区域，该射线与该区域的交点为最终的交点位置，进而于地图上根据交点位置的坐标确定对应的poi(point of information，信息点或兴趣点)；于该实施例的另一种实施方式中，在地图上按照预设距离划定一区域，然后确定该射线方向上对应的poi(point of information，信息点或兴趣点)，进而获取每一个建筑的高度，并与该
射线的俯仰角度结合最终确定用户关注的poi(point of information，信息点或兴趣点)。
61.请参阅图3b，显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的交点位置示意图。如图3b所示，由车内延伸出的虚线表示所述视线光轴向量，圆圈表示于地图中按照预设距离划定的区域，a点表示交点位置，于一种实施方式中，沿所述视线光轴向量仅有a点对应的建筑物，则将a点对应的建筑物确定为用户关注的兴趣点；于另一种实施方式中，沿所述视线光轴向量有a点、b点、c点对应的建筑物，且b点对应的建筑物最高，此时即使交点为a点，但结合a点、b点、c点对应的建筑物的高度可以确定b点对应的建筑物为用户关注的兴趣点。
62.s123，将所述交点位置作为所述视线落点。
63.s13，基于所述视线落点所定位的所述兴趣点，呈现所述兴趣点的关联信息。其中，所述兴趣点的关联信息可通过以下方式中的一种或多种获取：第一，由预存有兴趣点关联信息的数据库中搜索获取；第二，对所述兴趣点进行图像识别后由第三方网站获取，例如，所述第三方网站为大众点评网，提供对某一著名小吃店的介绍信息或某一景点的介绍信息；第三，结合用户语音进一步辅助确定兴趣点所对应的对象，由此开启电子设备中预先安装的应用程序，以进入关联信息反馈界面或呈现于兴趣点关联信息相关的应用链接；第四，将各类地图服务、生活网站的信息进行数据共享与服务器存储，以通过服务器获取所述关联信息。
64.于实际应用中，所述关联信息的呈现方式可以是通过车机、手机、iot(the internet of things，物联网)设备、hud(head up display，抬头显示)设备、智能眼镜、全息影像设备或其他具备显示和/或播报功能的设备进行显示或播放。进一步地，可以是根据用户注视的时间判断用户是否真正感兴趣，当注视的时间超过一定时间阈值时判定为用户关注的兴趣点，进而呈现兴趣点的关联信息。其中，注视时间的时间阈值可根据车辆行驶状态来动态确定，例如，当车辆静止或低速行驶时，注视时间阈值例如可以为5s，随着车速的上升，注视时间阈值可以相应降低，例如为3s、2s、1s。进一步地，用户看到关注的目标物时，可以主动发起语音或手势等示意性指令，以语音指令为例，用于触发基于眼球识别的兴趣点信息反馈方法，进而呈现兴趣点的关联信息。进一步地，可以是在兴趣点确定之后立即呈现关联信息或将用户关注该兴趣点的动作进行存储记录，在用户停车后或用户其他休闲时间向用户推送关联信息，或者根据用户的浏览指令进行相应兴趣点关联信息的呈现。
65.请参阅图4，显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的关联信息呈现流程图。如图4所示，s13于一实施例(实施例a)中包括：
66.s131a，基于所述用户当前的车内操作，确定所述用户当前应当关注的车机部件。
67.s132a，确定所述兴趣点与所述用户当前应当关注的车机部件是否一致。
68.s133a，响应于确定所述兴趣点与所述用户当前应当关注的车机部件不一致，反馈提示信息，以用于指示异常驾驶操作。
69.请参阅图5，显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的违规监测示意图。如图5所示，所述用户当前应当关注的车机部件为车机侧方后视镜。
70.于一实施例中，响应于检测到用户车内的变道信号且确定所述兴趣点与所述车机侧方后视镜不一致，呈现提示信息，以用于指示违规变道行为。
71.具体地，用户在进行向左变道之前，先打开左转向灯，将左转向灯的打开信号作为
变道信号，按照驾驶规范，打开转向灯之后要过3秒后才可以转动方向盘进行转动，且其间用户需要观察左侧方后视镜，以了解左侧交通状况，是否允许变道。当在预设时间段内未检测到用户观察左侧方后视镜，则通过语音或图文形式呈现违规变道的提示信息。
72.于另一实施例中，响应于检测到于车内的开门信号且确定所述兴趣点与所述车机侧方后视镜不一致，呈现提示信息，以用于指示停车违规开门行为。
73.具体地，车内预先设置一车门把手的检测控制装置，用以检测把手的拉动状态，当车内用户尤其是车内前排座位用户在拉动车门准备下车时，所述车门把手的检测控制装置检测到把手的拉动状态，将拉动状态的检测信号作为开门信号，但此时把手虽可以拉动，车门仍处于上锁状态，当用户观察后视镜以后，确认开门一侧无过往行人、电瓶车、机动车等情况时，用户再次拉动把手，所述车门把手的检测控制装置判定为规范开门，将安全检测信号传送至车内的bcm(body control module，车身控制器)，车身控制器控制车门打开。当未检测到用户观察后视镜，则车门仍处于上锁状态，此时，呈现提示信息，以用于指示停车违规开门行为，提示信息的呈现方式包括但不限于声光提示、车机显示屏或用户电子设备消息推送提示、设备、车内座椅震动提示或其他可以引起用户注意的提示方式。
74.请参阅图6，显示为本发明的基于眼球识别的兴趣点信息反馈方法于另一实施例中的关联信息呈现流程图。如图6所示，所述兴趣点为车外目标物，s13于另一实施例(实施例b)中包括：
75.s131b，将所述视线落点于地图上进行坐标定位，查找与定位坐标对应的车外目标物。
76.s132b，呈现所述车外目标物的关联信息。具体地，通过图片、文字、语音以及视频中的一种或多种组合的方式呈现所述车外目标物的关联信息，以使用户于显示设备上获知所述关联信息。
77.请参阅图7，显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的车外目标物信息呈现示意图。如图7所示，所述车外目标物为用户关注的建筑，针对用户关注的建筑反馈并呈现用户感兴趣的关联信息。
78.于一实施方式中，所述车外目标物为待售的小区楼盘；所述呈现所述车外目标物的关联信息包括：反馈所述小区楼盘的售楼信息；所述售楼信息包括但不限于房型、房价、周边设施及看房预约时间中的任意一项。具体地，所述售楼信息可以是通过第三方的售楼网站进行数据共享后获取，也可以是车机端预先安装的应用程序app向云端服务器发送请求后获取关联信息。
79.具体地，用户驾车过程中，看到路边一小区房屋特别漂亮，多看了3秒钟，通过眼球识别将该小区房屋作为兴趣点，并在用户停车的时候，该小区的名称于地图上进行高亮显示。进一步地，显示该小区楼盘详细信息、房价、当前可售房屋的真实信息(包括房型及房屋内实景照片)，进一步地，向用户提供预约看房界面，或根据用户语音等交互指令为用户完成预约，确定预约时间。
80.于另一实施方式中，所述车外目标物为特色建筑；所述呈现所述车外目标物的关联信息包括：反馈所述特色建筑的介绍信息；所述介绍信息包括但不限于所述特色建筑的建筑风格、建筑材料及典故信息中的任意一项。
81.具体地，用户驾车时，看到山上一个塔，好奇看几秒钟，通过眼球识别确定兴趣点
为塔，接收用户语音“帮我讲讲这个塔的故事”，进而，调取该塔相关信息，通过语音或图文等多媒体形式向用户介绍该塔的典故或相关的名人故事。进一步地，在用户驾车过程中，针对用户驾车过程中确认的多个兴趣点，在不影响用户安全驾车时或在用户停车时进行多个兴趣点的介绍，进而，通过本发明的基于眼球识别的兴趣点信息反馈方法实现驾驶沿途“智能导游”的功能。
82.请参阅图8，显示为本发明的基于眼球识别的兴趣点信息反馈方法于又一实施例中的关联信息呈现流程图。如图8所示，s13于又一实施例(实施例c)中包括：
83.s131c，以车辆为参考，确定所述视线落点相对于所述车辆的方位，查找该方位对应的车外目标物；所处车外目标物通过车辆不同方位上设置的影像装置拍摄的图片或视频确定。
84.s132c，呈现所述车外目标物的关联信息；所述关联信息包括但不限于车外不同车道上行驶车辆的车型信息、事故信息、违章信息、危险驾驶系数等。车型信息例如包括车辆型号、销售价格、用户评价、销售渠道等。事故信息例如包括事故发生的时间、地点、图片或视频等。违章信息例如包括违章次数、违章地点、违章时间等。危险驾驶系数例如包括目标车辆所关联用户的驾驶行为评分等。
85.请参阅图9，显示为本发明的基于眼球识别的兴趣点信息反馈方法于一实施例中的车道兴趣点示意图。如图9所示，车辆上左侧和右侧分别预先安装有摄像头，用户驾车行驶在b车道，a车道迎面开来一辆汽车，通过眼球识别检测到用户正关注左侧，进一步将用户关注左侧的信号发送至电子设备，电子设备由此调取左侧摄像头所拍摄的图片，识别到a车道上开来的汽车，由此，判定用户此时关注的兴趣点为a车道开来的汽车，进而将该汽车的车型、价格、销售门店及门店地址等信息推送、呈现给用户或预先存储，待用户停车后呈现给用户。
86.如图9所示，用户驾车行驶在b车道，c车道上有一车辆停在该车道，出现交通事故，通过眼球识别检测到用户正关注右侧，进一步将用户关注右侧的信号发送至电子设备，电子设备由此调取右侧摄像头所拍摄的图片，识别到c车道上车辆的事故画面，由此，判定用户此时关注的兴趣点为c车道上的事故，进而将该事故画面以图片或视频形式存储，以便用户后期查看或提交至相关交通部门作为事故凭证。
87.本发明所述的基于眼球识别的兴趣点信息反馈方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
88.本实施例提供一种非瞬态计算机可读存储介质，其上存储有机器可执行指令，所述机器可执行指令在被执行时使机器执行所述基于眼球识别的兴趣点信息反馈方法，所述方法包括以下步骤：获取用户的眼动数据以及用户所处的空间位置信息；基于所述眼动数据中的视线光轴向量和所述空间位置信息之间的坐标转换关系，确定视线落点，所述视觉落点用于定位用户关注的兴趣点；基于所述视线落点所定位的兴趣点，呈现所述兴趣点的关联信息。
89.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的计算机可读存储介质包
括：rom、ram、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。
90.请参阅图10，显示为本发明的电子设备于一实施例中的结构连接示意图。如图10所示，本发明所述的电子设备10包括：处理器101和存储器102；所述存储器102被配置为存储一个或多个计算机程序；所述处理器101耦合至所述存储器102并且被配置为执行所述一个或多个计算机程序使所述电子设备10执行所述基于眼球识别的兴趣点信息反馈方法。所述电子设备包括但不限于可以通过网络连接获取眼动数据的平板电脑、智能手机、个人数字助理(personal digital assistant，简称pda)、车机端或是智能眼镜、智能手表或其他可穿戴设备。
91.于一实施例中，所述电子设备为车机，由微处理器(mcu)、存储器(rom、ram)、输入/输出接口(i/o)、模数转换器(a/d)以及整形、驱动等大规模集成电路组成。车机的ecu(electronic control unit，电子控制单元)的电压工作范围一般在6.5-16v(内部关键处有稳压装置)、工作电流在0.015-0.1a、工作温度在-40℃～80℃。在ecu中微处理器是核心部分，它具有运算与控制的功能，用于采集车内各传感器的信号，进行运算，并将运算的结果转变为控制信号，控制被控对象的工作，读取存储器中存储的一个或多个程序，执行上述图1、图2a、图3a、图4、图6、图8所示的实施例中的全部步骤。具体地，用于执行所述基于眼球识别的兴趣点信息反馈方法，所述方法包括以下步骤：获取用户的眼动数据以及用户所处的空间位置信息；基于所述眼动数据中的视线光轴向量和所述空间位置信息之间的坐标转换关系，确定视线落点，所述视觉落点用于定位用户关注的兴趣点；基于所述视线落点所定位的兴趣点，呈现所述兴趣点的关联信息。它还实行对存储器(rom/flash/eeprom、ram)、输入/输出接口(i/o)和其它外部电路的控制；存储器rom中存放的程序是经过精确计算和大量实验取得的数据为基础编写出来的，该固有程序用于与采集来的各传感器的信号进行比较和计算，包括上述图1、图2a、图3a、图4、图6、图8所示的实施例中的方法的计算机程序。具体地，用于存储所述基于眼球识别的兴趣点信息反馈方法的计算机程序，所述方法包括以下步骤：获取用户的眼动数据以及用户所处的空间位置信息；基于所述眼动数据中的视线光轴向量和所述空间位置信息之间的坐标转换关系，确定视线落点，所述视觉落点用于定位用户关注的兴趣点；基于所述视线落点所定位的兴趣点，呈现所述兴趣点的关联信息。
92.于另一实施例中，所述电子设备为服务器，请参阅图11，显示为本发明的服务器于一实施例中的结构连接示意图。如图11所示，所述服务器执行所述基于眼球识别的兴趣点信息反馈方法，并将待呈现的所述兴趣点的关联信息传输至与之通信连接的显示设备上进行显示。所述服务器包括：处理器、存储器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器连接并完成相互间的通信，存储器用于存储所述基于眼球识别的兴趣点信息反馈方法的计算机程序。所述基于眼球识别的兴趣点信息反馈方法包括以下步骤：获取用户的眼动数据以及用户所处的空间位置信息；根据所述眼动数据中的视线光轴向量和所述空间位置信息之间的坐标转换关系确定视线落点；所述视觉落点用于定位用户关注的兴趣点；结合所述视线落点对应的兴趣点，呈现所述兴趣点的关联信息。通信接口用于和其他设备进行通信，处理器用于运行所述基于眼球识别的兴趣点信息反馈方法的计算机程序。所述基于眼球识别的兴趣点信息反馈方法包括以下步骤：获取用户的眼动数据以及用户所处的空间位置信息；根据所述眼动数据中的视线光轴向量和所述空间位置信息之间的坐标转换关系确定视线落点；所述视觉落点用于定位用户关注的兴趣点；结合所述视线落
点对应的兴趣点，呈现所述兴趣点的关联信息。使所述服务器执行所述基于眼球识别的兴趣点信息反馈方法的各个步骤。
93.上述提到的系统总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。通信接口用于实现数据库访问设备与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
94.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(alication specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
95.请参阅图12，显示为本发明的基于眼球识别的兴趣点信息反馈系统于一实施例中的结构示意图。如图12所示，本发明所述的基于眼球识别的兴趣点信息反馈系统包括：眼球识别装置和用于执行所述基于眼球识别的兴趣点信息反馈方法的电子设备；所述眼球识别装置与所述电子设备连接，用于将采集的用户的眼动数据发送至所述电子设备。
96.请参阅图13，显示为本发明的基于眼球识别的兴趣点信息反馈系统于一实施例中的结构原理图。如图13所示，眼动识别装置与车机进行连接，将眼动数据发送至车机。其中，连接方式包括所有能将眼动数据传输至车机的通信方式，例如可以是有线连接(串口通信、485通信及遵循各种有线网络传输协议的通信)，也可以是无线连接(wifi、蓝牙通信及遵循各种无线网络传输协议的通信)。
97.于一实施例中，眼球识别装置包括：红外灯组ir led、图像传感器camera、存储器ram/rom、cpu(central processing unit，中央处理器)、gpu(graphics processing unit，图形处理器)、电源模块power module和无线电收发器transceiver。其中，红外灯组ir led波长为940nm，数量优选为两组，且两者之间间隔一定距离。红外灯组ir led提供红外光源，图像传感器camera在红外光源照射下拍摄用户眼球图片，并将用户眼球图片存储于rom，进而cpu与gpu结合对用户眼球图片进行分析处理，以得到眼动数据，眼动数据通过无线电收发器transceiver传输至车机，电源模块power module为眼球识别装置供电。
98.于一实施例中，车机通过自身的无线电收发器transceiver接收眼动数据，并通过车机的相关单元执行所述基于眼球识别的兴趣点信息反馈方法，例如，主控制器用于获取用户的眼动数据以及用户所处的空间位置信息；根据所述眼动数据中的视线光轴向量和所述空间位置信息之间的坐标转换关系确定视线落点；所述显示单元和语音单元用于结合所述视线落点对应的兴趣点，呈现所述兴趣点的关联信息；所述储存单元用于存储兴趣点的关联信息，所述语音单元还用于接收用户语音指令，以触发所述基于眼球识别的兴趣点信息反馈方法的执行或者触发已存储的兴趣点关联信息进行显示，供用户查询。
99.于本发明的一实施例中，所述基于眼球识别的兴趣点信息反馈系统还包括：全息影像装置；所述全息影像装置与所述电子设备通信连接，用于接收电子设备中待呈现的兴趣点的关联信息，以用于全息影像显示。
100.本发明所述的基于眼球识别的兴趣点信息反馈系统可以实现本发明所述的基于眼球识别的兴趣点信息反馈方法，但本发明所述的基于眼球识别的兴趣点信息反馈方法的实现设备包括但不限于本实施例列举的基于眼球识别的兴趣点信息反馈系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
101.综上所述，本发明所述基于眼球识别的兴趣点信息反馈方法、介质、设备及系统通过获取的眼动数据与用户所处的空间位置信息确定用户的兴趣点，进而呈现所述兴趣点的关联信息。一方面，本发明结合用户关注的兴趣点可以实现车辆操作的违规监测，在用户产生违规操作时向用户发出警示；另一方面结合用户关注的兴趣点可以实现智能、人性化地向用户推荐兴趣点关联的信息，以使用户获取该兴趣点对应的事物的具体信息，对其有更充分地了解；又一方面结合用户关注的兴趣点可以实现在驾车过程中帮助用户实时了解不同车道上车辆的情况，例如用户发现比较感兴趣的车型，需作进一步了解以及用户发现其他车道上的交通事故，以获取该交通事故的详细信息以及存储该交通事故的影像，以便于交通事故的取证。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
102.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。