一种基于多信息融合的智能座舱人机交互方法及系统与流程

1.本发明涉及信息处理技术领域，尤其是涉及一种基于多信息融合的智能座舱人机交互方法及系统。


背景技术：

2.目前公交车普遍存在仪表台操纵按键和显示界面布置繁多无序，导致司机的人机交互和驾驶操作的体验感差，目前公交车辆上所有辅助驾驶等智能设备，含adas、dms、胎压、监控等，报警预警信息未统一规划设计。司机与调度平台之间缺乏有效的实时互动工具，过多的报警信息使司机不能更专注的安全驾驶，给司机造成了一定的烦躁心理，或者报警疲劳心理，不能准确的告诉司机当前车辆的问题，乘客拥堵等信息也无法实时传递至调度平台。司机无法知道本线路前后车辆位置，由于红绿灯、堵车等现象，导致车辆扎堆进站等现象明显。
3.厦门市快速公交系统在“brt5g智能网联”建设中，实现了5g环境下的“超视距安全驾驶”、“车路协同绿波通行”和“最优车速下发”等多项功能，将“brt5g智能网联”的车路协同技术应用于公交系统，可实现智能网联下的人机共驾。
4.同时，在实现人机共驾过程中，对于公交车司机的设备操作需要简化，整合车辆上智能设备，包括adas、智能调度、报站、胎压、监控、诱导等功能，承担ai司机助理角色，提供给司机更丰富的班次、车辆状态、安全驾驶信息，使得公交车司机行驶过程获得更好更数字化的驾驶体验。


技术实现要素：

5.针对上述问题，本发明提供了一种基于多信息融合的智能座舱人机交互方法及系统，简化人机共驾公交车辆司机的设备操作，提高驾驶的数字化和智能化。
6.为实现上述目的，本发明提供了一种基于多信息融合的智能座舱人机交互方法，包括：获取人机共驾公交车辆驾驶过程存在的所有故障信息和报警信息；将所述故障信息与所述报警信息进行融合，设定故障等级及报警规则；实时获取并解析所述人机共驾公交车辆的车辆信息、道路信息、前后车信息及人机共驾信息，获取所述故障信息和报警信息，结合故障等级及报警规则计算需报警信息及报警优先级；根据所述报警优先级由高到低对所述需报警信息进行依次报警提示；司机对报警提示进行逐个处理。
7.作为本发明的进一步改进，根据解析后的所述车辆信息、道路信息和前后车信息进行分析，区分当前车辆、前后车辆、对向车辆并进行同步显示。
8.作为本发明的进一步改进，
所述报警信息的报警方式包括：仅语音播报、仅动画/文字展示报警和语音播报加动画/文字显示报警。
9.作为本发明的进一步改进，通过连接所述人机共驾公交车辆的控制器获取所述人机共驾车辆的车辆信息、道路信息及前后车信息；通过socket接口与人机共驾系统连接，获取人机共驾信息；作为本发明的进一步改进，当仅获取到一条故障信息时，结合故障等级及报警规则计算是否为需报警信息，若为需报警信息，则直接报警；当同时获取到两条及以上故障信息时，结合故障等级及报警规则计算需报警信息及分别对应的报警优先级，将报警优先级最高的一条进行报警；司机处理完一条报警信息后，再按所述报警优先级进行下一条报警。
10.本发明还提供了一种基于多信息融合的智能座舱人机交互系统，包括：数据层、控制层和显示层；所述数据层，用于：实时获取所述控制器发送的车辆信息、道路信息、前后车信息，通过socket接口获取人机共驾信息；所述控制层，用于：对数据层接收到的车辆信息、道路信息及前后车信息进行分析；将故障信息结合故障等级及报警规则计算需报警信息及报警优先级，发送显示层；将需展示的信息打包发送给所述显示层；所述显示层，用于：将所述控制层发送来需展示的信息根据对应的展示形式布局合理的显示；将报警信息根据报警优先级由高到低依次显示，并提供操作选项；司机查看报警信息，选择一个操作选项完成一项报警处理。
11.作为本发明的进一步改进，所述系统通过人机共驾公交车辆的控制器分享的wifi连接到网络。
12.作为本发明的进一步改进，所述人机共驾公交车辆的控制器分享带公交车车牌号的wifi，并将wifi密码通过base64进行加密；所述系统扫描当前所有wifi，对带有其所属本公交车车牌号的wifi通过车牌号进行base64解密获取wifi密码，通过所述wifi密码连接到所述控制器的wifi。
13.作为本发明的进一步改进，通过ip端口连接所述控制器的tcp协议；实时获取所述控制器发送的车辆信息、道路信息及前后车信息。
14.作为本发明的进一步改进，还包括实时检测模块，用于实时检测wifi连接状态，socket接口连接状态及系统与控制器的数据传输状态是否正常；若出现异常，则传输至所述显示层进行显示。
15.与现有技术相比，本发明的有益效果为：本发明将公交车上不同设备的报警、故障信息进行融合，统一解析处理，分优先级
展示给司机，使司机能通过优先级准确及时的进行故障及报警的处理，降低司机的操作复杂度及操作难度。
16.本发明中司机仅需要根据提示操作紧急故障及报警信息，不需要司机主动操作与驾驶过程无关的功能，更有利于驾驶安全，降低驾驶难度。
17.本发明将公交车辆信息（前后公交车辆及对向公交车辆）、道路信息（公交线路信息）进行实时显示，更好的辅助司机驾驶公交车辆，把握到站时间。
18.本发明中方法不仅服务与司机，还未维修人员提供了帮助，维修人员可以根据提示快速获取故障信息，准确定位设备问题。
19.附图说明
20.图1为本发明一种实施例公开的基于多信息融合的智能座舱人机交互方法流程图；图2为本发明一种实施例公开的基于多信息融合的智能座舱人机交互系统示意图。
21.具体实施方式
22.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.下面结合附图对本发明做进一步的详细描述：如图1所示，本发明提供的一种基于多信息融合的智能座舱人机交互方法，包括：s1、获取人机共驾公交车辆驾驶过程存在的所有故障信息和报警信息；其中，车辆故障信息包括电池故障、驱动电机故障、高压盒故障、绝缘故障、充电故障、can通信掉线、气压故障、上电故障、isg电机故障、发动机故障、高压气泵故障、转向油泵故障、dcdc故障、应急转向油泵故障、tms水冷机组故障、离合器故障、车身姿态传感器故障、tcu故障、vcu电源故障、氢管理系统故障、电堆故障、dcf故障、油门故障、高压急断故障、手刹故障、刹车踏板故障、ebs故障、档位故障、充电故障、工作状态、p档状态、前门状态、中门状态、后门状态、动力蓄电池soc电量反馈、aeb生效状态反馈、清研控制器定位模块故障、清研控制器can故障、司机屏故障；系统故障信息包括人机共驾系统故障；报警信息包括胎压报警、疲劳驾驶报警、盲区检测报警、行人防碰撞报警、车道偏离报警、前向碰撞报警、人机共驾报警；s2、将故障信息与报警信息进行融合，设定故障等级及报警规则；其中，针对不同故障种类及对应故障严重情况，将故障等级设置有无效故障、故障、一级
故障、二级故障和三级故障；将故障信息与报警信息进行融合排序，获取故障及报警处理的优先级；报警规则包括对各项故障需报警的故障等级、各项故障及报警信息的报警优先级、各项故障的报警形式。
24.进一步的，报警信息的报警方式包括：仅语音播报、仅动画/文字展示报警和语音播报加动画/文字显示报警。
25.s3、实时获取并解析人机共驾公交车辆的车辆信息、道路信息、前后车信息及人机共驾信息，获取故障信息和报警信息，结合故障等级及报警规则计算需报警信息及报警优先级；其中，通过连接人机共驾公交车辆的控制器获取人机共驾车辆的车辆信息、道路信息及前后车信息；通过socket接口与人机共驾系统连接，获取人机共驾信息；根据解析后的车辆信息、道路信息和前后车信息进行分析，包括：分析得到故障信息和/或报警信息：
①
若仅存在一条故障信息，无报警信息，且故障等级达到了需报警等级，则需进行报警，此时，其报警优先级最高；
②
若仅存在一条报警信息，无故障信息，则报警信息的报警优先级最高；
③
若存在一条以上故障信息或报警信息，且故障等级达到了需报警等级，则将故障信息与报警信息根据融合排序的顺序确定报警优先级；根据车辆信息、道路信息和前后车信息区分当前车辆、前后车辆、对向车辆并进行同步显示。
26.s4、根据报警优先级由高到低对需报警信息进行依次报警提示；其中，当仅获取到一条故障信息时，结合故障等级及报警规则计算是否为需报警信息，若为需报警信息，则直接报警；当同时获取到两条及以上故障信息时，结合故障等级及报警规则计算需报警信息及分别对应的报警优先级，将报警优先级最高的一条进行报警；s5、司机对报警提示进行逐个处理。
27.其中，司机处理完一条报警信息后，再按报警优先级进行下一条报警。
28.如图2所示，本发明还提供了一种基于多信息融合的智能座舱人机交互系统，加载在人机座舱屏上，系统包括：数据层、控制层和显示层数据层，用于：实时获取控制器发送的车辆信息、道路信息、前后车信息，通过socket接口获取人机共驾信息；控制层，用于：对数据层接收到的车辆信息、道路信息及前后车信息进行分析；
将故障信息结合故障等级及报警规则计算需报警信息及报警优先级，发送显示层；将需展示的信息打包发送给显示层；显示层，用于：将控制层发送来需展示的信息根据对应的展示形式布局合理的显示；将报警信息根据报警优先级由高到低依次显示，并提供操作选项；司机查看报警信息，选择一个操作选项完成一项报警处理。
29.实时检测模块，用于：实时检测wifi连接状态，socket接口连接状态及系统与控制器的数据传输状态是否正常；若出现异常，则传输至显示层进行显示。
30.本发明中，系统通过人机共驾公交车辆的控制器分享的wifi连接到网络；具体地，人机共驾公交车辆的控制器分享带公交车车牌号的wifi，并将wifi密码通过base64进行加密；系统扫描当前所有wifi，对带有其所属本公交车车牌号的wifi通过车牌号进行base64解密获取wifi密码，通过wifi密码连接到控制器的wifi。
31.wifi连接成功后，系统通过ip端口连接控制器的tcp协议；实时获取控制器发送的车辆信息、道路信息及前后车信息。
32.实施例：采用智能座舱屏作为系统的载体，在人机共驾车辆自动驾驶过程中，智能座舱屏实时显示地图及公交线路信息，公交车辆所在道路信息，当前公交车辆、本线路前后公交车辆及对向公交车辆信息：（1）数据层通过控制器的can数据总线实时获取车辆信息、道路信息及前后车信息（包括：胎压报警（tpms），疲劳驾驶报警（dms），盲区检测报警（bsd），行人防碰撞报警（pcw）,车道偏离报警（ldw），前向碰撞报警（fcw），空调数据，车灯数据以及各项故障信息）。通过socket（入口）接收到人机共驾车辆信息，道路信息，人机共驾报警信息。
33.（2）控制层对报警数据进行分析后，计算得到需报警信息和报警优先级由高到低为：人机共驾报警 》胎压报警（tpms）；（3）显示层显示人机共驾报警；（4）司机通过语音或者按键退出自动驾驶；（5）司机关闭自动驾驶后，再提示司机轮胎异常；（6）司机通过智能座舱屏显示的前后公交车辆信息，更准确的进站，避免站内公交车扎堆现象。
34.本发明的优点：本发明将公交车上不同设备的报警、故障信息进行融合，统一解析处理，分优先级展示给司机，使司机能通过优先级准确及时的进行故障及报警的处理，降低司机的操作复杂度及操作难度。
35.本发明中司机仅需要根据提示操作紧急故障及报警信息，不需要司机主动操作与驾驶过程无关的功能，更有利于驾驶安全，降低驾驶难度。
36.本发明将公交车辆信息（前后公交车辆及对向公交车辆）、道路信息（公交线路信
息）进行实时显示，更好的辅助司机驾驶公交车辆，把握到站时间。
37.本发明中方法不仅服务与司机，还未维修人员提供了帮助，维修人员可以根据提示快速获取故障信息，准确定位设备问题。
38.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。