一种基于AR-HUD实时展示并控制智能家居工作状态的系统及方法与流程

一种基于ar
‑
hud实时展示并控制智能家居工作状态的系统及方法
技术领域
1.本发明属于智能网联技术领域，具体涉及一种基于ar
‑
hud实时展示并控制智能家居工作状态的系统及方法。
技术背景
2.随着科学技术的快速发展，汽车已经成为人们生活必备的工具，汽车的辅助功能也越来越多，它为驾驶员提供越来越多的帮助。相对应的汽车相关的衍生品也越来越多。同时，随着经济的快速发展，人们对生活的需求不仅仅是满足吃饱穿暖的问题，对家居生活也有了更高层次的追求，智能家居应运而生。目前大多数通过车载系统对智能家居进行控制的方法都只是单纯的通过提前设定好的控制策略对家居设备进行控制，并没有基于实时监控设备的工作状态及在车内对工作状态进行展示，以便驾驶员了解各个家居设备的工作进展并进行实时调整，同时通过监控各个设备的状态确认是否存在安全风险，以便及时应对处理。
3.自动驾驶技术和ar
‑
hud技术的高速发展使得越来越多交互信息可以显示在hud上，随着驾驶员手、脚、眼及大脑逐渐被释放出来，驾驶员可以在驾驶过程中有更多的时间处理工作及生活上的事情，比如在回家途中控制智能空调开启至舒适的温度，开启智能电饭煲进行煮饭等。目前对智能家居的显示及控制更多的是通过手机或移动端的app进行控制，驾驶员在驾驶车辆的同时需要分心去查看手机状态，驾驶风险较大。
4.现有技术一为一种车辆与智能家居的交互控制系统及方法。包括车载终端模块、车联网平台、智能家居平台、智能家居终端、车载定位模块，所述车载定位模块获取车辆的位置信息并发送至车载终端模块，所述车载终端模块通过网络连接车联网平台，所述车联网平台根据上传的车辆的位置信息分析出车辆的状态并发送至智能家居平台，所述智能家居平台根据车辆的状态信息分析出车辆状态对应的智能家居终端的控制策略并将控制策略发送至智能家居终端。通过语音和触摸屏输入控制指令，以及播报和展示控制结果。但触摸屏的输入和展示需要驾驶员分心输入及低头查看，操作不够便捷人性化，会产生安全风险。同时只反馈控制结果，无法实时让驾驶员了解工作进展，以便根据自身的需求对家居工作状态进行调整。
5.现有技术二为一种基于车载系统的智能家居设备控制方法，通过获取车辆的行驶信息；依据所述行驶信息判断出所述车辆开往该车辆的车载终端关联的账户的住宅位置；获取所述住宅位置的智能家居设备的工作状态配置信息；依据所述工作状态配置信息中的预设条件向所述智能家居设备发送控制指令。本技术通过预设条件来向智能家居设备发送控制指令，过于单一化，用户的需求是变化的，单一的预设条件无法满足多样化的需求；同时降低了用户的参与感及用户与系统之间的交互，且无法实时显示设备的工作状态，以便用户判断是否满足自身的期望与需求。


技术实现要素：

6.本发明旨在提出一种基于ar
‑
hud实时显示智能家居设备工作状态的系统和方法，通过在车辆端的ar
‑
hud实时显示各类智能家居的工作状态，以便驾驶员及时了解各智能家居设备的工作进展并进行灵活调整，为驾驶员提供更舒心和贴心的体验。
7.实现本发明目的之一的基于ar
‑
hud实时展示并控制智能家居工作状态的方法是：驾乘人员打开ar
‑
hud装置，选择关注的智能家居信息并下发指令；车载系统将此信息传送给云服务平台；针对查询指令云服务平台调取最新存储的家居信息反馈给车载系统，针对设置指令云服务平台对智能家居系统下发设置命令，并将家居端反馈的结果发送给云服务平台，云服务平台将其反馈给车载系统；车载系统将驾乘人员选择的信息在ar
‑
hud装置上进行展示。
8.智能家居系统的传感器实时监测家居环境数据(如温度、湿度、光照度、烟雾等)及家居设备的工作状态，并通过内部网络传递到含串口wifi模块的网关控制模块上，家庭网关控制模块通过无线传输模块将环境数据和各个设备状态通过tcp/ip协议发送至云服务平台。车载系统与云服务平台通过无线传输模块连接，驾驶员可以通过车载系统发送对智能家居设备的控制指令(语音或手势指令)，车载系统通过无线传输模块将控制指令传输到云服务平台，并通过云服务平台传输给智能家居系统对智能家居设备进行灵活的控制。然后根据驾驶员在车载系统中的输入，将家居环境信息以及所选择的智能家居设备的工作状态传输至车载系统进行语音播报，并通过ar
‑
hud进行实时投影显示。
9.所述车载系统与云服务平台之间设有无线数据传输模块，该无线传输模块通过5g通信技术实现车载系统和云端的通信，车载系统将采集到的驾驶员针对所述家居设备的控制指令传输给云服务平台，同时云服务平台可以将家居环境信息及家居设备的工作状态传输给车载系统。
10.进一步的技术方案包括：还包括驾乘人员可在车载系统的ar
‑
hud端自行选择需要关注的家居设备。
11.所述车载系统配置有ar
‑
hud系统，驾驶员可以在车载系统中自主选择将哪些家居环境数据及家居设备的工作状态进行投影显示。投影的区域及形式可以由驾驶员在车载系统中自由定义。
12.进一步的技术方案包括：还包括驾乘人员可用自然语音信息或手势控制信息在车端对智能家居下发指令，车载系统可对信号进行a/d转换，并对生成的信号进行识别处理，输出对应的指令编码。
13.车载系统的采集模块可对驾乘人员的语音或手势控制信息进行识别，并对信号进行a/d转换，并对生成的信号进行识别处理，输出对应的指令编码，并产生对应的控制信号，通过can总线传输给无线传输模块，再通过无线传输模块传输给云服务平台。
14.可选的，驾驶员的控制信息指令中携带智能家居设备的标识及id信息，标识信息可以根据驾驶员的偏好在智能家居系统中进行编辑命名，信息在传递的过程中通过对id进行解析实现准确的分配。
15.进一步的技术方案包括：还包括智能家居设备每隔固定频率向云服务平台反馈当前家居设备的状态。
16.智能家居系统的监测模块中的各类传感器实时监测当前家居环境，监测模块通过
wifi与网关控制模块进行连接，每隔固定频率将监测数据传输给网关控制器，网关控制器通过无线传输模块将监测数据传送给云服务平台，云服务平台将此监测信息保存。
17.所述云服务平台具备数据存储模块，能够存储及处理来自于车载系统的控制指令和智能家居系统的环境信息及家居设备的工作状态信息，存储模块采用分布式存储技术，为减轻存储压力，对于家居系统的信息可设定为存储最近一段时间的数据，超过该时间段后，之前的数据将被覆盖。
18.进一步的技术方案包括：还包括智能家居系统还可对家居设备的状态信息进行优先级仲裁后发送给云服务平台。
19.智能家居系统的网关控制模块从监测模块获得家居环境信息及家居设备的状态信息，在对数据进行优先级仲裁后以一定的频率通过tcp/ip协议传递给云服务平台。并接收从云服务平台传输过来的控制指令，从控制指令中解析出对应的设备节点及控制命令，通过家庭内部网络控制家居设备进行相应的工作。
20.对于工作开始、完成、故障、危险等重要信息，在数据传输中可以设置为高优先级。网关控制模块数据进行优先级仲裁，当数据流中出现任一重要信息，则需要优先传输重要信息。
21.优先级仲裁逻辑可按以下分类设定，家居设备的优先级则可在网关控制模块中根据驾驶员的偏好设置。
[0022][0023]
实现本发明目的之二的基于ar
‑
hud实时展示智能家居工作状态的系统，它包含ar
‑
hud模块：用于在车端展示当前驾乘人员所选择的智能家居的当前工作状态；云服务平台模块：用于连接车端与智能家居端的数据传输，并对数据做转换处理；车载系统模块：用于采集驾乘人员针对家居设备的控制指令并传输给云服务平台，同时接收云服务平台传输的家居环境信息及家居设备的工作状态，并将工作状态传输给ar
‑
hud模块进行显示；智能家居模块：用于获取智能家居的工作状态；无线数据传输模块：用于车端、云服务平台端以及家居端的数据传输。
[0024]
进一步的技术方案包括，所述车载系统模块还包括数据获取模块：用于从云服务平台获取家居环境数据及家居设备工作状态数据，传输给语音播放模块进行播报以及传输给ar
‑
hud进行显示；采集模块：用于采集驾驶员的语音或手势指令，并将语音或手势指令转化为电信号的控制指令，发送给无线传输模块。
[0025]
进一步的技术方案包括，所述车载系统的数据获取模块还包括信息分类模块，能对由云服务平台输入的信息进行分类处理，将重要信息通过语音播报，其它信息通过ar
‑
hud进行展示；语音播放模块：用于将从数据获取模块获取到的家居设备信息转化为语音形式并播放。
[0026]
进一步的技术方案包括，所述智能家居系统还包括网关控制模块：能够解析从云服务平台发送过来的数据，并分派给对应的家居设备；位置定位模块：用于确定智能家居系统所在的地理位置。
[0027]
所述位置定位模块确定智能家居系统所在的地理位置，网关控制模块将地理位置信息与家居环境信息一起发送给云服务平台，云服务平台在将家居环境信息反馈给车载系统的同时还可以反馈住宅区域的天气、气候趋势。
[0028]
所述智能家居系统还包括监测模块，所述监测模块中的各类传感器实时监测当前家居环境，监测模块通过wifi与网关控制模块进行连接，每隔固定频率将监测数据传输给网关控制器。
[0029]
进一步的技术方案包括，所述智能家居模块还包括优先级仲裁模块，用于对数据流中出现的信息进行仲裁，对优先级高的重要信息进行优先传输。
[0030]
对于工作开始、完成、故障、危险等重要信息，在数据传输中可以设置为高优先级。
[0031]
利用本发明所述的方法，能够便于驾驶员在行驶过程中实时了解家中环境情况以及家居设备的工作状态，并对家中的智能家居设备进行控制。并且通过ar
‑
hud显示，避免驾驶员分心低头查看手机或车载屏幕，确保安全性，大大提升了车主的生活便利性与生活品质。
附图说明
[0032]
图1是本发明所述的系统架构示意图；
[0033]
图2是本发明所述的控制指令数据流转示意图；
[0034]
图3是本发明所述的监测信息数据流转示意图。
具体实施方式
[0035]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。(分别结合附图具体描述各实施例，达到本领域技术人员能够按描述实施的程度。零部件标号与附图一致，零部件名称全文一致)。
[0036]
下面结合附图对本技术优先的实施方式作出进一步详细说明。
[0037]
如图1所示，本发明提供一种基于ar
‑
hud实时展示智能家居的系统，包括车载系统1、云服务器平台2和智能家居系统3，车载系统1包括语音播报模块10、ar
‑
hud11、数据获取模块13、采集模块12、无线传输模块14；云服务器平台2包括无线传输模块21和数据存储模块22；智能家居系统3包括无线传输模块31、网关控制模块32、监测模块33、智能家居设备34、家居环境35。
[0038]
本发明中所述智能家居设备包括智能门锁、智能空调、洗衣机、冰箱、热水器、电饭煲、加湿器、灯，电动窗帘、烟雾监控器、防盗报警器等各类设备。
[0039]
在本实施方式中，在使用过程中，首先驾驶员选择需要显示在ar
‑
hud 11上的智能家居设备34，通过数据获取模块13从云服务平台2获取智能家居设备34的状态及家居环境
信息35(包括温度、湿度、光照度)，然后通过采集模块12输入语音控制指令，采集模块识别出语音指令并转换成电信号的控制指令后发送给车载系统1的无线传输模块14，由无线传输模块14将控制指令传输到云服务平台2，云服务平台2通过无线传输模块21将控制指令传输给智能家居系统3，智能家居系统3的无线传输模块31通过内部wifi将控制指令传输给网关控制模块32，网关控制模块32对控制指令进行解析并对相应的家居设备34进行控制，家居设备34将控制结果反馈给网关控制模块32，网关控制模块32再根据数据的优先级进行仲裁，并将仲裁后的数据通过无线传输模块31传输到云服务平台2，云服务平台2的数据存储模块22对智能家居系统3反馈的信息进行存储及分析，将与控制指令对应的控制结果通过无线传输模块21反馈给车载系统1，车载系统1的数据获取模块13获取控制结果，并发送给语音播报模块10进行播报及发给ar
‑
hud11进行实时显示。
[0040]
车载系统1和智能家居系统3之间的数据流转分两部分：控制指令从车载系统1经云服务平台2转发至智能家居系统3，参阅图2；智能家居系统3的家居环境和家居设备状态信息经云服务平台2进行存储及转发给车载系统1，参阅图3。
[0041]
基于ar
‑
hud实时展示智能家居设备工作状态的方法，包括如下实施步骤：
[0042]
步骤1：智能家居系统的监测模块实时监测当前家居环境信息，监测模块及家居设备以固定频率将环境信息及设备状态信息传递给网关控制模块。
[0043]
步骤2：智能家居系统的网关控制模块智能家居设备将家居环境信息及当前智能家居设备的状态信息及地理位置信息进行优先级仲裁，仲裁之后的数据通过无线传输模块传输到云服务平台；
[0044]
步骤3：云服务平台对家居系统传输过来的数据进行分类存储并根据地理位置信息获取天气及气候变化趋势；
[0045]
步骤4:驾驶员通过车载系统语音或手势输入要求开启智能家居系统；
[0046]
步骤5：驾驶员开启ar
‑
hud，通过语音输入需要查询的信息及要显示的智能家居设备的标识或id，云服务平台将相应的设备信息及家居环境信息反馈给车载系统；
[0047]
步骤6：ar
‑
hud将所选智能家居设备的状态及家居环境信息投影到前风挡玻璃指定区域；
[0048]
步骤7：驾驶员通过车载系统的采集模块输入控制指令(语音或手势指令)，并通过无线传输模块将控制指令到云服务器；
[0049]
步骤8：云服务器将控制指令传输给智能家居控制系统；
[0050]
步骤9：智能家居控制系统中的网关控制模块对指令进行解析并通过独有的id将控制指令发送给对应的家居设备进行控制操作
[0051]
步骤10：智能家居设备及监测模块以固定频率将设备工作状态及环境信息反馈给网关控制模块；
[0052]
步骤11：网关控制模块对反馈的信息进行仲裁，并按仲裁后的优先级通过无线传输模块上传至云服务平台；
[0053]
步骤12：云服务平台通过对网关控制模块反馈的信息进行处理及筛选，将车载系统端所查询的状态信息传输至车载系统的数据获取模块；
[0054]
步骤13：数据获取模块对信息进行分类处理，并发送给ar
‑
hud实时展示所选家居设备的工作状态，和语音播报模块对智能家居设备的开始工作、完成工作、故障等重要信息
进行语音播报。
[0055]
步骤14:驾驶员查看ar
‑
hud上显示的状态信息，根据实时需求发送调整控制指令。
[0056]
下面以调节室内温度及湿度为例，阐述智能控制室内温度及湿度并通过ar
‑
hud展示的方法：
[0057]
1)智能家居系统3中的监测模块33的温湿度传感器实时监测家中的温湿度情况，并通过家中的wifi反馈给网关控制器，网关控制器通过tcp/ip协议与云服务平台进行连网，将温湿度情况传递到云服务平台。
[0058]
2)驾驶员进入车内，启动车辆并打开车载系统中配置的ar
‑
hud装置，在ar
‑
hud的显示界面选择家居信息展示的位置，语音输入“查询家中温度及湿度情况”；
[0059]
3)车载系统的采集模块采集驾驶员的语音信息，并将语音信号转化为控制指令，通过can线传输到车机系统的无线传输模块；
[0060]
4)无线传输模块通过5g无线网络将控制指令发送给云服务平台；
[0061]
5)云服务平台根据查询信息，调取最新存储在数据存储模块的温度及湿度信息，以及根据家居系统提供的位置信息查询住宅所在区域的天气及气候信息，并通过5g无线网络反馈给车载系统；
[0062]
6)车机系统的数据获取模块获得云服务平台反馈的信息后通过can线转发给ar
‑
hud进行展示，同时语音播报系统播报家中温度和湿度情况，并播报住宅区域的天气及气候情况；
[0063]
7)驾驶员根据播报的情况，向车载系统的采集模块发送对空调、加湿器/除湿器的控制指令；
[0064]
8)车载系统1的采集模块12将语音信息转化为电信号，通过can总线传输给无线传输模块，再通过5g无线网络传输给云服务平台；
[0065]
9)云服务平台将控制指令进行解析并通过无线网络传输给智能家居系统的网关控制模块；
[0066]
10)网关控制模块对控制指令进行解析，并通过住宅内的wifi分别向空调、加湿器/除湿器发送解析后的控制指令；
[0067]
11)空调、加湿器/除湿器执行控制指令并将工作的状态信息持续通过wifi反馈给网关控制器；同时监测模块实时监测家居设备工作后的环境信息，并通过wifi反馈给网关控制器。
[0068]
12)网关控制器对状态及环境信息进行仲裁，确定空调、加湿器/除湿器的状态信息优先级，并将信号按识别的优先级传送给云服务平台。
[0069]
13)云服务平台对接收到的信息进行分类存储及处理，再通过5g无线网络传递给车载系统。
[0070]
14)车载系统的数据获取模块对空调、加湿器/除湿器的状态信息及环境信息进行分类，将设备开始工作的信息通过can总线将空调、加湿器/除湿器开始工作的信息发给语音播报系统，将环境信息及工作状态信息发给ar
‑
hud在设定的区域展示。