一种基于多模态自组网的人工智能控制方法及系统与流程

1.本发明涉及一种基于多模态自组网的人工智能控制方法及系统，特别是人工智能控制技术领域。


背景技术：

2.随着计算机科学的发展，人工智能技术也在不断更新换代，人工智能是计算机科学的一个分支，它通过分析人类思维，了解智能的实质，生产出一种新的能以人类智能相似的方式做出反应的智能机器。伴随着人工智能应用领域的不断扩大，不可否认的是未来人工智能带来的科技产品，将会是人类智慧的“容器”。智能化的控制技术可以对人的意识、思维，进行信息传递过程的模拟。
3.现有技术中，控制方式主要还是通过设置简单的信号触发器，从而实现多种传感器的信号调控。这种传统的控制方式，往往容易忽略潜在的映射关系，使得控制过程呈现单一性。


技术实现要素：

4.发明目的：提出一种基于多模态自组网的人工智能控制方法及系统，以解决现有技术存在的上述问题。
5.技术方案：第一方面，提出了一种基于多模态自组网的人工智能控制方法，该方法包括以下步骤：步骤一、由至少一个边缘节点自组成网；所述边缘点被设置为感知当前环境状态下的环境数据；步骤二、所述边缘节点与物联网网关连接，通过无线网络，将所述环境数据传输至云端服务器；步骤三、在所述云端服务器，对所述数据控制信息进行识别处理，并显示分析结果，输出对应的调整计划；步骤四、将所述调整计划传输至控制中心；步骤五、所述控制中心根据接收到的调整计划生成对应的调控指令；步骤六、终端设备接收所述调控指令，并根据所述调控指令进行调整。
6.在第一方面的一些可实现方式中，所述边缘节点由多种传感器构成，一个边缘节点即一个传感器，在所述终端设备运行的过程中，采集对应的实时数据。
7.在第一方面的一些可实现方式中，所述边缘节点采用zigbee通信技术与物联网网关连接，进行数据的传输。所述边缘节点自组网的具体过程为：在所述边缘节点中选择一个节点作为主节点，其余边缘节点作为剩余边缘节点；所述主节点选择未被使用过的个域网标识符和通道号形成独立的网络，所述主节点以自动递增的方式分配唯一一个本地网络地址给剩余边缘节点；判断所述主节点的工作模式；
判断所述剩余边缘节点的工作模式；当满足组网条件时，根据组网协议完成自作网的过程。
8.在第一方面的一些可实现方式中，所述主节点的工作模式通过自身的join管脚和detect管脚实现，当join管脚为低电平时，主节点的工作模式为组网模式，当前状态下允许剩余边缘节点加入网络；当join管脚为高电平时，当前状态下不允许剩余边缘节点加入网络。
9.在第一方面的一些可实现方式中，所述剩余边缘节点的工作模式通过自身join管脚决定，包括：入网申请模式和退网申请模式；当自身的join管脚为低电平，且持续时间在3秒以下时，当前的工作模式为入网申请模式；当自身的join管脚为低电平，且持续时间在3秒以上时，当前的工作模式为退网申请模式；当自身的join管脚为高电平时，退出组网过程，进入正常的数据传输工作状态。
10.在第一方面的一些可实现方式中，所述环境数据传输至所述云端服务器后，所述云端服务器开始对其进行处理分析，具体实现过程为：对接收到的所述环境数据进行预处理；采用基于阶段的融合方式进行特征数据融合；将融合后的特征数据输入神经网络进行识别分析；所述神经网络输出识别分析结果，并根据所述分析结果自适应制定对应的调整计划；其中，对所述环境数据预处理的过程包括对视频数据进行离散化视频关键帧的提取、对设定类型数据的统计次数、对传感数据的均值和方差计算；所述设定类型数据包括出现故障的次数、温度超过阈值的次数、湿度超过阈值的次数。
11.在第一方面的一些可实现方式中，根据时间轴对齐的方式对所述设定类型数据进行结构化的处理，从而将多模态时序数据进行同步融合，并以序列化的形式输入神经网络模型；每个边缘节点获取的数据，以感知的终端设备为自身的识别编号，结合感知时刻，并将识别编号和时刻作为线索，用于整合为一个终端设备的感知数据。
12.感知同一终端设备的多个边缘节点，根据识别编号，将多模态时序数据在时间轴上按序排列；通过将次模态的特征数据作为主模态的扩展通道，将不同模态的数据进行相连接，从而合并为一个对象的特征数据。
13.在第一方面的一些可实现方式中，所述控制中心收到对应的调整计划后，利用逻辑语句生成对应的硬件调控指令，并发送至终端设备中，作为终端设备调控的依据；所述终端设备根据接收到的调控指令，自适应的调整相关措施。
14.第二方面，提出一种基于多模态自组网的人工智能控制系统，该系统具体包括：边缘节点，被设置为感知终端设备的环境状态，生成对应的环境数据；云服务器，被设置为接收边缘节点产生的环境数据，对所述环境数据进行处理分析，显示生成的分析结果，并输出对应的调控计划；控制中心，被设置为接收云服务器输出的调控计划，根据调控计划利用逻辑语句
生成对应的硬件调控指令，并输出至终端设备；终端设备，被设置为根据控制中心传输的调控指令进行对应功能的运行；数据传输模块，被设置为数据传输的介质，用于在系统各个组件之间进行数据的传输交互；在第二方面的一些可实现方式中，所述数据传输模块在所述边缘节点和所述云服务器之间，进一步包括物联网网关和无线传输通道。
15.一个所述边缘节点即一个数据传感器，用于收集终端设备在运行过程中的环境数据；边缘节点在组网过程中，进一步划分为主节点和剩余边缘节点。
16.所述主节点的工作模式通过自身的join管脚和detect管脚实现，当join管脚为低电平时，主节点的工作模式为组网模式，当前状态下允许剩余边缘节点加入网络；当join管脚为高电平时，当前状态下不允许剩余边缘节点加入网络；所述剩余边缘节点的工作模式通过自身join管脚决定，包括：入网申请模式和退网申请模式；当自身的join管脚为低电平，且持续时间在3秒以下时，当前的工作模式为入网申请模式；当自身的join管脚为低电平，且持续时间在3秒以上时，当前的工作模式为退网申请模式；当自身的join管脚为高电平时，退出组网过程，进入正常的数据传输工作状态。
17.有益效果：本发明提出了一种基于多模态自组网的人工智能控制方法及系统，通过综合分析多模态数据之间的潜在关系，自主制定改进计划并通过执行单元来执行改进方案，使得终端设备具备自主解决问题的能力，能够充分发挥现有数据处理技术的优势。
18.相比于单模态数据，多模态数据包含的信息更具丰富性，同时，也使得分析出的结果更具合理性。
附图说明
19.图1为本发明的数据处理流程图。
具体实施方式
20.本发明通过一种基于多模态自组网的人工智能控制方法及系统，实现智能化的控制方式，发现潜在映射关系，从而达到自主制定改进方案的目的。下面通过实施例，并结合附图对本方案做进一步具体说明。
21.在一个实施例中，提出一种基于多模态自组网的人工智能控制方法，智能控制过程中，如图1所示，具体包括以下步骤：步骤一、由至少一个边缘节点自组成网；所述边缘点被设置为感知当前环境状态下的环境数据。
22.具体的，在进一步的实施例中，边缘节点由多种传感器构成，一个边缘节点即一个传感器，在终端设备运行的过程中采集对应的实时数据。优选实施例中，传感器获取到的数据包括但不限于终端设备的温度、终端设备所处环境温度、终端设备所处环境湿度、终端设备所处环境的风速。
23.步骤二、所述边缘节点与物联网网关连接，通过无线网络，将环境数据传输至云端服务器。
24.具体的，由于zigbee无线通信技术拥有成本低和功耗低的特点，在远程控制领域，边缘节点采用zigbee通信技术与物联网网关连接，进行数据的传输。
25.边缘节点自组网的具体过程为：首先，在边缘节点中选择一个节点作为主节点；其次，主节点选择未被使用过的个域网标识符和通道号形成独立的网络，同时，以自动递增的方式分配唯一一个本地网络地址给剩余边缘节点；再次，判断主节点的工作模式；从次，判断剩余边缘节点的工作模式；最后，当满足组网条件时，完成自作网的过程。
26.其中，主节点的工作模式通过自身的join管脚和detect管脚实现，当join管脚为低电平时，主节点的工作模式为组网模式，当前状态下允许剩余边缘节点加入网络；当join管脚为高电平时，当前状态下不允许剩余边缘节点加入网络。剩余边缘节点的工作模式通过自身join管脚决定，包括入网申请模式和退网申请模式。当自身的join管脚为低电平，且持续时间在3秒以下时，当前的工作模式为入网申请模式；当自身的join管脚为低电平，且持续时间在3秒以上时，当前的工作模式为退网申请模式；当自身的join管脚为高电平时，退出组网过程，进入正常的数据传输工作状态。
27.步骤三、在所述云端服务器，对所述数据控制信息进行识别处理，并显示分析结果，输出对应的调整计划；具体的，环境数据传输至云端服务器后，云端服务器开始对其进行处理分析。首先对接收到的环境数据进行预处理；其次，采用基于阶段的融合方式进行融合；再次，将融合后的特征输入神经网络进行识别分析；最后，输出识别分析结果，并制定对应的调整计划。
28.在进一步的实施例中，对环境数据预处理的过程包括但不限于对视频数据进行离散化视频关键帧的提取、对设定类型数据的统计次数、对传感数据的均值和方差计算，其中，所述设定类型数据包括但不限于出现故障的次数、温度超过阈值的次数、湿度超过阈值的次数等。
29.在进一步的实施例中，根据时间轴对齐的方式对不同类型的时序数据进行结构化的处理，从而将多模态时序数据进行同步融合，并以序列化的形式输入神经网络模型。
30.具体的，每个边缘节点获取的数据，以感知的终端设备为自身的识别编号，结合感知时刻，并将识别编号和时刻作为线索，用于整合为一个终端设备的感知数据。首先，感知同一终端设备的多个边缘节点，根据识别编号，将多模态时序数据在时间轴上按序排列；然后，通过将次模态的特征数据作为主模态的扩展通道，将不同模态的数据进行相连接，从而合并为一个对象的特征数据。
31.通过多种不同特征的数据集互补融合，以及联合学习方式的利用，可以更好的挖掘出潜在的共享信息，提升数据的有效性。
32.在进一步的实施例中，步骤四、将所述调整计划传输至控制中心。
33.步骤五、所述控制中心根据接收到的调整计划生成对应的调控指令。
34.具体的，控制中心收到对应的调整计划后，利用逻辑语句生成对应的硬件调控指令，并发送至终端设备中，作为终端设备调控的依据。
35.步骤六、终端设备接收所述调控指令，并根据所述调控指令进行调整。
36.具体的，终端设备根据接收到的调控指令，自适应的调整相关措施，在进一步的实施例中，包括但不限定于降温、补光、降水等操作。
37.在一个实施例中，提出一种基于多模态自组网的人工智能控制系统，用于实现一种基于多模态自组网的人工智能控制方法，该系统具体包括：边缘节点，被设置为感知终端设备的环境状态，生成对应的环境数据。
38.云服务器，被设置为接收边缘节点产生的环境数据，对所述环境数据进行处理分析，显示生成的分析结果，并输出对应的调控计划。
39.控制中心，被设置为接收云服务器输出的调控计划，根据调控计划利用逻辑语句生成对应的硬件调控指令，并输出至终端设备。
40.终端设备，被设置为根据控制中心传输的调控指令进行对应功能的运行。
41.数据传输模块，被设置为数据传输的介质，用于在系统各个组件之间进行数据的传输交互。
42.在进一步的实施例中，数据传输模块在边缘节点和云服务器之间，进一步包括物联网网关和无线传输通道。
43.一个边缘节点即一个数据传感器，用于收集终端设备在运行过程中的环境数据，例如温度、湿度、风速等。
44.所述主节点的工作模式通过自身的join管脚和detect管脚实现，当join管脚为低电平时，主节点的工作模式为组网模式，当前状态下允许剩余边缘节点加入网络；当join管脚为高电平时，当前状态下不允许剩余边缘节点加入网络；所述剩余边缘节点的工作模式通过自身join管脚决定，包括：入网申请模式和退网申请模式；当自身的join管脚为低电平，且持续时间在3秒以下时，当前的工作模式为入网申请模式；当自身的join管脚为低电平，且持续时间在3秒以上时，当前的工作模式为退网申请模式；当自身的join管脚为高电平时，退出组网过程，进入正常的数据传输工作状态。
45.如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。