一种基于5G的无人艇综合控制管理系统与方法与流程

技术特征：
1.一种基于5g的无人艇综合控制管理系统，其特征在于：包括采用5g通讯相互连接的无人艇、大数据处理平台以及客户端；所述大数据处理平台包括相互电联接的数据采集模块、数据存储模块、数据处理模块、算法库模块以及数据服务模块；所述客户端与所述数据服务模块电联接，所述客户端包括web客户端以及手机客户端，所述客户端用于显示所述大数据处理平台内的内容与对大数据处理平台发送控制指令；所述无人艇与所述数据采集模块以及数据处理模块电联接；所述数据处理模块包括设备故障信息诊断模块以及人脸语音情感分析模块；所述设备故障信息诊断模块根据所述数据存储模块内的数据判断当前无人艇内是否出现故障，并将故障信息发送至所述数据服务模块；人脸语音情感分析模块通过数据存储模块获取当前用户人脸信息和/或语音信息，并根据人脸信息和/或语音信息分析出当前用户的使用状态，最终根据当前用户的使用状态发出无人艇的控制指令，无人艇根据所述控制指令作出相应的设备状态调节。2.根据权利要求1所述的一种基于5g的无人艇综合控制管理系统，其特征在于：所述数据采集模块包括视频采集模块以及设备数据采集模块，所述视频采集模块使用5g通讯技术对无人艇的视频传输数据进行采集，所述视频采集模块还用于采集客户端的当前用户的人脸信息和/或语音信息，并将收集的信息发送至数据存储模块；所述设备数据采集模块使用物联网对无人艇中的各个设备部件进行数据采集以及传输，并将收集的信息发送至数据存储模块。3.根据权利要求1所述的一种基于5g的无人艇综合控制管理系统，其特征在于：所述数据存储模块包括数据库模块以及分布式信息中间件；所述数据数据库模块使用分布式非关系型数据库redis对所述数据采集模块所采集的数据进行存储，其中所述数据库模块内还设置有布式缓存；所述分布式信息中间件用于将算法库模块的算法发布至服务器云端。4.根据权利要求1所述的一种基于5g的无人艇综合控制管理系统，其特征在于：所述数据处理模块还包括:视频数据处理模块、实时查询模块；所述算法库模块包括机器学习模块以及深度学习模块；所述机器学习模块和深度学习模块用于更新所述数据处理模块内的算法。5.根据权利要求1所述的一种基于5g的无人艇综合控制管理系统，其特征在于：所述数据服务模块包括数据实时查询模块、视频直播模块、故障诊断模块以及语音控制模块，所述数据实时查询模块用于客户端实时查询无人艇的设备信息已近运行状态；所述视频直播模块用于通过5g通讯技术将无人艇获取的实时画面发生客户端；所述故障诊断模块用于接收设备故障信息诊断模块的诊断结果并将诊断结果发送至客户端；所述语音控制模块用于接收客户端的语音指令，并将语音指令转化为控制指令控制无人艇运作。6.一种基于5g的无人艇综合控制管理方法，，其特征在于：所述方法用于一种基于5g的无人艇综合控制管理系统内，包括以下步骤：步骤a：客户端通过5g通讯或订阅
‑
发布机制连接大数据处理平台和无人艇；
步骤b：客户端获取当前用户的人脸信息和/或语音信息，并将人脸信息和/或语音信息发送至大数据处理平台；步骤c：所述大数据处理平台分别提取人脸信息和/或语音信息内包含的人脸情感特征和语音情感特征，对人脸情感特征和语音情感特征进行融合获取当前使用用户的情感类型，所述大数据处理平台根据情感类型的不同，对所述无人艇发送对应的控制指令。7.根据权利要求6所述的一种基于5g的无人艇综合控制管理方法，其特征在于：所述步骤c中提取语音信息中的语音情感特征包括以下步骤：步骤c1：将语音信息输入至语音情感特征提取模型得出语音情感特征提，其中语音情感特征提取模型的训练过程如下：将语音信息转化为梅尔频谱；将梅尔频谱发送至具有提取语音情感特征的alexnet内，提取梅尔频谱内包含的语音情感特征；所述步骤c中提取人脸信息中的人脸情感特征包括以下步骤：步骤c2：获取现有的表情数据集中训练情感表示模型中的表情先验知识，通过表情先验知识训练本文模型，得到人脸情感特征提取模型；其中训练所述本文模型的过程如下：输入48
×
48灰度的原始图片，在本文模型的每个卷积层内设置64个卷积核，卷积核大小为5
×
5，步长值为1，边缘填充两个0因素；每个池化层的单元大小、步长、补充单位个数都设置成将原始图片的长和宽都缩减一半；步骤c3：将人脸信息输入至人脸情感特征提取模型内，获取人脸情感特征。8.根据权利要求7所述的一种基于5g的无人艇综合控制管理方法，其特征在于：所述步骤c中对人脸情感特征和语音情感特征进行融合获取当前使用用户的情感类型，包括以下步骤：步骤c4：在人脸情感特征提取模型中的卷积层对每一帧图片提取2304个人脸情感特征，在语音情感特征提取模型中的对0.04s内的声音数据提取1280个语音情感特征，使用视觉与语音联合模型在这两种不同类型的特征量拼接起来，并传递给两个含有256个单元的长短期记忆层以及输出维度为2的全连接层，来拟合一个图像声音序列所对应的arousal与valence值，并通过arousal与valence的组合得到情感类型。9.根据权利要求6所述的一种基于5g的无人艇综合控制管理方法，其特征在于：所述步骤a前，还需要判断当前数据的请求量是否大于阈值，若是，则使用订阅
‑
发布机制连接大数据处理平台和无人艇，若否，则采用5g通讯连接大数据处理平台和无人艇。10.根据权利要求6所述的一种基于5g的无人艇综合控制管理方法，其特征在于：在步骤a与步骤c之间，还需对无人艇进行设备故障诊断，其设备故障诊断步骤如下：收集无人艇各个部件传感器的设备信息，将设备信息发送至检测模型，所述检测模型分析得出当前无人艇的设备故障信息；其中检测模型的训练步骤如下：将无人艇故障的位置标签化处理；将模型训练数据输入至检测模型中的输入层，所述输入层对训练数据进行预处理以及按照4:1的比例将预处理后的设备信息分成训练集和测试集，训练集和测试集中包括[x1,x2,.......,x11,x12]
t
，其中x1～x12为无人艇内12个设备的设备信息，t代表时间；将训练集和测试集输入至lstm隐藏层进行网络训练，其中所述lstm隐藏层训练方法如
下：将t
‑
1时刻的x1～x12代入进激活函数tanh(x)中，求算得出输入值z；其所述输入值z计算公式如下：z＝tanh(w[x
t
,h
t
‑1])；其中tanh(x)是激活函数，x
t
为t时刻无人艇的输入，h
t
‑1是t
‑
1时刻中cell中存储的信息，即为t
‑
1时刻的x1～x12；使用输入门、遗忘门、输出门的门控对输入值z进约束，求出输出值a；所述输入门、遗忘门、输出门的约束公式如下:zi＝σ(w[x
t
,h
t
‑1])，zf＝σ(w[x
t
,h
t
‑1])，zo＝σ(w[x
t
,h
t
‑1])，其中zi，zf，zo分别是输入门、遗忘门、输出门的门控，所述输入门、遗忘门、输出门的门控的取值范围为0～1；将输出值a输入至注意力模型内，求出内容向量c
j
，其中所述c
j
为注意力权重与码器所有编码器隐藏状态的加权和，其计算公式如下a
ij
为相应注意权，h
i
为编码器隐藏状态，t代表时间，i为自然整数；将输出值a输入至全连接层获取一个6维的向量故障分类标签，然后将向量故障分类标签与无人艇故障的位置标签进行匹配对应，然后使用sigmoid函数将每个向量故障分类标签的概率收敛至0～1之间，所述sigmoid函数如下：h(x
i
)＝sigmoid(a
i
)，其中a
i
表示故障分类标签，h(x
i
)表示故障分类标收敛后的输出结果；收集无人艇的实际故障数据，并使用实际故障数据约束收敛后的输出结果，然后通过梯度下降的方法进行更新lstm网络的w权值，直至代价函数趋于稳定；其实际故障数据约束的代价函数为：其中m为样本的总数、y
i
为6维的故障分类标签，(x
i
)表示输出层输出的结果，h(x
i
)为(x
i
)经过sigmoid()函数得出的概率；其更新w权值的公式如下：其中a为学习率、θj(w,b)为对b的偏导，其中b为偏置值。

技术总结
本发明包括了一种基于5G的无人艇综合控制管理系统与方法，其中基于5G的无人艇综合控制管理系统包括采用5G通讯相互连接的无人艇、大数据处理平台以及客户端；大数据处理平台包括相互电联接的数据采集模块、数据存储模块、数据处理模块、算法库模块以及数据服务模块；数据处理模块包括设备故障信息诊断模块以及人脸语音情感分析模块；人脸语音情感分析模块通过数据存储模块获取当前用户人脸信息和/或语音信息，并根据人脸信息和/或语音信息分析出当前用户的使用状态，最终根据当前用户的使用状态发出无人艇的控制指令，无人艇根据控制指令作出相应的设备状态调节，大大提高了无人艇使用的安全性以及提高了无人艇管理的智能程度。程度。程度。


技术研发人员：徐雍 陈建焰 彭慧 鲁仁全 饶红霞
受保护的技术使用者：广东工业大学
技术研发日：2021.07.21
技术公布日：2021/9/24