一种基于个性化联邦学习的分心驾驶行为识别方法与流程

技术特征：
1.一种基于个性化联邦学习的分心驾驶行为识别方法，其特征在于，包括如下步骤：s1、获取车辆节点在车辆行驶时的采集的图像数据；s2、预装车载分心驾驶行为识别模型并利用步骤s1获取的图像数据进行训练；s3、利用步骤s2训练完成的模型在车辆节点识别分心驾驶行为。2.根据权利要求1所述的一种基于个性化联邦学习的分心驾驶行为识别方法，其特征在于，所述步骤s1具体包括：s11、获取车辆行使过程中的分心驾驶行为图像，并提取当前帧的hash指纹；s12、分析当前帧的驾驶行为，若当前帧的hash指纹与上一帧的hash指纹之间的hamming距离大于设定阈值，则判定驾驶员作出分心行为，并将当前帧进行数据增强并保存，其中，数据增强包括对当前帧进行水平翻转、亮度变换、随机平移；s13、对保存在本地的图像标注对应的的驾驶行为类别，并将其做为训练数据集。3.根据权利要求2所述的一种基于个性化联邦学习的分心驾驶行为识别方法，其特征在于，所述步骤s13具体包括：s131、将步骤s12保存的图像送入预训练后的分心驾驶行为识别模型，并输出图像类别；s132、对置信度大于等于设定阈值的图像进行标注，对置信度小于设定阈值的图像进行舍弃。4.根据权利要求3所述的一种基于个性化联邦学习的分心驾驶行为识别方法，其特征在于，所述步骤s2具体包括：s21、以车辆作为节点，使用车载自组网构建车辆间通信网络，并选取其中一个节点作为边缘服务器；s22、利用边缘服务器初始化全局模型，其中第t轮循环时的全局模型记为ω
t
，并将全局模型分发给各个节点；s23、各节点训练分发给自己的全局模型，其中，第k个节点训练后的局部模型记为并将训练后的模型发送至边缘服务器；s24、边缘服务器对各节点发回的全局模型进行模型聚合，将聚合得到的新模型作为下一循环的全局模型，并判断输出的全局模型是否收敛，若是则进入步骤s25，若否则返回步骤s22；s25、各节点使用本地数据对收敛后的全局模型进行微调，对各个节点收到的收敛后的全局模型利用损失函数调整其卷积层和全连接层，其余层冻结，其损失函数表示为：其中l
′
(ω)为新的损失函数，l(ω)为多分类交叉熵损失函数，ω为模型最后一个卷积层及全连接层的待优化的参数，ω
l
为微调前模型最后一个卷积层及全连接层，和ω
i
为对应参数中的第i个元素，b
i
为每一个元素改变的难易程度，γ为约束系数。5.根据权利要求4所述的一种基于个性化联邦学习的分心驾驶行为识别方法，其特征在于，所述步骤s24具体包括：
s241、计算各节点返回至边缘服务器的模型的权重，计算方式为：s242、利用步骤s241得到的权重计算下一循环的全局模型，表示为：其中ω
t 1
为联邦学习第t 1轮的全局模型，为节点k在联邦学习第t 1轮训练完后的局部模型。6.根据权利要求5所述的一种基于个性化联邦学习的分心驾驶行为识别方法，其特征在于，所述步骤s3具体包括：s31、每隔n帧采集一次驾驶员在驾驶过程中的分心驾驶行为图像，并提取当前帧的hash指纹，若满足当前帧的hash指纹与上一帧的hash指纹之间的hamming距离大于设定阈值，则将当前帧加入队列；s32、在待识别队列中设置大小固定的滑窗，利用分心驾驶行为识别模型对滑窗中的图像进行分类；s33、若滑窗内图像分类结果相同且置信度均大于设定阈值，则判定驾驶员作出一种分心驾驶动作并对应进行语音提示。

技术总结
本发明公开了一种基于个性化联邦学习的分心驾驶行为识别方法，首先各车辆节点在车辆行驶时采集图像数据；之后使用个性化联邦学习共同训练一个卷积神经网络模型；最后，各节点使用该模型识别分心驾驶行为。在驾驶行为识别场景中，本发明使用基于边缘计算的去中心化方式实现模型的训练与推理，相较现有的中心化训练与推理方式具有保护用户隐私、实时性好、升级方便等优点。提出的个性化联邦学习算法相较于传统的联邦学习算法能够使所训练的模型更好的适配各节点的数据。好的适配各节点的数据。好的适配各节点的数据。


技术研发人员：张斌 王靖雅 夏金祥
受保护的技术使用者：宜宾电子科技大学研究院
技术研发日：2021.08.10
技术公布日：2021/11/9