基于全同态加密的驾驶行为识别方法、系统、设备和介质与流程
本发明涉及信息安全隐私,更具体的说是涉及一种基于全同态加密的驾驶行为识别方法、系统、设备和介质。
背景技术:
1、随着智能驾驶、车联网以及高级辅助驾驶系统的发展,基于深度学习的驾驶员行为识别技术被广泛应用于疲劳驾驶检测、分心驾驶检测以及危险行为预警等场景。现有技术通常采用卷积神经网络、三维卷积网络或双分支视频行为识别网络对驾驶员视频流中的空间语义与时间运动特征进行联合建模。其中,slowfast双分支网络由于同时具备低帧率深层语义提取能力与高帧率运动变化感知能力,在驾驶行为识别领域具有较高精度。
2、然而,现有方案通常采用全部车端推理或全部云端推理方式:但车端推理对算力与功耗要求较高,难以满足低功耗实时部署需求;而云端推理则需要上传原始视频或图像数据,存在驾驶员隐私泄露风险。
3、此外,近年来,全同态加密技术由于具备密文可计算能力,被应用于隐私保护推理领域,但传统视频行为识别网络中的激活函数、最大池化等非线性操作难以直接适配全同态运算,同时密文视频推理存在计算复杂度高、通信开销大、推理时延高等问题,且若直接对原始视频进行全同态推理,将导致密文数据规模巨大、通信带宽占用高、云端计算复杂度极高,难以满足车联网场景下的实时要求。
4、因此,亟需一种兼顾实时性、识别精度与隐私保护能力的驾驶行为识别方法。
技术实现思路
1、鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于全同态加密的驾驶行为识别方法、系统、设备和介质,通过对云端子网进行密码学适配改造,基于车端子网和全同态加密算法对驾驶员图像进行加密,并根据改造后的云端子网进行密态推理,进而通过对图像进行全流程加密处理,有效降低了隐私泄露风险,提高了基于图像数据识别驾驶行为的安全性。
2、为了实现上述目的,本发明采用如下技术方案:
3、第一方面,本发明实施例提供一种基于全同态加密的驾驶行为识别方法,包括以下步骤:
4、s1:构建slowfast网络的教师模型,将所述教师模型中的慢分支拆分为车端明文子网和云端子网,并对所述云端子网进行密码学适配改造,改造后的云端子网能够在密文状态下完成特征推理计算;
5、s2:通过全同态加密模拟层模拟密文计算过程,对所述车端明文子网和改造后的云端子网进行联合训练优化,得到训练完成的目标车端明文子网和训练完成的目标云端子网;
6、s3:通过所述教师模型中的快分支对驾驶员视频进行轻量化运动特征分析得到运动特征值,当所述运动特征值超过运动特征阈值时,基于所述目标车端明文子网和全同态加密生成用于上传至云端的密文特征上传;
7、s4:根据所述目标云端子网和所述密文特征进行密态推理,确定对应于驾驶员的危险行为识别结果。
8、在一实施方式中,步骤s1中,所述改造后的云端子网至少包括多个残差模块、池化层和分类头部,其中:
9、所述残差模块中的卷积层为低乘法深度卷积结构,所述残差模块中的激活函数为低阶多项式近似函数,所述低阶多项式近似函数为:
10、
11、其中,为待逼近的原非线性函数,为k次项系数,为函数输入值,k为多项式阶数;
12、所述池化层采用平均池化,所述平均池化为:
13、
14、其中,为池化层的输出值,x为函数输入值,k为池化核大小,为第i个函数输入值。
15、在一实施方式中,步骤s2中,所述通过全同态加密模拟层模拟密文计算过程,对所述车端明文子网和改造后的云端子网进行联合训练优化,得到训练完成的目标车端明文子网和训练完成的目标云端子网,包括:
16、根据所述车端明文子网和所述改造后的云端子网构建初始学生模型,并将所述全同态加密模拟层插入所述初始学生模型中的车端明文子网和改造后的云端子网中,得到目标学生模型;
17、根据所述目标学生模型的车端明文子网、训练样本和所述全同态加密模拟层进行明文推理,得到带有噪声的中间特征,所述带有噪声的中间特征为:
18、
19、其中,为带有噪声的中间特征,为目标学生模型的车端明文子网的中间特征,为量化误差,为多项式近似误差;
20、根据所述带有噪声的中间特征和所述改造后的云端子网,得到对应于所述目标学生模型的第一预测值,并根据所述第一预测值、所述教师模型的第二预测值和预设的联合损失函数训练所述目标学生模型,得到所述目标车端明文子网和所述目标云端子网,所述联合损失函数为:
21、
22、
23、其中,为联合损失值,为分类损失值,为所述目标学生模型的改造后的云端子网输出,x为所述训练样本,为对应于所述目标学生模型的车端明文子网输出,y为所述训练样本对应的真实标签,为所述目标学生模型的改造后的云端子网输出与真实标签之间的分类损失值,λ为平衡系数,为知识蒸馏损失值,为所述第二预测值,为所述目标学生模型的云端子网输出与教师模型输出之间的知识蒸馏损失值,为l2范数。
24、在一实施方式中,步骤s3中,确定所述运动特征阈值,包括:
25、从所述驾驶员视频中确定当前驾驶场景,并获取车辆状态和驾驶员的历史行为特征;
26、根据所述当前驾驶场景、所述车辆状态和所述驾驶员的历史行为特征生成综合驾驶状态特征,所述综合驾驶状态特征为:
27、
28、其中,为t时刻的综合驾驶状态特征,为t时刻的当前驾驶场景,为t时刻的车辆状态,为历史行为特征;
29、根据所述综合驾驶状态特征、预训练的幅度阈值和危险行为自适应模型,生成对应于所述当前驾驶场景下的所述运动特征阈值,其中,所述预训练的幅度阈值根据预先标注的正常驾驶视频样本和危险动作视频样本对应的运动差异值分布确定。
30、在一实施方式中,步骤s3中,所述基于所述目标车端明文子网和全同态加密生成用于上传至云端的密文特征,包括:
31、根据所述目标车端明文子网进行推理得到对应于所述当前驾驶场景的中间特征,并基于全同态加密算法,对所述中间特征进行加密得到初始密文,所述初始密文为:
32、
33、其中,c为初始密文,为公钥,为所述目标车端明文子网输出的中间特征;
34、对所述初始密文特征进行密态归一化处理,得到所述密文特征,归一化公式为:
35、
36、其中,为所述密文特征,为离线训练获得缩放参数;为偏移参数。
37、在一实施方式中,还包括路端预警步骤:
38、获取多个车辆的所述危险行为识别结果和对应于各所述危险行为识别结果的驾驶信息,所述驾驶信息至少包括车辆位置和识别时间;
39、根据所述车辆位置、所述识别时间和所述危险行为识别结果进行时空关联分析,得到对应于所述车辆位置的风险变化信息,所述风险变化信息用于描述对应于所述车辆位置所处道路的风险等级的变化;
40、若所述风险变化信息为风险等级升高,则确定多个用于路端管理的路端统计数据,所述路端统计数据至少包括危险行为发生频次。
41、第二方面,本发明实施例提供一种基于全同态加密的驾驶行为识别系统,采用如下的技术方案:
42、教师模型构建模块,用于构建slowfast网络的教师模型,将所述教师模型中的慢分支拆分为车端明文子网和云端子网,并对所述云端子网进行密码学适配改造,改造后的云端子网能够在密文状态下完成特征推理计算;
43、联合优化模块,用于通过全同态加密模拟层模拟密文计算过程,对所述车端明文子网和改造后的云端子网进行联合训练优化,得到训练完成的目标车端明文子网和训练完成的目标云端子网;
44、加密模块,用于通过所述教师模型中的快分支对驾驶员视频进行轻量化运动特征分析得到运动特征值,当所述运动特征值超过运动特征阈值时,基于所述目标车端明文子网和全同态加密生成用于上传至云端的密文特征上传;
45、识别模块,用于根据所述目标云端子网和所述密文特征进行密态推理,确定对应于驾驶员的危险行为识别结果。
46、第三方面,本发明提供一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面任一项所述的基于全同态加密的驾驶行为识别方法。
47、第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面任一项所述的基于全同态加密的驾驶行为识别方法。
48、本发明实施例提供的上述技术方案的有益效果至少包括:
49、将慢分支拆解为车端明文子网与加密适配的云端子网,并依托全同态加密模拟层完成车子网和云子网联合优化训练,在实际推理中结合快分支进行运动特征初步分析,并对车端明文子网推理获得的中间特征进行全同态加密,有效避免了图像数据上传传输、云端明文推理带来的用户隐私泄露风险,然后云端对加密后的密文进行密态推理和识别驾驶员危险行为,实现了图像数据全流程的密态处理与推理,有效提高了驾驶图像数据的安全性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com