自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统与流程

技术特征：
1.一种自动驾驶多传感器融合感知模型的鲁棒性测试方法，所述方法包括：同时采集多个车载传感器的数据，并进性相应的预处理；利用预处理后的多个车载传感器的数据，训练得到多传感器融合感知模型；从多个车载传感器中选取一个待攻击传感器；在选择的待攻击传感器采集的数据上生成添加对抗扰动噪声的掩码，由此生成欺诈数据；将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；将最终的欺诈数据与其他传感器正常采集到的数据输入到多传感器融合感知模型中，得到多传感器融合感知模型的输出精度，根据输出精度获取多传感器融合感知模型的鲁棒性测试结果。2.根据权利要求1所述的自动驾驶多传感器融合感知模型的鲁棒性测试方法，其特征在于，所述从多个车载传感器中选取一个待攻击传感器，具体为：根据显著性分析结果选取对结果影响最大的传感器作为待攻击传感器。3.根据权利要求1所述的自动驾驶多传感器融合感知模型的鲁棒性测试方法，其特征在于，所述将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；具体包括：步骤s1)设预处理后的n
‑
1个车载传感器正常采集的数据为x0，x1，...，x
i
‑1，x
i 1
，...，x
n
‑1，加入的欺诈数据为x
′
i
＝mx
i
，m为对抗扰动噪声的掩码，x
i
为预处理后的第i个车载传感器正常采集的数据；模型的正确标签为l；攻击多传感器网络模型j
θ
(
·
)的数学表达式为：j
θ
(x0，x1，...，x
′
i
，...，x
n
‑1)≠l将上述数学问题建模为下列优化问题：minimize d(x
i
，x
′
i
)s.t.j
θ
(x0，x1，...，x
′
i
，...，x
n
‑1)≠lx
′
i
∈[0，1]
n
d(x
i
，x
′
i
)为x
i
和x
′
i
的欧式距离；构造f(x0，x1，...，x
′
i
，...，x
n
‑1)≤0来等价表示j
θ
(x0，x1，...，x
′
i
，...，x
n
‑1)≠l这一条件，f(
·
)函数的具体构造为：f(x)＝(max(z(x)
j
)
‑
z(x)
t
)

，j≠t其中，z(x)
j
为多传感器融合感知模型输出层第j个节点输出的置信度；(max(z(x)
j
)
‑
z(x)
t
)

＝max(max(z(x)
j
)
‑
z(x)
t
，0)，t为正确的标签；上述的优化问题可以转化为以下形式：minimize d(x
i
，x
′
i
) λ
·
f(x0，x1，...，x
′
i
，...，x
n
‑1)s.t.x
′
i
∈[0，1]
n
其中，λ为参数；步骤s2)将处理后的数据作为输入，输入到多传感器融合网络模型j
θ
(
·
)中，得到j
θ
(
·
)的初始化输出y
k
，根据y
k
计算生成欺诈数据的损失函数；当k＝1时，
为第i个车载传感器的第k次迭代的欺诈数据；步骤s3)利用损失函数梯度对欺诈数据进性更新：其中，α为迭代步长，l(
·
)为损失函数，y
true
是多传感器融合网络模型j
θ
(
·
)的正确输出；为损失函数的梯度；步骤s4)当迭代次数k 1达到阈值max_iter或者多传感器融合网络模型j
θ
(
·
)的像素准确率下降到某个临界值thresh_ap；进入步骤s5)；否则，k加1后，转入步骤s2)；步骤s5)将作为最终的欺诈数据。4.根据权利要求1所述的自动驾驶多传感器融合感知模型的鲁棒性测试方法，其特征在于，所述根据输出精度获取多传感器融合感知模型的鲁棒性测试结果，具体包括：当多传感器融合网络模型j
θ
(
·
)的输出精度下降幅度在5％以内时，表明多传感器融合网络模型j
θ
(
·
)鲁棒性很强；当多传感器融合网络模型j
θ
(
·
)的输出精度下降幅度在5％～10％时，表明多传感器融合网络模型j
θ
(
·
)鲁棒性较强；当多传感器融合网络模型j
θ
(
·
)的输出精度下降幅度在10％以外时，表明多传感器融合网络模型j
θ
(
·
)鲁棒性较弱。5.一种自动驾驶多传感器融合感知模型的鲁棒性测试系统，其特征在于，所述系统包括：多个车载传感器、数据采集模块、模型训练模块、欺诈数据数据生成模块和鲁棒性测试模块；所述数据采集模块，用于同时采集多个车载传感器的数据，并进性相应的预处理；所述模型训练模块，用于利用预处理后的多个车载传感器的数据，训练得到多传感器融合感知模型；所述欺诈数据数据生成模块，用于从多个车载传感器中选取一个待攻击传感器；在选择的待攻击传感器采集的数据上生成添加对抗扰动噪声的掩码，由此生成欺诈数据；将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；所述鲁棒性测试模块，用于将最终的欺诈数据与其他传感器正常采集到的数据输入到多传感器融合感知模型中，得到多传感器融合感知模型的输出精度，根据输出精度获取多传感器融合感知模型的鲁棒性测试结果。6.根据权利要求5所述的自动驾驶多传感器融合感知模型的鲁棒性测试系统，其特征在于，所述从多个车载传感器中选取一个待攻击传感器，具体为：根据显著性分析结果选取对结果影响最大的传感器作为待攻击传感器。7.根据权利要求5所述的自动驾驶多传感器融合感知模型的鲁棒性测试系统，其特征在于，所述将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；具体包括：
步骤s1)设预处理后的n
‑
1个车载传感器正常采集的数据为x0，x1，...，x
i
‑1，x
i 1
，...，x
n
‑1，加入的欺诈数据为x
′
i
＝mx
i
，m为对抗扰动噪声的掩码，x
i
为预处理后的第i个车载传感器正常采集的数据；模型的正确标签为l；攻击多传感器网络模型j
θ
(
·
)的数学表达式为：j
θ
(x0，x1，...，x
′
i
，...，x
n
‑1)≠l将上述数学问题建模为下列优化问题：minimize d(x
i
，x
′
i
)s.t.j
θ
(x0，x1，...，x
′
i
，...，x
n
‑1)≠lx
′
i
∈[0，1]
n
d(x
i
，x
′
i
)为x
i
和x
′
i
的欧式距离；构造f(x0，x1，...，x
′
i
，...，x
n
‑1)≤0来等价表示j
θ
(x0，x1，...，x
′
i
，...，x
n
‑1)≠l这一条件，f(
·
)函数的具体构造为：f(x)＝(max(z(x)
j
)
‑
z(x)
t
)

，j≠t其中，z(x)
j
为多传感器融合感知模型输出层第j个节点输出的置信度；(max(z(x)
j
)
‑
z(x)
t
)

＝max(max(z(x)
j
)
‑
z(x)
t
，0)，t为正确的标签；上述的优化问题可以转化为以下形式：minimize d(x
i
，x
′
i
) λ
·
f(x0，x1，...，x
′
i
，...，x
n
‑1)s.t.x
′
i
∈[0，1]
n
其中，λ为参数；步骤s2)将处理后的数据作为输入，输入到多传感器融合网络模型j
θ
(
·
)中，得到j
θ
(
·
)的初始化输出y
k
，根据y
k
计算生成欺诈数据的损失函数；当k＝1时，计算生成欺诈数据的损失函数；当k＝1时，为第i个车载传感器的第k次迭代的欺诈数据；步骤s3)利用损失函数梯度对欺诈数据进性更新：其中，α为迭代步长，l(
·
)为损失函数，y
true
是多传感器融合网络模型j
θ
(
·
)的正确输出；为损失函数的梯度；步骤s4)当迭代次数k 1达到阈值max_iter或者多传感器融合网络模型j
θ
(
·
)的像素准确率下降到某个临界值thresh_ap；进入步骤s5)；否则，k加1后，转入步骤s2)；步骤s5)将作为最终的欺诈数据。8.根据权利要求5所述的自动驾驶多传感器融合感知模型的鲁棒性测试系统，其特征在于，所述根据输出精度获取多传感器融合感知模型的鲁棒性测试结果，具体包括：当多传感器融合网络模型j
θ
(
·
)的输出精度下降幅度在5％以内时，表明多传感器融合网络模型j
θ
(
·
)鲁棒性很强；当多传感器融合网络模型j
θ
(
·
)的输出精度下降幅度在5％～10％时，表明多传感器融合网络模型j
θ
(
·
)鲁棒性较强；当多传感器融合网络模型j
θ
(
·
)的输出精度下降幅度在10％以外时，表明多传感器融合网络模型j
θ
(
·
)鲁棒性较弱。

技术总结
本发明公开了自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统，所述方法包括：利用预处理后的多个车载传感器的数据，训练得到多传感器融合感知模型；从多个车载传感器中选取一个待攻击传感器；在选择的待攻击传感器采集的数据上生成添加对抗扰动噪声的掩码，由此生成欺诈数据；将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；将最终的欺诈数据与其他传感器正常采集到的数据输入到多传感器融合感知模型中，得到多传感器融合感知模型的输出精度，根据输出精度获取多传感器融合感知模型的鲁棒性测试结果。知模型的鲁棒性测试结果。知模型的鲁棒性测试结果。


技术研发人员：张新钰 邹镇洪 王文杰 刘华平 李志伟
受保护的技术使用者：清华大学
技术研发日：2021.08.02
技术公布日：2021/11/4