一种基于联邦学习与边缘计算的行人追踪方法与流程

1.本发明属于计算机视觉与联邦学习技术领域，具体涉及一种基于联邦学习与边缘计算的行人追踪方法。


背景技术：

2.目前的行人追踪方法需要使用大量的行人数据来训练模型，但是单一数据集往往只包含某一特定场景的数据，基于此类数据集训练好的模型应用于实际场景中，识别准确率往往会大幅下降。如果使用多个不同场景中视频采集设备收集到的数据进行模型训练，则会导致数据泄露，用户隐私与数据安全无法得到保障。此外，现有的行人追踪技术只能应用于白天拍摄的rgb视频图像，但是行人追踪不仅要满足白天的使用，还需要能够应用于夜间场景。综上所述，现有行人追踪技术利用标记好的单一数据集训练得到的模型具有泛化能力较差，无法适应不同的使用场景，不能处理跨模态数据的缺点。因此，一种能够保证数据安全、适应不同应用场景并且能够实现跨模态识别的行人追踪方法是解决该问题的关键。
3.联邦学习作为一种分布式机器学习技术，能够使多个参与方在保护数据隐私、满足合法合规的要求下进行机器学习，解决数据孤岛问题。边缘计算技术主要应用在视频处理领域，具有传输延时低、大带宽、计算高性能的优势。将联邦学习与边缘计算应用于行人追踪领域，使用边缘服务器与云服务器联合进行基于联邦学习的模型训练能够有效保证数据隐私，解决数据孤岛问题。
4.中国发明专利cn201910119437.x，公开了一种行人跟踪方法、装置及设备，其中，该方法包括：获取待检测视频帧；检测待检测视频帧中的候选行人；提取候选行人的候选行人特征；确定候选行人特征与特征队列中已保存特征的差异，并在差异满足预设条件时，确定候选行人为目标行人；其中，特征队列中已保存特征为与所述目标行人匹配的特征。能够提高行人跟踪过程的效率。但是该方法只能满足白天使用，不能够将其应用于夜间场景。
5.中国发明专利cn201510548633.0，公开了一种基于运动信息和轨迹关联的视频行人检测和跟踪方法。行人检测：用帧差法检测运动，并结合数字图像处理中的形态学方法，先检测出视频中的运动区域，然后在运动区域中采取滑窗搜索的方式提取特征，并用预先训练好的行人检测分类器，分类最终得到分类结果。跟踪方法：利用上一步骤得到的行人检测结果作为本步骤的输入，开始时为每一个检测到的行人初始化一个跟踪器，每个跟踪器包含目标的历史运动信息和外观信息。处理当前帧时，对输入的每一个检测结果，提取位置信息和外观信息，并以此为依据建立关联矩阵，来关联之前帧的跟踪目标，最终得到行人的跟踪轨迹。本发明具有良好的实时性，在较复杂的场景中也有良好的鲁棒性。但是该方法存在着数据安全的问题。


技术实现要素：

6.本发明针对现有技术的不足，提供一种基于联邦学习与边缘计算的行人追踪方
法，该方法使用边缘服务器与云服务器联合进行基于联邦学习的模型训练能够有效保证数据隐私，解决数据孤岛问题；使用知识蒸馏与权重分配的方法，解决了将联邦学习应用到行人追踪中时，由于多场景的数据异构性所带来的精度下降与模型收敛问题；使用跨模态处理技术对不同模态的图像进行处理，以满足跨模态行人追踪的需求。
7.为了实现上述目的，本发明采用了以下技术方案：
8.一种基于联邦学习与边缘计算的行人追踪方法，包括以下步骤：
9.步骤一，检测获取行人图像；
10.步骤二，对行人图像进行跨模态处理；
11.步骤三，提取行人特征；
12.步骤四，匹配特征，确定目标行人。
13.本发明的进一步说明，所述步骤一中检测获取行人图像具体包括：
14.11)对待检测视频进行处理，得到若干视频帧图像；
15.12)将视频文件的每一视频帧图像输入行人追踪网络中，通过行人追踪网络确定当前帧图像中是否出现行人，如果检测到行人，则获取并输出该行人图像；
16.所述检测获取行人图像基于pp-yolov2的检测框架。
17.本发明的进一步说明，所述步骤二中所述跨模态处理的具体流程为：
18.21)判断图像数据类型：如果为rgb图像，执行步骤22)，如果为ir图像，执行步骤 23)；
19.22)将rgb图像转换为灰度图像，此时图像为单通道，创建第二个通道并将第二个通道填充满0值；
20.23)将ir图像自身作为第二个通道，将第一个通道填充满0值；
21.24)经过步骤22)或者步骤23)处理后的图像数据统一为双通道结构并输出至步骤三中进行行人特征提取。
22.所述双通道结构在使用训练集进行模型训练的过程中，不同节点会对不同的模态进行选择性失活，从而达到跨模态重识别的效果。
23.本发明的进一步说明，所述步骤三中所述提取行人特征的具体流程为：
24.31)将待查询行人图像与从视频中检测得到并经过跨模态处理的行人图像分别输入到训练好的基于联邦学习与边缘计算的特征提取模型中；
25.32)特征提取模型分别提取出待查询行人图像和各检测行人图像的特征向量。
26.所述联邦学习与边缘计算的模型训练方法为，首先云服务器从所有的n个边缘服务器中选择出k个参与模型训练，得到一个初始的全局模型，云服务器将全局模型下发至每一个边缘服务器。边缘服务器收到全局模型后，将全局模型与上一轮训练得到的本地分类器连接起来形成一个新的本地模型，使用本地数据集对模型进行本地更新训练。边缘服务器将本地分类器进行保存，并且将骨干网络的参数上传到云服务器。最后，云服务器将收到的所有边缘服务器上传的模型参数进行聚合，得到新的全局模型，将全局模型继续下发，重复上述步骤，直到模型收敛，满足准确率要求。
27.本发明的进一步说明，所述步骤四中所述匹配特征，确定目标行人的具体流程为：
28.41)将待查询图像的特征向量分别与视频中检测到的行人图像的特征向量进行对比，计
29.算特征相似度；所述特征相似度计算公式为：
[0030][0031]
其中，x为待查询行人的特征，y为视频图像中检测出来的行人图像的特征，n为特征维度，t
x,y
为两特征之间的余弦值；
[0032]
42)将满足相似度阈值的检测图像中的行人作为视频中的目标行人。
[0033]
本发明的进一步说明，所述特征提取模型训练过程中需要用到云服务器、边缘服务器与数据采集设备；所述边缘服务器与云服务器进行信息传递时使用同态加密算法对数据进行加密之后再进行传输。
[0034]
本发明的进一步说明，所述特征提取模型训练过程中需要用到云服务器、边缘服务器与数据采集设备；所述边缘服务器与云服务器进行信息传递时使用同态加密算法对数据进行加密之后再进行传输。
[0035]
本发明的进一步说明，所述特征提取模型的训练方法通过知识蒸馏及权重分配进行优化。
[0036]
本发明的进一步说明，所述知识蒸馏的优化方法为，首先将一个数据集作为共享数据集，云服务器将共享数据集与初始化的模型参数一起分发给边缘服务器，每个边缘服务器使用本地数据训练得到的本地模型对共享数据集进行预测，得到预测标签；之后上传本地模型更新后的权重与得到的预测标签，云服务器将收到的预测标签进行加权平均；最后，云服务器使用共享数据集与预测标签对联邦模型进行训练，减少模型的不稳定，并使模型更好的收敛。
[0037]
本发明的进一步说明，所述权重分配的优化方法为，使用余弦距离作为度量标准，对每次训练中参数变化越大的本地模型，分配更大的权重，使更多新学到的知识反映在全局模型中；具体流程为：
[0038]
51)边缘服务器从本地训练数据中随机选择一组训练数据d
batch
；
[0039]
52)下一轮训练中，边缘服务器收到云服务器下发的模型参数，将全局模型与上一轮训练得到的本地分类器连接起来形成新的本地模型，将本地模型参数与d
batch
保存为日志
[0040]
53)边缘服务器继续训练得到新的本地模型将新的模型参数与 d
batch
保存为日志
[0041]
54)边缘服务器通过对d
batch
中每个数据点的余弦距离求平均值来计算权重计算公式如下：
[0042][0043]
55)边缘服务器将权重上传至云服务器，云服务器使用其作为各个模型加权平均的权重值。
[0044]
本发明具有以下有益效果：
[0045]
1.本发明通过使用跨模态处理技术对不同模态的图像进行处理，以满足跨模态行
人追踪的需求。
[0046]
2.本发明通过使用知识蒸馏与权重重分配的方法。解决了将联邦学习应用到行人追踪中时，由于多场景的数据异构性所带来的精度下降与模型收敛问题。
[0047]
3.本发明通过使用联邦学习与边缘服务器进行行人追踪模型的分布式训练，在数据不出本地的情况下完成全部流程，保护了监控数据的安全与用户隐私。
附图说明
[0048]
图1为行人追踪流程图。
[0049]
图2为跨模态处理模块工作流程图。
[0050]
图3为行人特征提取模块训练过程示意图。
具体实施方式
[0051]
下面结合附图对本发明作进一步说明。
[0052]
实施例1：
[0053]
一种基于联邦学习与边缘计算的行人追踪方法，包括以下步骤：
[0054]
步骤一，检测获取行人图像；
[0055]
步骤二，对行人图像进行跨模态处理；
[0056]
步骤三，提取行人特征；
[0057]
步骤四，匹配特征，确定目标行人。
[0058]
实施例2：
[0059]
一种基于联邦学习与边缘计算的行人追踪方法，包括以下步骤：
[0060]
步骤一，检测获取行人图像；具体为：
[0061]
11)对待检测视频进行处理，得到若干视频帧图像；
[0062]
12)将视频文件的每一视频帧图像输入行人追踪网络中，通过行人追踪网络确定当前帧图像中是否出现行人，如果检测到行人，则获取并输出该行人图像；
[0063]
步骤二，对行人图像进行跨模态处理；
[0064]
所述跨模态处理的具体流程为：
[0065]
21)判断图像数据类型：如果为rgb图像，执行步骤22)，如果为ir图像，执行步骤 23)；
[0066]
22)将rgb图像转换为灰度图像，此时图像为单通道，创建第二个通道并将第二个通道填充满0值；
[0067]
23)将ir图像自身作为第二个通道，将第一个通道填充满0值；
[0068]
24)经过步骤22)或者步骤23)处理后的图像数据统一为双通道结构并输出至步骤三中进行行人特征提取。
[0069]
步骤三，提取行人特征；具体流程为：
[0070]
31)将待查询行人图像与从视频中检测得到并经过跨模态处理的行人图像分别输入到训练好的基于联邦学习与边缘计算的特征提取模型中；
[0071]
32)特征提取模型分别提取出待查询行人图像和各检测行人图像的特征向量。
[0072]
步骤四，匹配特征，确定目标行人；具体流程为：
[0073]
41)将待查询图像的特征向量分别与视频中检测到的行人图像的特征向量进行对比，计
[0074]
算特征相似度；所述特征相似度计算公式为：
[0075][0076]
其中，x为待查询行人的特征，y为视频图像中检测出来的行人图像的特征，n为特征维度，t
x,y
为两特征之间的余弦值
[0077]
42)将满足相似度阈值的检测图像中的行人作为视频中的目标行人。
[0078]
本发明的进一步说明，所述特征提取模型训练过程中需要用到云服务器、边缘服务器与数据采集设备；所述边缘服务器与云服务器进行信息传递时使用同态加密算法对数据进行加密之后再进行传输。
[0079]
实施例3：
[0080]
一种基于联邦学习与边缘计算的行人追踪方法，包括以下步骤：
[0081]
步骤一，检测获取行人图像；具体包括：
[0082]
11)对待检测视频进行处理，得到若干视频帧图像；
[0083]
12)将视频文件的每一视频帧图像输入行人追踪网络中，通过行人追踪网络确定当前帧图像中是否出现行人，如果检测到行人，则获取并输出该行人图像；
[0084]
步骤二，对行人图像进行跨模态处理；
[0085]
所述跨模态处理的具体流程为：
[0086]
21)判断图像数据类型：如果为rgb图像，执行步骤22)，如果为ir图像，执行步骤 23)；
[0087]
22)将rgb图像转换为灰度图像，此时图像为单通道，创建第二个通道并将第二个通道填充满0值；
[0088]
23)将ir图像自身作为第二个通道，将第一个通道填充满0值；
[0089]
24)经过步骤22)或者步骤23)处理后的图像数据统一为双通道结构并输出至步骤三中进行行人特征提取。
[0090]
步骤三，提取行人特征；具体流程为：
[0091]
31)将待查询行人图像与从视频中检测得到并经过跨模态处理的行人图像分别输入到训练好的基于联邦学习与边缘计算的特征提取模型中；
[0092]
32)特征提取模型分别提取出待查询行人图像和各检测行人图像的特征向量。
[0093]
所述特征提取模型训练过程中需要用到云服务器、边缘服务器与数据采集设备；所述边缘服务器与云服务器进行信息传递时使用同态加密算法对数据进行加密之后再进行传输。
[0094]
所述特征提取模型的训练方法通过知识蒸馏及权重分配进行优化；
[0095]
所述知识蒸馏的优化方法为，首先将一个数据集作为共享数据集，云服务器将共享数据集与初始化的模型参数一起分发给边缘服务器，每个边缘服务器使用本地数据训练得到的本地模型对共享数据集进行预测，得到预测标签；之后上传本地模型更新后的权重与得到的预测标签，云服务器将收到的预测标签进行加权平均；最后，云服务器使用共享数据集与预测标签对联邦模型进行训练，减少模型的不稳定，并使模型更好的收敛；
[0096]
所述权重分配的优化方法为，使用余弦距离作为度量标准，对每次训练中参数变化越大的本地模型，分配更大的权重，使更多新学到的知识反映在全局模型中；具体流程为：
[0097]
51)边缘服务器从本地训练数据中随机选择一组训练数据d
batch
；
[0098]
52)下一轮训练中，边缘服务器收到云服务器下发的模型参数，将全局模型与上一轮训练得到的本地分类器连接起来形成新的本地模型，将本地模型参数与d
batch
保存为日志
[0099]
53)边缘服务器继续训练得到新的本地模型将新的模型参数与 d
batch
保存为日志
[0100]
54)边缘服务器通过对d
batch
中每个数据点的余弦距离求平均值来计算权重计算公式如下：
[0101][0102]
55)边缘服务器将权重上传至云服务器，云服务器使用其作为各个模型加权平均的权重值。
[0103]
步骤四，匹配特征，确定目标行人；具体流程为：
[0104]
41)将待查询图像的特征向量分别与视频中检测到的行人图像的特征向量进行对比，计
[0105]
算特征相似度；所述特征相似度计算公式为：
[0106][0107]
其中，x为待查询行人的特征，y为视频图像中检测出来的行人图像的特征，n为特征维度，t
x，y
为两特征之间的余弦值；
[0108]
42)将满足相似度阈值的检测图像中的行人作为视频中的目标行人。
[0109]
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。