基于联邦学习的多式联运数据共享方法及系统与流程

1.本发明涉及数据处理技术领域，尤其涉及一种基于联邦学习的多式联运数据共享方法及系统。


背景技术：

2.由两种及其以上的交通工具相互衔接、转运而共同完成的运输过程统称为复合运输，也可称之为多式联运。多式联运包括公铁联运、铁水联运、公水联运、空陆联运和组合运输等多种联运方式，以铁路货运为基础的多式联运场景，需要与公路、港口、物流园区和厂矿企业等之间进行深入的数据共享。
3.随着日益严格的数据隐私和数据安全监管要求，在加强数据治理和数据管理的同时，需要在技术上探索相关的技术措施，从而加强铁路运输部门与其它运输部门或企业之间的隐私保护。在现有的基于铁路运输的多式联运场景中，主要是通过电子数据交换(electronic data interchange，简称edi)技术，实现不同运输部门或企业之间的数据交换共享，然而，传统edi技术对于隐私保护、敏感数据处理等方面还存在不足，无法为日益严格的数据隐私和数据安全监管环境提供有效措施，导致现有多式联运数据存在隐私安全风险。
4.因此，现在亟需一种基于联邦学习的多式联运数据共享方法及系统来解决上述问题。


技术实现要素：

5.针对现有技术存在的问题，本发明提供一种基于联邦学习的多式联运数据共享方法及系统。
6.本发明提供一种基于联邦学习的多式联运数据共享方法，包括：
7.基于多式联运场景，根据联运请求方节点发送的数据共享请求进行目标节点检索，获取所述数据共享请求对应的联运参与方节点；
8.通过所述数据共享请求，构建初始全局数据模型，并确定联邦学习算法类型；
9.根据所述初始全局数据模型和所述联邦学习算法类型，通过所述联运参与方节点和所述联运参与方节点的本地数据进行联邦学习，得到训练好的全局数据模型，并将所述训练好的全局数据模型发送到所述联运请求方节点。
10.根据本发明提供的一种基于联邦学习的多式联运数据共享方法，所述通过所述数据共享请求，构建初始全局数据模型，并确定联邦学习算法类型，包括：
11.根据所述数据共享请求对应的应用场景需求类型，构建初始全局数据模型，所述应用场景需求类型包括以下至少一种：货运量预测应用场景、信用评估应用场景和客户信息预测应用场景；
12.基于所述初始全局数据模型在训练过程中所需的样本数据，确定联邦学习算法类型。
13.根据本发明提供的一种基于联邦学习的多式联运数据共享方法，所述基于所述初始全局数据模型在训练过程中所需的样本数据，确定联邦学习算法类型，包括：
14.获取所述样本数据对应的特征标签；
15.基于所述应用场景需求类型，对所述样本数据和所述特征标签进行判断，若多个不同的样本数据在多式联运场景不同的运输方式中存在相同类型的特征标签，则通过横向联邦学习算法进行联邦学习。
16.根据本发明提供的一种基于联邦学习的多式联运数据共享方法，所述方法还包括：
17.若多个相同的样本数据在多式联运场景不同的运输方式中存在不同类型的特征标签，则通过纵向联邦学习算法进行联邦学习。
18.根据本发明提供的一种基于联邦学习的多式联运数据共享方法，所述方法还包括：
19.通过非对称加密算法对样本数据进行加密对齐处理，以通过所述初始全局数据模型，根据加密对齐处理后的样本数据进行纵向联邦学习。
20.根据本发明提供的一种基于联邦学习的多式联运数据共享方法，所述基于多式联运场景，根据联运请求方节点发送的数据共享请求进行目标节点检索，获取所述数据共享请求对应的联运参与方节点，包括：
21.根据所述数据共享请求，获取多式联运场景中的运输路径；
22.对所述运输路径中每一个运输中转节点进行检索，并将检索得到的运输中转节点作为联运参与方节点，所述运输中转节点包括铁路中转节点、公路中转节点、水运中转节点和海运中转节点。
23.本发明还提供一种基于联邦学习的多式联运数据共享系统，包括：
24.联运参与方检索模块，用于基于多式联运场景，根据联运请求方节点发送的数据共享请求进行目标节点检索，获取所述数据共享请求对应的联运参与方节点；
25.联邦学习初始模型构建模块，用于通过所述数据共享请求，构建初始全局数据模型，并确定联邦学习算法类型；
26.共享数据联邦学习模块，用于根据所述初始全局数据模型和所述联邦学习算法类型，通过所述联运参与方节点和所述联运参与方节点的本地数据进行联邦学习，得到训练好的全局数据模型，并将所述训练好的全局数据模型发送到所述联运请求方节点。
27.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于联邦学习的多式联运数据共享方法。
28.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于联邦学习的多式联运数据共享方法。
29.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于联邦学习的多式联运数据共享方法。
30.本发明提供的基于联邦学习的多式联运数据共享方法及系统，针对现有多式联运数据安全共享的需求和数据共享交换过程中存在的数据隐私安全风险问题，通过联邦学习算法进行联合建模，提高了数据隐私安全，实现了多式联运数据在安全隐私保护下的数据
共享应用。
附图说明
31.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图进行简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1为本发明提供的基于联邦学习的多式联运数据共享方法的流程示意图；
33.图2为本发明提供的基于联邦学习的多式联运数据共享系统的结构示意图；
34.图3为本发明提供的电子设备的结构示意图。
具体实施方式
35.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.现有铁路运输结合其他运输模式，产生了多种形式的多式联运方式，包括公铁联运、铁水联运、空陆联运(空运与铁路联运)和组合运输(包括铁路运输、公路运输、水路运输和空中运输等运输方式)等。不同的运输方式所对应的部门或企业，目前主要还是利用传统的edi技术进行数据交换共享。随着日益严格的数据隐私和数据安全监管环境，多式联运数据传输的安全和数据隐私保护方面越来越重视，对数据的共享和应用提出了更高的要求，在隐私保护、敏感数据处理等方面提出了更高的要求，而现有edi技术无法提供有效措施，以更好地应对未来日益严格的数据隐私和数据安全监管环境。
37.并且，现有edi技术无法较为全面的实现数据共享，其针对多式联运数据交换的方式，主要是将共享数据通过数据接口的方式进行传输，导致传输的数据量有限，难以开展针对性的营销及运输组织工作。同时，对于已共享的数据并没有进行针对性的利用，导致大数据建模数据缺乏。共享的数据只有进行应用才有价值，而大数据、人工智能技术往往需要的数据涉及多个领域，需要的数据量大，而现有多式联运各方之间交换的数据是非常有限的。虽然在铁路内部相关业务系统之间，可以通过大数据相关的技术，对数据进行采集、清洗、转换和汇集之后进行应用，但数据也仅限于内部系统使用；而对于多式联运各种不同运输部门或企业之间，无法进行数据大规模的共享和交换，从而导致人工智能技术因为数据的缺乏，应用和实施比较困难。
38.图1为本发明提供的基于联邦学习的多式联运数据共享方法的流程示意图，如图1所示，本发明提供了一种基于联邦学习的多式联运数据共享方法，包括：
39.步骤101，基于多式联运场景，根据联运请求方节点发送的数据共享请求进行目标节点检索，获取所述数据共享请求对应的联运参与方节点。
40.在本发明中，以铁路运输作为多式联运的请求方进行说明，例如，在多式联运平台中，铁路运输作为主要运输模式，与其他运输模式进行结合(例如，公路运输和水路运输等)，从而构成某一货物对应的多式联运场景，即用户可通过铁路运输作为联运请求方发起
数据共享请求，使得后续联运参与方通过联邦学习算法训练得到的全局数据模型，可结合铁路运输的数据类型，实现相关的应用。
41.进一步地，通过多式联运场景中每种运输节点(如每个运输中转部门设置的服务器)，在进行数据共享时，采用联邦学习算法，使得每个节点之间只通过各自本地数据，对全局数据模型进行本地训练，在通过中心服务器对每个节点训练得到的模型参数进行聚合，再根据聚合得到的模型参数对全局数据模型进行更新，并将新的全局数据模型再次发送到各个节点进行训练，通过重复上述步骤，使得每个节点仅通过自身本地数据对全局数据模型进行训练，而不会将各自上传到中心服务器，提高了多式联运数据的共享安全。
42.在上述实施例的基础上，所述基于多式联运场景，根据联运请求方节点发送的数据共享请求进行目标节点检索，获取所述数据共享请求对应的联运参与方节点，具体包括：
43.根据所述数据共享请求，获取多式联运场景中的运输路径；
44.对所述运输路径中每一个运输中转节点进行检索，并将检索得到的运输中转节点作为联运参与方节点，所述运输中转节点包括铁路中转节点、公路中转节点、水运中转节点和海运中转节点。优选地，运输中转节点还可包括空运中转节点，即空铁联运。
45.在本发明中，可根据数据共享请求中所涉及到的货物名称、货物规格、货物数量、货物价格、货物运输目的地以及货物运输时间等信息，获取多式联运的运输方式与运输路径，例如，由于货物规格(如较大尺寸的货物)，货物在通过铁路运输之后，从数据共享请求中(例如，用户提供的需求)获取需要通过特种车辆进行联运的相关信息；同时，在数据共享请求中，包括有货物运输目的地(每个运输中转点可作为单个目的地，获取到整个运输路径中的每个子路径，如目的地为港口，存在一段铁路运输到港口的子路径，以及港口到最终目的地的子路径)、货物运输时间(货物运输时间比较充裕)以及联运方式，例如进行铁水联运。通过对数据共享请求中的货物数据进行分析，可以获取到货物的运输路径和联运方式，进而根据运输路径和联运方式，获取运输过程中涉及到的运输部门或企业，再通过多式联运平台，向这些运输部门或企业发送建模任务，通过联邦学习算法实现数据之间的共享。
46.步骤102，通过所述数据共享请求，构建初始全局数据模型，并确定联邦学习算法类型，该步骤具体包括：
47.根据所述数据共享请求对应的应用场景需求类型，构建初始全局数据模型，所述应用场景需求类型包括以下至少一种：货运量预测应用场景、信用评估应用场景和客户信息预测应用场景；除此之外，应用场景需求类型还可以包括货运营销和客户画像等大数据分析场景。
48.基于所述初始全局数据模型在训练过程中所需的样本数据，确定联邦学习算法类型。
49.在本发明中，根据多式联运中对于共享数据的应用需求，构建对应的初始全局数据模型，该应用需求可通过数据共享请求中相关信息确定，例如，数据共享请求中是针对货物规格和数量，需要结合其他节点的相关数据预测该货物在不同运输模式下的货物承载量，则构建的初始全局数据模型在完成联邦学习算法的训练过程之后，所得到训练好的模型主要是应用于货物量预测的场景。另外，在构建不同应用场景下的初始全局数据模型时，还可结合每个联运参与方节点各自本地数据(样本数据)，确定后续联邦学习算法的类型，从而选取更为合适的训练模式，得到更符合应用场景需求的全局数据模型。
50.步骤103，根据所述初始全局数据模型和所述联邦学习算法类型，通过所述联运参与方节点和所述联运参与方节点的本地数据进行联邦学习，得到训练好的全局数据模型，并将所述训练好的全局数据模型发送到所述联运请求方节点。
51.在本发明中，联邦学习算法具有支持非独立同分布数据、通信高效、快速收敛、安全性和隐私性等方面的独特特点。在支持非独立同分布数据方面，因为数据持有方(即联运参与方)的数据质量和分布是不可控的，而联邦学习算法可支持非独立同分布数据；在通信方面，联邦学习算法考虑数据持有方的系统异构性，在不损失准确率的情况下提高通信效率；在模型收敛方面，联邦学习算法在联合建模过程中，可以保证模型快速收敛；在联邦联合建模过程中，模型梯度或者参数都是通过加密等方式进行传输和聚合的，使得数据共享在安全性和隐私性方面得到进一步提升。
52.在多式联运联运场景中，本发明利用联邦学习算法，使得多式联运各方的数据保留在本地，在技术底层可基于同态加密技术、秘密共享算法和梯度交换等安全计算机制，在算法层面上支持逻辑回归和联邦迁移学习等多种算法模型，然后进行联合建模，从而实现在多式联运数据在安全隐私保护下的数据共享应用。
53.本发明提供的基于联邦学习的多式联运数据共享方法，针对现有多式联运数据安全共享的需求和数据共享交换过程中存在的数据隐私安全风险问题，通过联邦学习算法进行联合建模，提高了数据隐私安全，实现了多式联运数据在安全隐私保护下的数据共享应用。
54.在上述实施例的基础上，所述基于所述初始全局数据模型在训练过程中所需的样本数据，确定联邦学习算法类型，包括：
55.获取所述样本数据对应的特征标签；
56.基于所述应用场景需求类型，对所述样本数据和所述特征标签进行判断，若多个不同的样本数据在多式联运场景不同的运输方式中存在相同类型的特征标签，则通过横向联邦学习算法进行联邦学习。
57.在本发明中，以铁水联运场景为例，构建基于联邦学习的多式联运数据共享模型，首先，在铁水联运数据中，存在多种不同的样本数据，例如，存在多种不同货物id的样本(如货物1、货物2，
…
，货物n)，而每种货物之间存在相同类型的数据特征标签(如每种货物只有两种特征标签，特征标签1为货物规格，特征标签2为运输目的地)，即样本数据中的样本之间重叠较少，而每个样本之间的特征重叠较多。对于上述铁水联运数据，采用横向联邦算法进行联邦学习，具体步骤为：
58.步骤s11，全局数据模型初始化。在联邦学习中心服务器(可设置在多式联运平台)，首先生成初始全局数据模型和该模型的初始参数，然后向各参与数据方(即联运参与方)发送建模任务，当联运参与方确认达成协议后，开始进行联合建模，中心服务器向各个联运参与方发送并将初始全局数据模型和加密后的初始参数；
59.步骤s12，模型本地计算。当联合建模任务开始后，每个联运参与方基于自身的本地数据，在本地进行模型参数计算及训练，并使用同态加密技术、差分隐私或秘密共享算法等加密技术，对参数信息进行加密，再将加密后的参数发送给中心服务器；
60.步骤s13，模型参数信息聚合。联邦学习中心服务器接收到各个联运参与方在本地训练得到的模型参数后，选择相关的聚合算法进行聚合操作，例如，使用基于同态加密的加
权平均；
61.步骤s14，全局数据模型更新。中心服务器根据聚合后的模型参数，对上一轮训练得到全局数据模型(若上一轮为初始阶段，则对初始全局数据模型进行更新)进行更新，然后将聚合后的结果(包括更新后的全局数据模型和模型参数)返回给各个联运参与方；
62.步骤s15，迭代完成建模。各个联运参与方对接收到的模型参数进行解密，并使用解密后的模型参数结果更新本地的模型参数，然后通过本地数据再次对模型进行训练；
63.重复执行上述步骤s12至步骤s15，经过多轮持续迭代更新，直到全局数据模型参数收敛，例如，损失函数收敛、迭代次数达到预设上限次数或训练时间达到规定时间等。
64.在本发明中，联运参与方将全局数据模型的参数信息发送给中心服务器进行共享，中心服务器对接收到的模型参数据进行聚合，再将聚合后的模型参数发送给各个联运参与方，其中，在一实施例中，选取的聚合算法为计算加权平均，即模型平均。除了模型平均以外，中心服务器还可进行共享梯度信息，比如各个联运参与方将梯度信息共享给中心服务器，通过中心服务器对接收到的梯度信息进行聚合，再将聚合后的梯度信息发送给联运参与方，例如，将梯度信息进行计算加权平均，即梯度平均。
65.在上述实施例的基础上，所述方法还包括：
66.若多个相同的样本数据在多式联运场景不同的运输方式中存在不同类型的特征标签，则通过纵向联邦学习算法进行联邦学习。
67.在本发明中，在多式联运场景下，若样本数据中具有相同的货物id，该货物在不同的运输场景下具有不同的特征值，可以采用纵向联邦学习，提取多维度特征参数指标训练样本。以海铁联运场景为例进行说明，对于多式联运货物，具有相同的货物id，假设在铁路数据a具有特征x1和x2，在港口数据b具有特征x3和x4，即同样的货物在不同的运输场景中具有不同的特征标签。
68.在上述实施例的基础上，所述方法还包括：
69.通过非对称加密算法对样本数据进行加密对齐处理，以通过所述初始全局数据模型，根据加密对齐处理后的样本数据进行纵向联邦学习。
70.在本发明中，首先需要使用一种基于加密的货物id对齐技术，例如，rsa算法，对海铁联运数据进行加密实体对齐，然后，再通过加密对齐后的数据进行纵向联邦学习。具体步骤为：
71.步骤s21，建立一个协调方c，通过该协调方c创建密钥对，并将公共密钥分别发送给铁路方a(即联运请求方)和港口方b(即联运参与方)；
72.步骤s22，铁路方a和港口方b在接收到全局数据模型后，分别对各自相关的中间结果进行计算，并对中间结果进行加密和交换，其中，中间结果用于计算梯度和损失值；
73.步骤s23，铁路方a和港口方b分别计算各自加密后的梯度信息，并在分别加入附加掩码(additional mask)后发送至协调方c；同时，港口方b还会计算加密后损失，并将加密后的损失发送；。铁路方a和港口方b将加密的结果发送给协调方c；
74.步骤s24，协调方c方对接收到的梯度信息和损失信息进行加密，并将加密结果发送回铁路方a和港口方b；铁路方a和港口方b解除梯度信息上的掩码，并根据这些梯度信息来更新模型参数。通过纵向联邦学习算法，使得整个过程中联运参与方不会直接获取到对方的数据和相关特征，从而对数据隐私进行了保护，同时，在进行预测应用时，各方通过协
作完成整个预测过程，提高了模型预测效果。
75.下面对本发明提供的基于联邦学习的多式联运数据共享系统进行描述，下文描述的基于联邦学习的多式联运数据共享系统与上文描述的基于联邦学习的多式联运数据共享方法可相互对应参照。
76.图2为本发明提供的基于联邦学习的多式联运数据共享系统的结构示意图，如图2所示，本发明提供了一种基于联邦学习的多式联运数据共享系统，包括联运参与方检索模块201、联邦学习初始模型构建模块202和共享数据联邦学习模块203，其中，联运参与方检索模块201用于基于多式联运场景，根据联运请求方节点发送的数据共享请求进行目标节点检索，获取所述数据共享请求对应的联运参与方节点；联邦学习初始模型构建模块202用于通过所述数据共享请求，构建初始全局数据模型，并确定联邦学习算法类型；共享数据联邦学习模块203用于根据所述初始全局数据模型和所述联邦学习算法类型，通过所述联运参与方节点和所述联运参与方节点的本地数据进行联邦学习，得到训练好的全局数据模型，并将所述训练好的全局数据模型发送到所述联运请求方节点。
77.本发明提供的基于联邦学习的多式联运数据共享系统，针对现有多式联运数据安全共享的需求和数据共享交换过程中存在的数据隐私安全风险问题，通过联邦学习算法进行联合建模，提高了数据隐私安全，实现了多式联运数据在安全隐私保护下的数据共享应用。
78.本发明提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
79.图3为本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(communications interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行基于联邦学习的多式联运数据共享方法，该方法包括：基于多式联运场景，根据联运请求方节点发送的数据共享请求进行目标节点检索，获取所述数据共享请求对应的联运参与方节点；通过所述数据共享请求，构建初始全局数据模型，并确定联邦学习算法类型；根据所述初始全局数据模型和所述联邦学习算法类型，通过所述联运参与方节点和所述联运参与方节点的本地数据进行联邦学习，得到训练好的全局数据模型，并将所述训练好的全局数据模型发送到所述联运请求方节点。
80.此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
81.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序
指令被计算机执行时，计算机能够执行上述各方法所提供的基于联邦学习的多式联运数据共享方法，该方法包括：基于多式联运场景，根据联运请求方节点发送的数据共享请求进行目标节点检索，获取所述数据共享请求对应的联运参与方节点；通过所述数据共享请求，构建初始全局数据模型，并确定联邦学习算法类型；根据所述初始全局数据模型和所述联邦学习算法类型，通过所述联运参与方节点和所述联运参与方节点的本地数据进行联邦学习，得到训练好的全局数据模型，并将所述训练好的全局数据模型发送到所述联运请求方节点。
82.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于联邦学习的多式联运数据共享方法，该方法包括：基于多式联运场景，根据联运请求方节点发送的数据共享请求进行目标节点检索，获取所述数据共享请求对应的联运参与方节点；通过所述数据共享请求，构建初始全局数据模型，并确定联邦学习算法类型；根据所述初始全局数据模型和所述联邦学习算法类型，通过所述联运参与方节点和所述联运参与方节点的本地数据进行联邦学习，得到训练好的全局数据模型，并将所述训练好的全局数据模型发送到所述联运请求方节点。
83.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
84.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
85.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。