一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种基于区块链的电子商务业务分析模型的训练方法与流程

2022-05-27 02:04:58 来源:中国专利 TAG:


1.本发明涉及电子商务技术领域,特别涉及一种基于区块链的电子商务业务分析模型的训练方法。


背景技术:

2.近年来,跨境电商机构在贸易链条中价值不断加强。通过模式、服务、技术的不断创新,跨境电商平台水平不断升级,目前可以提供包括贸易结算、业务分析、信用担保、增值类的保值避险、财务管理等多种评定服务,且各种评定服务的评定模型均是由电商平台各自基于平台内部的数据进行训练获得的,由此就会造成评定模型的训练不够准确,进而造成后续评定服务不够准确、可靠的问题。


技术实现要素:

3.有鉴于此,本发明提供了一种基于区块链的电子商务业务分析模型的训练方法,主要目的在于解决目前存在的模型训练不够准确可靠的问题。
4.为解决上述问题,本技术提供一种基于区块链的电子商务业务分析模型的训练方法,包括:
5.分别基于各业务类型的第一业务数据,对初始神经网络模型的初始神经网络结构进行剪枝处理,获得与各业务类型对应的第一神经网络结构,并将各所述第一神经网络结构存储至区块链中;
6.从区块链获取各第二节点上传的与目标业务类型对应的第二神经网络模型;其中,各所述第二神经网络模型是由第二节点基于目标业务类型的第二业务数据,对与所述目标业务类型对应的第一神经网络结构的第一神经网络模型进行模型训练所获得的;
7.基于与目标业务类型对应的各所述第二神经网络模型,获得与所述目标业务类型对应的目标神经网络模型。
8.可选的,所述分别基于各业务类型的业务数据,对初始神经网络模型的初始神经网络结构进行剪枝处理,获得与各业务类型对应的第一神经网络结构,具体包括:
9.分别基于各业务类型的第一业务数据,对所述初始神经网络模型中的各网络节点的初始参数进行优化,获得与业务类型对应的各网络节点的当前参数;
10.至少基于与业务类型对应的各网络节点的所述当前参数以及所述初始参数,对初始神经网络结构中的网络节点进行剪枝处理,获得与各业务类型对应第一神经网络结构。
11.可选的,所述方法还包括:基于各业务类型的业务数据的数量,确定与各业务类型对应的剪枝比例;
12.所述至少基于与业务类型对应的各网络节点的所述当前参数以及所述初始参数,对初始神经网络结构中的网络节点进行剪枝处理,获得与各业务类型对应第一神经网络结构,具体包括:
13.基于与业务类型对应的各网络节点的所述当前参数以及所述初始参数,确定与各
网络节点对应的参数变化量;
14.基于各网络节点的参数变化量的高低顺序,按照与业务类型对应的剪枝比例对网络节点进行剪枝处理,获得与各业务类型对应的第一神经网络结构。
15.可选的,所述将各所述第一神经网络结构存储至区块链中,具体包括:
16.基于各所述第一神经网络结构确定与各所述第一神经网络结构对应的剪枝矩阵;
17.将所述初始神经网络模型的初始神经网络结构、各所述剪枝矩阵以及剪枝矩阵与业务类型的对应关系存储至所述区块链中。
18.可选的,所述从区块链获取各第二节点上传的与目标业务类型对应的第二神经网络模型,具体包括:
19.从区块链获取各第二节点上传的与目标业务类型对应的各模型参数,以获得与目标业务类型对应的各第二神经网络模型。
20.可选的,所述基于与目标业务类型对应的各所述第二神经网络模型,获得与所述目标业务类型对应的目标神经网络模型,具体包括:
21.基于与目标业务类型对应的各所述第二神经网络模型的模型参数,计算获得目标模型参数;
22.基于所述目标模型参数获得与目标业务类型对应的所述目标神经网络模型。
23.可选的,所述方法还包括:将所述目标模型参数以及所述目标模型参数与所述目标业务类型的对应关系存储至区块链中,以将与目标业务类型对应的所述目标神经网络模型存储至所述区块链中。
24.为解决上述问题,本技术提供一种基于区块链的电商业务分析模型的训练方法,包括:
25.基于各目标业务数据的目标业务类型,从区块链获取与目标业务类型对应的第一神经网络结构,以获得与目标业务类型对应的第一神经网络模型;其中,所述第一神经网络模型是由第一节点基于目标业务类型的第一业务数据,对初始神经网络模型的初始神经网络结构进行剪枝处理后获得、并存储至所述区块链的;
26.基于所述目标业务数据对与所述目标业务类型对应的第一神经网络模型进行模型训练,获得与所述目标业务类型对应的第二神经网络模型;
27.将所述第二神经网络模型以及第二神经网络模型与目标业务类型的对应关系存储至区块链中。
28.可选的,所述基于各目标业务数据的目标业务类型,从区块链获取与目标业务类型对应的第一神经网络结构,以获得与目标业务类型对应的第一神经网络模型,具体包括:
29.从区块链获取初始神经网络模型的初始神经网络结构;所述初始神经网络模型的初始神经网络结构是由第一节点上传至所述区块链的;
30.基于各目标业务数据的目标业务类型,从区块链获取与目标业务类型对应的剪枝矩阵;所述剪枝矩阵以及剪枝矩阵与业务类型的对应关系是由所述第一节点上传至所述区块链的;
31.基于所述剪枝矩阵以及所述初始神经网络结构,获得第一神经网络结构,以获得所述第一神经网络模型。
32.为解决上述问题,本技术提供一种存储介质,所述存储介质存储有计算机程序,所
述计算机程序被处理器执行时实现上述任一项所述基于区块链的电商业务分析模型的训练方法的步骤。
33.为解决上述问题,本技术提供一种基于区块链的电商业务分析模型的训练装置,包括:
34.剪枝处理模块,用于分别基于各业务类型的第一业务数据,对初始神经网络模型的初始神经网络结构进行剪枝处理,获得与各业务类型对应的第一神经网络结构,并将各所述第一神经网络结构存储至区块链中;
35.获取模块,用于从区块链获取各第二节点上传的与目标业务类型对应的第二神经网络模型;其中,各所述第二神经网络模型是由第二节点基于目标业务类型的第二业务数据,对与所述目标业务类型对应的第一神经网络结构的第一神经网络模型进行模型训练所获得的;
36.第一获得模块,用于基于与目标业务类型对应的各所述第二神经网络模型,获得与所述目标业务类型对应的目标神经网络模型。
37.为解决上述问题,本技术提供一种基于区块链的电商业务分析模型的训练装置,包括:
38.第二获得模块,用于基于各目标业务数据的目标业务类型,从区块链获取与目标业务类型对应的第一神经网络结构,以获得与目标业务类型对应的第一神经网络模型;其中,所述第一神经网络模型是由第一节点基于目标业务类型的第一业务数据,对初始神经网络模型的初始神经网络结构进行剪枝处理后获得、并存储至所述区块链的;
39.训练模块,用于基于所述目标业务数据对与所述目标业务类型对应的第一神经网络模型进行模型训练,获得与所述目标业务类型对应的第二神经网络模型;
40.存储模块,用于将所述第二神经网络模型以及第二神经网络模型与目标业务类型的对应关系存储至区块链中。
41.本技术中的方法,通过由金融机构对应的第一节点对初始神经网络模型进行剪枝处理,获得与业务类型对应的第一神经网络结构、并将第一神经网络结构存储至区块链中,在接下来的优化训练过程中,各电商平台对应的第二节点就可以从区块链上获取各第一神经网络结构,然后按照相应业务类型的业务数据对第一神经网络模型进行模型训练,获得与业务类型对应的第二神经网络模型,并将第二神经网络模型存储至区块链中,由此第一节点就可以根据与业务类型对应的各第二神经网络模型来确定出相应的目标神经网络模型,进而使得目标神经网络模型的训练更加准确、可靠,在保障各电商平台内部隐私不泄露的前提下实现协同建模,提升了业务分析模型的精确度。
42.上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
43.通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
44.图1为本技术实施例一种基于区块链的电子商务业务分析模型的训练方法的流程图;
45.图2为本技术又一实施例一种基于区块链的电子商务业务分析模型的训练方法的流程图。
具体实施方式
46.此处参考附图描述本技术的各种方案以及特征。
47.应理解的是,可以对此处申请的实施例做出各种修改。因此,上述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本技术的范围和精神内的其他修改。
48.包含在说明书中并构成说明书的一部分的附图示出了本技术的实施例,并且与上面给出的对本技术的大致描述以及下面给出的对实施例的详细描述一起用于解释本技术的原理。
49.通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本技术的这些和其它特性将会变得显而易见。
50.还应当理解,尽管已经参照一些具体实例对本技术进行了描述,但本领域技术人员能够确定地实现本技术的很多其它等效形式。
51.当结合附图时,鉴于以下详细说明,本技术的上述和其他方面、特征和优势将变得更为显而易见。
52.此后参照附图描述本技术的具体实施例;然而,应当理解,所申请的实施例仅仅是本技术的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本技术模糊不清。因此,本文所申请的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本技术。
53.本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本技术的相同或不同实施例中的一个或多个。
54.本技术实施例提供一种基于区块链的电子商务业务分析模型的训练方法,本实施例中方法应用于区块链中金融机构所对应的第一节点。本技术中可以预先由金融机构/管理机构以及各电商平台等共同构建一条区块链,各机构平台分别对应区块链中的一个节点。其中,金融机构/管理机构对应于区块链中的第一节点,各电商平台对应于区块链中的第二节点。本实施例中的方法应用于区块链中的第一节点,如图1所示,本实施例中的方法包括如下步骤:
55.步骤s101,分别基于各业务类型的第一业务数据,对初始神经网络模型的初始神经网络结构进行剪枝处理,获得与各业务类型对应的第一神经网络结构,并将各所述第一神经网络结构存储至区块链中;
56.本步骤在具体实施过程中,业务类型具体可以包括如下任意一种电商业务分析、信用担保业务、增值预测业务。金融机构/管理机构对应的第一节点,也可以称其为中心节点,第一节点/中心节点可以首先确定神经网络架构,即确定初始神经网络结构、以及所对应的初始神经网络模型,并完成模型参数初始化以及设置网络剪枝超参数,并将初始神经
网络模型的模型结构与超参数上传至区块链网络当中。随后第一节点利用各种业务类型的业务数据对初始神经网络模型进行预训练/优化训练,然后根据预训练后的各网络节点参数的变化大小,来对初始神经网络结构进行剪枝处理,即去除一部分网络参数变化不大的节点,获得与业务类型对应的第一神经网络结构。也就是,第一节点可以分别基于各业务类型的第一业务数据,对所述初始神经网络模型中的各网络节点的初始参数进行优化训练,获得与业务类型对应的各网络节点的当前参数;然后至少基于与业务类型对应的各网络节点的所述当前参数以及所述初始参数,对初始神经网络结构中的网络节点进行剪枝处理,获得与各业务类型对应第一神经网络结构。本步骤在具体实施过程中,第一节点具体可以基于第一神经网络结构获取相应的剪枝矩阵,然后将剪枝矩阵以及剪枝矩阵与业务类型的对应关系存储至区块链中,以此来减少存储占用量。
57.步骤s102,从区块链获取各第二节点上传的与目标业务类型对应的第二神经网络模型;其中,各所述第二神经网络模型是由第二节点基于目标业务类型的第二业务数据,对与所述目标业务类型对应的第一神经网络结构的第一神经网络模型进行模型训练所获得的;
58.本步骤中第一节点在将与各业务类型对应的第一神经网络结构存储至区块链之后,各电商平台对应的第二节点就可以从区块链获取各第一神经网络结构,然后利用相应业务类型的业务数据对第一神经网络结构的模型进行模型训练,获得第二神经网络模型,然后各电商平台将第二神经网络模型以及第二神经网络模型与业务类型的对应关系存储至区块链中,以便于第一节点能够从区块链中获取各第二网络节点上传的各第二神经网络模型。
59.步骤s103,基于与目标业务类型对应的各所述第二神经网络模型,获得与所述目标业务类型对应的目标神经网络模型。
60.本步骤中第一节点在获取到各第二神经网络模型之后,就可以基于业务类型对同一业务类型所对应的各第二神经网络模型进行综合计算,获得与业务类型对应的目标神经网络模型。
61.例如可以基于目标损失函数来获得目标神经网络模型,其中目标损失函数为:
[0062][0063]
其中,其中n,m分别表示参与训练的电商个数与每个电商的总任务数,表示每个电商数据量占比,ln表示第n个客户端的损失函数,dm表示每类任务的数据集。
[0064]
本实施例中通过由金融机构对应的第一节点对初始神经网络模型进行剪枝处理,获得与业务类型对应的第一神经网络结构、并将第一神经网络结构存储至区块链中,在接下来的优化训练过程中,各电商平台对应的第二节点就可以从区块链上获取各第一神经网络结构,然后按照相应业务类型的业务数据对第一神经网络模型进行模型训练,获得与业务类型对应的第二神经网络模型,并将第二神经网络模型存储至区块链中,由此第一节点就可以根据与业务类型对应的各第二神经网络模型来确定出相应的目标神经网络模型,进而使得目标神经网络模型的训练更加准确、可靠,在保障各电商平台内部隐私不泄露的前
提下实现协同建模,提升了业务分析模型的精确度。
[0065]
在上述实施例的基础上,本技术又一实施例提供一种基于区块链的电子商务业务分析模型的训练方法,具体包括如下步骤:
[0066]
步骤s201,分别基于各业务类型的第一业务数据,对所述初始神经网络模型中的各网络节点的初始参数进行优化,获得与业务类型对应的各网络节点的当前参数;
[0067]
本步骤在具体实施过程中,可以预先确定一原始的业务分析模型以及其神经网络架构,即确定原始神经网络模型,并完成模型初始化,然后第一节点可以利用本地的各类型的业务数据对该原始神经网络模型进行进行多任务预热,即利用第一节点的本地业务数据来对原始神经网络模型进行模型预训练,以获得所述初始神经网络模型,在一段实际的训练后再进行步骤s201,由此可以显著提高模型的优化/训练速度。
[0068]
步骤s202,基于与业务类型对应的各网络节点的所述当前参数以及所述初始参数,确定与各网络节点对应的参数变化量;
[0069]
本步骤中,在获得各网络节点的当前参数后,就可以将当前参数与初始参数进行对比,来确定参数变化绝对值,以此来获得参数变化量。
[0070]
步骤s203,基于各网络节点的参数变化量的高低顺序,按照与业务类型对应的剪枝比例对网络节点进行剪枝处理,获得与各业务类型对应的第一神经网络结构。
[0071]
本步骤中,进行剪枝处理之前,可以先确定与业务类型对应的剪枝比例k%,k值可以按照任务量进行设置,通常任务数越多剪枝百分比k越大。
[0072]
在获得参数变化量之后,就可以根据参数变化的大小进行排序,然后将选取参数变化最小的k%节点进行剪枝,以此来获得与各业务类型对应的第一神经网络结构。
[0073]
步骤s204,基于各所述第一神经网络结构确定与各所述第一神经网络结构对应的剪枝矩阵;
[0074]
本步骤在具体实施过程中将剪枝后的网络结构按照01矩阵m存储,保留的网络节点存为1,被剪枝的节点存为0,即获得01矩阵类型的剪枝矩阵。
[0075]
步骤s205,将所述初始神经网络模型的初始神经网络结构、各所述剪枝矩阵以及剪枝矩阵与业务类型的对应关系存储至所述区块链中;
[0076]
本步骤中,第一节点在获得与各业务类型的剪枝矩阵之后,就可以将剪枝矩阵以及剪枝矩阵与业务类型的对应关系上传至区块链进行存储,本步骤中,通过存储剪枝矩阵的这种存储方式可以大幅度降低存储空间,在上传时也降低了网络传输成本。此时神经网络结构可以写为nω)=ω

m。其中

表示点乘。本步骤中,第一节点通过将各业务类型的网络结构01矩阵与超参数上传至区块链网络中,后续所有参与数据共享与协同计算的电商平台(第二节点)均可以获取,为后续数据协同共享、协同训练获得目标神经网络模型奠定了基础。
[0077]
步骤s206,从区块链获取各第二节点上传的与目标业务类型对应的各模型参数,以获得与目标业务类型对应的各第二神经网络模型,其中,各所述第二神经网络模型是由第二节点基于目标业务类型的第二业务数据,对与所述目标业务类型对应的第一神经网络结构的第一神经网络模型进行模型训练所获得的;
[0078]
本步骤中,第一节点在将剪枝矩阵以及剪枝矩阵与业务类型的对应关系上传至区块链之后,各电商平台对应的第二节点会从该区块链获取各剪枝矩阵,以获得剪枝后的第
一神经网络模型,然后利用第二节点本地的相应业务类型的业务数据对第一神经网络模型进行训练,以此来获得第二神经网络模型,并将所述第二神经网络模型以及第二神经网络模型与目标业务类型的对应关系存储至区块链中。
[0079]
步骤s207,基于与目标业务类型对应的各所述第二神经网络模型的模型参数,计算获得目标模型参数;基于所述目标模型参数获得与目标业务类型对应的所述目标神经网络模型。
[0080]
本步骤在具体实施过程中,例如可以基于目标损失函数来获得目标神经网络模型,其中目标损失函数为:
[0081][0082]
其中,其中n,m分别表示参与训练的电商个数与每个电商的总任务数,表示每个电商数据量占比,ln表示第n个客户端的损失函数,dm表示每类任务的数据集。
[0083]
步骤s208,将所述目标模型参数以及所述目标模型参数与所述目标业务类型的对应关系存储至区块链中,以将与目标业务类型对应的所述目标神经网络模型存储至所述区块链中。
[0084]
本步骤中,在获得目标神经网络模型后,就可以将目标神经网络的模型参数以及模型参数与业务类型的对应关系存储至区块链中,后续各第二节点就可以从该区块链中获取相应的模型参数以此来获得目标神经网络模型,实现目标神经网络模型的协同训练以及共享,由此使得目标神经网络模型的训练更加精准、可靠,为后续准确的进行业务分析提供了保障。
[0085]
在上述实施例的基础上,本技术又一实施例提供一种基于区块链的电子商务业务分析模型的训练方法。本实施例中方法应用于电商平台所对应的第二节点。本技术中可以预先由金融机构/管理机构以及各电商平台等共同构建一条区块链,各机构平台分别对应区块链中的一个节点。其中,金融机构/管理机构对应于区块链中的第一节点,各电商平台对应于区块链中的第二节点。本实施例中的方法应用于区块链中的第二节点,如图2所示,本实施例中的方法包括如下步骤:
[0086]
步骤s301,基于各目标业务数据的目标业务类型,从区块链获取与目标业务类型对应的第一神经网络结构,以获得与目标业务类型对应的第一神经网络模型;其中,所述第一神经网络模型是由第一节点基于目标业务类型的第一业务数据,对初始神经网络模型的初始神经网络结构进行剪枝处理后获得、并存储至所述区块链的;
[0087]
本步骤中,各第二节点在对各第一神经网络模型进行优化训练之前,需要先从根据业务类型,从区块链获取与业务类型对应的第一神经网络的第一神经网络结构。具体的,可以根据业务类型与第一神经网络结构的对应关系来获取相应的第一神经网络模型。
[0088]
本步骤在具体实施过程中,第二节点具体可以从区块链获取初始神经网络模型的初始神经网络结构;所述初始神经网络模型的初始神经网络结构是由第一节点上传至所述区块链的;然后第二节点还需要基于各目标业务数据的目标业务类型,从区块链获取与目标业务类型对应的剪枝矩阵;所述剪枝矩阵以及剪枝矩阵与业务类型的对应关系是由所述
第一节点上传至所述区块链的;接着第二节点基于所述剪枝矩阵以及所述初始神经网络结构,获得第一神经网络结构,以获得所述第一神经网络模型。
[0089]
步骤s302,基于所述目标业务数据对与所述目标业务类型对应的第一神经网络模型进行模型训练,获得与所述目标业务类型对应的第二神经网络模型;
[0090]
本步骤中第二节点在获得各第一神经网络模型后,就可以利用本地数据对相应的第一神经网络模型进行训练,以此来获得与业务类型对应的第二神经网络模型。
[0091]
步骤s303,将所述第二神经网络模型以及第二神经网络模型与目标业务类型的对应关系存储至区块链中。
[0092]
本步骤中第二节点在利用自身的本地数据训练获得第二神经网络模型后,就可以将训练好的第二神经网络模型上传至区块链,以便于第一节点能够根据与业务类型对应的各第二神经网络模型,结合各第二神经网络模型来确定与业务类型对应的目标神经网络模型,使得目标神经网络模型的确定更加准确、可靠,同时由于各第二神经网络模型均是由各第二节点各自在本地训练完成的,由此可以保证各电商平台(第二节点)数据的隐私,不会造成数据隐私泄露的问题。
[0093]
在上述实施例的基础上,以下结合具体的应用场景进行说明,本实施例中的基于区块链的电子商务业务分析模型的训练方法包括如下步骤:
[0094]
步骤一、业务分析模型训练发布者,即中心节点/第一节点,首先会确定初始神经网络架构,并完成模型参数初始化,并设置网络剪枝超参数,随后将每类数据依次输入神经网络中进行网络预训练,作为稀疏共享网络将模型结构(初始神经网络结构)与超参上传至区块链网络当中。
[0095]
步骤二、对于任务1,例如信用担保任务,第一节点可以利用该信用担保任务对应的业务数据初始神经网络结构进行传统的神经网络优化,并利用反向传播算法对网络参数进行更新,此时本地训练损失函数为:
[0096][0097]
其中m表示本地的任务数,ω表示神经网络参数,dm表示第m类任务的数据量,lm表示第m类任务的损失函数。
[0098]
在多轮更新完成后开始对初始神经网络结构进行剪枝,记录每个网络节点参数的变化,采用参数变化的绝对值作为剪枝依据。将参数变化按照变化绝对值大小进行排序,随后选取变化最小的k%节点进行剪枝(k值可以按照任务量进行设置,通常任务数越多剪枝百分比k越大),此时特定于任务1的层只能从未剪枝节点中提取信息,这就迫使所有任务的表示嵌入到相同的隐藏空间中,随后将剪枝后的第一神经网络结构按照01矩阵m存储,保留的网络节点存为1,被剪枝的节点存为0,这种存储方式可以大幅度降低存储空间,在上传时也降低了网络传输成本。此时第一神经网络结构可以写为n(ω)=ω

m。其中

表示点乘。随后第一节点将任务1对应的第一神经网络结构01矩阵与超参数上传至区块链网络中,后续各电商平台对应的第二节点均可从区块链中获取该第一神经网络结构,进一步利用各自本地的数据对第一神经网络结构对应的模型进行模型训练。
[0099]
步骤三:重复步骤二,将任务2-n的数据依次输入神经网络中进行预训练,例如将
增值预测业务类型的业务数据或保值避险业务类型的业务数据输入初始神经网络结构,然后根据参数变化量进行剪枝处理,由此就可以获得与业务类型对应的第一神经网络结构。即得到每个任务/业务类型特定的部分神经网络结构(第一神经网络结构),并将所有网络结构和超参数上传至区块链网络当中,此时所有任务模型共享一个神经网络,每个电商平台只需要下载一个通用的神经网络模型和每类任务特定的剪枝矩阵即可,这样每类任务/每种业务类型都拥有自己的隐藏任务分层。类似的任务拥有更多重复的网络节点,可以充分利用任务间的相关性进行模型优化,而差别较大的任务网络节点也相差较多(例如用户信誉度评价任务和保值避险等任务),由此能够防止任务间的差别较大导致模型负优化。
[0100]
步骤四、最后,每个电商平台对应的第二节点可以从区块链网络中下载共享网络模型和与业务类型对应的剪枝矩阵,利用多个并行任务训练这些子网,直至收敛,多任务训练策略与传统的神经网络优化类似,通过循环任务以随机方式进行。具体训练过程为:(1)选择一个任务;(2)为该任务选择一个随机小批量数据作为网络输入;(3)将共享网络与该任务剪枝矩阵元素相乘得到任务子网络结构(即得到与任务类型/业务类型对应的第一神经网络结构),将这批数据输入进行特定任务训练;(4)通过反向传播算法更新子网络参数;即获得与业务类型对应的第二神经网络(5)返回步骤1,直至本地所有数据训练完成。
[0101]
然后各第二节点可以将训练获得的第二神经网络的网络参数上传至区块链中,区块链网络中的目标神经网络模型损失函数可以写为:
[0102][0103]
其中n,m分别表示参与训练的电商个数与每个电商的总任务数,表示每个电商数据量占比,ln表示第n个客户端的损失函数,dm表示每类任务的数据集。即通过确定各第二节点上传关于同一业务类型的第二神经网络模型的网络参数以及网络参数的权重,就综合计算出目标神经网络的目标网络参数,以此获得与该业务类型对应的目标神经网络模型。
[0104]
本实施例在实际应用中,由于网络随机初始化对剪枝和数据顺序非常敏感,为了进一步优化我们所提出的方法,在生成子网络结构之前可以先进行多任务预热,具体来说,在随机初始化之前,先利用中心节点的本地数据来对网络进行预训练,在一段实际的训练后再进行步骤一的初始化与上传,这样可以显著提高模型的优化速度。
[0105]
本实施例中的方法能够在保障电商平台内部隐私不泄露的前提下实现协同建模,共同提升神经网络的利用率和业务分析模型的精确度。通过将多个实际任务通过稀疏共享算法共享一个网络结构,即共享一个初始神经网络结构,一方面大幅度降低了构建网络所需的算力资源,另一方法也减少了隐私泄露的发生。通过网络参数的共享可以使得相近的任务利用数据间的相关性实现共同优化,使得模型的训练更加准确、可靠,同时可以防止相差较大的任务在优化时出现负迁移现象。并且由于网络参数通常较大,通过将剪枝矩阵上传至区块链而非子网结构上传可以有效降低区块链网络中的存储压力。此外,通过将区块链与多任务学习相结合,有效实现了多类业务分析模型的构建与优化。
[0106]
为解决上述问题,本技术提供一种基于区块链的电商业务分析模型的训练装置,
包括:
[0107]
剪枝处理模块,用于分别基于各业务类型的第一业务数据,对初始神经网络模型的初始神经网络结构进行剪枝处理,获得与各业务类型对应的第一神经网络结构,并将各所述第一神经网络结构存储至区块链中;
[0108]
获取模块,用于从区块链获取各第二节点上传的与目标业务类型对应的第二神经网络模型;其中,各所述第二神经网络模型是由第二节点基于目标业务类型的第二业务数据,对与所述目标业务类型对应的第一神经网络结构的第一神经网络模型进行模型训练所获得的;
[0109]
第一获得模块,用于基于与目标业务类型对应的各所述第二神经网络模型,获得与所述目标业务类型对应的目标神经网络模型。
[0110]
在具体实施过程中,剪枝处理模块具体用于:分别基于各业务类型的第一业务数据,对所述初始神经网络模型中的各网络节点的初始参数进行优化,获得与业务类型对应的各网络节点的当前参数;至少基于与业务类型对应的各网络节点的所述当前参数以及所述初始参数,对初始神经网络结构中的网络节点进行剪枝处理,获得与各业务类型对应第一神经网络结构。
[0111]
本实例中的装置还包括,剪枝比例确定模块,所述剪枝比例确定模块用于:基于各业务类型的业务数据的数量,确定与各业务类型对应的剪枝比例;所述剪枝处理模块具体用于:基于与业务类型对应的各网络节点的所述当前参数以及所述初始参数,确定与各网络节点对应的参数变化量;基于各网络节点的参数变化量的高低顺序,按照与业务类型对应的剪枝比例对网络节点进行剪枝处理,获得与各业务类型对应的第一神经网络结构。
[0112]
本实施例中还包括存储模块,所述剪枝处理模块具体用于:基于各所述第一神经网络结构确定与各所述第一神经网络结构对应的剪枝矩阵;将所述初始神经网络模型的初始神经网络结构、各所述剪枝矩阵以及剪枝矩阵与业务类型的对应关系存储至所述区块链中。
[0113]
具体的,所述获取模块具体用于:从区块链获取各第二节点上传的与目标业务类型对应的各模型参数,以获得与目标业务类型对应的各第二神经网络模型。
[0114]
本实例在具体实施过程中,所述第一获得模块,具体用于:基于与目标业务类型对应的各所述第二神经网络模型的模型参数,计算获得目标模型参数;基于所述目标模型参数获得与目标业务类型对应的所述目标神经网络模型。
[0115]
本实施例中的装置还包括存储模块,所述存储模块用于:将所述目标模型参数以及所述目标模型参数与所述目标业务类型的对应关系存储至区块链中,以将与目标业务类型对应的所述目标神经网络模型存储至所述区块链中。
[0116]
本实施例通过由金融机构对应的第一节点对初始神经网络模型进行剪枝处理,获得与业务类型对应的第一神经网络结构、并将第一神经网络结构存储至区块链中,在接下来的优化训练过程中,各电商平台对应的第二节点就可以从区块链上获取各第一神经网络结构,然后按照相应业务类型的业务数据对第一神经网络模型进行模型训练,获得与业务类型对应的第二神经网络模型,并将第二神经网络模型存储至区块链中,由此第一节点就可以根据与业务类型对应的各第二神经网络模型来确定出相应的目标神经网络模型,进而使得目标神经网络模型的训练更加准确、可靠,在保障各电商平台内部隐私不泄露的前提
下实现协同建模,提升了业务分析模型的精确度。
[0117]
为解决上述问题,本技术提供一种基于区块链的电商业务分析模型的训练装置,包括:
[0118]
第二获得模块,用于基于各目标业务数据的目标业务类型,从区块链获取与目标业务类型对应的第一神经网络结构,以获得与目标业务类型对应的第一神经网络模型;其中,所述第一神经网络模型是由第一节点基于目标业务类型的第一业务数据,对初始神经网络模型的初始神经网络结构进行剪枝处理后获得、并存储至所述区块链的;
[0119]
训练模块,用于基于所述目标业务数据对与所述目标业务类型对应的第一神经网络模型进行模型训练,获得与所述目标业务类型对应的第二神经网络模型;
[0120]
存储模块,用于将所述第二神经网络模型以及第二神经网络模型与目标业务类型的对应关系存储至区块链中。
[0121]
本实施例在具体实施过程中,所述第二获得模块具体用于:从区块链获取初始神经网络模型的初始神经网络结构;所述初始神经网络模型的初始神经网络结构是由第一节点上传至所述区块链的;基于各目标业务数据的目标业务类型,从区块链获取与目标业务类型对应的剪枝矩阵;所述剪枝矩阵以及剪枝矩阵与业务类型的对应关系是由所述第一节点上传至所述区块链的;基于所述剪枝矩阵以及所述初始神经网络结构,获得第一神经网络结构,以获得所述第一神经网络模型。
[0122]
本实施例通过通过由金融机构对应的第一节点对初始神经网络模型进行剪枝处理,获得与业务类型对应的第一神经网络结构、并将第一神经网络结构存储至区块链中,在接下来的优化训练过程中,各电商平台对应的第二节点就可以从区块链上获取各第一神经网络结构,然后按照相应业务类型的业务数据对第一神经网络模型进行模型训练,获得与业务类型对应的第二神经网络模型,并将第二神经网络模型存储至区块链中,由此第一节点就可以根据与业务类型对应的各第二神经网络模型来确定出相应的目标神经网络模型,进而使得目标神经网络模型的训练更加准确、可靠,在保障各电商平台内部隐私不泄露的前提下实现协同建模,提升了业务分析模型的精确度。
[0123]
本技术另一实施例提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如下方法步骤:
[0124]
步骤一、分别基于各业务类型的第一业务数据,对初始神经网络模型的初始神经网络结构进行剪枝处理,获得与各业务类型对应的第一神经网络结构,并将各所述第一神经网络结构存储至区块链中;
[0125]
步骤二、从区块链获取各第二节点上传的与目标业务类型对应的第二神经网络模型;其中,各所述第二神经网络模型是由第二节点基于目标业务类型的第二业务数据,对与所述目标业务类型对应的第一神经网络结构的第一神经网络模型进行模型训练所获得的;
[0126]
步骤三、基于与目标业务类型对应的各所述第二神经网络模型,获得与所述目标业务类型对应的目标神经网络模型。
[0127]
上述方法步骤的具体实施过程可参见上述任意基于区块链的电子商务业务分析模型的训练方法的实施例,本实施例在此不再重复赘述。
[0128]
本技术中通过由金融机构对应的第一节点对初始神经网络模型进行剪枝处理,获得与业务类型对应的第一神经网络结构、并将第一神经网络结构存储至区块链中,在接下
来的优化训练过程中,各电商平台对应的第二节点就可以从区块链上获取各第一神经网络结构,然后按照相应业务类型的业务数据对第一神经网络模型进行模型训练,获得与业务类型对应的第二神经网络模型,并将第二神经网络模型存储至区块链中,由此第一节点就可以根据与业务类型对应的各第二神经网络模型来确定出相应的目标神经网络模型,进而使得目标神经网络模型的训练更加准确、可靠,在保障各电商平台内部隐私不泄露的前提下实现协同建模,提升了业务分析模型的精确度。
[0129]
本技术另一实施例提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如下方法步骤:
[0130]
步骤一、基于各目标业务数据的目标业务类型,从区块链获取与目标业务类型对应的第一神经网络结构,以获得与目标业务类型对应的第一神经网络模型;其中,所述第一神经网络模型是由第一节点基于目标业务类型的第一业务数据,对初始神经网络模型的初始神经网络结构进行剪枝处理后获得、并存储至所述区块链的;
[0131]
步骤二、基于所述目标业务数据对与所述目标业务类型对应的第一神经网络模型进行模型训练,获得与所述目标业务类型对应的第二神经网络模型;
[0132]
步骤三、将所述第二神经网络模型以及第二神经网络模型与目标业务类型的对应关系存储至区块链中。
[0133]
上述方法步骤的具体实施过程可参见上述任意基于区块链的电子商务业务分析模型的训练方法的实施例,本实施例在此不再重复赘述。
[0134]
本技术中通过由金融机构对应的第一节点对初始神经网络模型进行剪枝处理,获得与业务类型对应的第一神经网络结构、并将第一神经网络结构存储至区块链中,在接下来的优化训练过程中,各电商平台对应的第二节点就可以从区块链上获取各第一神经网络结构,然后按照相应业务类型的业务数据对第一神经网络模型进行模型训练,获得与业务类型对应的第二神经网络模型,并将第二神经网络模型存储至区块链中,由此第一节点就可以根据与业务类型对应的各第二神经网络模型来确定出相应的目标神经网络模型,进而使得目标神经网络模型的训练更加准确、可靠,在保障各电商平台内部隐私不泄露的前提下实现协同建模,提升了业务分析模型的精确度。
[0135]
以上实施例仅为本技术的示例性实施例,不用于限制本技术,本技术的保护范围由权利要求书限定。本领域技术人员可以在本技术的实质和保护范围内,对本技术做出各种修改或等同替换,这种修改或等同替换也应视为落在本技术的保护范围内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献