基于粒子群算法优化的神经网络预测方法与流程

1.本发明涉及预测方法技术领域，具体为基于粒子群算法优化的神经网络预测方法。


背景技术：

2.随着工业互联网以及通信技术的快速发展，工业互联网平台的市场竞争日趋激烈，如何最大限度地挽留存量客户、抢占新增客户市场，是工业互联网平台最关注的问题之一，对于工业互联网平台而言，存量客户流失会带来一系列问题，如市场份额下降、营销费用增加、利润下滑，在发展新增客户的同时，如何挽留更多的存量客户，是一项至关重要的工作，据市场部门分析，发展新增客户的成本大约是维护存量客户费用的5倍，客户在网时间越长，其价值越高，存量客户为工业互联网平台带来的利润甚至达到新增客户的16倍，降低客户流失率可极大程度地降低营销成本并减少利润损失。但是客户流失在一般情况下无法完全避免，但是工业互联网平台可通过设计精准营销方案，降低客户流失率。
3.航天云网工业互联网平台——indics平台提供覆盖产业链全过程合全要素的生产性服务，indics平台是新一代工业操作系统，新一代平台体系，新一代模型的系统工程，自主可控的新一代航天云基础服务，新赋能业态特征的国家级跨行业跨领域工业互联网平台，平台通过龙头企业带动中小企业上云、区域公司牵引企业上云等方式汇聚了34万企业用户，为帮助工业互联网平台对潜在流失客户及时做出预警并进行挽留，本发明提出了以工业互联网平台客户为研究对象，对市场业务进行分析，对客户数据进行预处理，利用粒子群算法对神经网络进行优化，构建航天云网indics工业互联网平台客户流失预警模型，并通过脱敏数据集验证了该模型构建方法的可行性和高效性。
4.本发明给出了影响客户是否流失的重要特征属性指标、客户流失预测方法，同时给出客户流失的可能性系数，帮助工业互联网平台提前对流失可能性较高的客户做出挽回营销策略，有力的抢占市场份额，减少营销成本。


技术实现要素：

5.针对现有技术的不足，本发明提供了基于粒子群算法优化的神经网络预测方法，以indics工业互联网平台用户为研究对象，研究和分析了利用indics平台用户脱敏数据，利用基于relief过滤法的特征选择筛选重要特征属性，并通过构建基于bp神经网络预测模型以及基于粒子群改进算法的神经网络预测模型，对indics平台用户存量客户做出流失预警，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：基于粒子群算法优化的神经网络预测方法，包括以下步骤：
7.s1、根据业务需求确定bp神经网络结构，并确定神经网络的具体层数，以及隐藏节点的数量相关参数的初始取值；
8.s2、对粒子群粒子编码，建立粒子群与权值和阈值之间的映射关系；
9.s3、对粒子群的粒子个数、速度和位置进行初始化，并设置粒子群算法的惯性权重，学习因子相关参数；
10.s4、计算网络的适应度函数，并更新粒子的速度和位置；
11.s5、如果符合初始判断条件，到达足够好的位置或最大迭代次数，则将当前粒子群的种群极值作为最优解，如果不符合设置的初始判断条件，则上一步开始新的训练；
12.s6、将当前的最优解解转换成神经网络相对应的权值和阈值，使用它们对bp网络的参数进行赋值，重新进行学习训练直到达到初始设置的性能要求，从而得到最终的预测方法。
13.进一步优化本技术方案，所述步骤s4中，pso-bp算法是利用pso算法来训练网络，得到均方误差来优化bp神经网络的权值和阈值。
14.进一步优化本技术方案，建立电indics平台用户流失预测指标体系，通过对已经流失客户的信息进行分析，提取有针对性的数据集进行数据分析来构建预测模型，结合indics平台业务上的需求，对于流失用户和正常用户作定义。
15.进一步优化本技术方案，合理分析流失用户和正常用户信息，为排除噪声数据干扰，在提取数据集时需排除平台测试用户和平台试用用户。
16.进一步优化本技术方案，所述indics平台特征属性包括用户名称、性别、年龄、用户身份、和用户户arpu值，选择基于relief算法利用相关度来衡量特征属性，相关度可以看作每个特征属性的权值，利用relief算法选择重要特征属性时，可以指定一个阈值τ，只需选择比τ大的相关度对应的特征值，也可以指定想要选择的特征个数n，然后选择相关度最大的n个特征。
17.进一步优化本技术方案，relief利用假设区间的方法用相关度对特征属性进行评判，假设区间指在保持样本分类不变的情况下，决策面能够移动的最大距离，可以表示为：
[0018][0019]
其中，m(x)、h(x)指的是与x同类的和与x非同类的最近邻点。
[0020]
进一步优化本技术方案，设训练集d为(x1，y1)，(x2，y2)，...，(xm，ym)，对每个样本xi，计算与xi同类别的最近邻xh，然后计算与xi非同类别的最近邻xm，则属性j对应的相关度为：
[0021][0022]
其中，代表样本xa在属性j上的取值。
[0023]
进一步优化本技术方案，所述bp神经网络分为输入层、隐含层和输出层三部分，输入层从外部接受信号，输入信号由输入层依次通过各隐含层，然后传到输出层，输出层把神经网络处理后的信号息传向外部。
[0024]
进一步优化本技术方案，基于粒子群算法(pso)改进的indics平台用户流失预测方法，是通过分析传统bp网络中的缺陷，选用粒子群算法来对bp网络进行优化，并利用pso算法来改善其缺陷。
[0025]
进一步优化本技术方案，基于pso-bp的indics平台用户流失预测方法的构建，主
要分为下主要几部分：
[0026]
1)构建传统bp神经网络：确定神经网络结构，并设置网络的层数、隐藏节点数等相关参数；
[0027]
2)利用粒子群算法优化bp神经网络：对粒子群进行编码，单个粒子表示权值和阈值的取值，随后再用粒子群算法优化这些参数；
[0028]
3)对bp神经网络进行二次训练：将经过pso算法优化得到的权值和阈值赋值给bp网络，进行二次学习训练。
[0029]
与现有技术相比，本发明提供了基于粒子群算法优化的神经网络预测方法，具备以下有益效果：
[0030]
该基于粒子群算法优化的神经网络预测方法，利用基于relief过滤法的特征选择筛选重要特征属性，并通过构建基于bp神经网络预测模型以及基于粒子群改进算法的神经网络预测模型，对indics平台用户做出流失预警，对indics平台的运营提供了参考价值。
附图说明
[0031]
图1为本发明提出的基于粒子群算法优化的神经网络预测方法的示意图。
具体实施方式
[0032]
下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0033]
实施例：
[0034]
请参考图1所示，本发明公开了基于粒子群算法优化的神经网络预测方法，包括以下步骤：
[0035]
s1、根据业务需求确定bp神经网络结构，并确定神经网络的具体层数，以及隐藏节点的数量相关参数的初始取值；
[0036]
s2、对粒子群粒子编码，建立粒子群与权值和阈值之间的映射关系；
[0037]
s3、对粒子群的粒子个数、速度和位置进行初始化，并设置粒子群算法的惯性权重，学习因子相关参数；
[0038]
s4、计算网络的适应度函数，并更新粒子的速度和位置，pso-bp算法是利用pso算法来训练网络，得到均方误差来优化bp神经网络的权值和阈值；
[0039]
s5、如果符合初始判断条件，到达足够好的位置或最大迭代次数，则将当前粒子群的种群极值作为最优解，如果不符合设置的初始判断条件，则上一步开始新的训练；
[0040]
s6、将当前的最优解解转换成神经网络相对应的权值和阈值，使用它们对bp网络的参数进行赋值，重新进行学习训练直到达到初始设置的性能要求，从而得到最终的预测方法。
[0041]
该基于粒子群算法优化的神经网络预测方法，利用基于relief过滤法的特征选择筛选重要特征属性，并通过构建基于bp神经网络预测模型以及基于粒子群改进算法的神经网络预测模型，对indics平台用户做出流失预警，对indics平台的运营提供了参考价值。
[0042]
作为本实施例的具体优化方案，建立电indics平台用户流失预测指标体系，通过对已经流失客户的信息进行分析，提取有针对性的数据集进行数据分析来构建预测模型，可以帮助indics平台针对不同流失原因采取适当的挽留营销措施，
[0043]
传统的用户流失通常被定义为客户离网，随着工业互联网平台行业不断的发展以及indics平台业务逐渐复杂化，导致对平台用户流失有了新的定义，客户流失，不仅包括用户注销平台账户，也包括客户没有注销账户但arpu值降低，或者客户没有注销账户，但是停止使用平台，结合indics平台业务上的需求，对于流失用户和正常用户作定义：
[0044]
1)满足以下所有条件的用户为流失用户：
[0045]
a、用户在账户状态为注销等状态；
[0046]
b、用户已经连续有一月及以上的时间没有在indics平台有操作行为；
[0047]
c、arpu值小于0，此类用户虽然没有注销账户，但用户的月平均消费基本为0，对平台的贡献值随之降低，也视为流失。
[0048]
2)对于没有流失的客户我们称作正常客户，即为满足以下全部条件的客户：
[0049]
a、用户的账号状态为正常等；
[0050]
b、用户有持续在平台操作、下单等行为；
[0051]
c、用户最近一个月的arpu值》0。
[0052]
作为本实施例的具体优化方案，合理分析流失用户和正常用户信息，为排除噪声数据干扰，在提取数据集时需排除平台测试用户和平台试用用户。
[0053]
作为本实施例的具体优化方案，所述indics平台特征属性包括用户名称、性别、年龄、用户身份、和用户户arpu值，大量的indics平台用户特征属性将导致indics平台用户数据集特征空间过大，这将给预测方法的构建带来两方面的问题，一方面是特征属性过多将导致分类学习算法计算量大量増加，另一方面是数据集中可能包含较多无关特征和相关性较弱的特征，会在一定程度上降低用户流失预测方法的准确性，因此选择基于relief算法利用相关度来衡量特征属性，相关度可以看作每个特征属性的权值，利用relief算法选择重要特征属性时，可以指定一个阈值τ，只需选择比τ大的相关度对应的特征值，也可以指定想要选择的特征个数n，然后选择相关度最大的n个特征。
[0054]
作为本实施例的具体优化方案，relief利用假设区间的方法用相关度对特征属性进行评判，假设区间指在保持样本分类不变的情况下，决策面能够移动的最大距离，可以表示为：
[0055][0056]
其中，m(x)、h(x)指的是与x同类的和与x非同类的最近邻点。
[0057]
当一个特征属性对分类有利时，则该同类样本在该属性上的距离较近，而异类样本在该属性上的距离较远，因此，公式(1)中的||x-h(x)||越小，||x-h(x)||越大，则该属性对分类越有利，假设区间能对indics平台用户各特征属性的分类能力进行评价，从而就可以近似地估计出对分类最有用的特征属性。
[0058]
作为本实施例的具体优化方案，设训练集d为(x1，y1)，(x2，y2)，...，(xm，ym)，对每个样本xi，计算与xi同类别的最近邻xh，然后计算与xi非同类别的最近邻xm，则属性j对应的相关度为：
[0059][0060]
其中，代表样本xa在属性j上的取值。
[0061]
对于离散型特征属性：
[0062][0063]
对于连续型特征属性：
[0064][0065]
若xi与xh在属性j上的距离小于xi与其非同类别的最近邻xm的距离，则说明属性j对分类的影响力较大，反之影响力较小，因此δj的值越大则说明该属性对的分类的影响力越强。
[0066]
公式(2)得到的是单个样本对每个属性的评价值，将所有样本对同一个属性的评价值进行平均就得到了该属性的相关度，相关度越大，分类能力就强。
[0067]
作为本实施例的具体优化方案，所述bp神经网络分为输入层、隐含层和输出层三部分，输入层从外部接受信号，输入信号由输入层依次通过各隐含层，然后传到输出层，输出层把神经网络处理后的信号息传向外部。
[0068]
作为本实施例的具体优化方案，基于粒子群算法(pso)改进的indics平台用户流失预测方法，是通过分析传统bp网络中的缺陷，选用粒子群算法来对bp网络进行优化，并利用pso算法来改善其缺陷，从而提高预测方法的性能，从而获取权值和阈值的初值，进而改善预测方法的性能和效率。
[0069]
作为本实施例的具体优化方案，鉴于bp神经网络的以上缺陷，本发明采用粒子群算法对神经网络的权值进行优化，从而构建indics平台用户流失预测方法，基于粒子群算法(pso)改进的indics平台用户流失预测方法，是通过分析传统bp网络中的缺陷，并利用pso算法来改善其缺陷，从而提高预测方法的性能；梯度下降法在传统bp网络中的应用，会导致收敛的速率慢、易陷入局部最优解等缺陷，而初始参数的设定对网络的性能有着显著的影响；参数初值赋值不准确，会直接影响到神经网络的性能，还会增加了学习时长，甚至容易陷入局部最优解。
[0070]
针对此类问题，粒子群算法是有效的全局优化算法，本发明中选用粒子群算法来对bp网络进行优化，从而获取权值和阈值的初值，进而改善预测方法的性能和效率，基于pso-bp的indics平台用户流失预测方法的构建，主要分为下主要几部分：
[0071]
1)构建传统bp神经网络：确定神经网络结构，并设置网络的层数、隐藏节点数等相关参数。
[0072]
2)利用粒子群算法优化bp神经网络：对粒子群进行编码，单个粒子表示权值和阈值的取值，随后再用粒子群算法优化这些参数。
[0073]
3)对bp神经网络进行二次训练：将经过pso算法优化得到的权值和阈值赋值给bp网络，进行二次学习训练。
[0074]
pso-bp的indics平台用户流失预测方法就是先构建bp神经网络，再利用pso算法
对bp网络进行优化处理，随后利用映射关系将最优解还原，并初始化bp神经网络的权值和阈值，并进行二次学习训练。通过pso算法优化网络后获得的值已经是全局范围内的最优解，所以再经过二次学习训练的bp网络可以减少学习时长，并有效解决传统神经网络其容易陷入局部极小值的缺陷。
[0075]
本发明的有益效果是：利用基于relief过滤法的特征选择筛选重要特征属性，基于粒子群算法改进的indics平台用户流失预测方法通过分析传统bp网络中的缺陷，并利用pso算法来改善其缺陷，从而提高预测方法的性能。梯度下降法在传统bp网络中的应用，会导致收敛的速率慢、易陷入局部最优解等缺陷，而初始参数的设定对网络的性能有着显著的影响。粒子群算法是有效的全局优化算法，在应用时只需要调节较少的参数，有着简单易行的特点。并通过构建基于bp神经网络预测模型以及基于粒子群改进算法的神经网络预测模型，对indics平台用户做出流失预警，通过对比说明了使用pso-bp算法的预测模型较bp预测模型提高了预测精度、性能和效率。
[0076]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。