一种基于卷积神经网络的数据线性相关判定方法与流程

1.本发明涉及数据线性相关判定，特别涉及一种基于卷积神经网络的数据线性相关判定方法。


背景技术：

2.近年来，深度学习的理论与实践的大爆发，为建立新的线性相关分析方法提供了研究基础。卷积神经网络做为具有超高学习效率的深度学习模型，已经在图像及语音识别、金融分析和科研领域得到了广泛的应用，并取得了飞跃式的发展。其强大的特征提取能力使其成为强有力的分析建模工具。
3.做为关系密切的两种分析手段，相关分析和回归分析在科学实验数据处理和各种工程实践中具有重要的应用。回归分析的目的是利用数据拟合的方法获取所研究变量间的定量数学关系。分析中可以对变量实施线性、非线性或指定函数拟合。然而，由于事先不清楚变量之间的关系，拟合过程中存在难以选择正确拟合函数关系的问题，导致模型失真。如果一味追求拟合的精确度，又会造成过拟合。相关分析能够为回归分析提供合理的参考。在经典相关分析中，基于皮尔逊积距的线性相关系数，能够反映两个变量间线性相关的强弱。从而为线性回归分析提供合理性程度判断及支持。
4.但是，皮尔逊积距的存在建立在两个变量都符合正态分布的假设之上，其应用范围被大大限制。虽然相关分析的理论的一直在持续发展，然而目前还没有一种具有广泛适用性的线性相关分析方法。


技术实现要素：

5.本发明的目的是提供一种基于卷积神经网络的数据线性相关判定方法，能够不依赖于变量的统计性假设，并给出网络在不同条件下的判断可信度。
6.本发明的上述技术目的是通过以下技术方案得以实现的：
7.一种基于卷积神经网络的数据线性相关判定方法，包括有以下步骤：
8.建立卷积神经网络；
9.根据生成函数生成准确数据的线性数据和非线性数据；
10.设置非线性率和数据质量参数并以准确数据为基础生成随机测量数据；
11.利用生成的随机测量数据，按照训练策略生成图像；
12.将生成的图像输入至卷积神经网络中进行训练；
13.获得具有数据线性相关性判断能力的卷积神经网络；
14.由不同非线性率和数据质量参数探测获得卷积神经网络的对应识别能力极限，得到判断可信度。
15.作为优选，根据准确数据生成随机测量数据的具体步骤如下：
16.按照线性数据和非线性数据分类生成训练数据集和测试数据集，根据以下两个生成函数生成准确数据，
17.y
l
＝bx c；
18.y
nl
＝ax2 bx c；
19.其中，y
l
为准确线性数据，y
nl
为准确非线性数据，a为二阶非线性项的系数，b为线性项的系数，c为任意常数，非线性率定义为：p
nl
＝a/b。
20.调整数据质量参数，由以下两个公式表示的生成概率函数获得随机测量数据，
[0021][0022][0023]
其中，σ为数据质量参数，表示随机测量数据与准确数据的相对偏离值，可理解为真实实验测量中的相对不确定度；y
′
l
为测量数据中的线性随机数，y
′
nl
为测量数据中的非线性随机数。
[0024]
作为优选，生成图像的策略具体包括有：
[0025]
在x值区间均匀取值，并根据测量数据的生成函数生成线性随机数和非线性随机数；根据x值和线性随机数及非线性随机数的对应关系直接生成(x～y
′
l
)与(x～y
′
nl
)函数图像。
[0026]
作为优选，根据不同的非线性率及数据质量参数探测获得卷积神经网络的识别能力极限，具体包括：
[0027]
训练策略生成的函数图像输入至卷积神经网络中进行训练以获得具有判断能力的卷积神经网络；
[0028]
对不同的非线性率和数据质量参数训练的卷积神经网络，通过输入对应的数据图像进行识别判断，以获取不同非线性率和数据质量参数训练的卷积神经网络的识别判断极限。
[0029]
综上所述，本发明具有以下有益效果：
[0030]
提供了一种新的基于卷积神经网络的数据线性相关判定方法，其训练策略能够给出该网络在不同非线性率和数据质量条件下的判断可信度。
附图说明
[0031]
图1为本方法的流程示意框图；
[0032]
图2为设定策略生成的图像；
[0033]
图3为非线性率p
nl
＝0.4，取不同数据质量参数时网络的识别结果；
[0034]
图4为数据质量参数σ＝0.02，对不同非线性率时网络的识别结果.。
具体实施方式
[0035]
以下结合附图对本发明作进一步详细说明。
[0036]
根据一个或多个实施例，公开了一种基于卷积神经网络的数据线性相关判定方法，包括有以下步骤：
[0037]
建立卷积神经网络；
[0038]
根据生成函数生成准确数据的线性数据和非线性数据；
[0039]
设置非线性率和数据质量参数以准确数据为基础生成随机测量数据；
[0040]
利用生成的随机测量数据，按照训练策略生成图像；
[0041]
将生成的图像输入至卷积神经网络中进行训练；
[0042]
获得具有数据线性相关性判断能力的神经网络；
[0043]
由不同非线性率和数据质量参数探测获得卷积神经网络的对应识别能力极限，得到此方法的判断可信度。
[0044]
根据准确数据生成测量数据的具体步骤如下：
[0045]
按照线性数据和非线性数据分类生成训练数据集和测试数据集，根据生成函数生成准确数据，
[0046]
y
l
＝bx c；
[0047]
y
nl
＝ax2 bx c；
[0048]
其中，y
l
为准确线性数据，y
nl
为准确非线性数据，a为二阶非线性项的系数，b为线性项的系数，c为任意常数，非线性率定义为：p
nl
＝a/b。
[0049]
调整数据质量参数，由以下两个公式表示的生成概率函数获得随机测量数据，
[0050][0051][0052]
其中，σ为数据质量参数，表示测量数据与准确数据的相对偏离值；y
′
l
为测量数据中的线性随机数，y
′
nl
为测量数据中的非线性随机数。
[0053]
生成图像的策略具体包括有：
[0054]
在x值区间均匀取值，并根据测量数据的生成函数生成线性随机数和非线性随机数；根据x值和线性随机数及非线性随机数的对应关系直接生成(x～y
′
l
)与(x～y
′
nl
)函数图像。
[0055]
根据不同的非线性率及数据质量参数探测获得卷积神经网络的识别能力极限，具体包括：
[0056]
训练策略生成的函数图像输入至卷积神经网络中进行训练以获得具有判断能力的卷积神经网络；
[0057]
对不同的非线性率和数据质量参数训练的卷积神经网络，通过输入对应的数据图像进行识别判断，以获取不同非线性率和数据质量参数训练的卷积神经网络的识别判断极限。
[0058]
依托于卷积神经网络强大的复杂数据特征提取能力，将传统线性相关分析问题转化为基于深度学习方法的图像识别问题。通过建立起具有数据线性相关程度识别能力的卷积神经网络，得到一种新的基于卷积神经网络的线性相关数据分析方法。这种线性相关分析方法，不依赖于对变量的统计性假设，其应用范围较经典皮尔逊积距相关系数法更为广
阔，并具有更好的拓展性。从而能更好的为回归分析提供判断支持。
[0059]
提出了基于不同数据图像化方法的网络训练策略。在不同数据质量和非线性程度条件下，使用经过训练后网络的准确度指标对网络的判断能力进行比较，给出具有线性相关分析能力的最优卷积神经网络。
[0060]
经过大数据训练，卷积神经网络能够建立起输入与输出的内在映射关系。按照线性数据和非线性数据分类，生成准确数据的训练数据集和测试数据集，对网络进行训练。准确的线性数据和非线性数据的生成函数如公式(1)和公式(2)所示。
[0061]
y
l
＝bx c；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0062]
y
nl
＝ax2 bx c；
ꢀꢀꢀꢀꢀꢀ
(2)
[0063]
输入到卷积神经网络中的图像，不是由准确数据生成。考虑到在实际应用中，测量数据与准确数据之间存在误差。输入到卷积神经网络中进行训练的测量数据，是以准确数据的线性数据y
l
和非线性数据y
nl
为中心，以σy
l
和σy
nl
为标准差，生成的符合正态分布的随机数。做为测量数据，线性随机数y
′
l
与非线性随机数y
′
nl
的取值分布由公式(3)、(4)给出。
[0064][0065][0066]
其中，σ为数据质量参数，表示随机测量数据与准确数据的相对偏离值，可理解为真实实验测量中的相对不确定度。当σ＝0.02时，表示测量值偏离真实值的标准差为
±
2％。通过设置不同的σ取值，可以生成不同数据质量的测试数据，并测试网络在不同数据质量条件下的识别能力，以探测网络的识别能力的极限。
[0067]
不失一般性，在x∈[0,1]区间均匀取11点数据，各生成11个真实数据y
l
和y
nl
。根据公式(3)和(4)，各生成11个线性随机数y
′
l
与非线性随机数y
′
nl
。最后，利用生成的y
′
l
与y
′
nl
数据，做出函数图像，输入到卷积神经网络中进行训练。图2中的(a)(b)图，为根据训练策略生成的线性数据和非线性数据图像。在数据生成中，选取a＝b＝c＝1，σ＝0.02。
[0068]
为表述清楚，现举两个实例，分别为：
[0069]
1、数据质量识别率的提升：
[0070]
如图3所示，取p
nl
＝0.4为定值，当采用不同的数据质量参数σ，分别取σ＝0.01，0.02，0.03时，随着σ逐步增大，数据质量逐步变坏，导致卷积神经网络识别能力下降。当σ＝0.02时，卷积神经网络已经无法识别一种线性和另一种非线性图像之间的区别。
[0071]
2、非线性率检测方面的提升：
[0072]
如图4所示，在取σ＝0.02为定值时候，采用不同的非线性率数值，当p
nl
＝0.8时候，如图4(a)所示，能够达到识别率99％以上，当p
nl
＝0.6，如图4(b)所示，能够达到识别率99％以上；当p
nl
＝0.2时候时候，如图4(c)所示，非线性项的作用越来越弱，可识别度降低到了0.5。
[0073]
在实际网络训练中，我们训练集的大小为20000张图片。图为训练策略在不同σ条件下的准确率。训练过程中，保持非线性率p
nl
从1逐步降低到0.4,随着p
nl
数值减小，也就意味着其中非线性项的贡献越来越小，这种情况下，如果用传统方法做人工智能识别已经无
法分辨，利用本方法能够获得在不同非线性率和数据质量条件下卷积神经网络的判断可信度，便于物理实验测量数据的判断和分析。
[0074]
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。