一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

回归分析装置、回归分析方法以及程序与流程

2022-09-15 06:54:04 来源:中国专利 TAG:


1.本公开涉及一种回归分析装置、回归分析方法以及程序。


背景技术:

2.以往,在通过最小二乘法推定回归模型的参数时,存在以下问题:例如,当数据的样本数少时,不能求出最小二乘推定量。因此,提出了赋予被称为l1范数的约束条件的方法(例如,非专利文献1)。根据作为将l1范数设为约束条件的参数推定方法的lasso(least absolute shrinkage and selection operator:套索算法),一并进行适用于说明目标变量的说明变量的选择和系数的确定。
3.此外,关于lasso,提出了如将相关的高的说明变量预先分组或者聚类那样的各种改良方法。
4.现有技术文献
5.非专利文献
6.非专利文献1:robert tibshirani,“regression shrinkage and selection via the lasso”,journal of the royal statistical society.series b(methodological)vol.58,no.1(1996),pp.267-288


技术实现要素:

7.发明要解决的问题
8.以往,例如,在以得到所希望的结果的方式进行控制的情况下,即使使用预测模型来求解逆问题,有时也得不到适当的结果。即,不清楚为了使基于预测模型的推定值接近所希望的值,应该如何变更说明变量的值。但是,在变更说明变量的组合来反复进行模拟的方法中花费计算成本。因此,本技术的目的在于构建一种在说明变量的变动与目标变量的变动上具有对应关系的回归模型。
9.技术方案
10.回归分析装置具备:数据获取部,从存储装置读出训练数据和约束条件,该存储装置储存用作回归模型的目标变量和说明变量的训练数据、和预先定义为了使目标变量向正或负的方向变动而应使说明变量向正和负中的哪一方变动的约束条件;以及系数更新部,以使包括正则化项的成本函数最小化的方式,使用训练数据,反复更新回归模型中的说明变量的系数,所述正则化项在违反约束条件的情况下增大成本。
11.通过如上的正则化项,能够制作如下的回归模型:在不选择违反约束条件的那样的系数的情况下,知道为了使目标变量向正或负的方向变动,只要使说明变量向正和负中的哪一方变动即可。即,能够构建在说明变量的变动与目标变量的变动上具有对应关系的回归模型。
12.此外,也可以是,正则化项在系数为与约束条件相应的正或负的区间中,根据系数的绝对值的和来增大成本。例如,也可以在系数为正或负的单侧中,进行使用了l1正则化的
回归模型的构建。此外,也可以是,正则化项在系数为与约束条件相应的正或负的区间的一方中,根据系数的绝对值的和来增大成本,在另一方中将成本设为无限大。
13.此外,也可以是,系数更新部在系数未收敛于满足约束条件的值的情况下,将系数设为0。如果像这样做,则能够从回归模型删除在上述的约束条件下对目标变量没有贡献的说明变量,实现稀疏建模。
14.此外,也可以是,系数更新部通过近端梯度法更新所述系数。如果像这样做,则避免了在收敛计算中通过正则化项的不可微分点。因此,能够缩短收敛所需的时间。
15.需要说明的是,技术方案所记载的内容能够在不脱离本公开的课题、技术思想的范围内尽可能地组合。此外,技术方案的内容能够作为计算机等装置或者包括多个装置的系统、计算机所执行的方法、或使计算机执行的程序来提供。需要说明的是,也可以提供一种保持程序的记录介质。
16.发明效果
17.根据公开的技术,能够构建一种在说明变量的变动与目标变量的变动上具有对应关系的回归模型。
附图说明
18.图1是示出用于回归式的制作的训练数据的一个例子的图。
19.图2a是用于说明施加于回归系数的约束的示意性的图。
20.图2b是用于说明施加于回归系数的约束的示意性的图。
21.图3是用于说明参数w的更新的图。
22.图4是用于说明参数η的更新的图。
23.图5是示出进行上述回归分析的回归分析装置1的构成的一个例子的框图。
24.图6是示出回归分析装置所执行的回归分析处理的一个例子的处理流程图。
25.图7a是示出表示约束的强度的参数α与相关系数r的关系的图。
26.图7b是示出表示约束的强度的参数α与相关系数r的关系的图。
27.图8是示出表示约束的强度的参数α与确定系数e的关系的图。
28.图9是示出用于学习的数据数t与相关系数r的关系的图。
29.图10是示出用于学习的数据数t与确定系数e的关系的图。
30.图11a是用于说明施加于回归系数的约束的示意性的图。
31.图11b是用于说明施加于回归系数的约束的示意性的图。
32.图12是示出参数β与相关系数r的关系的图。
33.图13是示出参数β与确定系数r2的关系的图。
34.图14是示出参数β与rmse的关系的图。
具体实施方式
35.以下,参照附图,对回归分析装置的实施方式进行说明。
36.《实施方式》
37.本实施方式的回归分析装置构建表示一个以上的说明变量(独立变量)与一个目标变量(从属变量)的关系的回归式(回归模型)。此时,在说明变量的至少任一个中,施加该
说明变量的变动的正或负的方向与目标变量的变动的正或负的方向具有一定的对应关系那样的约束(称为“符号约束”)来制作回归式。
38.图1是示出用于回归式的制作的观测值(训练数据)的一个例子的图。图1的表包括k种输入x(x1~xk)的列和输出y的列。输入x相当于说明变量,输出y相当于目标变量。此外,使用表示作为各个训练数据的样本的数据点t(t1~t
t

……
)的多个记录中的t个记录来制作回归式。此外,设为k种输入x的至少一部分与正或负的符号(为表示本实施方式的约束条件的信息,称为“约束符号”)建立对应。与各输入x建立对应的约束符号为用于在构建的回归式中,预先定义为了使输出y向正的方向变动,只要使该输入x向正或负中的任一方向变动即可的信息。
39.回归式例如由下式(1)表示。
40.[数式1]
[0041][0042]
需要说明的是,wk为回归系数,w0为常数项。此外,wk根据预先确定的约束符号来确定。
[0043]
对于回归系数和常数项的确定,能够使用由下式(2)表示的成本函数。通过选择如使成本函数e(w)最小化那样的系数wk来确定回归式。
[0044]
[数式2]
[0045][0046]
其中
[0047][0048][0049][0050]
αr为正则化项(惩罚项),其系数α为表示约束的强度的参数。在图1的表中,在xk的约束符号为正的情况下,取r

(w)的值,在约束符号为负的情况下,取r-(w)的值。像这样,本实施方式的正则化项αr在正或负的单侧施加基于l1型正则化确定的符号约束。即,正则化项在系数wk为与约束符号对应的正和负中的任一方的区间中,根据系数的绝对值的和来增大成本。
[0051]
图2a和图2b是用于说明施加于一个回归系数w的约束的示意性的图。在图2a的图表中,纵轴表示r

(w),横轴表示w。此外,箭头示意性地表示在w为负的区间中,以α的值越大,越进一步增大r

(w)的值的方式定义正则化项。上述的式(2)是与输入xk建立对应的约束符号为正的情况,在输入xk的系数wk为0以上时,r

(w)=0且不增加e(w)。另一方面,在输入xk的系数wk小于0时,r

(w)=-w且增加e(w)。在此,在系数wk为0以上时,式(1)所示的回归式的输入xk越增加,基于回归式的预测值μ也越增加。即,在与xk建立对应的约束符号为正的情
况下,以在输入xk的值越增加,预测值μ的值也越增加时正则化项变小,在输入xk的值越增加,预测值μ的值越减少时正则化项变大的方式定义成本函数。
[0052]
在图2b的图表中,纵轴表示r-(w),横轴表示w。此外,箭头示意性地表示在w为正的区间中,以α的值越大,越进一步增大r-(w)的值的方式定义正则化项。上述的式(2)是输入xk的约束符号为负的情况,在输入xk的系数wk为0以上时,r-(w)=w且增加e(w)。另一方面,在输入xk的系数wk小于0时,r-(w)=0且不增加e(w)。在此,在系数wk小于0时,式(1)所示的回归式的输入xk越增加,基于回归式的预测值μ越减少。即,在与输入xk建立对应的约束符号为负的情况下,以在输入xk的值越增加,预测值μ的值越减少时正则化项变小,在输入xk的值越增加,预测值μ的值也越增加时正则化项变大的方式定义成本函数。
[0053]
根据如上的正则化项,施加说明变量的变动的正或负的方向与目标变量的变动的正或负的方向具有一定的对应关系那样的约束来进行回归分析。
[0054]
此外,关于成本函数e(w)的变量w的偏微分由以下的式(3)表示。
[0055]
[数式3]
[0056][0057]
其中
[0058][0059][0060]
如使e(w)最小化那样的参数w的更新例如也可以通过梯度法使用下式(4)来进行。
[0061]
[数式4]
[0062][0063]
图3是用于说明参数w的更新的图。基于关于某步骤s中的成本函数e(w)的变量w的梯度,对之后的步骤s 1中的变量w进行更新,反复进行这样的处理直至w收敛为止。
[0064]
不过,如式(3)所示,在与输入xk建立对应的约束符号为任一个的情况下,都不能以w=0进行微分。例如,也可以按每个输入xk计算出与约束符号对应的值,将其总和作为正则化项来进行基于最陡下降法(steepest descent method)的回归,但是,计算变得不稳定。因此,例如,也可以使用近端梯度法。在近端梯度法中,例如求出使上述的式(2)最小化的w。若提前将式(2)的平方和误差设为f(x),提前将正则化项设为g(w),则w的更新式由下式(5)表示。
[0065]
[数式5]
[0066][0067]
其中
[0068]
[0069][0070]
η为确定在一个步骤(一个反复)中更新系数w的大小的步长。η为确定在一个步骤(一个反复)中更新系数w的大小的步长。为梯度。直至梯度充分接近0为止反复进行更新,在梯度充分接近0的情况下,判断为收敛,结束更新。
[0071]
更具体而言,w的更新式由下式(6)表示。
[0072]
[数式6]
[0073][0074]
在约束符号为正的情况下,能够如下式(7)那样进行计算。
[0075]
[数式7]
[0076][0077]
在约束符号为负的情况下,能够如下式(8)那样进行计算。
[0078]
[数式8]
[0079][0080]
通过如上的处理,能够确定系数w。系数w满足符号约束,且收敛于有助于目标变量的值,如果没有那样的值,则系数w接近0。即,在没有满足符号约束的值的情况下,如图2a和图2b所示,基于正则化的惩罚效果起作用,拉回违反符号约束的值,由此,结果是收敛于0。因此,能够与所谓的lasso同样地将回归系数的一部分推定为0。
[0081]
需要说明的是,η的值也可以在更新系数的处理中所反复进行的各步骤中进行适当更新。图4示出用于搜索适当的η的示意性的编码的一个例子。例如,如图4所示那样的处理在各步骤中被执行。η0为预先确定的初始值。β例如为小于1的正的值,以减少η的方式进行更新。像这样,通过调整作为更新系数w的步长的η,能够适当地收敛系数w。
[0082]
《装置构成》
[0083]
图5是示出进行上述的回归分析的回归分析装置1的构成的一个例子的框图。回归分析装置1为一般的计算机,具备通信接口(i/f)11、存储装置12、输入/输出装置13以及处理器14。通信i/f11例如可以是网卡、通信模块,基于规定的协议与其他计算机进行通信。存储装置12可以是ram(randomaccess memory:随机存取存储器)、rom(read only memory:只读存储器)等主存储装置和hdd(hard-disk drive:硬盘驱动器)、ssd(solid state drive:固态硬盘)、闪存等辅助存储装置(二次存储装置)。主存储装置临时存储处理器14所读出的程序、该程序所处理的信息。辅助存储装置存储处理器14所执行的程序、该程序所处理的信息等。在本实施方式中,在存储装置12中临时或永久存储有训练数据和表示约束条件的信息。输入/输出装置13例如为键盘、鼠标等输入装置、监控器等输出装置、如触摸面板那样的
输入/输出装置等的用户界面。处理器14为cpu(central processing unit:中央处理器)等运算处理装置,通过执行程序来进行本实施方式的各处理。在图1的例子中,在处理器14内示出功能块。即,处理器14通过执行规定的程序来作为数据获取部141、系数更新部142、收敛判定部143、验证处理部144以及运用处理部145发挥功能。
[0084]
数据获取部141从存储装置12获取训练数据和表示约束条件的信息。系数更新部142在上述的约束条件下更新回归式的系数。此外,收敛判定部143判定所更新的系数的值是否收敛。需要说明的是,在判定为未收敛的情况下,系数更新部142反复进行系数的更新。在判定为收敛的情况下,例如系数更新部142使最终生成的系数存储于存储装置12。此外,验证处理部144基于规定的评价指标,对所制作的回归式进行评价。运用处理部145使用所制作的回归式和例如新获取的观测值来计算出预测值。此外,运用处理部145也可以使用所制作的回归式和任意的值来计算出变更了条件的情况下的预测值。在此,任意的值例如可以是用户经由通信i/f11或输入/输出装置13输入的值。对于在本实施方式中所制作的回归式,说明变量的变动的方向与目标变量的变动的方向具有一定的对应关系,因此,例如,用户能够容易地推定为了使预测值接近所希望的值,是只要增加输入值即可,还是只要减少输入值即可。因此,例如,在基于推定值来进行某种控制的情况下,本实施方式的回归式是有效的。
[0085]
如上的构成要素经由总线15连接。
[0086]
《回归分析处理》
[0087]
图6是示出回归分析装置所执行的回归分析处理的一个例子的处理流程图。回归分析装置1的数据获取部141从存储装置12读出训练数据和表示约束条件的信息(图6:s11)。在本步骤中,例如,将如图1所示那样的输入x和输出y的值作为训练数据读出。需要说明的是,将输入x处理为说明变量,将输出y处理为目标变量。此外,在图1中,将与输入x建立对应而登记的正或负的符号作为表示约束条件的信息读出。回归分析装置1将所读出的符号用作上述的约束符号。需要说明的是,在本实施方式中,使用如式(1)所示那样的回归式。
[0088]
此外,回归分析装置1的系数更新部142在上述的符号约束下更新回归系数(图6:s12)。在本步骤中,系数更新部142例如,如在图3中用上侧的箭头所示那样,以使式(2)所示的成本函数e(w)最小化的方式更新系数w。具体而言,系数更新部142能够基于式(6)~式(8)来更新系数w。
[0089]
本实施方式的成本函数e(w)的正则化项被定义为在未满足在s11中获取到的约束条件的情况下成本增加。即,正则化项在说明变量的变动的正或负的方向与目标变量的变动的正或负的方向具有预先确定的对应关系时,减少成本函数e(w)的值。此外,系数更新部143在系数未收敛于满足约束条件的值的情况下,将系数设为0。
[0090]
此外,回归分析装置1的收敛判定部143判定系数w是否收敛或系数w是否设为0(图6:s13)。在本步骤中,收敛判定部143在所更新的系数w的梯度充分接近0的情况下判断为收敛。具体而言,收敛判定部143在式(7)或式(8)中系数w的值没有变化时判断为收敛。
[0091]
在判定为系数w未收敛且未设为0的情况下(s13:否(no)),返回至s12反复进行处理。另一方面,在判定为系数w收敛或设为0的情况下(s13:是(yes)),收敛判定部143将回归式储存于存储装置12(图6:s14)。在本步骤中,收敛判定部143使更新后的系数w存储于存储装置12。
[0092]
此外,回归分析装置1的验证处理部144也可以验证所制作出的回归式的精度(图6:s20)。在本步骤中,验证处理部144例如通过交叉验证,使用测试数据来验证回归式的精度。此外,验证处理部144能够基于相关系数、规定的确定系数等规定的评价指标来进行验证。需要说明的是,如后文叙述的那样,也可以省略本步骤。
[0093]
然后,回归分析装置1的运用处理部145使用所制作出的回归式来进行运用处理(图6:s30)。在本步骤中,运用处理部145例如以图1所示的数据编号为t
t 1
的记录的方式,计算出相对于新的输入x的输出y的预测值。需要说明的是,本步骤使用在s14中存储的回归式,也可以由回归分析装置1以外的装置(未图示)进行。
[0094]
《实施例》
[0095]
使用从生产设备得到的感测数据来构建回归式,对精度进行评价。作为图1所示的各个输入和输出,使用不同的传感器的输出值。此外,关于从传感器持续地输出的感测数据,将最近的数据数t设为学习区间。此外,约束符号基于与生产设备有关的认知被预先设定。
[0096]
用作评价指标的相关系数r通过下式(9)求出。
[0097]
[数式9]
[0098][0099]
其中
[0100]
为观测值
[0101][0102]
即,式(9)的分子为预测值μ与训练数据的实测值y的协方差。式(9)的分母为预测值μ的标准偏差与训练数据的实测值y的标准偏差的积。
[0103]
此外,用作其他评价指标的确定系数e通过下式(10)求出。
[0104]
[数式10]
[0105][0106]
确定系数e为表示预测值的分布相对于观测值的分布的大小的值。在通过标准化,观测值的分布与预测值的分布一致的情况下,为e=1。此外,在预测值的分布比观测值的分布窄的情况下,为e《1。并且,在预测值的分布比观测值的分布宽的情况下,为e》1。
[0107]
图7a和图7b是示出针对通过多个方法构建出的模型,表示约束的强度的参数α与相关系数r的关系的图。图8是示出针对通过多个方法构建出的模型,表示约束的强度的参数α与确定系数e的关系的图。图7a和图7b的曲线图的横轴表示参数α,纵轴表示相关系数r。图7a与图7b的横轴的标度不同。此外,图8的曲线图的横轴表示α,纵轴表示确定系数e。实线表示实施方式所公开的方法,虚线表示随机选择实施方式的符号约束的一部分并使正负相反的比较例,单点划线表示l1正则化(lasso),双点划线表示没有正则化的各结果。需要说
明的是,在各方法中将数据数t设为40来进行模型的构建。此外,如上所述,约束符号基于与生产设备有关的认知被预先设定,但是,一般而言,能够包括不适当的设定。可以说比较例模拟了存在错误的符号约束。
[0108]
如图7a和图7b所示,按本公开的方法、比较例、lasso、没有约束的顺序,相关系数r的值变高。此外,如图8所示,按lasso、本公开的方法和比较例、没有约束的顺序,确定系数e的值接近1。由图7a和图7b也可知,在一般的lasso中,若过度增大参数α,则精度降低。即,在lasso中,α为所谓的超参数(hyperparameter),需要基于交叉验证的调整。另一方面,根据本公开的方法,通过充分大地取α,能够提高精度。这样具有能够不需要基于手工的参数调整的效果。此外,在如比较例那样随机赋予符号约束的情况下,例如相关系数r与实施方式的方法相比降低。即,可以说实施方式的方法能够制作如下的模型:作为分析对象的数据在说明变量的变动与目标变量的变动上具有一定的对应关系,在赋予与之匹配的符号约束的情况下拟合特别良好。此外,由图7a和图7b可知,即使在用虚线表示的随机赋予符号约束的比较例的情况下,与用双点划线表示的没有正则的情况相比相关系数也高。这一点示出能够制作如下的模型:即使对一部分的说明变量施加了不适当的符号约束,也依然拟合良好。在现实中,往往存在关于说明变量的变动与目标变量的变动的对应关系的知识未必完整的情况。即使在那样的情况下,根据实施方式的方法,也发挥能够制作与没有正则化的情况相比拟合良好的模型的效果。
[0109]
图9是关于通过多个方法构建出的模型,示出用于学习的数据数t与相关系数r的关系的图。图10是关于通过多个方法构建出的模型,示出用于学习的数据数t与确定系数e的关系的图。如图9所示,例如在数据数t为40以下的情况下,按本公开的方法、比较例、lasso、没有约束的顺序,相关系数r的值变高。此外,如图10所示,按lasso、本公开的方法和比较例、没有约束的顺序,确定系数e的值接近1。像这样,可以说本公开的方法在训练数据较少的情况下有效。即,对于在不能足够地收集数据的情况、预测模型时刻变化但由于存在仅从数据无法观测到的状态的变化等理由而只能使用最近的数据那样的情况下也有用。
[0110]
《效果》
[0111]
根据本公开的方法,能够生成满足在说明变量的变动的正或负的方向与目标变量的变动的正或负的方向上具有一定的对应关系那样的约束的回归式。因此,用户使用回归式,可知为了使预测值μ接近所希望的值,只要使输入xk的值向正或负中的哪一方变动即可。此外,如使用图7a和图7b所说明的那样,还存在不需要调整表示约束的强度的参数α这样的优点。此外,如使用图9和图10所说明的那样,本公开的方法在训练数据较少的情况下特别有效。
[0112]
以下,关于效果进行补充。在此,关于式(2)的正则化项,可以说如下。
[0113]
[数式11]
[0114]
[0115][0116]
并且,例如在约束符号为正(r

(w))时,与式(2)的成本函数e(w)的wk有关的次微分(subdifferential)如下求出。
[0117]
[数式12]
[0118][0119]
需要说明的是,在此,假设多个输入xk之间不相关,δ
kk’表示单位矩阵。
[0120]
并且,wk如下求出。
[0121]
[数式13]
[0122][0123]
此外,若对其重新求解,则如下求出。
[0124]
[数式14]
[0125][0126]
在此,如果α充分大,则不考虑下段的情况,wk能够由下式(11)表示。
[0127]
[数式15]
[0128]
如果设为α


[0129][0130]
在式(11)的上段的情况下,为与最小二乘法相同的解。另一方面,在一般的最小二乘法中未施加符号约束,因此,例如在数据数t较小的情况下,在相当于式(11)的下段的情形中,有时也能够得到与式(11)的上段相同的解。在该情况下,不清楚为了使回归式的输出接近所希望的值,应该如何变更说明变量的值。另一方面,在这样的情况下,根据本公开的技术,如式(11)的下段所示,将系数wk设为0。即,关于不能满足约束的说明变量xk,不用于所制作的回归式。因此,能够生成满足在说明变量的变动的正或负的方向与目标变量的变动的正或负的方向上具有一定的对应关系那样的约束的回归式。此外,可以说能够将参数α的值设为充分大的值,并不需要调整。
[0131]
此外,在一般的lasso中,例如,如下求出wk。
[0132]
[数式16]
[0133]

[0134][0135]
即,以从本来应收敛的值减小α的方式进行偏置来推定。这样的偏置以增大均方误差的方式进行作用。另一方面,可以说根据本公开的技术,未产生这样的偏置,因此,回归式的精度提高。
[0136]
此外,根据式(11),满足甲骨文性质(oracle property,fan and li,2001)。即,在样本尺寸增大时,正确选择用于模型的说明变量的概率收敛于1(变量选择的一致性)。此外,相对于说明变量的推定量具有渐近正态性。
[0137]
《实施方式2》
[0138]
本实施方式能够对回归系数施加上述的符号约束,并且能够提高稀疏化的性能。此外,用于控制正则化的强度的参数β设为所谓的超参数。即,除了图6所示的处理以外,通过使用了现有的交叉验证的方法来确定系数的最佳值。在本实施方式中,使用下式(12)所示的成本函数来代替式(2)所示的成本函数。需要说明的是,回归式与式(1)所示的回归式相同。
[0139]
[数式17]
[0140][0141]
其中
[0142][0143]
[0144][0145]
β为用于控制正则化的强度的参数,取0以上的值。此外,β通过使用了交叉验证的现有的方法来确定最佳值。本实施方式的正则化项βr
sl
(w)也在正或负的单侧施加符号约束。具体而言,在图1的表中在xk的约束符号为正的情况下,取r
sl
(w)的值,在约束符号为负的情况下,取r
sl-(w)的值。即,正则化项在系数wk为与约束符号对应的正和负中的任一方的区间中,根据系数的绝对值的和来增大成本,在另一方的区间中将成本设为无限大。换言之,不仅在与约束符号不一致的情况下将成本设为无限大(即,相当于将式(2)的α设为无限大的情况),在与约束符号一致的情况下也根据β和w来增大成本。
[0146]
图11a和图11b是用于说明施加于回归系数w的约束的示意性的图。在图11a的图表中,纵轴表示βr
sl
(w),横轴表示w。上述的式(12)为与输入xk建立对应的约束符号为正的情况,在输入xk的系数wk为0以上时,r
sl
(w)=w且与w的增加相应地e(w)也增加。另一方面,在输入xk的系数wk小于0时,r
sl
(w)= ∞且使成本向正的无限大发散。这是基于在图2a所示的α为充分大的值的情况下使预测性能最大化的情况而成为无限大的值。即,对于本实施方式的正则化项,在与约束符号不一致的区间中将成本设为无限大,在与约束符号一致的区间中也根据回归系数w和参数β的大小来增大成本。在此,在系数wk为0以上时,式(1)所示的回归式的输入xk越增加,基于回归式的预测值μ也越增加。即,在与xk建立对应的约束符号为正的情况下,以在输入xk的值越增加,预测值μ的值也越增加时正则化项变小,在输入xk的值越增加,预测值μ的值越减少时正则化项变大的方式定义成本函数。
[0147]
图11b的图表的纵轴表示βr
sl-(w),横轴表示w。上述的式(12)为与输入xk建立对应的约束符号为负的情况,在输入xk的系数wk为0以上时,r
sl-(w)= ∞且使成本向正的无限大发散。这是基于在图2b所示的α为充分大的值的情况下最大化预测性能而设为无限大的值,是意图充分大的值。另一方面,在输入xk的系数wk小于0时,r
sl-(w)=-w且与w的减少相应地增加e(w)。在此,在系数wk小于0时,式(1)所示的回归式的输入xk越增加,基于回归式的预测值μ越减少。即,在与xk建立对应的约束符号为负的情况下,以在输入xk的值越增加,预测值μ的值越减少时正则化项变小,在输入xk的值越增加,预测值μ的值越增加时正则化项变大的方式定义成本函数。
[0148]
《效果》
[0149]
通过基于leave-one-out法(留一法)的交叉验证,进行本实施方式的方法和现有的l1正则化(lasso)性能评价。学习数据数n为10,特征数k设为11。图12是示出参数β与相关系数r的关系的图。图12的曲线图的横轴表示参数β,纵轴表示相关系数r。此外,实线表示基于本实施方式的方法的结果,虚线表示基于现有的l1正则化(lasso)的结果。对于相关系数r,特别是在β小于0.001的范围中,本实施方式的方法的结果比现有的lasso的结果高。图13是示出参数β与确定系数r2的关系的图。图13的曲线图的横轴表示参数β,纵轴表示确定系数r2。此外,实线表示基于本实施方式的方法的结果,虚线表示基于现有的l1正则化(lasso)的结果。对于确定系数r2也同样,特别是在β小于0.001的范围中,本实施方式的方法的结果比现有的lasso的结果高。图14是示出参数β与rmse(root mean square error:均方根误差)的关系的图。图14的曲线图的横轴表示参数β,纵轴表示rmse。此外,实线表示基于本实施方式的方法的结果,虚线表示基于现有的l1正则化(lasso)的结果。对于rmse也同
样,特别是在β小于0.001的范围中,本实施方式的方法的结果比现有的lasso的结果低。一般而言,在说明变量的数量大于学习数据的数量的情况下,方程式的数量小于应求解的变量的数量,因此,如果不施加某种正则化,则不能唯一地确定回归系数。如图12至图14所示,如果通过本实施方式的方法进行正则化,则在说明变量的数量大于学习数据的数量的情况下也能够确定回归系数,而且,与现有的lasso相比较,能够提高预测性能(泛化性能)。
[0150]
《变形例》
[0151]
各实施方式中的各构成及它们的组合等是一个例子,在不脱离本发明的主旨的范围内,可以适当地进行构成的附加、省略、置换以及其他变更。本公开不由实施方式限定,仅由权利要求书限定。此外,本说明书所公开的各种方案可以与本说明书所公开的其他的任意特征组合。
[0152]
图5所示的计算机的构成为一个例子,并不限定于这样的例子。例如,回归分析装置1的功能的至少一部分可以分散于多个装置来实现,也可以由多个装置并行地提供同一功能。此外,回归分析装置1的功能的至少一部分可以设置于所谓的云端上。此外,回归分析装置1例如也可以不具备验证处理部144等一部分构成。
[0153]
此外,式(2)所示的成本函数在正或负的单侧进行l1正则化,但是,也根据l2范数、其他凸函数进行动作。即,也可以使用在正或负的单侧施加系数的平方和、其他的罚分的项来代替系数的绝对值的和。
[0154]
此外,通过回归分析装置1分析的数据的内容并没有特别地限定。除了在实施例中叙述的制造业中的品质等特性值的预测以外,也能够适用于非制造业、其他各种领域。
[0155]
此外,本公开包括执行上述的处理的方法、计算机程序,记录了该程序的计算机可读记录介质。记录有该程序的记录介质通过使计算机执行程序,能够进行上述的处理。
[0156]
在此,计算机可读记录介质是指能够通过电、磁、光学、机械或化学作用蓄积数据、程序等信息并从计算机读取的记录介质。作为这样的记录介质中的能够从计算机卸下的介质,有软盘、光磁盘、光盘、磁带、存储卡等。此外,作为固定于计算机的记录介质,有hdd、ssd(solid state drive)、rom等。
[0157]
附图标记说明
[0158]
1:回归分析装置
[0159]
11:通信i/f
[0160]
12:存储装置
[0161]
13:输入/输出装置
[0162]
14:处理器
[0163]
141:数据获取部
[0164]
142:系数更新部
[0165]
143:收敛判定部
[0166]
144:验证处理部
[0167]
145:运用处理部
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献