一种农产品价格尾部风险信息预测方法及系统
本发明属于农产品价格数据处理,尤其涉及一种农产品价格尾部风险信息预测方法及系统。
背景技术:
1、农产品批发价格会受到季节、运输、供需和区域传导等因素影响,短时间内可能出现异常上涨或下跌。价格预警方法需要在未来数日到数周内识别可能发生的大幅价格偏离,以便市场主体或监管端提前关注。现有农产品价格预测方案通常围绕单一商品时间序列或通用神经网络展开,处理方式包括使用prophet时间序列模型预测目标农产品价格,或采集成本、收益、天气、新闻情绪等外部信息后输入神经网络、tcn或组合模型进行价格预测。此类方案的处理目标主要为一般价格水平预测,对未来短期或多期尾部价格偏离的识别不足。
2、通过上述分析,现有技术存在的问题及缺陷为:现有基于prophet、tcn、transformer、梯度提升树或一般时空图神经网络的价格预测方法,通常以未来价格水平误差为主要优化目标。在农产品日度价格具有强持续性的场景下,模型可能只是重复最近价格,从而在常规mae或rmse上表现较好,却不能在数据信息处理上有效识别需要预警的大幅残差波动。
3、现有方案较少显式处理报价可靠性差异。批发价格数据并非固定传感器网格,某商品在某省份当天可能由多个市场报价,也可能没有真实报价而只能沿用历史值。真实报价和前向填补值若按同等可靠程度处理,稀疏节点或低可靠节点会向其他节点传播噪声。
4、现有图预测模型多使用单一节点图或无约束节点邻接矩阵,难以同时表达商品之间和区域之间的不同传导关系。当节点为产品-区域组合时,直接学习邻接矩阵需要约1.18百万个连接,参数多、解释困难,也不便于在数据信息上判断单次预警来自商品关系还是区域关系。
5、现有方案通常缺少从原始报价记录到预警输出的完整机器处理链路,未对清洗、聚合、可靠性计算、图构建、编码、训练和输出进行一体化约束,导致农产品价格尾部风险信息预测结果精度低,以及难以复现和追溯。
技术实现思路
1、为克服相关技术中存在的问题,本发明公开实施例提供了一种农产品价格尾部风险信息预测方法及系统,尤其涉及一种基于可分离产品-区域图和报价可靠性门控的农产品价格尾部风险预测方法。本发明还属于农产品价格风险预测、时空图神经网络和早期预警技术领域,具体涉及一种将批发市场历史报价记录转换为产品-区域节点面板,并利用报价可靠性门控、可分离产品图和区域图扩散以及事件加权鲁棒训练来预测未来价格尾部风险的数据处理方法。本发明以日度批发价格记录为处理对象,实施数据可采用市场运行监测系统发布的农副产品批发价格记录。经校验的数据包含11,999,177条日度价格记录,覆盖2014-09-01至2025-10-01、35个商品、232个批发市场、31个省份和281个县。该类数据能够形成跨商品、跨区域、跨日期的连续价格面板。报价记录被聚合为产品-区域面板。每个节点表示一个商品和一个省份的组合,其中,,共条产品-区域价格序列。本方法在每个节点和日期上生成标准化对数价格、当天真实报价标记、报价市场数量和距离最近一次真实报价的时间等特征,作为模型输入数据。
2、所述技术方案如下:一种农产品价格尾部风险信息预测方法,该方法运行于计算机终端,该方法包括以下步骤:
3、s1、数据预处理与标准化聚合:获取日度农产品批发报价记录并进行清洗归一,将有效报价按商品、区域和日期聚合为产品-区域-日期粒度的数据单元,将全部产品-区域节点映射到逐日连续日历面板;对真实报价单元填入聚合价格并标记观测掩码,对缺失单元沿时间轴填补并记录观测新近度,生成包含标准化对数价格、观测掩码、标准化报价数量和标准化观测新近度的四通道输入张量;
4、s2、节点特征编码与报价可靠性门控处理:将四通道输入张量与商品嵌入、区域嵌入拼接,通过因果时间编码器投影至隐藏维度以得到锚定于预测起点的节点隐藏状态;利用观测掩码、报价数量及观测新近度计算节点可靠性分数,依据该可靠性分数对节点隐藏状态进行动态缩放,使由缺失填补或报价稀疏形成的低可靠节点在后续图扩散中被抑制;
5、s3、时空图扩散建模与风险预测输出:在训练期价格联动先验和可学习邻接的混合基础上,经稀疏化与归一化分别构建可分离产品图和区域图,沿产品轴和区域轴对门控后的节点隐藏状态执行图扩散,以分别聚合同一区域内跨商品联动消息和同一商品跨区域传导消息;再经带残差连接的多层感知机和持久性锚定残差预测头,输出相对最近观测价格的多预测期残差修正,结合事件加权鲁棒损失函数训练模型,生成包含预测价格、残差变动、风险等级、尾部风险排序和图边解释的农产品价格尾部风险预警结果。
6、步骤s1具体包括:
7、s101,获取并清洗日度农产品批发原始报价记录,形成报价事实表;
8、记录字段包含日期、商品名称、批发市场、行政区域和价格;扩展字段包含市场编号、县市、省份、报价来源和单位;对记录执行日期格式校验、商品名称归一、区域名称归一、重复记录合并、非正价格剔除、异常字段标记和单位统一,形成报价事实表;报价事实表的字段包括日期、商品编号、市场编号、区域编号、报价价格、报价单位和记录有效标记;
9、s102,默认算术均值聚合得到产品-区域节点日聚合价格的表达式为:
10、;
11、式中,为节点在日期的聚合价格,为节点在日期参与聚合的真实报价市场数量,为市场索引,为节点在日期给出真实报价的市场集合,为市场对节点在日期给出的真实报价;
12、式(1)为默认算术均值聚合的表达式,求和号遍历日期当日对该产品-区域节点给出真实报价的市场集合,为该集合内参与聚合的真实报价市场数量,为相应市场的报价;式(1)中系数的分子为1,等价分式的分子为各市场报价之和、等价分式的分母为真实报价市场数量,二者之商price为该产品-区域节点在日期的聚合价格;
13、s103,基于聚合结果输出的产品-区域聚合价格及真实报价市场数量作为数据输入,通过将全部产品-区域节点逐一映射到建立的逐日连续日历索引方式构建连续产品-区域日历面板;具体包括:以输出的产品-区域聚合价格及真实报价市场数量为输入,先按训练、验证、测试覆盖区间的最早与最晚日期建立逐日连续日历索引,再将全部(其中,为产品-区域节点总数,为商品数量,为区域数量)个产品-区域节点逐一映射到该逐日连续日历索引;对存在真实报价的单元填入式(1)的聚合价格并将观测掩码置为1,对缺失单元沿时间轴前向填补并将观测掩码置为0,同时为每个单元记录真实报价市场数量与观测新近度;
14、s104,以构建的连续产品-区域日历面板为数据源,利用四通道输入张量的生成方法生成包含标准化对数价格、观测掩码、报价数量和观测新近度四类数值的四通道输入张量信息;四通道输入张量的生成方法包括:对任一预测起点,从连续产品-区域日历面板表中按节点切取至的日历史,将每个真实报价的单元上的标准化对数价格、观测掩码、标准化对数报价数量与标准化观测新近度四类数值沿通道维堆叠,得到形状为的输入张量。
15、步骤s2具体包括:
16、s201、根据生成的四通道输入张量信息,通过对数变换公式(2)将原始价格变换为对数报价尺度,再标准化对数价格公式(3)生成标准化对数价格特征;
17、s202、根据生成的标准化对数价格特征,通过实际残差变动公式(4)以及残差修正公式(5),定义残差尾部风险预测目标,并得到未来标准化价格预测值;
18、s203、将每个产品-区域节点的日四通道序列与商品嵌入、区域嵌入拼接,并投影到隐藏维度构建时间编码器,并输出锚定于预测起点的节点隐藏状态;
19、s204、根据构时间编码器输出的锚定于预测起点的节点隐藏状态,利用可靠性分数公式(6)执行报价可靠性门控;依据真实报价密度与新近度对节点隐藏状态进行可信度加权,抑制稀疏或由前向填补得到的低可靠节点在后续图扩散中向相邻节点传播噪声。
20、在步骤s201中,将原始价格变换为对数报价尺度:
21、;
22、式中,为对数报价;
23、使用训练期真实观测单元估计均值和标准差,得到标准化对数价格:
24、;
25、式中,为标准化对数价格,分别为训练期真实观测单元的均值和标准差;
26、验证期和测试期仅使用训练期的和进行变换;
27、在步骤s203中,对于预测起点和预测步长,实际残差变动定义为:
28、;
29、式中,为节点在预测起点、预测步上的实际对数报价残差变动,为节点在日期的对数报价,为节点在日期的对数报价,为节点在日期的标准化对数价格;
30、采用事件加权鲁棒损失函数训练的模型以最近观测价格为持久性锚点,学习相对于该锚点的残差修正:
31、;
32、式中,为节点在日期的未来标准化对数价格预测值,为参数为的预测模型,为预测起点之前长度为的历史四通道输入窗口,为产品-区域节点索引,为预测步索引,为最大预测步数;
33、式(4)定义未来目标相对预测起点的残差变动,式(5)将模型输出限定为对持久性锚点的修正量;预测头输出的第个节点、第个预测步的残差修正后,与当前标准化对数价格相加,得到未来标准化价格预测值;
34、在步骤s203中,时间编码器采用扩张因果一维卷积,卷积核大小为3,第层扩张率为,包含gelu激活、dropout、残差连接和层归一化;因果卷积只使用预测起点及历史数据,预测起点之后的数据不进入编码;
35、在步骤s204中,在预测起点读取每个节点的观测掩码、报价数量特征和观测新近度,将三者输入多层感知机,得到节点可靠性分数,并据此缩放节点隐藏状态:
36、;
37、式中,为节点的可靠性分数,为时间编码器输出的节点状态,为门控后的节点状态,0.35为状态保留系数,可靠性分数调节其余0.65比例的节点状态,为将观测掩码、报价数量特征和观测新近度映射为可靠性得分的多层感知机。
38、步骤s3具体包括:
39、s301、根据报价可靠性门控的可信度加权结果,构建可分离产品图和区域图,分别对产品轴和区域轴生成转移矩阵;
40、s302、根据对产品轴和区域轴生成的转移矩阵,分别沿产品轴和区域轴进行图扩散;沿产品轴使用产品图转移矩阵、沿区域轴使用区域图转移矩阵分别聚合邻接消息,再与节点当前状态拼接后经带残差连接的多层感知机更新;
41、s303、基于沿产品轴和区域轴进行图扩散结果,输出持久性锚定残差预测;通过层归一化、dropout和线性头将每个节点状态映射为个预测步的残差修正;最后一层线性层初始化为零,使模型初始状态等价于持久性预测;预测值先按式(5)得到标准化对数价格,再用训练期均值和标准差还原为对数报价尺度,最后通过指数反变换减一转换回原始报价尺度;
42、s304、基于持久性锚定残差预测输出结果,采用事件加权鲁棒损失训练;
43、s305、根据事件加权鲁棒损失训练结果,生成预警输出;
44、s306、执行滚动预测;在每日或预设周期内读取最新l日窗口,按生成新的风险清单。
45、在步骤s301中,产品图用于描述同一区域内不同商品之间的联动,区域图用于描述同一商品跨区域的传导;两类图均由训练期价格联动先验邻接和学习邻接混合得到:
46、;
47、;
48、式中,为沿轴最终得到的稀疏行归一化转移矩阵,为sigmoid函数,用于将混合参数映射到0至1,为逐元素修正线性单元函数,为可学习嵌入矩阵的转置,为按行归一化指数函数,为每一行仅保留权重最高的个邻接并重新归一化,为可学习混合参数,为可学习嵌入矩阵,为嵌入维度,为产品轴或区域轴,为训练期先验邻接,为学习邻接;
49、训练期先验邻接的构建过程为:只取训练期数据,分别计算产品平均对数价格序列和区域平均对数价格序列的相关矩阵;将负相关截断为0;将对角线置1;按行归一化;产品图大小为,区域图大小为;
50、在步骤s302中,将门控后的节点状态重塑为的状态网格,其中为隐藏维度;对任一商品和区域,产品消息和区域消息分别为:
51、;
52、式中,为产品轴消息,为产品到产品的边权,为区域轴消息,为区域到区域的边权,为商品、区域节点的门控后隐藏状态,为商品索引,为区域索引,为商品、区域节点的门控后隐藏状态;
53、随后将当前状态、产品消息和区域消息拼接,并通过带残差连接的mlp更新:
54、;
55、式中,为商品、区域节点经图扩散和残差连接更新后的隐藏状态,为该节点在本层图扩散更新前的隐藏状态;
56、式(10)将当前状态、产品消息和区域消息拼接后进行非线性更新,并通过残差连接保留当前节点状态。
57、在步骤s304中,根据训练样本索引表读取预测起点、预测期、目标日期和目标是否真实观测;对于未来目标日期没有真实报价的节点,目标掩码置为0并排除出损失计算;对于存在真实报价的节点,目标掩码置为1,并计算如下损失:
58、;
59、;
60、式中,为节点在预测起点、预测步上的事件加权huber损失,为相应样本的事件权重,为转折阈值为的huber鲁棒损失函数,为模型预测的未来标准化对数价格,为事件权重强度系数,为式(4)定义的实际对数报价残差变动;
61、式(11)和式(12)对真实发生大幅残差变动的样本赋予较高训练权重,超过4个5%对数波动阈值后截断;未来目标价格未真实观测的单元通过目标掩码排除,不参与损失计算;
62、在步骤s305中,对每个产品-区域节点输出未来多预测期价格、相对最近价格的残差变动、是否达到≥5%等事件阈值、尾部风险排序、与预测相关的产品图边和区域图边,并可输出按节点、商品、区域和日期聚合的风险清单;输出字段包括商品、区域、预测起点、预测日期、最近观测价格、预测价格、预测涨跌幅、风险等级、事件阈值、产品边来源、区域边来源和报价可靠性分数。
63、本发明的另一目的在于提供一种农产品价格尾部风险信息预测系统,该系统实施所述的农产品价格尾部风险信息预测方法,该系统包括:
64、节点特征嵌入模块、扩张因果卷积时间编码模块、报价可靠性门控模块、可分离产品扩散模块、区域图扩散模块和持久性锚定残差头模块;
65、节点特征嵌入模块,用于将四通道时间特征与可学习商品嵌入、区域嵌入拼接,同一商品在不同区域以及同一区域内不同商品形成可区分表示;
66、扩张因果卷积时间编码模块,用于提取短期到多周历史依赖;
67、报价可靠性门控模块,用于调节真实报价密度不均和填补值噪声对节点状态的影响;
68、可分离产品扩散模块,用于表示同一区域内的商品联动;
69、区域图扩散模块,用于表示同一商品跨区域的价格传导;
70、持久性锚定残差头模块,用于将节点状态转换为相对最近观测价格的残差修正量。
71、进一步,所述农产品价格尾部风险信息预测系统搭载在计算机设备,该计算机设备包括:至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的农产品价格尾部风险信息预测系统中的功能。
72、进一步,所述农产品价格尾部风险信息预测系统搭载在计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现所述的农产品价格尾部风险信息预测系统中的功能。
73、结合上述的所有技术方案,本发明所具备的有益效果为:
74、第一、本发明通过将历史报价记录构建为产品-区域节点面板,利用报价可靠性特征抑制低可靠节点影响,并分别沿产品轴和区域轴传播价格信息,从而预测未来7日、14日、30日等多预测期内相对于最近观测价格的尾部残差风险。本发明进一步输出可解释的预警结果,包括预测价格、相对持久性基准的残差变动、是否达到预设价格波动事件阈值、尾部风险排序以及触发预测的产品图和区域图路径,供业务端展示、排序和复核。本发明将预测目标从一般价格水平改为相对持久性基准的残差尾部风险,能够面向大幅价格变动预警输出多预测期风险结果,减少模型对最近观测值的机械延续。
75、第二、本发明通过观测掩码、报价数量和观测新近度计算报价可靠性门控,区分真实报价密集节点和前向填补节点,降低低可靠数据对图传播和预测结果的影响。本发明将产品-区域组合节点的完整图分解为产品图和区域图,只需学习个邻接条目。在实施例中该数量为2186,远小于1085个节点两两连接所需的约1.18百万个连接,因此模型更紧凑,输出路径更易追溯。本发明将训练期联动先验与学习邻接混合,既利用历史价格传导结构,又允许模型学习预测任务所需的修正。输出的产品图、区域图和残差修正能够对应单个预警来源。本发明采用事件加权huber损失,对真实发生大幅残差变动的样本赋予更高权重,同时通过截断和huber损失抑制极端异常点造成的不稳定。本发明在三个预测期上均取得最低尾部20%log-mae,较持久性基准降低21.0%-31.0%,并在推理时间少于5秒的情况下提供多预测期风险输出。本发明建立在可执行的数据处理链路上:输入记录依次经过价格变换、节点面板构建、可靠性特征生成、图邻接构建、轴向扩散和事件加权优化,输出尾部风险预测数据、风险排序数据和图路径解释数据。
76、第三、本发明可部署于农产品批发市场运行监测、价格监管、电商批发平台、企业采购和供应链风控等系统中,将分散日度报价自动转化为多预测期尾部风险清单,使业务端能够提前识别可能出现的大幅上涨或下跌节点,优先安排价格核验、库存调配、采购节奏调整和风险提示,减少仅依赖人工巡检或单点价格预测造成的滞后。其输出包含预测价格、涨跌残差、风险等级、排序和传导来源,便于直接接入预警报表、接口服务或可视化大屏,具有明确的业务转化价值。现有方案多以单商品价格水平预测或通用时序模型为主,较少同时约束原始报价清洗、产品-区域连续面板、报价可靠性门控、可分离产品图与区域图扩散、持久性锚定残差预测和事件加权训练。本发明把上述环节组织为一条可复现的数据处理链路,专门服务于稀疏报价场景下的尾部风险预警,弥补了现有方法对多商品、多区域传导、报价可靠性差异和预警解释输出结合不足的技术空白。在农产品日度价格强持续、真实报价密度不均且缺失填补普遍存在的场景中,长期难点在于模型容易复制最近价格而无法提前捕捉大幅残差波动,且稀疏节点噪声会通过图结构放大。本发明通过持久性锚定残差目标使模型聚焦于相对最近价格的异常偏离,通过可靠性门控抑制低可信节点传播,并通过产品轴和区域轴分解传导关系,从而解决多预测期尾部风险难以稳定识别和追溯的问题。传统处理往往默认填补价格与真实报价等价,或者直接构建完整节点邻接矩阵并以普通价格误差作为训练目标,容易认为更大的全连接图或更多外部变量才是提升预警能力的主要途径。本发明反向采用报价可靠性分层、产品图与区域图可分离建模、训练期先验与学习邻接混合以及事件加权鲁棒损失,证明在不扩大为高维全连接节点图的情况下也能获得可解释、低开销且面向尾部事件的风险预测效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com