一种会计智能模型的增强学习方法及系统

本发明涉及企业财税数字化领域，尤其涉及一种会计智能模型的增强学习方法及系统。

背景技术：

1、当前主流会计智能化系统均采用静态规则引擎 + 监督学习架构搭建，全部业务逻辑依赖人工预先配置会计准则、业务分录模板、固定风控阈值，现有技术存在四大核心瓶颈：

2、规则固化适配性差：人工预设规则无法自动适配会计准则修订、企业业务模式迭代、财税政策动态更新，每一次政策 / 业务变动均需技术人员手动修改规则，迭代周期长、成本高；

3、无自主优化能力，复杂场景处理精度低：系统仅能被动执行预设指令，面对跨部门分摊、多借多贷、非常规特殊交易、账实差异、隐蔽财税风险等场景容错率低，易产生错账、漏判风险；

4、多目标优化存在合规代偿缺陷：传统模型采用线性加权奖励逻辑，允许以记账效率、处理精度弥补合规瑕疵，与会计行业 “合规一票否决、零容忍违规” 的刚性要求冲突，存在税务稽查、审计合规隐患；

5、高危样本训练不足：账务舞弊、大额税务违规等风险样本稀疏，通用强化学习算法无法针对性学习边界高危场景，风险漏报、误报问题突出。

6、现有通用强化学习框架未耦合会计复式记账 “有借必有贷、借贷必相等” 的底层刚性约束，状态空间、动作空间无财务规则限制，模型易生成借贷失衡、分录违规的非法决策，无法直接落地会计专业场景。

7、综上，现缺乏一种深度贴合会计业务、以合规为底线、可自主闭环迭代的专属增强学习技术方案，且通用mdp模型多为随机状态转移，训练方差大、账务决策稳定性差，无法适配会计高精度、零容错的业务需求。

技术实现思路

1、发明目的：发明提供了一种会计智能模型的增强学习方法及系统，解决现有会计智能系统规则固化、无自主迭代能力、合规约束缺失、多目标代偿、高危场景识别不足的缺陷。

2、技术方案：为解决上述技术问题，根据本发明的一个方面，更具体的说是一种会计智能模型的增强学习系统，括自上而下布设、首尾逻辑关联且形成信息流闭环的六层层级模块：数据采集与清洗层、会计状态智能感知层、增强学习核心决策层、会计业务执行层、动态奖惩与迭代更新层、财务知识沉淀与输出层；

3、所述数据采集与清洗层，用于统一接入企业全量财务业务原始数据，经数据脱敏、缺失值修复、时序对齐、业务标签化清洗处理后输出标准化输入数据集；

4、所述会计状态智能感知层配置复式记账约束下确定性马尔可夫决策过程mdp建模单元、会计多维状态空间量化单元；所述确定性mdp建模单元构建五元组标准化数学模型，五元组包含受复式记账恒等式刚性约束的状态空间、分层结构化动作空间、确定性状态转移概率、合规门槛式非线性奖励函数、固定折扣因子；所述会计多维状态空间量化单元构建带借贷失衡惩罚指标的会计状态张量，从账务、合规、业务三维度量化财务环境状态，并通过合规约束掩码屏蔽借贷失衡的违规账务状态；

5、所述增强学习核心决策层部署改进型会计双深度 q 网络 ddqn，所述改进型会计ddqn 包含会计策略网络、会计价值网络，且内置优先级经验回放模块、账务约束正则化模块；

6、所述会计业务执行层对接企业 erp 系统、税务系统、审计系统，执行智能记账、自动对账、风险拦截、财务决策业务动作，并完整记录动作执行结果、账务偏差、风险反馈数据；

7、所述动态奖惩与迭代更新层配置合规门槛式非线性奖励计算单元，基于业务执行反馈计算奖惩值，并驱动改进型会计 ddqn 完成网络参数迭代更新；

8、所述财务知识沉淀与输出层，用于固化模型迭代收敛后得到的最优会计处理策略、风险防控规则形成企业专属财务知识图谱，同时支持模型轻量化导出、业务场景复刻与跨企业复用，固化知识反向辅助核心决策层优化账务策略；

9、所述六层模块通过数据交互、参数迭代、知识复用形成完整自主进化闭环架构。

10、更进一步，所述会计多维状态空间量化单元构建的会计状态张量数学表达式为：

11、

12、其中，为 t 时刻动态科目余额矩阵，存储全部会计科目借方、贷方发生额与期末余额；为 t 时刻待处理业务原始特征向量；为借贷失衡惩罚放大系数；为账务借贷失衡度 l2 范数平方，用于量化偏离复式记账恒等式的偏差程度。

13、更进一步，所述合规门槛式非线性奖励函数的总收益计算公式为：

14、

15、其中，为二值指示函数，合规安全硬性阈值，作为账务合规一票否决的判定标准；分别为账务精度、风险规避正向加权系数；为违规深度指标，表征账务、税务违规严重等级;为指数级爆炸增长；为独立惩罚放大系数，与折扣因子相互独立；当账务合规评分低于阈值时，指示函数取值为 0，全部正向收益清零，系统进入惩罚独占模式，仅输出由违规深度唯一决定的指数级违规惩罚值。

16、为基于多维规则层的加权扣分制评分，计算公式如下：

17、：预设的强制性合规规则集合（科目使用规范、发票校验规则、税法条款、内部风控制度等）；

18、：第条规则违反时的扣分权重（刚性规则违反，则 极大；建议类规则违反，则较小）。设计为>1，确保任意刚性违规都会使评分直接跌破0.99阈值。

19、更进一步，所述分层结构化动作空间分为顶层业务语义意图动作、底层账务修正动作；顶层业务语义意图动作包括计提折旧、收入确认、费用摊销、往来对账、账务调整标准化操作；底层账务修正动作为各会计科目借贷金额增量，且设置刚性约束，保证每一次输出动作天然满足借贷平衡规则。

20、更进一步，所述动态奖惩与迭代更新层还配置人机协同增量学习单元；所述人机协同增量学习单元用于接收财务专家针对新型业务、新财税政策、疑难账务的人工修正样本，将人工专家经验转化为增量样本输入改进型会计 ddqn，无需全量重训即可完成模型快速适配。

21、更进一步，所述确定性mdp建模单元中的状态转移概率为确定性转移机制；给定当前时刻状态与输出动作，唯一确定下一时刻账务状态，消除随机环境干扰，降低模型 q 值估计方差，提升账务决策稳定性与精准度。

22、一种会计智能模型的增强学习方法，应用于所述会计智能模型的增强学习系统，所述方法包括如下闭环迭代步骤：

23、s1、环境初始化：通过数据采集与清洗层接入企业全量财务业务数据，完成标准化清洗处理后，构建初始会计状态空间与分层结构化动作空间；

24、s2、模型预训练：基于企业历史账务、风控、审计样本完成改进型会计ddqn初始训练，生成基础会计业务处理策略；

25、s3、实时状态感知与智能决策：会计状态智能感知层实时量化当前财务环境得到会计状态张量，过滤借贷失衡的非法状态后输入增强学习核心决策层的改进型会计ddqn，输出合规最优账务操作动作；

26、s4、业务落地执行：会计业务执行层执行输出的记账、风控、对账、财务决策动作，完整记录动作执行结果、账务偏差、风险反馈数据；

27、s5、动态奖惩计算：动态奖惩与迭代更新层调用合规门槛式非线性奖励函数，以0.99为硬性合规判定阈值，合规评分达标则综合计算账务精度、成本管控、风险防控的正向收益，合规评分未达标则进入惩罚独占模式，仅依据违规深度计算指数级惩罚值；

28、s6、模型自主迭代更新：基于奖惩反馈梯度更新改进型会计ddqn的策略网络与价值网络参数；针对新业务、新财税政策场景，导入财务专家人工修正样本执行增量学习；

29、s7、财务知识固化沉淀：财务知识沉淀与输出层将迭代收敛后的最优会计处理策略、风控规则固化更新至财务知识图谱；循环执行步骤s3至s7，实现系统持续自主优化迭代。

30、更进一步，步骤s3中量化财务状态时，基于复式记账恒等式生成借贷失衡惩罚指标，通过合规约束掩码直接过滤借贷不平衡的非法账务状态，禁止模型基于非法状态生成账务决策动作。

31、更进一步，步骤s5的奖惩计算过程中，以合规评分阈值0.99作为前置准入硬约束，严格执行合规一票否决机制，合规不达标时所有正向收益清零，惩罚力度仅由违规严重程度独立决定，与合规评分具体数值无关。

32、更进一步，步骤s6的模型迭代过程中，通过优先级经验回放机制提升账务差错、税务风险、对账异常等稀缺高危样本的训练权重；同时通过账务约束正则化模块抑制模型策略漂移与过拟合，保障迭代全程账务合规。

33、有益效果：

34、（1）、本发明搭建由数据采集与清洗层、会计状态智能感知层、增强学习核心决策层、会计业务执行层、动态奖惩与迭代更新层、财务知识沉淀与输出层构成的全链路自主进化闭环架构，配套设置人机协同增量学习单元，可直接接入财务专家针对新财税政策、新型业务、疑难账务出具的人工修正样本完成增量训练，无需对模型开展全量重训，无需技术人员持续手动修改、维护分录模板与风控规则，能够快速适配会计准则修订、企业业务迭代、财税政策动态调整场景，大幅缩短系统迭代周期、削减财务数字化人工运维成本；

35、（2）、本发明在会计状态智能感知层构建包含借贷失衡 l2 范数惩罚指标的会计多维状态张量，借助合规约束掩码直接过滤借贷失衡的非法账务状态，同时设计分层结构化动作空间并增设借贷金额增量刚性平衡约束，且采用确定性 mdp 状态转移机制，当前财务状态匹配对应账务动作即可唯一确定下一时刻账务状态，消除随机环境带来的模型 q值估计方差，从状态量化、动作输出、状态转移全链路原生绑定复式记账 “有借必有贷、借贷必相等” 的底层刚性规则，彻底克服通用强化学习模型缺乏财务专业约束、易生成借贷失衡违规分录的行业缺陷，有效提升账务决策的稳定性与账务处理精准度；

36、（3）、本发明独创合规门槛式非线性奖励函数，设置 0.99 硬性合规评分阈值实现合规一票否决管控，若账务合规评分未达到阈值则全部正向收益直接清零，仅依据违规深度指标施加指数级惩罚，彻底根除传统线性加权奖励机制存在的合规代偿缺陷，完全匹配会计行业税务稽查、审计核查零容忍违规的刚性监管要求，指数级梯度惩罚可精准区分账务、税务违规的严重等级，从算法底层降低企业税务处罚、审计整改等合规风险；

37、（4）、本发明在改进型会计 ddqn 中内置优先级经验回放模块与账务约束正则化模块，前者提升账务舞弊、大额税务违规、账实不符、对账异常等稀缺高危风险样本的训练权重，强化模型对隐蔽高风险场景的识别能力，减少风险漏报、误报问题，后者在模型全程迭代过程中约束账务合规逻辑，抑制模型策略漂移与过拟合现象，针对多借多贷、跨部门费用分摊、非常规特殊交易等传统系统难以适配的复杂财务场景具备更高处理容错率；

38、（5）、本发明通过财务知识沉淀与输出层将模型迭代收敛后形成的最优会计处理策略、风险防控规则固化生成企业专属财务知识图谱，沉淀后的专业知识可反向回流至增强学习核心决策层持续优化账务处理策略，同时支持模型轻量化导出、业务场景复刻与跨企业复用，将迭代优化形成的财务智能能力转化为可复用企业数字资产，显著降低各类企业财税智能系统二次开发、落地部署成本。