医保监管数据处理方法及系统与流程

本发明涉及信息管理，具体地，涉及一种医保监管数据处理方法及系统。

背景技术：

1、在医保监管数据分析领域，通常采用逐规则全量扫描的方式对就诊数据进行违规判定，即每条规则独立执行一次物化查询。逐规则全量扫描导致重复计算，作业耗时随规则数量线性增长；调度策略僵化、缺乏业务感知，基于有向无环图静态定义或仅依据cpu/内存等通用资源指标分配，无法识别哪些规则可共享同一份物化数据集，要么全局串行浪费资源、要么盲目并行引发同一中间表的并发写入冲突；分桶与并行度配置静态、无法自适应；规则版本管理与时效性保障不足，任务直接使用创建时刻绑定的规则标识符。

2、现有技术中，如公开号为cn119806771a的中国专利申请公开了一种基于节点动态负载和任务关联性度量的并行任务调度方法，结合全局调度器和局部调度器，实现样本间并行度和样本内模型间并行，通过计算资源虚拟化、gpu虚拟化复用和任务预测模型等技术手段，优化任务分配和模型执行顺序。然而，该类方法聚焦于通用计算资源的动态分配与任务排序优化，未能从业务逻辑层面识别规则间的数据依赖与共享关系，仍无法解决规则引擎场景中因重复物化计算导致的性能瓶颈问题。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种医保监管数据处理方法及系统。

2、根据本发明提供的一方面，一种医保监管数据处理方法，包括：

3、步骤s1：中心调度器接收监管任务请求；每个监管任务请求包含规则标识符集合以及任务参数组；

4、步骤s2：中心调度器对规则标识符集合进行版本升级链处理；

5、步骤s3：中心调度器读取经处理的规则标识符集合中每条规则的四维业务分组知识，以四维取值组合作为分组键，将取值组合相同的规则归并至同一规则分组，使同一规则分组内的规则共享同一份物化数据集；

6、步骤s4：中心调度器先将任务参数组固化为一张筛选临时表；以筛选临时表为依据生成就诊、处方、诊断、手术四张中间表，随后统计就诊中间表的数据行数，依据数据行数与预设的单行字节常量预估数据量，并依据数据量与单桶容量阈值反推外部表分桶数；

7、步骤s5：中心调度器将每个规则分组作为一个任务单元写入分布式集合，并将规则分组总数写入原子计数器；多个分片执行器通过分布式集合的弹出操作并发竞争消费任务单元，每消费一个任务单元即将原子计数器原子递减，由最后一个完成消费的分片执行器依据原子计数器的递减返回值触发统一收尾操作；

8、步骤s6：分片执行器针对其消费到的任务单元，依据业务分组类型动态生成时间截断函数与结构化查询语句的占位符替换结果，得到物化结构化查询语句；并依据外部表分桶数创建外部表，将物化结构化查询语句的执行结果装载至外部表，形成该规则分组对应的共享数据集；

9、步骤s7：当原子计数器递减至零时，最后完成的分片执行器触发统计分析指标计算，并向风控中心发送携带规则分组列表与任务标识的委托分析通知；风控中心依据各规则分组的共享数据集执行违规判定，判定结果按省、统筹区、规则、机构、参保人、就诊六个维度聚合存储，供监管工作台查询与下钻分析，其中，统计分析指标至少包括行政区划数、检出人次、检出人数、疑点金额和检出规则数。

10、优选地，步骤s1中，任务参数组包括行政区划、医疗机构等级、医疗类别、时间窗口与就诊金额区间中的至少一项；监管任务请求由经办人员经监管工作台手动创建，或由日计划/月计划按时触发的周期性任务自动生成；中心调度器据此计算数据时间窗口并解析任务参数组，供后续筛选与时间窗口计算使用。

11、优选地，步骤s2具体包括：

12、剔除处于停用状态的规则标识符，并将所代表的规则版本低于当前最新生效版本的规则标识符，依据上级来源规则标识符与原始来源规则标识符追溯升级为指向最新生效版本的规则标识符，得到经处理的规则标识符集合。

13、优选地，步骤s3中，四维业务分组知识包括业务分组类型、业务分组依赖、就诊分组字段、处方分组字段，业务分组类型包括单就诊、日、月、年四类，其中，所有“单就诊”类型的规则均以单次就诊为最小处理单元，不涉及跨就诊时间聚合，其物化数据集形态一致，无论其余三维取值如何，全部合并为同一个规则分组；“日、月、年”类型涉及跨就诊时间聚合，则依据业务分组依赖、就诊分组字段与处方分组字段的取值组合各自成组。

14、优选地，步骤s4中，依据数据量与单桶容量阈值反推外部表分桶数具体包括：

15、以单行字节常量之和乘以数据行数得到预估数据量；将预估数据量除以单桶容量阈值向上取整得到候选分桶数；当候选分桶数小于预设最小分桶数时，取最小分桶数。

16、优选地，步骤s5中，中心调度器按照分片广播路由策略启动多个分片执行器，各分片执行器具有唯一的分片序号；分片序号为0的主分片执行器承担初始化职责，依次执行：生成任务唯一标识、调用版本升级链处理接口对规则标识集合进行版本兼容性升级处理、调用规则分组归并接口将规则标识集合按预设策略归并为若干规则分组并封装为任务单元集合、调用自适应分桶接口依据数据量动态计算分桶数量，最后将任务唯一标识和任务单元集合写入分布式缓存，并将分桶数量写入缓存供后续步骤使用；分片序号不为0的从分片执行器启动后，以轮询方式从分布式缓存中读取任务唯一标识，读取成功后即并发竞争消费流程。

17、优选地，步骤s6中，结构化查询语句以模板形式外置存储，至少包括单就诊模板与跨就诊模板两类，模板中至少包括分桶数占位符、就诊分组字段占位符、中间表名占位符、筛选条件占位符及子查询关联条件占位符。

18、优选地，该方法包括还如下机制：

19、当接收到任务取消指令时，中心调度器将任务状态置为取消并发布任务取消事件，该事件被数据准备监听器、风控通知监听器、结果保存监听器多个监听器并行接收：数据准备监听器删除已生成的外部表与中间表，风控通知监听器通知风控中心取消违规判定，结果保存监听器通知结果聚合层取消结果保存。

20、优选地，该方法还包括如下机制：

21、中心调度器以任务执行日志记录数据准备、数据分析、数据保存三个阶段各自的阶段状态与阶段进度，其中，阶段进度以0~1之间的小数表示（数据准备阶段示例：0.01→0.45→0.9→1.0）；

22、当任一阶段发生异常时，将该任务的阶段状态置为失败、记录失败原因，并取消其他分片执行器上属于同一任务的作业。

23、根据本发明提供的另一方面，一种医保监管数据处理系统，包括：

24、模块m1：中心调度器接收监管任务请求；每个监管任务请求包含规则标识符集合以及任务参数组；

25、模块m2：中心调度器对规则标识符集合进行版本升级链处理；

26、模块m3：中心调度器读取经处理的规则标识符集合中每条规则的四维业务分组知识，以四维取值组合作为分组键，将取值组合相同的规则归并至同一规则分组，使同一规则分组内的规则共享同一份物化数据集；

27、模块m4：中心调度器先将任务参数组固化为一张筛选临时表；以筛选临时表为依据生成就诊、处方、诊断、手术四张中间表，随后统计就诊中间表的数据行数，依据数据行数与预设的单行字节常量预估数据量，并依据数据量与单桶容量阈值反推外部表分桶数；

28、模块m5：中心调度器将每个规则分组作为一个任务单元写入分布式集合，并将规则分组总数写入原子计数器；多个分片执行器通过分布式集合的弹出操作并发竞争消费任务单元，每消费一个任务单元即将原子计数器原子递减，由最后一个完成消费的分片执行器依据原子计数器的递减返回值触发统一收尾操作；

29、模块m6：分片执行器针对其消费到的任务单元，依据业务分组类型动态生成时间截断函数与结构化查询语句的占位符替换结果，得到物化结构化查询语句；并依据外部表分桶数创建外部表，将物化结构化查询语句的执行结果装载至外部表，形成该规则分组对应的共享数据集；

30、模块m7：当原子计数器递减至零时，最后完成的分片执行器触发统计分析指标计算，并向风控中心发送携带规则分组列表与任务标识的委托分析通知；风控中心依据各规则分组的共享数据集执行违规判定，判定结果按省、统筹区、规则、机构、参保人、就诊六个维度聚合存储，供监管工作台查询与下钻分析，其中，统计分析指标至少包括行政区划数、检出人次、检出人数、疑点金额和检出规则数。

31、与现有技术相比，本发明具有如下的有益效果：

32、本发明通过中心调度器接收监管任务请求→版本升级链处理→规则业务分组归并→筛选临时表与四张中间表+自适应分桶→分片任务调度→动态物化sql与外部表装载→最后完成的分片执行器触发统计分析与风控委托分析，结果按六维聚合存储。各步骤所产生的数据（经处理的规则标识符集合、规则分组、中间表、外部表分桶数、任务标识等）均被后续步骤所使用。

33、本发明将海量医保监管规则按四维业务分组知识（业务分组类型、业务分组依赖、就诊分组字段、处方分组字段）归并为规则分组，使同组规则共享同一份物化数据集，把逐规则全量扫描转变为按业务分组共享物化的分片并行处理；并通过分布式集合的弹出操作与原子计数器实现无中心化的分片任务调度，依据数据规模自适应推算外部表分桶数，配合版本升级链处理与任务取消事件监听，在保障数据一致性的同时显著降低重复计算与存储开销。

34、本发明通过采用规则业务分组归并算法，将数据访问维度相同的监管规则归并至同一规则分组、共享同一份物化数据集，解决了现有技术逐规则全量扫描导致的重复计算、作业耗时随规则数量线性增长的问题，达到了将大数据重复扫描与物化次数从规则数量级降低至规则分组数量级的效果（耗时降低约86%）。

35、本发明通过采用分布式集合弹出操作与原子计数器的分片任务调度，解决了主节点统一分发方式的主节点单点瓶颈与负载不均问题，达到了无锁竞争消费、自适应负载均衡、收尾逻辑精确触发一次（既不重复也不遗漏）的效果。

36、本发明通过采用依据数据行数与单行字节常量预估数据量并反推外部表分桶数的自适应分桶，解决了固定分桶数在小数据量时空桶小文件、大数据量时并行度不足的两难问题。

37、本发明通过采用版本升级链处理，解决了任务绑定创建时刻规则、执行过时规则导致监管结论失真的问题。

38、本发明通过采用任务取消事件的多监听器并行接收与三阶段进度日志，解决了任务异常/取消时残留中间数据、无法精确观测与回滚执行进度的问题。