一种基于强化学习的陪诊业务订单智能分配系统的制作方法

本发明涉及服务调度，尤其涉及一种基于强化学习的陪诊业务订单智能分配系统。

背景技术：

1、随着就医陪护需求的持续增长，陪诊订单的智能分配已成为陪诊平台运营效率的核心环节。现有分配系统多基于位置、技能标签等条件匹配派单，部分平台引入强化学习，以陪诊订单完成结果、履约时长和用户评价作为奖励信号迭代优化派单策略。但陪诊订单的履约过程包含候诊、检查排队等由服务场所排队状况主导的环节，其时长不可控且占比高，以整体履约结果作为奖励信号，排队随机波动被计入对分配决策的评价，策略学习受到干扰；且各陪诊订单在科室、检查项目上差异显著，履约结果之间缺乏可比性，难以确定单次分配决策的真实贡献；同时，训练数据仅包含已执行动作的履约结果，对多人协同完成同一陪诊订单的复合分配方式缺乏历史数据，策略难以对其有效评估与应用。上述问题导致现有分配系统策略收敛慢、分配质量不稳定，尤其在排队干扰剔除与协同分配方式的评估应用方面仍存在不足。

2、中国专利公开号：cn110322953a，公开了一种智能陪诊系统及其陪诊方法，属于医疗技术领域。其中，智能陪诊系统包括：信息收集平台、信息识别平台、云存储平台以及信息处理平台，所述信息处理平台包括分诊模块、预约挂号模块、医嘱模块、路径规划模块以及查询模块，通过医嘱模块可以将患者就诊项目的地点、时间及注意事项告知患者，并通过多次提醒避免患者错过就诊时间；同时，利用路径规划模块为患者规划就诊项目的先后顺序以及提供就诊项目科室的位置导航，既能减少患者等待时间，同时又能合理分配医疗资源。与现有技术相比，本发明提供的智能陪诊系统可以节约患者就诊时间，提高就诊效率，能够为对医院不熟悉的患者尤其是异地就医患者提供巨大便利。

3、但是，现有技术中还存在以下问题：

4、现有陪诊订单分配系统通常以陪诊订单整体履约结果作为奖励信号执行策略优化，而陪诊订单的履约时长主要由服务场所的排队状况决定，一旦排队状况随机波动，波动会被计入对分配决策的评价，且各陪诊订单的履约结果之间缺乏统一的比较基准，分配决策对履约结果的真实贡献难以确定。

技术实现思路

1、为此，本发明提供一种基于强化学习的陪诊业务订单智能分配系统，用以克服现有技术中在陪诊订单分配场景下，以陪诊订单整体履约结果作为奖励信号进行策略优化，导致服务场所排队状况的随机波动干扰分配决策评价、分配决策的真实贡献难以准确度量的问题。

2、为实现上述目的，本发明提供一种基于强化学习的陪诊业务订单智能分配系统，包括：

3、状态构建模块，其用以获取陪诊订单的陪诊订单特征、候选陪诊员的人员特征以及服务场所的事件进程特征，以构建环境状态；

4、策略决策模块，其用以基于分配策略网络，根据所述环境状态从扩展动作空间确定目标分配动作；

5、履约采集模块，其用以采集所述陪诊订单的陪诊订单履约数据；

6、事件流解析模块，其用以根据所述服务场所的服务流程事件进展数据，将所述陪诊订单履约数据按服务事件和可控属性切分为可控阶段数据和等待阶段数据；

7、参照确定模块，其用以从与所述陪诊订单相似的历史陪诊订单中，确定未采用与所述目标分配动作同类动作的参照陪诊订单集合，基于所述参照陪诊订单集合的所述可控阶段数据确定分阶段履约参照值；

8、评价确定模块，其用以根据所述可控阶段数据与对应阶段的所述履约参照值的偏差确定动作评价值；

9、策略更新模块，其用以根据所述动作评价值更新所述分配策略网络，确定所述动作评价值的置信度，按所述置信度控制协同分配动作的采用比例。

10、进一步地，状态构建模块包括：

11、陪诊信息子模块，其用以通过服务需求内容的数据确定陪诊订单特征；

12、技能状态子模块，其用以获取各候选陪诊员的技能参数、实时位置以及已承诺服务时段，以确定所述人员特征；

13、事件进程子模块，其用以获取所述服务场所内各服务流程事件的实时进展数据，确定所述陪诊订单的后续服务事件的预计到达时间分布，以确定所述事件进程特征。

14、进一步地，策略决策模块基于分配策略网络，根据所述环境状态从扩展动作空间确定目标分配动作的过程包括：

15、根据所述人员特征确定各候选陪诊员可执行的候选分配动作；

16、根据所述事件进程特征确定各候选分配动作的预计履约时刻；

17、对所述扩展动作空间中的各候选分配动作进行价值评估，确定各候选分配动作的动作价值；

18、根据所述各候选分配动作的动作价值与预设的随机选择比例，确定所述目标分配动作；

19、其中，所述扩展动作空间包括整单指派动作以及协同分配动作。

20、进一步地，履约采集模块采集所述陪诊订单的陪诊订单履约数据的过程包括：

21、响应于所述陪诊订单的执行，采集陪诊订单完成结果、陪诊订单中断事件以及用户评价数据；

22、采集各执行陪诊员的服务过程记录；

23、若所述目标分配动作为由多个陪诊员协同完成同一陪诊订单的协同分配动作，则在相邻服务阶段的交接时点生成交接记录。

24、进一步地，事件流解析模块包括：

25、阶段切分子模块，其用以按照预设的事件流模板，将所述陪诊订单履约数据切分为对应各服务事件的服务阶段数据；

26、属性判定子模块，其用以基于可控性判定基准，将所述服务阶段数据区分为可控阶段数据和等待阶段数据。

27、进一步地，参照确定模块包括：

28、相似检索子模块，其用以基于所述陪诊订单的陪诊订单特征，计算所述陪诊订单与各历史陪诊订单的相似度，确定相似陪诊订单集合；

29、参照筛选子模块，其用以从所述相似陪诊订单集合中，筛选未采用与所述目标分配动作同类动作的历史陪诊订单，确定所述参照陪诊订单集合；

30、参照值确定子模块，其用以基于所述参照陪诊订单集合的所述可控阶段数据，按服务阶段执行统计运算，确定所述分阶段履约参照值。

31、进一步地，参照值确定子模块确定分阶段履约参照值的过程包括：

32、基于所述等待阶段数据，将所述陪诊订单与所述参照陪诊订单集合中的各历史陪诊订单按服务事件进行阶段对齐；

33、按服务阶段提取对齐后的各历史陪诊订单的所述可控阶段数据，执行所述统计运算，确定所述分阶段履约参照值；

34、其中，所述等待阶段数据用于所述阶段对齐，不计入所述统计运算。

35、进一步地，评价确定模块根据所述可控阶段数据与对应阶段的所述履约参照值的偏差确定动作评价值的过程包括：

36、计算所述可控阶段数据中各服务阶段的数据与对应阶段的所述履约参照值的差值，确定各服务阶段的阶段偏差值；

37、若所述目标分配动作为由单一陪诊员执行完整陪诊订单的整单指派动作，则将所述各服务阶段的阶段偏差值之和确定为所述动作评价值；

38、若所述目标分配动作为由多个陪诊员协同完成同一陪诊订单的协同分配动作，则按照各执行陪诊员负责的服务阶段，将对应服务阶段的所述阶段偏差值分别对应至各执行陪诊员，根据分别对应结果确定所述动作评价值。

39、进一步地，策略更新模块包括：

40、网络更新子模块，其用以根据所述动作评价值更新所述分配策略网络的网络参数；

41、置信确定子模块，其用以根据所述参照陪诊订单集合的样本规模确定所述动作评价值的置信度；

42、比例控制子模块，其用以按所述置信度控制协同分配动作的采用比例；

43、其中，所述协同分配动作的采用比例随所述置信度的增大而增大。

44、进一步地，置信确定子模块根据所述参照陪诊订单集合的样本规模确定所述动作评价值的置信度的过程包括：

45、统计所述参照陪诊订单集合中各服务阶段对应的参照样本数量；

46、将所述各服务阶段对应的参照样本数量分别与预设的样本规模基准进行比对，确定各服务阶段的子置信度；

47、基于各所述子置信度确定所述动作评价值的置信度。

48、与现有技术相比，本发明通过事件流解析模块将陪诊订单履约数据分类为可控阶段数据和等待阶段数据，参照确定模块从相似历史陪诊订单中确定未采用同类动作的参照陪诊订单集合，基于参照陪诊订单集合的可控阶段数据确定分阶段履约参照值，评价确定模块根据可控阶段数据与对应阶段的履约参照值的偏差确定动作评价值，策略更新模块根据动作评价值更新分配策略网络，按置信度控制协同分配动作的采用比例。本发明降低了服务场所排队状况对分配决策评价的干扰，提高了派单分配的决策质量。

49、尤其，本发明考量了排队状况干扰分配决策评价的问题。实际运营中，陪诊订单的履约时长主要由候诊、检查排队、报告出具等环节占据，此类环节由服务场所的排队状况主导，陪诊员的服务行为与分配决策均无法改变其时长，若将陪诊订单整体履约结果作为策略优化的依据，排队状况的随机波动会被误认为分配决策的优劣，派单策略将倾向于选择排队较少的陪诊订单而非作出更优的分配。本发明的事件流解析模块根据服务流程事件进展数据，将陪诊订单履约数据按服务事件和可控属性切分为可控阶段数据和等待阶段数据，动作评价值仅基于可控阶段数据确定，等待阶段数据不参与评价运算，使排队状况的随机波动被排除在分配决策的评价之外，保证了策略优化方向的正确性。

50、尤其，针对各陪诊订单履约结果缺乏可比性的问题，本发明提供了跨陪诊订单的统一度量基准。不同陪诊订单在科室类型、检查项目以及患者情况上存在差异。难易程度不同的陪诊订单直接比较履约结果无法反映分配真实情况。本发明的参照确定模块从与陪诊订单相似的历史陪诊订单中，确定未采用与目标分配动作同类动作的参照陪诊订单集合，基于参照陪诊订单集合的可控阶段数据确定分阶段履约参照值，动作评价值仅评估分配决策带来的超出同类陪诊订单正常水平的服务效果，降低了陪诊订单本身难易程度的影响；对于协同分配动作，动作评价值还可按服务阶段分别对应至各执行陪诊员，使多人协同完成同一陪诊订单时各陪诊员的服务贡献得以分别确定。