无人档案库房多任务执行控制方法、装置、设备以及介质与流程

1.本公开涉及无人档案库房技术领域，尤其涉及一种无人档案库房多任务执行控制方法、装置、设备以及介质。


背景技术：

2.档案库房，顾名思义，为用于存储档案的库房。随着自动化技术的发展，其逐渐应用到档案库发中，以降低人工成本。
3.但是，现有的无人档案库房，运行效率仍较低，导致用户使用体验较差。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了能够提升无人档案库房的运行效率，以提升用户体验的无人档案库房多任务执行控制方法、装置、设备以及介质。
5.第一方面，本公开提供了一种无人档案库房多任务执行控制方法，该方法包括：
6.获取无人档案库房的特征参数，并基于所述特征参数，确定任务动作关联的初始化参数；
7.基于所述特征参数和所述初始化参数，构建基于强化学习的档案抓取过程模型；
8.基于所述档案抓取过程模型，通过仿真迭代，获取档案抓取过程优化策略集；其中，通过随机策略迭代可能发生的所有任务序列，迭代终止条件为已经迭代了所有的可能发生的任务序列，优化策略集为针对各任务序列的用时最短的策略的集合；
9.基于所述优化策略集与多个待执行任务，确定任务序列。
10.在一些实施例中，所述特征参数包括密集架的列数、每列密集架的宽度以及密集架中固定架的位置；
11.所述确定任务动作关联的初始化参数，包括：
12.确定密集架的列数编号、密集架开启时间以及自动抓取装置的运行速度。
13.在一些实施例中，所述档案抓取过程模型满足马尔科夫性质。
14.在一些实施例中，所述构建基于强化学习的档案抓取过程模型包括：
15.基于密集架的列数、已开启的密集架的列数以及自动抓取装置所处的列数，确定抓取的状态空间；
16.基于密集架的列数、将开启的密集架的列数以及自动抓取装置当前所要到达的目标列数，确定抓取的行为空间；
17.确定抓取的状态转移概率；
18.建立状态行为的奖励函数；
19.确定衰减系数；
20.基于所述状态空间、所述行为空间、所述状态转移概率、所述奖励函数以及所述衰减系数，构建基于强化学习的档案抓取过程模型。
21.在一些实施例中，所述基于所述档案抓取过程模型，通过仿真迭代，获取档案抓取过程优化策略集，包括：
22.基于所述档案抓取过程模型，构建任务序列价值函数；
23.在初始抓取策略为随机策略的情况下，通过迭代计算，确定随机策略下每个状态的价值；
24.基于更新后的状态的价值，采用更新策略再次迭代计算，得到更新策略下的状态价值；
25.多次更新并迭代，确定档案抓取过程中的优化策略集；其中，所述优化策略集包括针对各任务的最优策略及最优状态价值。
26.在一些实施例中，所述更新策略包括贪心算法。
27.在一些实施例中，所述基于所述优化策略集与多个待执行任务，确定任务序列，包括：
28.基于所述最优策略及所述最优状态价值，针对多个待执行任务，依次选择当前状态价值最优的行为，形成所述任务序列。
29.第二方面，本公开提供了一种无人档案库房多任务执行控制装置，该装置包括：
30.参数获取单元，用于获取无人档案库房的特征参数，并基于所述特征参数，确定任务动作关联的初始化参数；
31.模型构建单元，用于基于所述特征参数和所述初始化参数，构建基于强化学习的档案抓取过程模型；
32.仿真迭代单元，用于基于所述档案抓取过程模型，通过仿真迭代，获取档案抓取过程优化策略集；其中，通过随机策略迭代可能发生的所有任务序列，迭代终止条件为已经迭代了所有的可能发生的任务序列，优化策略集为针对各任务序列的用时最短的策略的集合；
33.序列确定单元，用于基于所述优化策略集与多个待执行任务，确定任务序列。
34.在一些实施例中，所述特征参数包括密集架的列数、每列密集架的宽度以及密集架中固定架的位置；
35.所述参数获取单元用于确定任务动作关联的初始化参数，包括：
36.确定密集架的列数编号、密集架开启时间以及自动抓取装置的运行速度。
37.在一些实施例中，所述档案抓取过程模型满足马尔科夫性质。
38.在一些实施例中，所述模型构建单元用于构建基于强化学习的档案抓取过程模型，包括：
39.基于密集架的列数、已开启的密集架的列数以及自动抓取装置所处的列数，确定抓取的状态空间；
40.基于密集架的列数、将开启的密集架的列数以及自动抓取装置当前所要到达的目标列数，确定抓取的行为空间；
41.确定抓取的状态转移概率；
42.建立状态行为的奖励函数；
43.确定衰减系数；
44.基于所述状态空间、所述行为空间、所述状态转移概率、所述奖励函数以及所述衰
减系数，构建基于强化学习的档案抓取过程模型。
45.在一些实施例中，所述仿真迭代单元用于基于所述档案抓取过程模型，通过仿真迭代，获取档案抓取过程优化策略集，包括：
46.基于所述档案抓取过程模型，构建任务序列价值函数；
47.在初始抓取策略为随机策略的情况下，通过迭代计算，确定随机策略下每个状态的价值；
48.基于更新后的状态的价值，采用更新策略再次迭代计算，得到更新策略下的状态价值；
49.多次更新并迭代，确定档案抓取过程中的优化策略集；其中，所述优化策略集包括针对各任务的最优策略及最优状态价值。
50.在一些实施例中，所述更新策略包括贪心算法。
51.在一些实施例中，所述序列确定单元用于基于所述优化策略集与多个待执行任务，确定任务序列，包括：
52.基于所述最优策略及所述最优状态价值，针对多个待执行任务，依次选择当前状态价值最优的行为，形成所述任务序列。
53.第三方面，本公开还提供了一种电子设备，包括：处理器和存储器；
54.处理器通过调用存储器存储的程序或指令，用于执行上述任一方法的步骤。
55.第四方面，本公开还提供了一种计算机可读存储介质，计算机可读存储介质存储程序或指令，程序或指令使计算机执行上述任一方法的步骤。
56.本公开实施例提供的技术方案与现有技术相比具有如下优点：
57.本公开实施例提供的无人档案库房多任务执行控制方法、装置、设备以及介质中，方法包括获取无人档案库房的特征参数，并基于特征参数，确定任务动作关联的初始化参数；基于特征参数和初始化参数，构建基于强化学习的档案抓取过程模型；基于档案抓取过程模型，通过仿真迭代，获取档案抓取过程优化策略集；其中，通过随机策略迭代可能发生的所有任务序列，迭代终止条件为已经迭代了所有的可能发生的任务序列，优化策略集为针对各任务序列的用时最短的策略的集合；基于优化策略集与多个待执行任务，确定任务序列。由此，可针对用户拿取多个档案的需求，结合无人档案库房的特征，形成针对用户需求且符合库房特征的最优取档策略，有效优化任务序列的取档时间，提升无人档案库房实际运行效率，提升用户体验。
附图说明
58.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
59.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
60.图1为本公开实施例提供的一种无人档案库房多任务执行控制方法的流程示意图；
61.图2本公开实施例提供的一种无人档案库房的取档原理示意图；
62.图3为本公开实施例提供的一种无人档案库房多任务执行控制装置的结构示意图；
63.图4为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
64.为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
65.在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
66.相关技术中，无人档案库房可包括用于存储档案的密集架、能够实现将档案从密集架中取出的自动抓取装置以及与用户直接交互以便用户拿取档案的自助存取柜。其中，档案自动拿取的时间不仅取决于档案在密集架中的位置、密集架的开合速度、自动抓取装置的运行速度等因素，同时上述因素间也存在相互耦合的关系。在无人档案库房的实际运行过程中，通常存在用户一次性需要拿取多份档案的情况，基于此，对应形成由多个存取档任务构成的任务序列。若任务序列中的各任务分别单独执行，则会导致拿取档案的时间较长，效率较低，用户体验较差。针对此，优化任务序列中各任务的执行顺序，使得任务序列的整体运行时间最小，以提升运行效率，进而提升用户体验，是无人档案库房在进行任务序列规划时亟待解决的问题。
67.针对此，本公开实施例结合档案在密集架中的位置、密集架的开合速度、自动抓取装置的运行速度等因素，以及各因素之间相互耦合的关系，提出一种无人档案库房多任务执行控制方法，以构建适用于无人档案库房的实际情况和需求的最优取档策略，从而有效优化任务序列的取档时间，提升无人档案库房实际运行效率，提升用户体验。
68.下面结合图1-图3，对本公开实施例提供的无人档案库房多任务执行控制方法、装置、设备以及介质进行示例性说明。
69.在一些实施例中，如图1所示，该无人档案库房多任务执行控制方法可包括如下步骤。
70.s110、获取无人档案库房的特征参数，并基于特征参数，确定任务动作关联的初始化参数。
71.其中，无人档案库房的特征参数，用于表征无人档案库房的固有特征，并决定了档案存取任务执行时，对应的密集架或者自动抓取装置所执行的动作相关联的初始化参数。
72.示例性的，如图2所示，特征参数可包括密集架列数(以n示出，为正整数)、每列密集架的宽度l0以及密集架中的固定架的位置。其可被预先存储，以在该步骤中被调用。进一步地，基于无人档案库房的固有特征，对密集架的列数编号、密集架的开合时间、自动抓取装置的运行速度等进行初始化设定，即确定初始化参数。
73.s120、基于特征参数和初始化参数，构建基于强化学习的档案抓取过程模型。
74.即根据在s110中获取和确定的无人档案库房的各项参数，构建基于强化学习的档案抓取过程模型，以便后续通过仿真迭代，得到恰当的档案抓取策略，以减少不同需求下的
任务执行时间。
75.其中，该步骤的具体执行过程在后文中以基于马尔科夫过程构建的模型为例进行示例性说明。
76.s130、基于档案抓取过程模型，通过仿真迭代，获取档案抓取过程优化策略集。
77.其中，通过随机策略迭代可能发生的所有任务序列，迭代终止条件为已经迭代了所有的可能发生的任务序列，优化策略集为针对各任务序列的用时最短的策略的集合。
78.如此，以便在针对多个待执行任务时，结合优化策略集，确定任务序列，以减少任务执行时间，提高运行效率。
79.s140、基于优化策略集与多个待执行任务，确定任务序列。
80.即根据优化策略和用户实际输入的任务序列，形成优化后的任务序列。示例性的，根据优化策略集和用户实际输入的任务序列，通过进行贪心(greedy)算法来更新任务序列，依次选择下一份档案抓取的最优策略(示例性的，当确定抓取第n-1份档案的策略后，基于此更新第n份档案抓取最优的策略)，以此形成优化后的任务序列。
81.如此，确定了优化后的任务序列。
82.其后，还可包括基于优化后的任务序列，进行存取档操作。
83.本公开实施例提供的无人档案库房的多任务执行控制住方法包括获取无人档案库房的特征参数，并基于特征参数，确定任务动作关联的初始化参数；基于特征参数和初始化参数，构建基于强化学习的档案抓取过程模型；基于档案抓取过程模型，通过仿真迭代，获取档案抓取过程优化策略集；其中，通过随机策略迭代可能发生的所有任务序列，迭代终止条件为已经迭代了所有的可能发生的任务序列，优化策略集为针对各任务序列的用时最短的策略的集合；基于优化策略集与多个待执行任务，确定任务序列，由此，针对不确定抓取需求下的档案抓取效率问题，基于无人库房的特征，结合强化学习生成最优的档案抓取策略，以优化任务序列的整体存取档时间，进而提升无人档案库房的用户体验。
84.在一些实施例中，特征参数包括密集架的列数、每列密集架的宽度以及密集架中固定架的位置；基于此，结合图1，s110中的确定任务动作关联的初始化参数，具体可如包括：
85.确定密集架的列数编号、密集架开启时间以及自动抓取装置的运行速度。
86.具体的，如图2所示，无人档案库房的密集架列数n，其为正整数；每列密集架的宽度，其为l0，物理单位可为米(m)；密集架中固定架位置，该固定架为密集架中无法移动打开的一列架体。
87.且，密集架的开启时间取决于所需移动的密集架列的数量。确定单个货架的开启时间为t0，每增加一个货架，开启时间增加
△
t。
88.能够理解的是，t0通常不等于
△
t，
△
t为单个货架的开启时间与一个货架开启后到下一个货架开启前的间隔时间的总和。当需要连续打开多个货架的时候，并不是一个完全打开之后，下一个才打开的，而是一个货架开始移动或者移动到一定程度之后，另一个货架即开始移动；或者基于货架开启位置，多列货架同步移动，在此不限定。若只打开一个货架，单从时间数值的角度考虑，t0与
△
t的数值大致相等。
89.并且，同一时刻，处于完全开启状态的密集架只能有一个，位于两侧最远端的档案无需开启密集架即可取档案。
90.具体的，如图2所示，无人档案库房中，自动抓取装置的移动速度可为v0，其物理单位可为米/秒；该移动速度也可称为运行速度，其大小由密集架的特征参数决定，可采用本领域技术人员可知的任一种计算方法得到，在此不赘述也不限定。
91.在一些实施例中，档案抓取过程模型满足马尔科夫性质。
92.其中，针对多个待执行任务，其抓取过程的总完成时间是由抓取各个档案的时间累积而成，也就是说档案抓取问题可以分解为抓取每个档案的问题。而各个档案的抓取时间只与上一个档案的抓取时间有关，与其他档案的抓取时间无关，该特性符合马尔可夫性质，即当单独计算抓取第m份档案的时间时，只需考虑抓取第m-1份档案的的位置，抓取结束后自主抓手的位置等情况。与第m-2份以及之前的抓取档案的过程无关。其中，1≤m≤n，且m为正数。因此，档案的抓取过程可以理解为一个马尔可夫过程。
93.在一些实施例中，构建基于强化学习的档案抓取过程模型包括：
94.基于密集架的列数、已开启的密集架的列数以及自动抓取装置所处的列数，确定抓取的状态空间；
95.基于密集架的列数、将开启的密集架的列数以及自动抓取装置当前所要到达的目标列数，确定抓取的行为空间；
96.确定抓取的状态转移概率；
97.建立状态行为的奖励函数；
98.确定衰减系数；
99.基于状态空间、行为空间、状态转移概率、奖励函数以及衰减系数，构建基于强化学习的档案抓取过程模型。
100.能够理解的是，由于状态空间、行为空间、状态转移概率、奖励函数以及衰减系数均不由彼此决定，因此确定上述各参数的步骤之间，执行的先后顺序不限定。
101.具体的，将抓取过程描述为《s，a，p，r，γ》。
102.其中，s为抓取的状态空间，a为抓取的行为空间，p为抓取的状态转移概率，r为状态行为的奖励函数，γ为衰减系数。
103.基于此，构建档案抓取过程模型可包括：
104.确定状态空间、行为空间、状态转移概率、奖励函数以及衰减系数，以及基于此构建函数。
105.其步骤之一为确定状态空间。
106.示例性的，状态空间s表示为：
[0107][0108]
其中，i取值为0时，s0表示初始状态，对应于密集架紧密排列，自动抓取装置处于固定架位置处；i取值为非0的其他正数时，si表示密集架已开启第i列，自动抓取装置处于i列。
[0109]
其步骤之二包括确定行为空间。
[0110]
具体的，行为空间a表示为：
[0111][0112]
其具体表示密集架将开启第i列货架，自动抓取装置向第i列货架移动。
[0113]
其步骤之三包括确定状态转移概率。
[0114]
具体的，转移概率p为100％，表示处于任何状态时，当执行某一行为，都将100％的转移到行为指定的状态。
[0115]
其步骤之四包括确定奖励函数，奖励r可表示为：
[0116][0117]
其中，表示自动抓取装置从i列向j列移动所用的时间，表示货架从i列开启变为j列开启所用的时间；max表示两者取大，即为取得一个档案所用的时间，此时间取负定义为任意两个状态间转移所得的即时奖励。
[0118]
并且，具体的：
[0119][0120][0121]
示例性的，查表所需的表格如表1所示。
[0122]
表1当i
·
i≤0时货架j开启时间表格
[0123][0124]
其步骤之五包括确定衰减系数γ，示例性的，其可为1。
[0125]
前述五个步骤之间的执行先后顺序不限定，在确定了状态空间、行为空间、状态转移概率、奖励函数以及衰减系数之后，基于状态空间、行为空间、状态转移概率、奖励函数以及衰减系数，构建基于强化学习的档案抓取过程模型，例如构建《s，a，p，r，γ》。
[0126]
至此，完成档案抓取过程模型的构建。
[0127]
在一些实施例中，基于档案抓取过程模型，通过仿真迭代，获取档案抓取过程优化策略集，包括：
[0128]
基于档案抓取过程模型，构建任务序列价值函数；
[0129]
在初始抓取策略为随机策略的情况下，通过迭代计算，确定随机策略下每个状态的价值；
[0130]
基于更新后的状态的价值，采用更新策略再次迭代计算，得到更新策略下的状态
价值；
[0131]
多次更新并迭代，确定档案抓取过程中的优化策略集；其中，优化策略集包括针对各任务的最优策略及最优状态价值。
[0132]
具体的，首先构建任务序列价值函数。
[0133]
示例性的，每个状态s的价值可表示为：
[0134][0135]
其中，π(ai|s)为一个抓取策略，表示在状态s下执行ai的概率，为在状态s下执行ai获取的奖励，s
′
为在状态s下执行ai转移到的状态，为在状态s执行a行为转移到状态s
′
的概率，γ为衰减系数。
[0136]
其后，通过仿真迭代获得最优策略。
[0137]
其中，设定每个状态的初始价值为0，即初始抓取策略为随机策略，通过多次迭代计算，可得到随机策略下每个状态的价值。
[0138]
针对更新的状态价值，可采用更新策略(例如贪心算法)，再次进行迭代计算，可得到新策略下的状态价值。如此反复多次，最终可得到最优的策略π
*
和最优的状态价值v
*
，如下。
[0139]
策略π
*
：
[0140]
状态价值v
*
：
[0141]
在其他实施方式中，更新策略还可采用其他算法实现，在此不赘述也不限定。
[0142]
在一些实施例中，基于优化策略集与多个待执行任务，确定任务序列，包括：
[0143]
基于最优策略及最优状态价值，针对多个待执行任务，依次选择当前状态价值最优的行为，形成任务序列。
[0144]
基于得到的最优策略和最优状态价值，可针对任意数量的档案抓取需求，如(s1，s2，s3，
…
)，依次选择使当前状态价值最优的行为，构成对应的行为序列(a1，a2，a3，
…
)，这一行为序列即为最优的档案抓取序列。
[0145]
由此，确定了用时最短的任务序列，基于此执行多个待执行任务的任务序列时，整体用时较短，提高了无人档案库房的运行效率，进而提升了用户体验。
[0146]
本公开实施例提供的无人档案库房多任务执行控制方法，能够针对全自动化控制的无人档案库房，提供针对用户包括多个取档任务的不确定需求的、且基于库房的多个关联参数的最优取档策略，从而有效优化任务序列中的多个任务的取档时间，提升无人档案库房实际运行效率，提升用户体验。
[0147]
在上述实施方式的基础上，本公开实施例还提供了一种无人档案库房多任务执行控制装置，该装置可用于执行上述实施方式中任一种方法的步骤，实现对应的有益效果，具体可结合上文中对方法的解释说明进行理解，在此不赘述。
[0148]
在一些实施例中，如图3所示，该装置可包括：
[0149]
参数获取单元201，用于获取无人档案库房的特征参数，并基于特征参数，确定任务动作关联的初始化参数；
[0150]
模型构建单元202，用于基于特征参数和初始化参数，构建基于强化学习的档案抓
取过程模型；
[0151]
仿真迭代单元203，用于基于档案抓取过程模型，通过仿真迭代，获取档案抓取过程优化策略集；其中，通过随机策略迭代可能发生的所有任务序列，迭代终止条件为已经迭代了所有的可能发生的任务序列，优化策略集为针对各任务序列的用时最短的策略的集合；
[0152]
序列确定单元204，用于基于优化策略集与多个待执行任务，确定任务序列。
[0153]
在一些实施例中，特征参数包括密集架的列数、每列密集架的宽度以及密集架中固定架的位置；
[0154]
参数获取单元201用于确定任务动作关联的初始化参数，包括：
[0155]
确定密集架的列数编号、密集架开启时间以及自动抓取装置的运行速度。
[0156]
在一些实施例中，档案抓取过程模型满足马尔科夫性质。
[0157]
在一些实施例中，模型构建单元202用于构建基于强化学习的档案抓取过程模型，包括：
[0158]
基于密集架的列数、已开启的密集架的列数以及自动抓取装置所处的列数，确定抓取的状态空间；
[0159]
基于密集架的列数、将开启的密集架的列数以及自动抓取装置当前所要到达的目标列数，确定抓取的行为空间；
[0160]
确定抓取的状态转移概率；
[0161]
建立状态行为的奖励函数；
[0162]
确定衰减系数；
[0163]
基于状态空间、行为空间、状态转移概率、奖励函数以及衰减系数，构建基于强化学习的档案抓取过程模型。
[0164]
在一些实施例中，仿真迭代单元203用于基于档案抓取过程模型，通过仿真迭代，获取档案抓取过程优化策略集，包括：
[0165]
基于档案抓取过程模型，构建任务序列价值函数；
[0166]
在初始抓取策略为随机策略的情况下，通过迭代计算，确定随机策略下每个状态的价值；
[0167]
基于更新后的状态的价值，采用更新策略再次迭代计算，得到更新策略下的状态价值；
[0168]
多次更新并迭代，确定档案抓取过程中的优化策略集；其中，优化策略集包括针对各任务的最优策略及最优状态价值。
[0169]
在一些实施例中，更新策略包括贪心算法。
[0170]
在一些实施例中，序列确定单元204用于基于优化策略集与多个待执行任务，确定任务序列，包括：
[0171]
基于最优策略及最优状态价值，针对多个待执行任务，依次选择当前状态价值最优的行为，形成任务序列。
[0172]
以上实施例公开的装置能够实现以上各方法实施例公开的方法的流程，具有相同或相应的有益效果。为避免重复，在此不再赘述。
[0173]
本公开实施例还提供了能够执行上述任一种方法的电子设备，如图4所示，该电子
设备可为手机、pad等智能终端，该电子设备包括：一个或多个处理器301，图4中以一个处理器301为例；存储器302；该电子设备还可以包括：输入装置303和输出装置304。
[0174]
该电子设备中的处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图4中以通过总线连接为例。
[0175]
存储器302作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本公开实施例中的无人档案库房多任务执行控制方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的无人档案库房多任务执行控制方法。
[0176]
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0177]
输入装置303可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。
[0178]
本公开实施例还提供一种包含计算机可读存储介质，该计算机可读存储介质存储程序或指令，该程序或指令使计算机执行行时用于执行一种无人档案库房多任务执行控制方法，该方法包括：
[0179]
获取无人档案库房的特征参数，并基于特征参数，确定任务动作关联的初始化参数；
[0180]
基于特征参数和初始化参数，构建基于强化学习的档案抓取过程模型；
[0181]
基于档案抓取过程模型，通过仿真迭代，获取档案抓取过程优化策略集；其中，通过随机策略迭代可能发生的所有任务序列，迭代终止条件为已经迭代了所有的可能发生的任务序列，优化策略集为针对各任务序列的用时最短的策略的集合；
[0182]
基于优化策略集与多个待执行任务，确定任务序列。
[0183]
可选的，该计算机可执行指令在由计算机处理器执行时还可以用于执行本公开任意实施例所提供的无人档案库房多任务执行控制方法的技术方案。
[0184]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本公开可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory，rom)、随机存取存储器(randomaccess memory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例该的方法。
[0185]
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。且，术语“包括”、“包含”或者其任何其他变体意在涵
盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0186]
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。