一种网络信息体系要素体系贡献率评估方法和装置与流程

1.本发明涉及网络信息体系决策支持领域，具体涉及一种网络信息体系要素体系贡献率评估方法和装置。


背景技术：

2.根据国内外研究情况可以看出，目前关于体系贡献率的评估，甚至是其他领域的评估问题，采用解析计算的方法，模型的参数通常是由专家基于经验确定的，可信性、权威性难以保证。
3.例如，目前一个比较权威的、常见的体系贡献率计算方法如下所示：
[0004][0005]
这个计算方法是一个解析模型，这个公式最大的困难是计算出体系增加a装备前后的能力值，通常采用的方法也是解析方法，即将体系能力自顶向上进行层次化分解，分解到可以度量的性能指标，再自底向上进行综合加权，但加权的权重无法确定，目前只能通过专家评定法，这种方法很难得出权威的、可信的评估值。
[0006]
每个网络信息体系要素在生成过程中发挥的作用、倍增的效果各不相同，所以，如何对网络信息体系要素在体系中的贡献率进行评估是当前需要解决的一个问题。只要数据样本是可信的，则得出的评估结论也具有同等的可信性。


技术实现要素：

[0007]
为了解决现有技术中基于解析模型评估存在的模型参数难确定，评估结果不权威的问题，本发明提供了一种基于强化学习的体系贡献率评估方法，包括：
[0008]
基于预设的数据样本,提取网络信息体系贡献率的关键要素，采用强化学习的体系贡献率评估方法，进行体系贡献率模型构建；
[0009]
基于网络信息体系要素性能指标，自动构建强化学习模型；
[0010]
基于小样本的强化训练模型参数及基于模型参数构建体系贡献率计算模型，进行训练并提取模型参数，计算体系要素各性能指标的权重，设计累计权重计算方法并通过计算累计权重来计算最终的体系要素体系贡献率，完成体系贡献率计算模型的构建，通过“老师模型”和“学生模型”完成对网络信息体系贡献率评估。
[0011]
优选的，所述的网络信息体系贡献率的关键要素，包括：
[0012]
训练、后勤、人员、信息、概念和条令、装备、基础设施、组织；
[0013]
其中所述的各个关键要素之间具有互操作性：由这些关键要素之间提供服务，从其它模型接收服务以及使用这些服务实现相互有效协同工作的能力，最终生成体系能力。
[0014]
优选的，所述的强化学习的体系贡献率评估方法，包括：
[0015]
基于贡献率评估进行强化学习模型构建，所述学习模型构建于对环境、动作、状态以及奖励的建模；
[0016]
基于仿真环境中的强化学习模型对体系要素进行训练：包括将智能体放置在仿真环境中以体系对抗的方式进行强化学习训练；
[0017]
基于抽取强化学习模型参数构建体系贡献率计算模型：其中，所述强化学习模型学习到的体系贡献率评估能力，将这一能力转化成输出，通过抽取模型参数的方式，建立一个体系贡献率计算模型，用于体系贡献率的评估；
[0018]
其中所述智能体指能够对不同的刺激，根据一定的规则，产生不同反应的个体，用来抽象模板。
[0019]
优选的，所述的网络信息体系要素性能指标自动构建强化学习模型，包括：
[0020]
基于网络信息体系知识图谱，并结合知识辅助强化学习模型进行构建；
[0021]
基于网络信息体系知识图谱相关知识的抽取：其中，所述知识图谱由不同来源、不同结构的数据组成；所述不同结构包括：本体元模型为人员本体，包含年龄、组织属性，人员可以分为情报人员、指挥人员、保障人员，以及用户的角色、目标、任务、知识需求多方面语境信息；
[0022]
基于抽取知识构建辅助强化学习模型；所述辅助强化学习包括引入知识图谱中的先验知识，让智能体根据当前状态的情况学习策略，探索未知的状态空间，确保有学到更好的策略。
[0023]
优选的，所述的基于小样本的强化训练模型参数及基于模型参数构建体系贡献率计算模型，包括：
[0024]
基于不同场景任务下的体系要素实体间特征迁移的变化模式分析；
[0025]
基于多场景任务下的强化学习模型自适应迁移机制；
[0026]
优选的，所述的基于多场景任务下的强化学习模型自适应迁移机制，包括：
[0027]
针对不同任务，结合神经元响应模式，分析原有“老师模型”权值特性；然后，通过一个结构简洁的“学生模型”来学习原有框架“老师模型”，对原有的权值信息进行“压缩”、“拉长”操作，实现“学生模型”的高效训练，最终达到基于小样本快速训练体系贡献率强化学习模型。
[0028]
优选的，所述“老师模型”指已经有的知识，“学生模型”指新知识；遇到新问题不需要重新开始训练，在已有的模型上进行调整，再用新数据训练，用少量样品即可完成训练。
[0029]
基于同一种发明构思，本发明还提供一种网络信息体系要素体系贡献率评估系统，包括：
[0030]
体系贡献率模型构建模块，用于贡献率评估的强化学习模型构建；仿真环境中的强化学习模型训练；抽取强化学习模型参数构建体系贡献率计算模型；
[0031]
体系要素自动构建模块，用于网络信息体系知识图谱的构建，网络信息体系知识图谱相关知识的抽取，完成知识辅助强化学习模型的构建；
[0032]
小样本数据快速训练模块，用于不同场景任务下的体系要素实体间特征迁移的变化模式分析，多场景任务下的强化学习模型自适应迁移机制，基于迁移策略的面向小样本数据的强化学习模型参数抽取及体系贡献率计算模型；
[0033]
调试验证模块，用于基于网络动态组织形成的作战体系拓扑模型，基于复杂网络的作战体系结构网络特征统计分析。
[0034]
根据本公开的另一方面，提供一种电子设备，该电子设备包括：至少一个处理器；
以及与该至少一个处理器通信连接的存储器。所述存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开实施例的方法。
[0035]
根据本公开的另一方面，提供一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行根据本公开实施例的方法。
[0036]
与现有技术相比，本发明的有益效果为：
[0037]
1、从体系工程的理论角度出发，把体系贡献率对网络信息体系的各要素影响整体性能与能力的程度进行评估；
[0038]
2、利用强化学习训练一个智能体，使其具备网络信息体系要素体系贡献率评估能力，其评估结果较以往的人工设计评价标准的评估方法更为权威，同时可提取模型参数构建体系贡献率计算模型；
[0039]
3、将知识图谱与强化学习进行结合，用构建的网络信息体系知识图谱提供的装备、人员和性能指标等信息来辅助强化学习模型的自动构建；
[0040]
4、基于迁移学习，将已有的先验引入到当前任务学习中，实现了跨域的面向小样本的快速学习；
[0041]
5、网络信息体系要素体系贡献率的评估可以推进现代战争体系化的进程，但目前评估过程存在模型参数难确定、评估结果不权威等问题；
[0042]
6、本案基于强化学习，使智能体通过在仿真环境中的训练，具备评估体系贡献率的能力，并可抽取模型参数构建体系贡献率计算模型；通过对网络信息体系要素建立知识图谱，设计一套可自动构建强化学习模型的方法；
[0043]
7、迁移学习可使该模型仅通过小数据样本进行模型参数的学习。
附图说明
[0044]
图1本发明信息体系贡献率评估方法步骤顺序图；
[0045]
图2为本发明的整体内容结构示意图；
[0046]
图3为本发明的关键要素示意图；
[0047]
图4为本发明的基于深度学习的体系贡献率评估过程示意图；
[0048]
图5为本发明的知识图谱辅助强化学习模型的构建路线示意图；
[0049]
图6为本发明的网络信息体系知识图谱构建关系示意图；
[0050]
图7为本发明的基于知识图谱的网络信息体系业务模型及可视化示意图；
[0051]
图8为本发明的基于小样本数据迁移策略的参数及其体系贡献率强化学习模型示意图；
[0052]
图9为本发明的模型自适应迁移示意图；
[0053]
图10为本发明实施例三提供的一种计算机设备的结构示意图
具体实施方式
[0054]
为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的说明。
[0055]
实施例一
[0056]
本发明提供一种网络信息体系要素体系贡献率评估方法，如图1所示，其主要包括：
[0057]
s1基于现有的数据样本,提取网络信息体系贡献率的关键要素，采用强化学习的体系贡献率评估方法，进行体系贡献率模型构建；
[0058]
s2基于网络信息体系要素性能指标，自动构建强化学习模型；
[0059]
s3基于小样本的强化训练模型参数及基于模型参数构建体系贡献率计算模型，进行训练并提取模型参数，计算体系要素各性能指标的权重，设计累计权重计算方法并通过计算累计权重来计算最终的体系要素体系贡献率，基于以上基础完成体系贡献率计算模型的构建。
[0060]
各步骤整体内容结构如图2所示：主要包括：基于强化学习的体系贡献率评估阶段及方法、基于网络信息体系要素性能指标自动构建强化学习模型、基于迁移策略的面向小样本数据的参数及其体系贡献率强化学习模型。
[0061]
1、网络信息体系贡献率的概念内涵：
[0062]
各要素之间互操作性和协调发展，是生成体系能力的关键，如图3所示：
[0063]
2、基于强化学习的体系贡献率评估阶段及方法
[0064]
人类的主观经验将使得网络信息体系要素体系贡献率的评估结果不够权威，而通过深度强化学习在仿真环境中的自学习过程，可以使智能体做出远多于真实世界中可做到的尝试次数，从而在面临新问题时，给出更为合理的答案。智能体的经验与知识是保存在深度强化学习模型的参数当中的，因此，我们可以从参数中抽取需要的信息来构建用于指导我们决策的体系贡献率计算模型。如图4所示：
[0065]
(1)贡献率评估的强化学习模型构建
[0066]
强化学习模型构建在于对环境、动作、状态以及奖励的建模。训练智能体在资源相同的情况下最大化效能(奖励)，就可以让智能体掌握配置网络信息体系要素的能力，也隐含了对体系贡献率评估的能力。
[0067]
(2)仿真环境中的强化学习模型训练过程
[0068]
将智能体放置在仿真环境中以体系对抗的方式进行强化学习训练。训练过程中各网络信息体系要素的贡献率将最终体现在智能体在特定环境下的效能当中。同时引入知识图谱中的人类先验知识，以加快训练速度，并使智能体获得良好的网络信息体系要素配置能力。
[0069]
(3)抽取强化学习模型参数构建体系贡献率计算模型
[0070]
训练好的智能体能够在给定环境下给出合适的网络信息体系要素的配置，但是无法显式给出体系贡献率。这是因为，强化学习模型学习到的体系贡献率评估能力是隐含在模型参数当中的，模型能将这一能力转化进行输出，却不能告诉我们它的评估过程。因此，可以通过抽取模型参数的方式，建立一个体系贡献率计算模型，从而直观地给出体系贡献率，用于决策。
[0071]
3、基于网络信息体系要素性能指标自动构建强化学习模型
[0072]
针对目前网络信息体系要素体系贡献率评估中存在模型参数难确定、评估结果不权威等问题，对行为、人员、事件、案例以及其内部关系建立统一的框架来表示和存储，知识
图谱作为事物和关系的最有效表达。利用知识图谱中提供的先验知识来设计奖励函数。这一方法，也被称为启发式回报函数设计。在引入设计的奖励函数后，智能体获得的奖励成为环境的即时奖励值和附加奖励值之和。
[0073]
将知识图谱作为辅助强化学习的一种手段，结合使用的情境，以一种智能、高效的方式返回匹配结果，从而为用户提供快速、准确的知识信息。以下通过三个方面来实现基于网络信息体系要素性能指标来自动构建强化学习的模型，如图5所示：
[0074]
(1)基于网络信息体系知识图谱的构建
[0075]
知识图谱(knowledge graph)的概念最早是由google提出的一个新概念。知识图谱在本质上是语义网络(semantic network)的知识库。我们也可以简单的将知识图谱理解为一个多关系图(multi-relation graph)，多关系图指的是图中有多种节点类型和多种节点间的边，也可以称为异构网络(heterogeneous network)。知识图谱中的节点一般称为实体(entity)，如某个事件、人员等等，边称为关系(relation)，表示两个连接实体之间的关系。知识图谱提供了从关系的角度去分析问题的能力。
[0076]
网络信息体系要素体系知识图谱的主要目的是支撑各类智能业务，构建各类要素之间的关联图，需要覆盖各类军事活动、人员、设备和性能指标等等。网络信息体系的知识图谱需要立足于当前的业务数据库构建，通过本体映射，利用机器学习的方法从已有的结构化、半结构化和非结构化数据库中抽取本体以及本体之间的关系，进一步通过对本体知识库的元数据抽取形成本体元模型，如图6所示。业务数据、本体知识、本体元模型按抽象层级依次提升。在业务数据库，数据多为实体关系型，如情报人员张三，年龄23岁，军种为陆军。本体映射后，本体知识为情报人员本体，含年龄、军种等属性。元数据抽取后，本体元模型为人员本体，包含年龄、组织等属性，人员可以分为情报人员、指挥人员、保障人员等。
[0077]
基于知识图谱的网络信息体系业务模型如图4(左)所示，是以解决用户需求为目标，基于业务数据库、本体知识库、本体元模型库等，通过进行语义分析与知识情境的提取，获得用户的角色、目标、任务、知识需求等多方面语境信息，调用知识图谱生成服务，形成业务需求组织相关的业务实体、本体及其关系构建知识图谱，基于图谱进行知识检索、推理和业务规划，推送用户需求的结果。同时，对于频繁调用的实体关系进行抽象和评价，根据评价结果对知识本体库进行关系增加、删除或修改，实现对知识本体的更新。按照知识图谱的设计规则，本体/实体与关系同时存储在数据库中，共各类服务调用和推理分析，如图7(右)所示。
[0078]
(2)网络信息体系知识图谱相关知识的抽取
[0079]
知识图谱是由不同来源、不同结构的数据组成的，其中蕴含着许多的知识，不同的知识在模型训练中会扮演不同的角色，为了更加高效地使用这些辅助知识，那么需要将网络信息体系知识图谱中的相关知识提取出来，为强化学习提供必要的辅助信息。首先确定相关实体，再将实体的一阶、二阶等h阶实体作为种子集提取出来，捕捉实体的局部信息和全局信息。在网络信息体系知识图谱中，可以提供关于与某个装备本身的属性信息，以及其和相关其他装备或者人员等相关信息，可以从局部和全局的角度来表示实体的属性及相关关系，由抽取的相关实体以及关系信息构建小型的网络信息体系知识图谱，为强化学习提供了强大的知识支撑。
[0080]
知识图谱中的每个实体代表一件装备、一个人员或者某个性能指标，可以将知识
图谱认为是一个图网络(graph network),图网络具有强大的关系归纳偏置，为操纵结构化知识和生成结构化行为提供了直接的界面，然后对图网络在神经网络操作上进行拓展，进行强化学习模型的构建，完成基于网络体系要素性能指标自动构建的强化学习模型。
[0081]
(3)知识辅助强化学习模型的构建
[0082]
强化学习目前面临着状态-动作空间的维度灾难、奖励稀疏且具有延迟性，有限的资源下探索与利用的矛盾等困境，将人类知识引入强化学习有助于解决上述问题。将人类知识引入强化学习的方式多种多样，利用知识图谱来辅助设计奖励函数、启发式探索策略就是一个可行的方案。
[0083]
在仿真环境的训练过程中，奖励信号可能会具有稀疏性和延迟性，即智能体在执行一系列的动作之后才能获得一个有价值的奖励信号，这也别称为强化学习的信度分配问题。奖励信号的稀疏性不仅会导致强化学习收敛缓慢，还有可能导致难以学习到最优策略。因此，可以利用知识图谱中提供的先验知识来设计奖励函数。这一方法，也被称为启发式回报函数设计。在引入设计的奖励函数后，智能体获得的奖励成为环境的即时奖励值和附加奖励值之和。
[0084]
由于仿真环境过于复杂，智能体不可能在对所有状态进行充分探索的条件下学习到最优策略。为了克服有限的资源下探索与利用的矛盾，我们可以引入知识图谱中的先验知识，让智能体一方面根据当前状态的情况学习策略，另一方面探索未知的状态空间，保有学到更好的策略的可能性。
[0085]
4、基于小样本的强化训练模型参数及基于模型参数构建体系贡献率计算模型
[0086]
为使模型具备小样本下的快速学习能力，本案利用迁移策略将其他场景任务上学习的知识引入到小样本数据上的强化学习模型训练中，这需要解决多场景任务下基于迁移策略的面向小样本数据训练强化学习模型问题。该部分主要从三个方面进行分析，分别是不同场景任务下同一实体特征的迁移，不同场景任务下模型间知识的迁移以及强化学习模型训练及基于模型参数构建体系贡献率计算模型。如图8所示。
[0087]
(1)不同场景任务下的体系要素实体间特征迁移的变化模式分析
[0088]
在小样本情况下，模型在同一体系要素数据上很容易发生过拟合，很难处理新的场景任务下体系贡献率评估。因此，为了构建合理的特征迁移，对不同场景任务下的体系要素实体的特征变化进行描述，采用如下思路：
[0089]
首先，考虑不同任务场景下同一要素的表征主要依靠相同的本征特征。在小样本数据集上针对同一体系要素，进行特征分析，度量网络学习过程中的不变特征；
[0090]
然后，通过获取的不变特征迁移到另一场景任务下的数据样本上使用，结合特征表达模型，最终解决小样本不同场景任务下实体表征泛化能力差的问题。
[0091]
(2)多场景任务下的强化学习模型自适应迁移机制
[0092]
深度强化学习模型结构设计往往十分复杂和富有技巧性。模型网络结构的设计大多是依赖其初始任务所需的要求，对于新的场景任务网络框架又会过于繁重或过于简单。但针对每一个数据设计不同的网络架构，不仅耗时耗力，还要浪费大量的计算资源。可以考虑扩展初始网络学习“知识”的能力，并克服重新设计网络的繁重性。首先针对不同任务，结合神经元响应模式，分析原有“老师模型”权值特性。然后，通过一个结构简洁的“学生模型”来学习原有框架“老师模型”，对原有的权值信息进行“压缩”、“拉长”操作，如图9所示，实现“学生模型”的训练。
[0093]
结合(1)，最终达到基于小样本快速训练体系贡献率强化学习模型，“老师模型”指已经有的知识，“学生模型”指新知识；遇到新问题不需要重新开始训练，在已有的模型上进行调整，再用新数据训练，用少量样品完成训练。
[0094]
(3)基于迁移策略的面向小样本数据的强化学习模型参数抽取及体系贡献率计算模型，结合(1)(2)构建基于小样本的体系贡献率强化学习模型，进行训练并提取模型参数，计算体系要素各性能指标的权重，设计累计权重计算方法并通过计算累计权重来计算最终的体系要素体系贡献率，基于以上基础完成体系贡献率计算模型的构建。
[0095]
实施例二
[0096]
基于同一种发明构思，本发明还提供了一种网络信息体系要素体系贡献率评估系统，包括：
[0097]
体系贡献率模型构建模块，用于贡献率评估的强化学习模型构建；仿真环境中的强化学习模型训练；抽取强化学习模型参数构建体系贡献率计算模型；
[0098]
体系要素自动构建模块，用于网络信息体系知识图谱的构建，网络信息体系知识图谱相关知识的抽取，完成知识辅助强化学习模型的构建；
[0099]
小样本数据快速训练模块，用于不同场景任务下的体系要素实体间特征迁移的变化模式分析，多场景任务下的强化学习模型自适应迁移机制，基于迁移策略的面向小样本数据的强化学习模型参数抽取及体系贡献率计算模型；
[0100]
调试验证模块，用于基于网络动态组织形成的作战体系拓扑模型，基于复杂网络的作战体系结构网络特征统计分析。
[0101]
实施例三
[0102]
图10为本发明实施例三提供的一种电子设备(或称计算机设备)的结构示意图。图10显示的计算机设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0103]
如图10所示，计算机设备以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
[0104]
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0105]
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0106]
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图10未显示，通常称为“硬盘驱动器”)。尽管图10中未示出，可以提供用于对可移动非易失性磁盘读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过
一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0107]
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
[0108]
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图10中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0109]
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种网络信息体系要素体系贡献率评估方法。
[0110]
实施例四
[0111]
本发明实施例四还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述障碍物的检测方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0112]
其中，计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0113]
上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。