一种安全威胁协同建模方法及系统与流程

技术特征：
1.一种安全威胁协同建模方法，其特征在于，包括如下步骤：1）数据共享，多个参与方提供的数据源之间进行网络实体数据的不完全共享，在共享前，对有必要进行脱敏的网络实体数据进行脱敏；2）数据融合，对步骤1）中共享后的数据进行属性融合、关系融合、行为融合和标签融合，形成属性融合数据、关系融合数据、行为融合数据和标签融合数据；3）数据特征提取，对步骤2）中得到的属性融合数据、关系融合数据、行为融合数据分别进行数据特征提取；4）建模，根据需要选择不同类型的建模方法，选择性载入数据特征和标签融合数据，进行机器学习具体训练过程，生成训练模型，并将训练模型输出；5）审计，运行于多参与方共享的区块链或协作平台，根据步骤1）、步骤2）、步骤3）、步骤4）中的数据流转进行记账，根据设定的规则给不同的参与方计贡献分，根据贡献分对参与方进行奖励。2.根据权利要求1所述的安全威胁协同建模方法，其特征在于，步骤1）中，共享的数据包括如下类型：实体属性数据、实体间的关联关系数据、实体行为记录数据和实体研判标签数据。3.根据权利要求1所述的安全威胁协同建模方法，其特征在于，步骤1）中，通过不同的记号来标识不同的网络实体，对有必要进行脱敏的网络实体数据通过脱敏记号来标识，建立有必要进行脱敏的网络实体数据的记号与脱敏记号之间的彩虹表。4.根据权利要求1所述的安全威胁协同建模方法，其特征在于，步骤1）中，数据共享的触发方式包括主动分享和求助-响应分享；数据共享的方式包括社群发布和点对点发布；数据共享的情景包括自愿分享和法定义务分享。5.根据权利要求1所述的安全威胁协同建模方法，其特征在于，步骤2）中：属性融合指通过预先定义融合策略，将同一网络实体在不同参与方处获得的属性加以融合，具体为对同一网络实体在不同数据源处记录到的不同属性信息进行相互补充，相同属性信息进行去重、纠歧；关系融合指将一对网络实体之间的关联关系加以融合，形成图谱化的网络实体关系库，具体为对这对网络实体在不同数据源处记录到的不同关系信息进行相互补充，对相同关系信息进行去重、纠歧；行为融合指对同一网络实体在不同数据源处所记录的行为信息加以融合，通过整合多源、零散的行为信息，形成对各网络实体更全面、完整的观察记录，具体为对同一网络实体的不同行为信息按时间顺序进行排列，对来自不同参与方处的相同行为信息进行去重，纠歧；标签融合指不同的参与方分别提供对同一实体的研判标签，各读取方收到其他参与方发来的研判标签后，执行本地的采信策略，对各方信息进行综合，对多方给出的同一标签给与较大信任度，对多方给出的不同标签进行互相补充，从而获得各标签的置信度。6.根据权利要求1所述的安全威胁协同建模方法，其特征在于，步骤3）中：属性融合数据的数据特征包括：ip的位置、域名注册时间、文件更改时间；关系融合数据的数据特征包括：图节点出入度、域名关联ip数、域名关联ns服务器数、域名节点限定ip类型邻居节点的出入度；
行为融合数据的数据特征包括：统计特征和敏感行为特征，统计特征包括横向通信次数、外联次数、文件访问数；敏感行为特征包括修改启动项、境外外联、访问注册边。7.根据权利要求1所述的安全威胁协同建模方法，其特征在于，步骤4）中，建模方法包括本地训练、联邦学习、情报聚合和集成学习，具体的：本地训练，任一参与方根据其掌握的数据特征和标签融合数据，按需执行机器学习训练任务，获得ai模型；联邦学习，多个参与方在不完全共享数据的情形下，约定共同训练ai模型；情报聚合，参与方对被标记为恶意的网络实体执行自定义的采信策略，将脱敏后的具有恶意标签的网络实体当做自定义ioc指标，ioc指标连通各参与方自定义的置信度阈值构成了一类决策模型，能够判断输入的网络实体数据是否以大于置信度阈值的置信度匹配已知ioc指标，即得到ioc模型；集成学习，综合运行不同参数设定下的本地训练、联邦学习和情报聚合手段，产生多个威胁研判模型，并通过投票方式综合各个模型的初始研判结果，产生可信度更高的最终研判结果，单独使用本地训练、联邦学习或情报聚合视作集成学习的特例。8.根据权利要求1所述的安全威胁协同建模方法，其特征在于，步骤5）中，计贡献分的规则设定为：分享属性数据，并被其他参与方读取，单个属性对应基本贡献分记作sa；分享关系数据，并被其他参与方读取，单个关系对应基本贡献分记作sr；分享行为数据，并被其他参与方读取，单个行为事件对应基本贡献分记作sb；分享标签数据，并被其他参与方读取，单个标签对应的基本贡献分为sl；分享透明数据，并被用于机器学习，单个透明数据对应的贡献分为sf；在其他参与方的要求下定向分享网络实体数据，单个网络实体数据对应的贡献分为st；读取方读取数据后，应扣除读取方相应的贡献分，并且读取方可选择性地对读取的数据进行评价，给出评分，如果读取方给出的评分与该数据获得的平均评分差距在一定范围内，读取方获得一定的贡献分，当该数据平均评分高于一定值时，分享该数据的参与者获得分值奖励，低于一定值时，分享该数据的参与者扣除一定分值；参与方在初始时，默认拥有一定的初始分值。9.一种安全威胁协同建模系统，其特征在于，包括如下模块：数据共享单元，用于多个参与方之间进行网络实体数据的不完全共享，在共享前，对有必要进行脱敏的网络实体数据进行脱敏；数据融合单元，用于对共享后的数据进行属性融合、关系融合、行为融合和标签融合，形成属性融合数据、关系融合数据、行为融合数据和标签融合数据；数据特征提取单元，用于对属性融合数据、关系融合数据、行为融合数据分别进行数据特征提取；建模单元，包括数据载入单元、模型训练单元和模型输出单元，根据需要选择不同类型的建模方法，数据载入单元用于选择性载入数据特征和标签融合数据，模型训练单元用于进行机器学习具体训练过程，生成训练模型，模型输出单元用于训练模型输出；审计单元，运行于各个参与方共享的区块链或协作平台，用于对数据共享单元、数据融
合单元、数据特征提取单元、建模单元中的数据流转进行记账，根据设定的规则给不同的参与方计贡献分，根据贡献分对参与方进行奖励。

技术总结
本发明属于安全威胁鉴别技术领域，具体涉及一种安全威胁协同建模方法及系统，方法包括如下步骤：数据共享；数据融合；数据特征提取；建模；审计。本发明对数据的分享行为通过贡献分的形式进行量化和结算，鼓励数据交易和数据共享；实体ID以脱敏方式交换，在保障数据安全的前提下仍能支持联合建模能力和威胁IOC匹配能力；支持普通的本地机器学习和联邦学习，各参与方可按需选择数据开放程度，根据自身预算取得外部数据资源，独立或合作性地完成AI建模，增强安全智能。增强安全智能。增强安全智能。


技术研发人员：胡文友 曲武 胡永亮
受保护的技术使用者：金睛云华（沈阳）科技有限公司
技术研发日：2021.12.22
技术公布日：2022/1/21