智能体异常检测方法、装置、系统及相关设备与流程
本技术涉及人工智能,尤其涉及一种智能体异常检测方法、装置、系统及相关设备。
背景技术:
1、随着大语言模型、多智能体协同以及自动化工具调用技术的发展,智能体被逐渐应用于金融交易、政务服务、工业控制、安全运维以及企业办公自动化等场景。在上述场景中,智能体通常能够根据任务目标进行自主规划,并在任务执行过程中访问网络资源、调用外部工具或者与业务系统进行交互。
2、目前,在对智能体进行安全监测的过程中,通常获取智能体运行过程中的相关运行信息,例如,可以采用访问控制、权限管理、日志审计、终端检测与响应、防火墙规则或者黑名单规则等方式,对智能体运行环境中的异常操作或安全事件进行识别,可以降低智能体运行过程中的安全风险。
3、但是,这种对智能体安全监测的方式,容易造成智能体运行过程中面临隐私与合规问题。因此,对智能体运行过程中的安全状态进行监测成为智能体应用中的重要技术需求。
技术实现思路
1、有鉴于此,本技术实施例提供一种智能体异常检测方法、装置、系统、计算设备、计算机可读存储介质以及计算机程序产品,以计算设备为例,下面的例子若没有特别说明均以计算设备作为执行主体,计算设备只是其中的一种实现可能,并不限定只能是计算设备来执行,具有相同功能的其他设备均可以,可以基于智能体运行过程中产生的域名系统(domain name system,dns)的查询记录,对智能体的当前行为相对于历史正常行为的偏离情况进行检测,可以在不侵入智能体内部的情况下,利用智能体外部产生的dns的查询记录进行异常检测。
2、第一方面,本技术实施例提供一种智能体异常检测方法。具体地,可以基于待检测智能体的dns的查询记录构建dns行为链。dns行为链包括多个意图类别以及多个意图类别之间的时序关联关系。其中,意图类别可以用于表征dns的查询记录中的被查询域名对应的智能体执行行为的意图,时序关联关系可以为多个意图类别在智能体执行相应行为过程中的先后顺序。获取基线信息。基线信息可以用于指示智能体在历史时间段内基于dns的查询行为形成的多个可信行为,以及多个可信行为被执行的时序特征。然后,可以比较dns行为链与基线信息,并基于比较结果生成智能体的异常检测结果。其中,比较结果可以包括dns行为链中多个意图类别对应的行为与多个可信行为之间的行为比较结果,以及时序关联关系与时序特征之间的时序比较结果。异常检测结果可以用于指示由dns行为链表征的智能体当前行为是否偏离由基线信息指示的正常行为。
3、通过利用智能体的外部行为,可以获得智能体的当前行为是否偏离正常行为的判断,从而无需进入智能体内部获取模型状态、业务数据或者工具调用等操作。同时,使异常检测功能能够在不改变智能体原有模型运行方式、业务处理流程以及工具调用逻辑的情况下实现。
4、进一步地,由于异常检测所依据的dns的查询记录可以在智能体外部的域名解析过程中获得,因此,可以减少异常检测系统对智能体内部敏感信息的获取和解析,降低因异常检测而扩大内部业务数据访问范围的可能性,并降低异常检测机制与智能体具体模型结构、业务数据格式以及工具调用机制之间的耦合程度。由此,在不同智能体采用不同模型、业务流程或者工具调用方式的情况下,仍可以基于其运行过程中产生的dns的查询记录实施异常检测,有利于提高异常检测方案的部署适应性。
5、在此基础上,通过将多个dns的查询记录转换为包括多个意图类别以及相应时序关联关系的dns行为链,并将当前dns行为链与待检测智能体历史形成的多个可信行为及其时序特征进行比较,可以在不获取智能体内部运行信息的前提下,从外部dns查询行为中提取能够反映行为语义和行为顺序的特征,为判断智能体当前行为是否偏离正常行为提供依据。
6、在一种可能的实施方式中,可以基于dns行为链和基线信息,确定dns行为链的序列偏离程度、意图分布偏离程度以及异常域名频率中的至少一种。其中,序列偏离程度可以用于表征多个意图类别的先后顺序相对于时序特征的偏离程度;意图分布偏离程度可以用于表征dns行为链中的意图类别分布相对于多个可信行为对应的意图类别分布的偏离程度;异常域名频率可以用于表征异常域名在dns查询记录中的出现频率。
7、可以进一步基于序列偏离程度、意图分布偏离程度以及异常域名频率中的至少一种,确定可信偏离程度。可信偏离程度可以用于表征dns行为链对应的当前行为相对于多个可信行为的偏离程度,以及当前行为对应的时序关联关系相对于多个可信行为对应的时序特征的偏离程度。然后,可以基于可信偏离程度确定异常检测结果。
8、在一种可能的实施方式中,序列偏离程度可以为当前dns行为链与至少一个基线dns行为链之间确定的序列距离。序列距离可以根据智能体执行意图类别相应操作过程中的先后顺序、各意图类别在对应dns行为链中的序列位置以及整体排列结构上的差异确定。至少一个基线dns行为链可以基于多个可信行为以及多个可信行为对应的时序特征构建。
9、在一种可能的实施方式中,意图分布偏离程度可以基于待检测意图分布与基线意图分布确定。其中,待检测意图分布可以用于指示当前dns行为链中不同意图类别的分布情况,基线意图分布可以用于指示历史时间段内基于dns查询行为形成的多个可信行为所对应的dns行为链中不同意图类别的分布情况。
10、在一种可能的实施方式中,还可以基于dns行为链确定异常域名数量以及域名数量。异常域名频率可以基于dns行为链中的异常域名数量与dns行为链中的域名数量确定。其中,异常域名可以为与风险域名记录匹配的域名,也可以为未记录于历史可信记录中的域名。
11、在一种可能的实施方式中,可以基于可信偏离程度的取值范围确定多个偏离等级,并基于可信偏离程度所在的偏离等级,执行与异常检测结果对应的安全治理策略。多个安全治理策略可以对应多个偏离等级,安全治理策略可以包括日志记录、延迟解析、流量审计、访问限制、功能限制、任务挂起和告警取证中的至少一种。
12、在一种可能的实施方式中,可以获取安全治理策略的执行结果。执行结果可以用于指示异常检测结果对应的dns行为链表征的当前行为是否满足基线更新条件。基线更新条件可以包括当前行为被确定为可信行为的条件。
13、在当前行为满足基线更新条件的情况下,可以将当前行为作为新增可信行为,并基于dns行为链中的时序关联关系确定新增可信行为对应的时序特征,以得到更新后的基线信息。
14、在一种可能的实施方式中,dns的查询记录可以包括查询时刻与域名。可以基于查询时刻对dns的查询记录进行行为窗口划分,得到多个行为窗口,多个行为窗口可以包括目标窗口。然后,可以确定目标窗口内的查询记录中的域名对应的意图类别,并基于目标窗口内各dns的查询记录的查询时刻指示的先后顺序,对意图类别进行排序,得到dns行为链。
15、在一种可能的实施方式中,可以根据查询时刻对dns的查询记录进行排列,并确定排列后相邻dns的查询记录之间的查询间隔。然后,可以基于查询间隔与间隔阈值之间的比较结果,对dns的查询记录进行行为窗口划分。其中,间隔阈值可以基于历史查询间隔的统计信息确定。
16、在一种可能的实施方式中,行为窗口可以具有对应的dns的查询记录的数量。在行为窗口满足目标窗口终止条件的情况下,可以基于目标窗口终止条件确定行为窗口的划分边界,并基于该划分边界对dns查询记录进行行为窗口划分。其中,目标窗口终止条件可以包括窗口时长达到时长阈值和行为窗口中的查询记录数量达到数量阈值中的至少一种。窗口时长可以为行为窗口内查询时刻最早的dns的查询记录与查询时刻最晚的dns的查询记录之间的时间间隔。
17、在一种可能的实施方式中,意图类别可以包括目标意图类别。可以基于映射模型确定被查询域名对应的域名向量,其中,映射模型可以基于历史dns的查询记录训练得到。然后,可以根据域名向量查询映射关系,得到被查询域名对应的目标意图类别。映射关系可以用于表示域名向量与目标意图类别之间的对应关系。
18、在一种可能的实施方式中,可以获取智能体在历史时间段内产生的dns的查询记录,并基于历史时间段内产生的dns的查询记录构建多个历史dns行为链。然后,可以从多个历史dns行为链表征的行为中确定多个可信行为以及多个可信行为被执行的时序特征,以形成基线信息。
19、在一种可能的实施方式中,可以对多个历史dns行为链进行聚类处理,得到聚类簇。然后,可以基于聚类簇确定目标dns行为链。目标dns行为链可以为聚类簇中与聚类簇内其他历史dns行为链的序列距离的平均值小于目标阈值的历史dns行为链。序列距离可以用于表征两个历史dns行为链在意图类别的先后顺序、各意图类别在对应历史dns行为链中的序列位置以及整体排列结构上的差异。进一步地,可以基于目标dns行为链形成基线信息。
20、第二方面,本技术实施例提供一种智能体异常检测装置。智能体异常检测装置可以包括构建模块、获取模块以及生成模块。
21、构建模块可以基于待检测智能体的dns的查询记录构建dns行为链。dns行为链包括多个意图类别以及多个意图类别之间的时序关联关系。意图类别可以用于表征dns的查询记录中的被查询域名对应的智能体执行行为的意图。时序关联关系可以为多个意图类别在智能体执行相应操作过程中的先后顺序。
22、获取模块可以获取基线信息。基线信息可以用于指示智能体在历史时间段内基于dns查询行为形成的多个可信行为,以及多个可信行为被执行的时序特征。
23、生成模块可以基于dns行为链以及基线信息的比较结果生成智能体的异常检测结果。比较结果可以包括dns行为链中多个意图类别对应的行为与多个可信行为之间的行为比较结果,以及时序关联关系与时序特征之间的时序比较结果。异常检测结果可以用于指示由dns行为链表征的智能体当前行为是否偏离由基线信息指示的正常行为。
24、第三方面,本技术实施例提供一种智能体异常检测系统。智能体异常检测系统可以包括dns查询采集装置以及智能体异常检测装置。
25、dns查询采集装置可以采集待检测智能体的dns的查询记录。智能体异常检测装置可以基于dns查询采集装置采集的dns的查询记录,执行第一方面以及第一方面任一种可能的实施方式对应的智能体异常检测方法。
26、第四方面,本技术实施例提供一种计算设备。计算设备可以包括处理器和存储器。存储器可以存储程序指令,处理器可以执行程序指令,以使计算设备执行第一方面以及第一方面任一种可能的实施方式对应的智能体异常检测方法。
27、第五方面,本技术实施例提供一种计算机可读存储介质。计算机可读存储介质可以存储程序指令,程序指令被处理器执行时,可以实现第一方面以及第一方面任一种可能的实施方式对应的智能体异常检测方法。
28、第六方面,本技术实施例提供一种计算机程序产品。计算机程序产品可以包括程序指令,程序指令被处理器执行时,可以实现第一方面以及第一方面任一种可能的实施方式对应的智能体异常检测方法。
29、上述第二方面至第六方面提供的智能体异常检测装置、智能体异常检测系统、计算设备、计算机可读存储介质以及计算机程序产品的有益效果,可以参见第一方面以及第一方面各种可能的实施方式中的相关描述,此处不再赘述。
30、本技术在各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com