IP上下文增强用户实体识别方法及系统与流程
本发明属于网络安全,尤其涉及ip上下文增强用户实体识别方法及系统。
背景技术:
1、在互联网服务、网络安全风控、身份解析与用户行为归因等场景中,用户行为数据普遍呈现账号、ip地址、会话标识、设备信号之间的多对多关联关系:一个真实自然人可能拥有多个账号并在家庭网络、企业nat、校园网、移动网络等不同出口下访问系统;同一ip地址也可能被多个互不相关的用户共享,例如公共wi-fi、运营商级nat(cgnat)、代理节点、云服务出口或idc网关。
2、业界在用户实体识别(entity resolution)路径上,通常将账号、ip、设备id、cookie等离散标识建模为图节点,通过共现关系建立边,再借助连通分量分析、社区检测或标签传播将节点聚合为候选用户实体。例如,google security operations的entitycontext graph通过跨数据源匹配hostname、mac、user id、email等键值合并上下文,构建统一实体画像(参见google cloud chronicle文档:https://docs.cloud.google.com/chronicle/docs/event-processing/entity-graph);threatng 等安全平台亦采用图论实体解析,将ip、用户名、设备 id 等作为节点,通过社区检测发现高度互联的账号簇(参见https://www.threatngsecurity.com/glossary/graph-based-entity-resolution)。在风控与关联账号检测领域,dregs等平台自动构建身份图,将shared_ip、same_device等关系类型作为边证据,用于发现跨账号的关联网络(参见https://dregs.com/platform/identity-graph/);zeotap等客户身份解析系统则通过merge rules定义“何种标识匹配足以合并两条记录”,并采用连通分量算法得到传递闭包下的用户簇,同时强调应从高置信规则起步、对设备/cookie等弱信号要求多标识联合(参见https://composable-docs.zeotap.com/identity-resolution/merge-rules/)。
3、在仅能获取反向代理访问日志、无法注入前端javascript或部署终端探针的工程约束下,现有方案往往退化为两类典型实现。
4、第一类为规则匹配法:例如“同一ip下出现多个账号则建立关联”、“同一账号使用多个ip则视为同一用户”,或设定固定共现次数阈值直接连边。该类方法实现简单、可解释性强,但在动态ip、公共出口、代理/vpn与一次性访问并存的流量环境中,容易将多个自然人错误聚合为同一实体(误合并),或在同一自然人多网络环境下的账号之间无法建立有效连接(漏合并)。过度合并(over-resolution)会将多个真实身份折叠为单一画像,使风险信号被平均化或抑制,产生“实体结构层面的漏报”而非检测逻辑失效。
5、第二类为直接账号-ip二部图法:将原始ip作为稳定节点,以共现次数归一化作为边权,再经最大权重剪枝或连通分量生成用户实体。该方法忽略了ip在特定时间段内可能对应多个访问主体的事实,公共ip或高度混杂的nat出口一旦被纳入图结构,会导致连通分量异常膨胀,使大量无关账号被错误连接。
6、第三类为依赖主动设备指纹的方案:通过canvas、webgl、字体列表等多维浏览器信号识别设备,在可主动采集场景下区分能力较强,但在反向代理被动观测边界内,完整设备指纹不可用;若强行以user-agent等弱信号替代强指纹并直接作为聚合依据,则稳定性与唯一性不足,仍无法区分“稳定私有访问环境”与“公共共享出口”。
技术实现思路
1、本发明的目的在于提供ip上下文增强用户实体识别方法及系统,旨在解决上述背景技术提出的问题。
2、本发明是这样实现的,ip上下文增强用户实体识别方法,包括以下步骤:
3、获取反向代理访问日志,并对其进行规范化处理,得到标准化访问记录;每条标准化访问记录包括账号标识、源ip、时间戳和被动流量特征;所述被动流量特征包括请求头特征、请求路径特征和会话特征中的至少一种;
4、按源ip和时间窗口对同一源ip的标准化访问记录进行时间切片,得到ip时间片;对所述ip时间片进行质量过滤,保留满足预设质量条件的ip时间片作为稳定ip时间片;
5、在所述稳定ip时间片内根据所述被动流量特征对标准化访问记录进行聚类,得到ip访问上下文节点,生成ip访问上下文节点集合;
6、根据账号标识与ip访问上下文节点在标准化访问记录中的共现关系,构建账号-ip访问上下文加权二部图;所述账号-ip访问上下文加权二部图的边权根据共现计数、上下文可靠性评分、时间连续性和特征一致性确定;所述上下文可靠性评分根据ip访问上下文节点的稳定性、纯度、样本支持度和非公共性中的至少一种确定;
7、对所述账号-ip访问上下文加权二部图执行低误合并剪枝,得到剪枝后的加权二部图;
8、对所述剪枝后的加权二部图进行连通分量分析,得到候选用户实体;计算所述候选用户实体的实体可信度,并根据所述实体可信度输出用户实体识别结果。
9、进一步,所述规范化处理的方法包括:解析所述反向代理访问日志中的账号标识、源ip、时间戳、user-agent、cookie、会话标识、令牌、请求路径和请求头组合特征中的至少一种;对cookie和/或令牌进行不可逆哈希处理;将解析失败的记录写入隔离队列并递增告警计数。
10、进一步,所述时间切片采用固定窗口或滑动窗口;固定窗口下,ip时间片的起始时刻根据时间戳对时间窗口长度取整得到,结束时刻为起始时刻加所述时间窗口长度;滑动窗口下,相邻ip时间片部分重叠;
11、所述质量过滤的方法包括:计算ip时间片的质量评估参数stab(seg);所述stab(seg)根据user-agent一致性、令牌/会话分布纯度、访问路径分布一致性和会话连续性中的至少一种加权得到;若stab(seg)小于稳定性阈值θ_stab,则将对应ip时间片标记为不稳定ip时间片并写入审计表,不进入下一个步骤;若ip时间片内记录数小于最小记录数n_min_seg,则标记为低样本并降权传递至下游。
12、进一步,所述聚类所依据的被动流量特征包括:user-agent或user-agent族哈希、accept-language、accept-encoding、sec-ch-ua、cookie/会话/令牌连续性、请求路径序列、访问频率、相邻请求间隔分布、登录接口与业务接口访问模式和请求头组合特征中的至少一种;所述聚类采用规则聚类和/或基于特征向量相似度的聚类;当同一稳定ip时间片内形成多个簇时,将同一源ip同一时间片拆分为多个ip访问上下文节点。
13、进一步,构建所述账号-ip访问上下文加权二部图时,不建立账号标识与原始ip字符串之间的直接边,仅建立账号标识与ip访问上下文节点之间的边;边表记录共现计数、首次出现时间、最后出现时间、user-agent集合大小和路径熵中的至少一种;对已有边执行增量合并并更新最后出现时间;若同一账号在同一ip访问上下文节点内出现令牌冲突,则在边表中添加令牌冲突标记;
14、所述上下文可靠性评分r(c)根据稳定性s(c)、纯度p(c)、样本支持度supp(c)和非公共性n(c)加权得到;其中,纯度p(c)根据与ip访问上下文节点相连的独立账号数确定,样本支持度supp(c)根据ip访问上下文节点内记录数与饱和阈值确定,非公共性n(c)根据单位时间连接账号数、user-agent种类数、路径分散度、asn是否属于云厂商、idc、已知vpn段以及访问节奏中的至少一种确定;若r(c)小于可靠性阈值θ_r,则将对应ip访问上下文节点标记为低可靠ip访问上下文节点;
15、边权w(a,c)根据原始共现边权w_raw(a,c)、上下文可靠性评分r(c)、时间连续性t(a,c)和特征一致性f(a,c)确定;其中,w_raw(a,c)根据账号a与ip访问上下文节点c的共现计数归一化得到;t(a,c)根据账号a在ip访问上下文节点c的时间区间内的访问次数和相邻访问间隔确定;f(a,c)根据账号a在ip访问上下文节点c内使用的user-agent、令牌和路径模式的稳定程度确定。
16、进一步,所述低误合并剪枝包括:
17、低可靠上下文过滤:剔除或隔离r(c)小于可靠性阈值θ_r、连接账号数大于账号数阈值、令牌分布异常或疑似自动化高频的ip访问上下文节点;
18、阈值剪枝:保留满足边权w(a,c)大于等于边权阈值θ_w、共现计数大于等于最小共现次数n_min且r(c)大于等于θ_r的边;
19、top-k剪枝:对每个账号节点,按边权w(a,c)降序保留最多k条边,且每条边满足r(c)大于等于θ_r;
20、最大边加安全边剪枝:在top-k剪枝基础上,额外保留满足r(c)大于等于安全可靠性阈值、共现计数大于等于安全计数阈值且时间连续性t(a,c)大于等于安全时间阈值的边;
21、剪枝后未保留任何边的账号进入孤立账号列表。
22、进一步,所述用户实体识别结果包括高置信实体、中置信候选实体和低置信待观察实体中的至少一种;所述连通分量分析采用并查集或广度优先搜索;所述实体可信度e(cc_i)根据候选用户实体中边的边权均值、ip访问上下文节点的上下文可靠性评分均值、时间一致性和规模惩罚中的至少一种确定;若e(cc_i)大于等于高置信阈值θ_high,输出高置信实体;若e(cc_i)大于等于中置信阈值θ_mid且小于θ_high,输出中置信候选实体;若e(cc_i)小于θ_mid或低可靠ip访问上下文节点占比超过占比阈值,输出低置信待观察实体。
23、进一步,所述的ip上下文增强用户实体识别方法还包括以下步骤:
24、参数自适应反馈:监控不稳定ip时间片丢弃比例和最大连通分量尺寸中的至少一种;若不稳定ip时间片丢弃比例超过丢弃比例阈值或最大连通分量尺寸超过分量尺寸阈值,则提高可靠性阈值θ_r、降低top-k中的k值或缩短时间窗口长度,并将下一批次的剪枝模式设置为严格模式。
25、进一步,所述的ip上下文增强用户实体识别方法还包括以下步骤:
26、结果输出与证据追溯:输出结构化记录,所述结构化记录包括用户实体标识、账号列表、ip访问上下文节点列表、实体置信度、证据边、主要ip访问上下文节点、风险标记、创建时间和更新时间中的至少一种;所述证据边包括边权、上下文可靠性评分和共现计数中的至少一种。
27、本发明的另一目的在于提供ip上下文增强用户实体识别系统,用于实现上述的ip上下文增强用户实体识别方法,包括:
28、日志接入与规范化模块,用于获取反向代理访问日志,并对其进行规范化处理,得到标准化访问记录;每条标准化访问记录包括账号标识、源ip、时间戳和被动流量特征;所述被动流量特征包括请求头特征、请求路径特征和会话特征中的至少一种;
29、ip时间片构造与质量过滤模块,用于按源ip和时间窗口对同一源ip的标准化访问记录进行时间切片,得到ip时间片;对所述ip时间片进行质量过滤,保留满足预设质量条件的ip时间片作为稳定ip时间片;
30、ip访问上下文聚类模块,用于在所述稳定ip时间片内根据所述被动流量特征对标准化访问记录进行聚类,得到ip访问上下文节点,生成ip访问上下文节点集合;
31、上下文可靠性评分模块,用于根据ip访问上下文节点的稳定性、纯度、样本支持度和非公共性中的至少一种,计算上下文可靠性评分;
32、账号-ip访问上下文加权二部图构建模块,用于根据账号标识与ip访问上下文节点在标准化访问记录中的共现关系,构建账号-ip访问上下文加权二部图;所述账号-ip访问上下文加权二部图的边权根据共现计数、上下文可靠性评分、时间连续性和特征一致性确定;
33、边权计算与低误合并剪枝模块,用于对所述账号-ip访问上下文加权二部图执行低误合并剪枝,得到剪枝后的加权二部图;
34、连通分量分析与实体可信度评估模块,用于对所述剪枝后的加权二部图进行连通分量分析,得到候选用户实体;计算所述候选用户实体的实体可信度,并根据所述实体可信度输出用户实体识别结果;
35、结果输出与证据追溯模块,用于输出所述用户实体识别结果及证据链。
36、本发明提供的ip上下文增强用户实体识别方法,无需前端注入或终端探针,可降低公共ip、nat、代理出口导致的误合并,提高用户实体识别的可解释性和工程可控性。具体地,本发明在仅能获取反向代理被动流量日志、无法进行前端注入或部署终端探针的条件下,通过将原始ip节点下沉为“ip时间片+ip访问上下文”二级节点,并联合共现计数、上下文可靠性评分、时间连续性与特征一致性构造账号-ip访问上下文加权二部图,再经低误合并剪枝和连通分量分析输出分级用户实体,从而有效降低公共ip、nat、代理出口及idc网关等共享网络环境造成的账号误合并风险,同时保留同一自然人多网络环境下的合法连接,并输出可解释、可审计、可分级的用户实体识别结果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com