一种大语言模型服务质量与来源真伪检测方法及系统与流程
本发明涉及网络安全技术的领域,尤其是涉及一种大语言模型服务质量与来源真伪检测方法及系统。
背景技术:
1、大语言模型api服务端点是指用户调用大语言模型能力的各类接入渠道,但通过这些端点调用模型时,用户无法直接获知端点的实际来源。
2、现有对大语言模型api服务端点的检测手段主要包括三类方案。方案一为人工抽样比对,运维人员手动向被测端点和官方渠道发送相同请求并肉眼比对响应文本。方案二为单一指标监控,现有工具仅检测http连通性、状态码、响应时延等表层指标。方案三为简单身份问答,直接询问模型身份。
3、人工抽样比对需要专业人员逐次手动测试,效率极低且用工成本高;单一指标监控需部署定时任务模块对每个待测端点持续轮询;简单身份问答需构建大量测试用例反复验证才能获得统计意义上的结论,导致在大规模多端点场景下检测成本急剧攀升。
技术实现思路
1、为了提高大语言模型检测的方便性,本发明提供一种大语言模型服务质量与来源真伪检测方法及系统。
2、第一方面,本发明提供一种大语言模型服务质量与来源真伪检测方法,采用如下的技术方案:
3、一种大语言模型服务质量与来源真伪检测方法,包括:
4、步骤100:响应于预设的模型检测请求采集响应样本,并调取检测层级序列;
5、步骤101:基于所述检测层级序列读取上游探针,并执行所述上游探针以从响应样本中获取上游结果;
6、步骤102:根据所述上游结果确定跳过原因,并按照所述跳过原因查询跳过列表;
7、步骤103:根据所述上游探针从检测层级序列中读取下游探针,并将与所述跳过列表不重合的下游探针作为执行探针;
8、步骤104:执行所述执行探针以从响应样本中获取下游结果,并结合所述上游探针和执行探针确定响应数量;
9、步骤105:根据所述响应数量确定影响权重,并结合所述影响权重、上游结果和下游结果加权计算出三轴分数;
10、步骤106:按照所述三轴分数映射出三轴结论,并基于所述三轴结论生成并显示八维度质量报告。
11、通过采用上述技术方案,将探针按层级排列并依次执行,根据上游探针的失败原因动态跳过下游依赖探针,使有效探针集中于可正常响应的检测方向,同时将探针结果按质量、来源、嫌疑三个维度分别加权,使三维判定互不污染。在保证检测结果的准确性的同时降低检测次数,从而降低检测成本,提高大语言模型检测的方便性。
12、可选的,还包括:
13、步骤107:基于所述上游结果和下游结果从上游探针和执行探针选取出失败探针,并根据所述失败探针查询出封顶分数;
14、步骤108:对比所述封顶分数和三轴分数确定最终分数,并基于所述最终分数映射出最终结论;
15、步骤109:根据所述失败探针查询出否决轴项,并根据所述否决轴项覆盖最终结论形成否决结论;
16、步骤110:响应于所述否决结论更新三轴结论。
17、通过采用上述技术方案,在加权评分流程中嵌入封顶与否决两级强约束,当探针输出严重异常信号时将置信分压制至预设上限,当决定性证据出现时直接覆盖对应轴的结论,使强信号绕过常规扣分直接主导判定,从而实现异常信号的精准响应,在避免严重缺陷被正常探针稀释的前提下,使评分结果既能反映整体趋势又能对关键异常果断处置。
18、可选的,还包括:
19、步骤111:将所述三轴结论结构化封装生成检测记录,并调取历史记录;
20、步骤112:从所述历史记录中读取各轴分数、子标签集合和探针结果,并基于所述各轴分数计算分数差值;
21、步骤113:对比所述子标签集合确定新增或消失的标签数量,并根据所述标签数量确定变化比例;
22、步骤114:对比所述探针结果确定翻转数量,并根据所述翻转数量确定翻转比例;
23、步骤115:结合所述分数差值、变化比例和翻转比例生成漂移指标,并响应于所述漂移指标更新八维度质量报告。
24、通过采用上述技术方案,将单次检测的三轴分数、子标签集合与探针结论结构化归档,通过计算同一端点相邻两次检测间的分数差值、标签变化比例与结论翻转比例,将零散的历史记录转化为量化漂移指标,从而实现服务质量的时间序列追踪,使渐进式劣化与底层模型替换在发生早期即可被自动识别。
25、可选的,所述探针的执行方法包括:
26、步骤200:根据所述上游探针和执行探针确定探针编号;
27、步骤201:当所述探针编号与预设的真流式类型一致时,根据所述响应样本确定每个流式数据块的到达时间,并根据所述到达时间确定时间间隔;
28、步骤202:分析所述时间间隔确定间隔标准差和间隔均值,并计算所述间隔标准差和间隔均值的商作为变异系数;
29、步骤203:根据所述变异系数确定判定结果。
30、通过采用上述技术方案,采集流式数据块的到达时间并计算相邻间隔的标准差与均值之比,真实逐词元流式因生成耗时随机波动而使该比值显著偏高,缓存后匀速回放则使比值趋近于零,从而在无需依赖网络速度基准的前提下实现流式真伪的统计学判别。
31、可选的,所述探针的执行方法还包括:
32、步骤300:当所述探针编号与预设的来源路径类型一致时,从所述响应样本中读取消息编号、调用编号、终止原因和用量计数器,并从所述消息编号中读取消息前缀;
33、步骤301:对比所述消息前缀和预设的路径特征确定命中置信度,并对比所述终止原因和预设的合法原因确定原因合法性;
34、步骤302:校验所述调用编号确定调用的格式匹配性,并校验所述用量计数器确定用量完备性;
35、步骤303:从所述用量计数器中读取度量字段,并对比所述度量字段和预设的路径度量确定路径所属;
36、步骤304:结合所述命中置信度、原因合法性、格式匹配性、用量完备性和路径所属确定托管路径,并将所述托管路径作为判定结果。
37、通过采用上述技术方案,校验响应封装中的消息id前缀、调用id格式、终止原因合法性与用量计数器结构,将各校验结果与预设的厂商规范逐一比对,仅在多项信号同时匹配特定托管路径特征时才正向定类,无确凿证据时归为未知,从而在避免将伪造封装误判为合规来源的前提下,使来源结论具备可审计的确定性。
38、可选的,所述探针的执行方法还包括:
39、步骤400:随机生成哨兵字符串,并将所述哨兵字符串植入预设的模型检测请求中形成哨兵检测请求;
40、步骤401:响应于所述哨兵检测请求采集哨兵样本;
41、步骤402:当所述探针编号与预设的哨兵类型一致时,根据所述哨兵字符串从哨兵样本中检验哨兵完整性;
42、步骤403:根据所述哨兵完整性确定判定结果。
43、通过采用上述技术方案,在检测请求中植入随机生成的哨兵字符串并要求模型原样复述,采集响应后校验该字符串是否完整出现,缺失则判定响应被中间层整体改写或替换,从而实现在无需额外模型推理调用的前提下,使整体改写类篡改行为可被高效识别。
44、可选的,所述探针的执行方法还包括:
45、步骤500:当所述探针编号与预设的假模板类型一致时,解析所述响应样本得到样本标签,并将所述样本标签按照字母顺序排列形成归一化标签;
46、步骤501:从所述归一化标签中读取标签分布和嵌套深度作为标签特征,并对所述响应样本去除空白差异和统一大小写形成归一化文本;
47、步骤502:从所述归一化文本中读取名称序列、属性取值、变量调用次数、颜色值集合、字体栈和固定占位文案作为文本特征,并拼接所述标签特征和文本特征形成特征序列;
48、步骤503:将所述特征序列和预设的假模板指纹库做字符级精确匹配确定精确匹配结果,并从所述响应样本中提取多维特征;
49、步骤504:将所述多维特征归一化并拼接形成特征向量,并从预设的假模板指纹库中读取簇心向量;
50、步骤505:计算所述特征向量和簇心向量的余弦相似度,并根据所述余弦相似度确定向量匹配结果;
51、步骤506:结合所述精确匹配结果和向量匹配结果确定判定结果。
52、通过采用上述技术方案,将响应解析为标签与文本双通道并分别归一化,提取标签分布、嵌套深度、样式变量序列、颜色集合、字体栈与占位文案,拼接为特征序列后与假模板指纹库做字符级精确匹配,同时将响应映射为多维风格向量并与簇心计算余弦相似度,从而实现对复制模板与风格变体的双重识别,使完全抄袭与参数微调两类造假均能被有效检出。
53、可选的,所述假模板指纹库的建立方法包括:
54、步骤507:统计锚点数量,响应于所述锚点数量从响应样本中提取指纹特征,并计算各维所述指纹特征的中位数和中位数绝对离差;
55、步骤508:结合所述指纹特征、中位数和中位数绝对离差计算出稳健标准分,并对比所述稳健标准分和预设的稳健阈值确定超标比例;
56、步骤509:当所述超标比例大于预设的比例阈值时,将所述响应样本定义为候选异常样本,并统计所述候选异常样本的数量作为异常数量;
57、步骤510:若所述异常数量大于预设的固化阈值,对所述候选异常样本执行聚类算法得到异常指纹簇,并从所述异常指纹簇中读取簇内样本数;
58、步骤511:当所述簇内样本数大于预设的样本阈值时,计算所述异常指纹簇内所有样本两两之间的异常相似度,并取所述异常相似度的平均值作为平均相似度;
59、步骤512:若所述平均相似度大于预设的相似阈值,从所述异常指纹簇中计算簇心向量,并选取所述异常指纹簇的所有样本中完全一致的代码片段作为精确指纹;
60、步骤513:结合所述簇心向量和精确指纹构建假模板指纹库。
61、通过采用上述技术方案,以官方端点采集的锚点样本建立各维特征的基准分布,计算被测样本相对基准的偏离程度,将显著偏离者积攒至阈值后聚类,对满足内部一致性的簇自动计算簇心向量并提取公共代码片段入库,使新入库指纹即时参与后续检测,从而实现假模板指纹库的零样本冷启动与自进化,在无需人工标注的前提下,使未知造假模式可被自动发现并固化为检测规则。
62、可选的,所述探针的执行方法还包括:
63、步骤600:当所述探针编号与预设的缓存行为类型一致时,随机生成公共前缀、公共提问和对比提问,并根据所述公共前缀生成无缓存请求;
64、步骤601:结合所述公共前缀和公共提问生成写入缓存请求和命中缓存请求,并修改所述公共前缀作为扰动前缀;
65、步骤602:结合所述扰动前缀和公共提问生成缓存失效请求,并结合所述公共前缀和对比提问生成跨前缀命中请求;
66、步骤603:结合所述无缓存请求、写入缓存请求、命中缓存请求、缓存失效请求和跨前缀命中请求生成并发送递进请求序列,并响应于所述递进请求序列获取用量字段;
67、步骤604:从所述用量字段读取缓存写入词元数与缓存读取词元数,并结合所述缓存写入词元数、缓存读取词元数和预设的校验逻辑确定判定结果。
68、通过采用上述技术方案,以随机生成的前缀与提问构造五步递进请求序列,依次探测无缓存、写入缓存、命中缓存、缓存失效与跨前缀命中五种状态,采集每步的缓存读写词元数并与官方缓存语义逐一校验,从而实现缓存行为的多步因果验证,使造假者难以通过篡改单次返回值来同时满足五步间的逻辑约束。
69、第二方面,本发明提供一种大语言模型服务质量与来源真伪检测系统,采用如下的技术方案:
70、一种大语言模型服务质量与来源真伪检测系统,包括:
71、请求发送与响应采集模块,负责与被测服务端点的http及流式通信,发送检测请求并采集响应样本;
72、共享上下文模块,与探针层模块相连接且用于存储上游探针写入的跳过原因;
73、分层调度模块,与探针层模块相连接且用于调度探针执行,并根据共享上下文模块中的跳过原因对下游探针执行优雅跳过;
74、探针层模块,用于对响应样本执行探针并输出标准化探针结果;
75、三轴评分聚合模块,用于接收全部探针结果并输出三轴结论;
76、结果持久化与漂移检测模块,用于将每次检测的过程存入本地数据库,并提供任意两次检测结果的漂移指标;
77、质量解释层模块,用于将原始探针结果聚合为面向使用者的八维度质量报告。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com