一种代码归因数据采集上报与服务端分析方法及系统与流程

摘要: 本发明涉及软件领域,尤其涉及一种代码归因数据采集上报与服务端分析方法及系统。背景技术:1、企业引入多种ai编程agent后,研发管理人员通常需要了解ai改了多少...
一种代码归因数据采集上报与服务端分析方法及系统与流程

本发明涉及软件领域,尤其涉及一种代码归因数据采集上报与服务端分析方法及系统。

背景技术:

1、企业引入多种ai编程agent后,研发管理人员通常需要了解ai改了多少代码、哪些agent和模型被采用、token消耗与代码产出是否匹配,以及这些代码是否进入mr/pr、合并和默认分支。现有系统通常只能分别看到git提交、mr/pr、代码变更行数或模型调用记录,几类数据分散保存,难以放在同一条链路中核对。

2、一种常见方案是只统计git提交和mr/pr。该方案可以获得提交人、提交时间、文件变更行数和合并状态,但无法判断某一行代码来自哪个agent、哪个ai session或哪一次人工修改,也无法把agent、模型和token使用量对应到具体commit。

3、另一种方案是在各类ai编程工具本地保存日志。本地日志能记录会话、模型和token,但不同agent的日志格式差异较大,通常停留在开发者机器上。后台直接读取这些日志不稳定,也不适合做企业级长期统计。

4、还有一种方案是从模型网关统计token和请求量。网关能记录某次模型请求消耗了多少token,但看不到这些请求最终生成了哪些代码,也看不到代码是否提交、进入mr/pr、合并或进入默认分支。token消耗和交付结果之间仍缺少可验证的对应关系。

5、git notes可以在不改写commit内容的情况下,提交附加结构化信息。本发明利用这一机制,由tlab客户端把本地采集到的多agent行级归因、ai session和归一后的token数据写入固定的git notes引用,服务端再通过代码库平台api读取、解析、校验和建模。

6、现有技术的主要缺点是客户端侧缺少统一的多agent采集和上报结构,服务端侧缺少把agent、模型、session、token、代码行、commit、mr/pr和默认分支统一建模的分析方法。

技术实现思路

1、本发明的目的在于提供一种从tlab客户端采集上报到服务端建模分析的完整方法,使代码结果、agent会话、token使用和交付状态之间形成稳定对应关系,并能够从产出、采用、效率和交付四个维度解释ai编程效果。

2、一种代码归因数据采集上报与服务端分析方法,包括以下步骤:

3、由客户端通过多个代理适配器分别接入不同ai编程代理,将所述ai编程代理产生的事件转换为统一归因数据结构,所述事件包括会话事件、模型信息、token使用量、文件变更事件和人工编辑事件;

4、所述统一归因数据结构为每个会话生成稳定的会话标识,并将不同ai编程代理的token使用量归一为输入token、输出token、缓存读取token和缓存写入token四类字段;

5、所述客户端在提交前后比对工作区文件变更,根据检查点信息和人工编辑事件生成行级归因,将所述行级归因与会话元数据写入代码仓库中预设的git notes引用,所述写入不改变代码提交的内容,所述预设的git notes引用随代码提交同步至远端代码库;

6、服务端通过代码库平台接口读取所述预设的git notes引用中的归因数据,以及所述代码库的提交信息、合并请求和默认分支状态;

7、所述服务端按预设分隔符将所述归因数据拆分为行级归因区和json格式的元数据区,所述分隔符之前为行级归因区,所述分隔符之后为元数据区;

8、将行级归因区中的ai归因标识与元数据区中的会话标识匹配,将人工归因标识与元数据区中的人工编辑标识匹配;

9、将ai贡献行、人工贡献行与所述提交信息、合并请求、默认分支、提交人、代理和模型建立关联,其中代码库差异中未被ai行级归因覆盖的行计入人工贡献行;

10、所述服务端基于所述关联建立代码归因分析模型,计算产出指标、采用指标、效率指标和交付指标;

11、其中,计算所述效率指标时,以企业、代码库实例、项目和会话标识为维度对token消耗进行去重统计;所述交付指标包括按ai参与提交、进入合并请求、合并请求已合并和进入默认分支四个层级统计的交付漏斗,以及按默认分支有效快照中ai贡献行占全部变更行的比例计算的ai默认分支占比。

12、可选地,预设的git notes引用为refs/notes/tokenlab引用;所述行级归因区中的每个归因记录包括文件路径、归因标识和行号范围;无法与所述元数据区中的任一标识匹配的归因记录不计入ai贡献行,并记录告警。

13、可选地,代码归因分析模型将企业、代码库实例、项目、提交人、提交、文件、合并请求、默认分支、代理、模型和会话组织为查询维度,保留行级明细,并生成提交-文件、提交-会话和提交-文件-会话查询维度;所述产出指标包括ai新增行、人工新增行、ai变更贡献率和总变更行,其中ai贡献行来自客户端行级归因,人工贡献行来自未被ai行级归因覆盖的代码库差异行。

14、可选地,采用指标包括ai参与提交数、ai参与合并请求数、ai会话数、代理使用次数、模型使用次数、项目采用率、提交人采用率、代理排行榜和模型排行榜;所述排行榜按筛选时间范围内的有效归因结果聚合,并按ai贡献行数、会话数、参与提交数或参与合并请求数排序。

15、可选地,效率指标还包括总token、输入token、输出token、缓存读取token、缓存写入token、单位ai贡献行token、单会话平均产出和单提交平均ai行数。

16、可选地,交付漏斗和所述ai默认分支占比还按项目、提交人、代理和模型形成排行榜。

17、可选地,服务端将指标数据以版本化事实方式存储;当提交、归因数据、会话、合并请求或默认分支快照发生变化时,先在受影响范围内将旧版本事实标记为无效,再写入新版本事实数据;指标查询仅读取当前有效版本的事实数据。

18、可选地,服务端在同步开始时获取项目锁和同步租约,每次同步携带请求标识;所述服务端保存归因数据索引、提交索引和合并请求索引,再次同步时仅重建发生变化的提交、归因数据和会话对应的指标模型。

19、可选地,客户端在部署条件允许时,通过受控服务接口将所述统一归因数据结构上报至服务端,以替代将所述行级归因与会话元数据写入所述预设的git notes引用,所述服务端保持企业、项目、提交、会话和代理的关联关系后执行所述拆分、匹配和关联。

20、本发明还涉及一种代码归因数据采集上报与服务端分析系统,包括:

21、客户端,配置有多个代理适配器,所述代理适配器用于将不同ai编程代理产生的事件转换为统一归因数据结构,所述事件包括会话事件、模型信息、token使用量、文件变更事件和人工编辑事件;所述统一归因数据结构为每个会话生成稳定的会话标识,并将不同ai编程代理的token使用量归一为输入token、输出token、缓存读取token和缓存写入token四类字段;

22、所述客户端还用于在提交前后比对工作区文件变更,根据检查点信息和人工编辑事件生成行级归因,并将所述行级归因与会话元数据写入代码仓库中预设的git notes引用,所述写入不改变代码提交的内容,所述预设的git notes引用随代码提交同步至远端代码库;

23、服务端,包括归因解析模块和指标建模模块;所述服务端通过代码库平台接口读取所述预设的git notes引用中的归因数据,以及所述代码库的提交信息、合并请求和默认分支状态;

24、所述归因解析模块用于按预设分隔符将所述归因数据拆分为行级归因区和json格式的元数据区,所述分隔符之前为行级归因区,所述分隔符之后为元数据区,将行级归因区中的ai归因标识与元数据区中的会话标识匹配,将人工归因标识与元数据区中的人工编辑标识匹配,并将ai贡献行、人工贡献行与所述提交信息、合并请求、默认分支、提交人、代理和模型建立关联,其中代码库差异中未被ai行级归因覆盖的行计入人工贡献行;

25、所述指标建模模块用于基于所述关联建立代码归因分析模型,计算产出指标、采用指标、效率指标和交付指标,其中计算所述效率指标时以企业、代码库实例、项目和会话标识为维度对token消耗进行去重统计,所述交付指标包括按ai参与提交、进入合并请求、合并请求已合并和进入默认分支四个层级统计的交付漏斗,以及按默认分支有效快照中ai贡献行占全部变更行的比例计算的ai默认分支占比。

26、与现有技术相比,本发明的有益效果如下:

27、本发明将客户端采集和服务端建模连接成完整链路。tlab客户端可以支持多种ai编程agent,并把不同来源的会话、模型、token、文件变更和人工编辑事件转换为统一归因数据。

28、本发明的服务端不依赖开发者本地日志,后台只读取代码库平台数据和refs/notes/tokenlab,即可收集客户端上报数据并与commit、mr/pr、默认分支、提交人和文件变更关联,适合企业集中管理和重复同步。

29、本发明的服务端指标模型不只统计代码行,还同时覆盖产出、采用、效率和交付四个维度。交付漏斗、ai默认分支占比和排行榜可以帮助企业判断ai代码是否被采用、是否进入交付链路,以及不同项目、提交人、agent和模型的实际效果。