一种面向AI生成任务的参数复用频次统计方法及系统与流程

本发明涉及计算机，尤其涉及一种面向ai生成任务的参数复用频次统计方法及系统。

背景技术：

1、随着人工智能生成技术的快速发展，基于ai的图像生成和视频生成服务已被广泛应用于各类互联网平台。用户通过提交包含提示词和模型参数的任务请求，由云端ai算力集群调度算力生成并返回任务结果。

2、在实际使用场景中，用户为了获得满意的生成效果，往往需要进行多次尝试和重试，用户通过微调提示词或完全不改动全部参数，连续重复提交同源生成任务，以期望在某一次重试中获得理想的结果。该类重试行为属于ai生成任务中常态化的“随机性抽卡式”生成行为，同一参数组合的重复生成次数成为衡量生成策略有效性的重要指标。

3、目前，现有的ai生成任务管理系统通常仅记录任务的创建时间、执行状态和最终结果，以单个任务为粒度进行管理和展示。用户可以在任务列表中查看到每条任务的历史记录，但系统缺乏对同一参数组合在多个任务间的复用行为进行系统性追踪与统计分析的能力，无法适配平台规模化用户运维、精细化运营管控需求。

技术实现思路

1、本发明所要解决的技术问题是：本发明提供一种面向ai生成任务的参数复用频次统计方法及系统，在ai生成场景下能够对同一参数组合在多个任务间的复用行为进行系统性追踪与分析，满足平台规模化用户运维、精细化运营管控需求。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、第一方面，本发明提供一种面向ai生成任务的参数复用频次统计方法，包括：

4、当当前ai生成任务成功完成时，获取所述当前ai生成任务的模型参数字符串，对所述模型参数字符串进行哈希计算，得到第一哈希指纹，同时将所述模型参数字符串中的提示词剔除，得到剔除后的模型参数字符串，对剔除后的模型参数字符串进行哈希计算，得到第二哈希指纹；

5、将所述第一哈希指纹与所述第二哈希指纹分别与历史ai生成任务进行匹配，得到与所述第一哈希指纹匹配的第一目标任务集和与所述第二哈希指纹匹配的第二目标任务集；

6、通过乒乓链式计数算法从所述第一目标任务集中提取出第一复用计数字段的字段值中最大的第一字段值，将最大的第一字段值自增1后作为所述当前ai生成任务的第一复用计数字段的字段值，同时将所述第一目标任务集中历史ai生成任务的第一复用计数字段的字段值批量归零，同时从所述第二目标任务集中提取出第二复用计数字段的字段值中最大的第二字段值，将最大的第二字段值自增1后作为所述当前ai生成任务的第二复用计数字段的字段值，同时将所述第二目标任务集中历史ai生成任务的第二复用计数字段的字段值批量归零，完成参数复用频次统计。

7、本发明的有益效果在于：对成功完成的当前ai生成任务会生成两组差异化的哈希指纹，第一哈希指纹基于模型参数字符串生成，能够识别全参数无修改的纯抽卡重试行为，第二哈希指纹基于剔除提示词的模型参数字符串生成，能够识别仅修改提示词的微调试探索行为，无需人工对比，即可区分用户微调试的探索行为与随机概率式的抽卡行为，满足平台规模化用户运维、精细化运营管控需求。在进行参数复用频次统计时，针对不同哈希指纹分别采用乒乓链式计数算法，在同源哈希指纹的链路下，提取最大的第一字段值自增后赋值给当前ai生成任务，并同步批零清零其他历史ai生成任务，在ai生成场景下能够对同一参数组合在多个任务间的复用行为进行系统性追踪与分析，既完整留存全量的历史ai生成任务，保障历史可溯源，又避免计数堆叠、视觉冗余等问题，便于后续对用户的可视化展示，优化用户体验。

8、可选地，所述获取所述当前ai生成任务的模型参数字符串，对所述模型参数字符串进行哈希计算包括：

9、获取所述当前ai生成任务的ai厂商标识与模型参数字符串，将所述ai厂商标识与厂商白名单进行匹配，若匹配失败，则终止参数复用频次统计，若匹配成功，则判断所述模型参数字符串中是否包含统一资源定位符，若包含，则对所述模型参数字符串进行哈希计算，若不包含，则终止参数复用频次统计。

10、根据上述描述可知，设置双层前置校验逻辑，兼顾频次统计的精准性与系统资源的利用率。，仅对位于厂商白名单中的ai厂商标识对应的当前ai生成任务进行参数复用频次统计，实现对ai厂商的分级管控，能够屏蔽测试厂商、非标厂商的无效生成任务，同时仅对包含统一资源定位符的模型参数字符串进行参数复用频次统计，依托统一资源定位符能够过滤纯文本无参考资源类生成任务，节约算力开销与系统的读写压力。

11、可选地，所述得到与所述第一哈希指纹匹配的第一目标任务集和与所述第二哈希指纹匹配的第二目标任务集包括：

12、获取所述当前ai生成任务的当前模型名称和当前任务id；

13、从所述第一目标任务集与所述第二目标任务集中分别筛选出与所述当前模型名称相同的历史ai生成任务，得到筛选后的第一目标任务集与筛选后的第二目标任务集；

14、将筛选后的第一目标任务集与筛选后的第二目标任务集中与所述当前任务id相同的历史ai生成任务剔除，得到剔除后的第一目标任务集和剔除后的第二目标任务集；

15、获取剔除后的第一目标任务集中所有历史ai生成任务的第一历史任务状态，同时获取剔除后的第二目标任务集中所有历史ai生成任务的第二历史任务状态；

16、将所述第一历史任务状态为失败的历史ai生成任务从剔除后的第一目标任务集中过滤，得到最终的第一目标任务集，将所述第二历史任务状态为失败的历史ai生成任务从剔除后的第二目标任务集中过滤，得到最终的第二目标任务集。

17、根据上述描述可知，筛选出与当前模型名称相同的历史ai生成任务，能够规避不同模型、相同哈希指纹误匹配归入目标任务集，保障参数复用频次统计仅限于同款模型内生效；剔除与当前任务id相同的历史ai生成任务，避免自身匹配出现参数复用频次统计的逻辑错误；过滤历史任务状态为失败的历史ai生成任务，保障所有参与参数复用频次统计的ai生成任务都是有效完成的用户重试行为，叠加模型名称、任务id以及任务状态三重筛选约束，实现精准提纯有效同源ai生成任务，提高参数复用频次统计的精准度。

18、可选地，所述通过乒乓链式计数算法从所述第一目标任务集中提取出第一复用计数字段的字段值中最大的第一字段值之前包括：

19、获取所述当前ai生成任务所绑定的用户id，以所述用户id为锁维度获取redis分布式锁，在所述redis分布式锁内进行参数复用频次统计；

20、所述完成参数复用频次统计之后包括：

21、主动释放所述redis分布式锁。

22、根据上述描述可知，以用户id为锁维度获取redis分布式锁，以此在redis分布式锁内进行参数复用频次统计，而非全局统一锁，不同用户之间的参数复用频次统计可完全并行执行，不会降低平台整体任务处理吞吐量；同时以redis分布式锁的方式使得当同一用户毫秒级连续提交的多条同源ai生成任务时，参数复用频次统计与数据库更新是串行执行，解决分布式异步架构下多任务并行查询、并行修改带来的数据竞争问题，适配高峰期用户批量生成、高频重试的高并发业务场景。

23、可选地，所述在所述redis分布式锁内进行参数复用频次统计包括：

24、获取所述redis分布式锁的当前持续时长，判断所述当前持续时长是否超过第一阈值，若是，则主动释放所述redis分布式锁。

25、根据上述描述可知，对当前持续时长超过第一阈值的redis分布式锁会主动释放，避免服务进行宕机、网络终端等突发异常导致redis分布式锁无法主动释放、永久死锁的问题，提高平台运行稳定性。

26、第二方面，本发明提供一种面向ai生成任务的参数复用频次统计系统，包括：

27、哈希指纹计算模块，用于当当前ai生成任务成功完成时，获取所述当前ai生成任务的模型参数字符串，对所述模型参数字符串进行哈希计算，得到第一哈希指纹，同时将所述模型参数字符串中的提示词剔除，得到剔除后的模型参数字符串，对剔除后的模型参数字符串进行哈希计算，得到第二哈希指纹；

28、匹配模块，用于将所述第一哈希指纹与所述第二哈希指纹分别与历史ai生成任务进行匹配，得到与所述第一哈希指纹匹配的第一目标任务集和与所述第二哈希指纹匹配的第二目标任务集；

29、频次统计模块，用于通过乒乓链式计数算法从所述第一目标任务集中提取出第一复用计数字段的字段值中最大的第一字段值，将最大的第一字段值自增1后作为所述当前ai生成任务的第一复用计数字段的字段值，同时将所述第一目标任务集中历史ai生成任务的第一复用计数字段的字段值批量归零，同时从所述第二目标任务集中提取出第二复用计数字段的字段值中最大的第二字段值，将最大的第二字段值自增1后作为所述当前ai生成任务的第二复用计数字段的字段值，同时将所述第二目标任务集中历史ai生成任务的第二复用计数字段的字段值批量归零，完成参数复用频次统计。

30、本发明的有益效果在于：对成功完成的当前ai生成任务会生成两组差异化的哈希指纹，第一哈希指纹基于模型参数字符串生成，能够识别全参数无修改的纯抽卡重试行为，第二哈希指纹基于剔除提示词的模型参数字符串生成，能够识别仅修改提示词的微调试探索行为，无需人工对比，即可区分用户微调试的探索行为与随机概率式的抽卡行为，满足平台规模化用户运维、精细化运营管控需求。在进行参数复用频次统计时，针对不同哈希指纹分别采用乒乓链式计数算法，在同源哈希指纹的链路下，提取最大的第一字段值自增后赋值给当前ai生成任务，并同步批零清零其他历史ai生成任务，在ai生成场景下能够对同一参数组合在多个任务间的复用行为进行系统性追踪与分析，既完整留存全量的历史ai生成任务，保障历史可溯源，又避免计数堆叠、视觉冗余等问题，便于后续对用户的可视化展示，优化用户体验。

31、可选地，所述哈希指纹计算模块具体为：

32、获取所述当前ai生成任务的ai厂商标识与模型参数字符串，将所述ai厂商标识与厂商白名单进行匹配，若匹配失败，则终止参数复用频次统计，若匹配成功，则判断所述模型参数字符串中是否包含统一资源定位符，若包含，则对所述模型参数字符串进行哈希计算，若不包含，则终止参数复用频次统计。

33、根据上述描述可知，设置双层前置校验逻辑，兼顾频次统计的精准性与系统资源的利用率。，仅对位于厂商白名单中的ai厂商标识对应的当前ai生成任务进行参数复用频次统计，实现对ai厂商的分级管控，能够屏蔽测试厂商、非标厂商的无效生成任务，同时仅对包含统一资源定位符的模型参数字符串进行参数复用频次统计，依托统一资源定位符能够过滤纯文本无参考资源类生成任务，节约算力开销与系统的读写压力。

34、可选地，所述匹配模块具体为：

35、获取所述当前ai生成任务的当前模型名称和当前任务id；

36、从所述第一目标任务集与所述第二目标任务集中分别筛选出与所述当前模型名称相同的历史ai生成任务，得到筛选后的第一目标任务集与筛选后的第二目标任务集；

37、将筛选后的第一目标任务集与筛选后的第二目标任务集中与所述当前任务id相同的历史ai生成任务剔除，得到剔除后的第一目标任务集和剔除后的第二目标任务集；

38、获取剔除后的第一目标任务集中所有历史ai生成任务的第一历史任务状态，同时获取剔除后的第二目标任务集中所有历史ai生成任务的第二历史任务状态；

39、将所述第一历史任务状态为失败的历史ai生成任务从剔除后的第一目标任务集中过滤，得到最终的第一目标任务集，将所述第二历史任务状态为失败的历史ai生成任务从剔除后的第二目标任务集中过滤，得到最终的第二目标任务集。

40、根据上述描述可知，筛选出与当前模型名称相同的历史ai生成任务，能够规避不同模型、相同哈希指纹误匹配归入目标任务集，保障参数复用频次统计仅限于同款模型内生效；剔除与当前任务id相同的历史ai生成任务，避免自身匹配出现参数复用频次统计的逻辑错误；过滤历史任务状态为失败的历史ai生成任务，保障所有参与参数复用频次统计的ai生成任务都是有效完成的用户重试行为，叠加模型名称、任务id以及任务状态三重筛选约束，实现精准提纯有效同源ai生成任务，提高参数复用频次统计的精准度。

41、可选地，所述频次统计模块位于分布锁模块中，所述分布锁模块具体为：

42、获取所述当前ai生成任务所绑定的用户id，以所述用户id为锁维度获取redis分布式锁，在所述redis分布式锁内进行参数复用频次统计；

43、所述频次统计模块具体为：

44、主动释放所述redis分布式锁。

45、根据上述描述可知，以用户id为锁维度获取redis分布式锁，以此在redis分布式锁内进行参数复用频次统计，而非全局统一锁，不同用户之间的参数复用频次统计可完全并行执行，不会降低平台整体任务处理吞吐量；同时以redis分布式锁的方式使得当同一用户毫秒级连续提交的多条同源ai生成任务时，参数复用频次统计与数据库更新是串行执行，解决分布式异步架构下多任务并行查询、并行修改带来的数据竞争问题，适配高峰期用户批量生成、高频重试的高并发业务场景。

46、可选地，所述分布锁模块包括：

47、判断模块，用于获取所述redis分布式锁的当前持续时长，判断所述当前持续时长是否超过第一阈值，若是，则主动释放所述redis分布式锁。

48、根据上述描述可知，对当前持续时长超过第一阈值的redis分布式锁会主动释放，避免服务进行宕机、网络终端等突发异常导致redis分布式锁无法主动释放、永久死锁的问题，提高平台运行稳定性。