多通道测试数据的二级缓存与动态列对齐方法及系统与流程

本发明涉及半导体测试数据管理，尤其涉及多通道测试数据的二级缓存与动态列对齐方法及系统。

背景技术：

1、在半导体测试制造环节中，测试机台通过多site并行测试技术同时对多个芯片进行测试，每个site代表一个独立的测试通道。测试过程中，每个site实时产生touchdown数据，包括测试总数、通过数、失败数、硬bin、软bin以及良率指标。这些数据需要实时聚合并展示到cim看板上，供产线管理人员监控生产质量。如专利公开号为cn103488565a的一种分布式实时测试系统测试数据收集方法技术，提供了清空实时仿真节点的二级缓存以便下次写入数据，主控节点查询一级缓存，把一级缓存中的数据读取写入二级缓存并清空一级缓存，主控节点二级缓存将满的状态下将二级缓存中的数据以二进制文件的形式整块写入主控节点磁盘中，测试停止之后从磁盘中读取结果文件并出入数据库中，按照10mb每块划分结果文件并按照时间标签的顺序存入数据库中。但还存在如下问题。

2、现有三类主流方案在半导体多通道并行测试场景下均存在明显短板：直写数据库易引发高频io阻塞，前端轮询聚合结果延迟高，单层redis全量计算占用大量远程算力，多通道并发下网络开销激增，定时批量计算难以适配测试数据实时性要求，新通道接入时还易出现列错位、统计精度失准的问题。

技术实现思路

1、为了解决上述技术问题得出如下技术方案：

2、多通道测试数据的二级缓存与动态列对齐方法及系统，包括具体步骤如下：

3、s1、分区建存,构建本地一级缓存与全局站点标识集合，本地一级缓存划分独立统计存储分区；

4、s2、指标更新,逐行更新本地一级缓存内各分区的通道测试统计指标，同步更新全局站点标识集合；

5、s3、动态对齐,识别首次出现的测试通道标识，触发全历史数据行自动列回填操作，完成动态列对齐；

6、s4、精度算率,基于高精度数值运算模型计算各通道及整体测试良率指标；

7、s5、安全封装,封装整数统计行、文本展示行专用数据结构，实现线程安全的原子计数更新；

8、s6、统一排序,统一定义数据列排序权重规则，对所有缓存行输出字段标准化排序；

9、s7、去冗组装,批量整合本地一级缓存全量数据，复用已有缓存数据构建分类统计结果，消除重复存储冗余；

10、s8、批量落存,异步批量将整合完成的聚合数据一次性写入远程二级缓存；

11、s9、直显渲染,前端从远程二级缓存读取标准化排序数据直接渲染展示。

12、优选地，所述s1中本地一级缓存采用并发哈希容器实现，划分站点良率统计区、整数数据行区、文本数据行区，全局站点标识集合采用并发哈希集合，统一存储所有已上线测试通道标识，各分区独立读写互不阻塞。

13、优选地，所述s2中每条触地测试数据以通道标识为键检索站点良率对象，原子累加测试总量、合格数量、失效数量，同步更新硬分类、软分类对应整数统计行的计数指标。

14、优选地，所述s3中全局站点集合新增通道标识时判定为新通道，遍历本地所有历史整数行执行键不存在补零操作，遍历文本行按类型补默认展示值，无需查询阶段临时补字段。

15、优选地，所述s4采用高精度十进制运算类执行良率计算，设置固定小数精度与四舍五入舍入模式，以各通道良率算术平均值作为整机综合良率，规避浮点运算精度丢失缺陷，所述s5设置整数行封装类，内置有序哈希表存储通道数值，通过合并原子操作实现并发无锁计数；文本行区分良率文本、分类标题文本两类存储结构。

16、优选地，所述s6设定列排序权重：标题权重-1、汇总总量权重0、各测试通道按编号递增分配权重，输出时按权重升序生成有序键值对，保证json字段顺序固定统一。

17、优选地，所述s7构建硬分类、软分类汇总数据时，直接遍历本地一级缓存已有数据实时组装，不单独开辟独立缓存存储分类统计数据，降低内存占用。

18、优选地，所述s8单批次全部触地测试数据处理完毕后，仅发起单次网络序列化与写入请求，将站点汇总数据、全维度统计数据分别存入远程缓存两个独立键，减少网络io与序列化开销。

19、一种半导体多通道并行测试数据二级缓存与动态列对齐系统，用于执行半导体多通道并行测试数据二级缓存与动态列对齐方法，包括：

20、包括：本地一级缓存模块、动态列对齐模块、线程安全数据封装模块、高精度良率计算模块、数据标准化排序模块、数据去冗余构建模块、远程二级缓存异步刷新模块；

21、所述本地一级缓存模块，划分站点良率分区、整数数据分区、文本数据分区、全局站点标识集合，用于搭建本地内存并发缓存存储架构，通过多分区隔离存储实现测试统计数据、数值数据、文本展示数据的分类独立读写，依托全局站点标识集合实时收录所有上线测试通道标识；

22、所述本地一级缓存模块分别与动态列对齐模块、线程安全数据封装模块、数据去冗余构建模块双向数据交互；

23、所述动态列对齐模块，配置新通道注册单元与历史行回填执行单元，新通道注册单元用于实时监测全局站点标识集合，识别新增未备案测试通道并完成注册登记，历史行回填执行单元用于触发本地一级缓存全量历史整数数据行补零、文本数据行补默认值操作，在缓存预处理阶段完成多通道数据列自动对齐，替代前端临时补字段的低效方式；

24、所述线程安全数据封装模块，包含整数行封装单元与文本行存储单元，整数行封装单元用于封装有序哈希表数据结构，通过合并原子操作实现多线程无锁计数更新，文本行存储单元用于分类存储良率展示文本与分类标题文本，隔离数值运算与文本展示逻辑；

25、所述高精度良率计算模块，用于加载预设高精度十进制运算规则、固定小数精度与四舍五入舍入模式，独立完成单通道测试良率、整机综合良率的运算求解，摒弃传统普通浮点运算模式，规避长期数据累加；

26、所述数据标准化排序模块，用于预存固定数据列权重排序规则，对标题字段、汇总总量字段、各通道数据字段进行权重分级，按照权重升序规则对所有缓存输出字段统一排序，生成有序键值对，实现所有输出json数据字段顺序标准化、统一化；

27、所述数据去冗余构建模块，用于实时遍历本地一级缓存各分区原始数据，在线组装硬失效、软失效分类汇总统计数据，无需单独开辟独立缓存存储汇总数据，复用已有缓存资源完成数据聚合；

28、所述远程二级缓存异步刷新模块，与数据去冗余构建模块建立数据连接，用于在单批次测试数据全部处理组装完成后，执行单次统一序列化与异步网络写入操作，将站点汇总数据、全维度明细数据分别存入远程二级缓存独立键位，大幅减少网络io次数与序列化开销。

29、本发明具有以下技术效果：

30、1、本发明采用本地一级缓存分区独立读写架构，结合远程二级缓存异步批量写入机制，彻底规避高频io阻塞问题，大幅降低网络开销，适配多通道测试数据的实时处理需求。

31、2、本发明搭载动态列自动对齐机制，新通道接入时可自动完成全历史数据列的适配填充，从缓存预处理阶段就实现数据列规整，彻底避免列错位、字段缺失问题，前端无需二次处理即可直接渲染。

32、3、本发明全流程采用线程安全的并发数据结构与高精度运算逻辑，支持多线程高并发场景下无锁读写，杜绝计数偏差与精度累积丢失，同时通过无冗余实时组装机制减少内存占用，数据输出全程标准化。

33、4、本发明针对半导体多通道并行测试场景痛点，通过本地一级缓存与远程二级缓存的协同架构实现性能跃升：依托微秒级写入能力，搭配异步批量刷新机制将端到端延迟从秒级压缩至亚秒级，大幅削减网络io开销。新通道首次接入时自动完成全历史数据行回填，从缓存底层实现动态列对齐，彻底消除列错位与字段顺序紊乱问题。采用四舍五入运算规避浮点精度丢失，保障看板良率与实际值完全一致。通过原子操作实现多线程安全并发写入，直接复用已有缓存构建多类统计数据，内存占用降低，搭配统一排序机制输出字段顺序固定的标准化，前端无需额外处理即可直接渲染。