一种基于CDISC标准的临床数据智能转换方法及系统与流程

本发明涉及临床研究，具体地说，是涉及一种基于cdisc标准的临床数据智能转换方法及系统。

背景技术：

1、cdisc（临床数据互操作性标准）是全球临床研究领域广泛采用的数据标准体系，包括sdtm（研究数据表格模型）、adam（分析数据模型）、cdash（病例报告表数据获取标准）等标准。目前，将原始临床数据（edc/ecrf采集数据）转换为符合cdisc标准的数据集，是临床研究数据管理中最耗时、最易出错的关键环节。目前，现有技术主要存在以下缺陷：

2、第一，传统研究数据表格模型映射依赖专家经验，效率低下。传统的数据映射方法需要由熟悉cdisc标准的数据程序员手动完成。每个域的变量映射平均需要数小时，一个完整的临床研究项目包含数十个域，仅映射工作就可能耗费数周时间。映射质量完全取决于程序员的经验和对标准的理解程度，不同程序员映射结果存在显著差异，缺乏一致性和可重复性。

3、第二，手工映射易出错且难以发现。手动映射过程中容易出现变量遗漏、映射关系错误、映射方式选择不当等问题。尤其是当原始数据变量名称与研究数据表格模型标准变量含义存在语义差异时，需要程序员凭借经验执行判断，极易出错。而这些错误往往在后期验证阶段才能发现，返工成本高昂。

4、第三，多源异构数据整合困难。临床研究数据来源多样，包括电子数据采集系统（edc）导出的csv/excel文件、第三方实验室数据文件（如sas xpt格式）、医学影像元数据文本文件（如txt格式）等。不同来源的数据在字段命名、数据类型、日期格式、编码方式等方面存在显著差异，需要大量的人工预处理工作才能统一整合。

5、以上不足，亟待改善。

技术实现思路

1、为了克服现有技术中临床数据转换存在的依赖专家经验、效率低下、易出错等问题，本发明提供了一种基于cdisc标准的临床数据智能转换方法及系统，实现从原始临床数据到符合cdisc标准的数据集的全流程自动化映射与转换，显著提升了映射效率与准确性，降低了对专家经验的依赖。

2、本发明技术方案如下所述：

3、第一方面，本发明提供一种基于cdisc标准的临床数据智能转换方法，包括：

4、s1、接收原始临床数据文件，识别文件格式并执行标准化预处理，生成格式统一的标准化中间数据集；

5、s2、基于预构建的cdisc标准变量知识库，利用语义向量空间模型与大语言模型，对所述标准化中间数据集中的原始变量执行语义分析与映射推荐；

6、s3、根据映射推荐结果对所述标准化中间数据集执行映射转换，生成符合cdisc标准的目标数据集；

7、s4、对所述目标数据集执行多维度合规性验证，验证通过后输出所述目标数据集及对应的元数据文件。

8、作为本发明的一个优选方案，在步骤s1中，所述标准化预处理包括日期格式标准化、数值格式标准化、文本格式标准化、变量拆分、变量合并、数据筛选及单位转换。

9、作为本发明的一个优选方案，在步骤s1中，若同时接收多个数据源的原始临床数据文件，则在执行标准化预处理之前，对同时接收的多个原始临床数据文件执行合并处理。

10、作为本发明的一个优选方案，在步骤s1中，在执行标准化预处理之前，还包括：

11、接收转置配置，并执行转置操作，将原始临床数据文件的宽表格式数据转换为符合suppdm标准的长表格式数据。

12、作为本发明的一个优选方案，步骤s2具体包括：

13、构建cdisc标准变量知识库，所述cdisc标准变量知识库包含所有cdisc版本的标准变量；

14、通过预训练的语义向量空间模型，对所述标准化中间数据集中的原始变量和所述cdisc标准变量知识库的标准变量执行语义向量编码，生成原始语义向量空间与标准语义向量空间；

15、计算所述原始语义向量空间中每个原始语义向量与所述标准语义向量空间中所有标准语义向量的余弦相似度值，选取余弦相似度值最高的前若干个标准语义向量作为候选映射向量；

16、当多个所述候选映射向量的相似度差值小于预设歧义阈值时，调用大语言模型结合原始变量上下文信息和标准变量定义执行深度推理，确定最优映射关系；

17、综合向量相似度得分、大语言模型推理置信度和历史相似映射命中次数，计算每个映射推荐结果的置信度评分，生成带置信度标注的第一变量映射关系集。

18、作为本发明的一个优选方案，步骤s2具体还包括：

19、在所述cdisc标准变量知识库中为每个需要受控术语约束的变量关联对应的符合cdisc标准的受控术语编码；

20、通过cdisc library api对接，根据受控术语关键字或受控术语编码，自动拉取对应的受控术语列表；

21、读取所述标准化中间数据集中目标变量的所有枚举值，与所述受控术语列表中的首选术语进行语义匹配；

22、根据当前受控术语配置状态自动选择处理逻辑：场景一为未配置受控术语，自动拉取所述受控术语列表并执行源值匹配；场景二为已手动选择受控术语，基于选择的受控术语列表执行源值匹配；场景三为已完成源值匹配，直接应用已有映射关系；

23、对每个匹配结果计算置信度，生成带置信度标注的第二变量映射关系集。

24、作为本发明的一个优选方案，在步骤s4中，所述多维度合规性验证包括cdisc规则校验、受控术语校验及数据完整性校验。

25、作为本发明的一个优选方案，还包括：

26、s5、将所述映射推荐结果以可视化方式呈现，接收并记录用户对所述映射推荐结果的操作决策数据，所述操作决策数据用于优化所述语义向量空间模型。

27、作为本发明的一个优选方案，还包括：

28、步骤s6、构建包括上下文信息、数据字典、期望输出格式的提示词至所述大语言模型，生成派生代码，并在沙箱环境中执行派生验证；若验证通过，则将派生变量追加到所述目标数据集中。

29、第二方面，本发明提供一种基于cdisc标准的临床数据智能转换系统，用于执行上述任一方案的基于cdisc标准的临床数据智能转换方法，包括：

30、数据导入解析层，用于接收原始临床数据文件，识别文件格式并执行标准化预处理，生成格式统一的标准化中间数据集；

31、语义映射引擎，用于基于预构建的cdisc标准变量知识库，利用语义向量空间模型与大语言模型，对所述标准化中间数据集中的原始变量执行语义分析与映射推荐；

32、人机协作审核层，用于将映射推荐结果以可视化方式呈现，接收并记录用户对所述映射推荐结果的操作决策数据，所述操作决策数据用于优化所述语义向量空间模型；

33、映射转换层，用于根据所述映射推荐结果对所述标准化中间数据集执行映射转换，生成符合cdisc标准的目标数据集；

34、合规验证输出层，用于对所述目标数据集执行多维度合规性验证，验证通过后输出所述目标数据集及对应的元数据文件；

35、派生变量生成层，用于构建包括上下文信息、数据字典、期望输出格式的提示词至所述大语言模型，生成派生代码，并在沙箱环境中执行派生验证；若验证通过，则将派生变量追加到所述目标数据集。

36、根据上述方案的本发明，其有益效果在于：

37、本发明通过构建标准变量知识库，利用语义向量空间模型与大语言模型，对标准化中间数据集中的原始变量执行语义分析与映射推荐，实现映射效率和质量的双重提升，并降低对专家经验的依赖，使得具备基础技能的程序员也能完成高质量的映射工作；基于统一的语义映射引擎和标准变量知识库，不同程序员、不同项目的映射结果具有更高的一致性，便于审计和追溯；通过采集用户对映射推荐的操作决策数据，持续积累标注样本，并定期对语义向量空间模型进行增量优化，实现映射准确率随使用时长持续提升。