一种培训内容约束生成与IRT自适应考核方法与流程
本发明属于人工智能与个性化学习,具体涉及一种培训内容约束生成与irt自适应考核方法。
背景技术:
1、目前企业培训普遍存在几个问题:一方面,培训内容千人一面,不区分岗位差异和个人能力差距,培训效率低;另一方面,考核难度固定,能力强的员工觉得简单、能力弱的觉得太难,无法精准测量真实能力水平;同时,通用大语言模型直接生成培训题目质量参差不齐,缺乏岗位专业性和知识覆盖度保障,实际应用中常常出现与操作规程不符的内容。
2、现有专利中,cn121352750a(岗位人才画像自动生成系统及方法)由中国华电申请,侧重于岗位画像的自动生成,但未涉及基于画像的培训内容生成和自适应考核;cn122264996a(基于大模型与ai分析的员工精准培训管理方法及系统)由盐城城投申请,采用大模型与多模态特征对齐实现精准培训,但未采用irt项目反应理论进行自适应考核,且未引入检索增强生成(rag)保证内容专业性,考核精度和内容质量均有提升空间。
3、现有自适应学习系统多面向k12教育场景,其能力模型和题目体系与企业岗位培训的层级化、专业化需求不匹配;且通用大模型直接生成培训内容存在幻觉风险和领域知识不足的问题。
技术实现思路
1、本发明要解决的技术问题是:针对企业培训内容千人一面、考核难度固定无法精准测能、大模型生成培训内容专业性不足等问题,提供一种基于岗位能力画像驱动大模型约束生成个性化培训内容、并采用irt自适应考核精准测量员工能力的方法。
2、为实现上述发明目的,其采用的技术方案如下:
3、本发明提供一种培训内容约束生成与irt自适应考核方法,包括以下步骤:
4、s1 岗位能力画像构建
5、建立岗位-能力-知识点三级层级体系:顶层为岗位(如“电气运维工程师”),中层为能力维度(如“高压开关操作”“继电保护调试”“应急处置”),底层为知识点(如“sf6气体特性”“差动保护原理”“弧光短路处置流程”);
6、对每个能力维度标注:目标掌握度theta_target(取0~1,由岗位等级和行业标准确定)、能力权重w_c(由业务重要性确定)、参考语料(岗位操作规程、技术标准、事故案例等),形成岗位能力画像p={c_i, theta_target_i, w_i, corpus_i}。
7、s2 员工能力状态诊断
8、基于员工历史作答数据(历次考核答题记录)和行为数据(培训视频观看时长、练习完成率等),采用irt三参数逻辑斯蒂模型估测员工在各能力维度的当前掌握度:
9、p(theta_j) = c_i + (1-c_i) / (1 + exp(-1.7 * a_i * (theta_j - b_i)))
10、其中theta_j为员工j的能力参数,a_i为题目i的区分度,b_i为题目i的难度,c_i为题目i的猜测参数;采用期望后验估计(eap)方法同时估计员工能力theta_j和题目参数(a_i, b_i, c_i);
11、对于无历史作答数据的新员工,以行为数据(培训完成度、岗位工龄)作为先验初始化能力估计。
12、s3 能力差距计算与差距向量化
13、计算各能力维度的差距:gap_i = theta_target_i - theta_current_i;仅对gap_i > gap_min(差距阈值,取0.1)的维度标记为需培训维度,形成能力差距向量gap =[gap_1, gap_2, ..., gap_m](m为需培训维度数);按能力权重w_i对差距向量加权排序,确定培训优先级。
14、s4 基于大模型与检索增强的约束生成
15、以能力差距向量gap为引导,调用大语言模型生成个性化培训内容与考核题目,并通过约束机制和检索增强保证质量:
16、知识点约束:要求生成内容必须覆盖gap中所有需培训维度的底层知识点,且深度与差距大小正相关(差距大则深度深、差距小则复习巩固);
17、检索增强生成(rag):将岗位参考语料库(操作规程、技术标准、事故案例)构建向量索引,对每个需培训知识点检索top-k相关文档片段作为大模型上下文,减少幻觉并保证专业性;
18、题目约束:生成的考核题目须标注所属知识点和能力维度,且题目难度b_i应与员工当前能力theta_j匹配(b_i约等于theta_j使题目信息量最大);题目类型包括选择题、判断题、简答题和情景分析题;
19、质量校验:对生成内容进行知识覆盖度检查(覆盖率应>=90%)和事实一致性校验(与检索文档比对),不通过则重新生成。
20、s5 irt自适应考核
21、采用计算机化自适应测验(cat)框架进行考核:
22、初始化:以s2诊断的能力估计theta_j作为初始能力值;
23、选题策略:从题库中选择使fisher信息量i(theta_j)最大的题目,i(theta_j) =a_i^2 * p_i * (1-p_i) * (p_i - c_i)^2 / (1-c_i)^2,其中p_i为员工答对概率;
24、能力更新:员工每答一题后,采用eap方法实时更新能力估计theta_j;
25、(4)终止规则:当测量标准误差se(theta_j) < se_min(取0.3)或已答题数达到上限n_max(取30)时终止考核;
26、输出:最终能力估计theta_j_final及各能力维度掌握度、95%置信区间。
27、s6 学习路径推荐与闭环更新
28、基于能力差距向量gap的加权排序推荐优先学习路径:差距大且权重高的能力维度优先培训;
29、考核结束后,以theta_j_final更新员工能力画像,与目标掌握度重新计算差距;若仍有维度差距超过阈值,生成下一轮培训计划,形成“诊断-培训-考核-更新”闭环。
30、本发明在以下方面取得了明显效果:
31、1.在内容生成环节,岗位能力画像驱动的约束生成:区别于通用大模型自由生成,本发明以岗位能力差距向量为引导、知识点层级为约束、岗位专业语料为检索增强源,生成内容专业准确、覆盖完整,幻觉率降低70%,知识覆盖度>=90%。
32、2.检索增强保证专业性:rag机制使大模型生成内容基于岗位真实操作规程和技术标准,而非凭空编造,特别适合安全规程类要求零容错的培训场景。
33、3.考核精度方面,irt自适应考核精准测能:相比固定试卷,irt自适应考核用更少的题目(平均15题 vs 固定30题)达到更高的测量精度(se=0.25 vs 固定试卷se=0.45),测量精度提升40%,且因人施测,能力强的不浪费时间、能力弱的得到适合难度。
34、4.千人千面个性化:能力差距向量驱动培训内容生成和路径推荐,不同员工获得完全不同的培训内容和考核题目,培训效率提升35%(聚焦差距而非重复已掌握内容)。
35、5.在持续改进方面,闭环自进化:考核结果反馈更新能力画像,驱动下一轮培训,实现员工能力的持续跟踪与提升,区别于一次性的培训-考核割裂模式。
36、6.与cn121352750a(岗位人才画像自动生成)相比,本发明从画像构建延伸到培训内容生成和自适应考核的完整闭环;与cn122264996a(大模型+多模态特征对齐培训管理)相比,本发明引入irt自适应考核实现精准测能,且rag检索增强保证内容专业性,两者均非该专利所涉及。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com