多模态感知与强化学习的玩具交互自适应识别与反馈方法与流程
本发明涉及智能人机交互与人工智能应用,具体涉及一种基于两级决策架构与置信度传递机制的智能玩具交互策略持续进化方法。
背景技术:
1、随着人工智能和传感器技术的快速发展,智能玩具已从简单的声光响应产品演进为具备感知、认知和决策能力的交互式设备。目前,基于多模态感知与行为识别的交互控制技术成为主流,通过计算机视觉、语音识别与触觉传感等技术融合分析用户状态,旨在提升互动的精准度与趣味性,满足儿童在成长过程中对个性化陪伴与教育的需求。
2、然而,现有技术在交互控制中仍存在显著缺陷:首先,行为识别模块与决策模块相互独立,识别产生的置信度分数未被传递至决策端,导致在行为边界模糊或高噪声环境下,玩具无法感知输入可靠性而频繁误响应;其次,反馈策略主要依赖预设规则或有限集合,缺乏基于强化学习的长期自适应进化能力,难以应对用户行为模式随时间的变化及“长期交互退化”问题;此外,云端推理存在隐私泄露风险与延迟,而本地轻量模型往往精度不足,且现有技术未能有效解决嵌入式设备上实时性、精度与隐私保护之间的矛盾,导致用户体验在长期使用后下降。
技术实现思路
1、本发明旨在解决现有智能玩具交互控制技术中识别与决策信息断层、反馈策略缺乏长期自适应进化能力、以及云端推理与本地部署之间实时性、精度与隐私保护难以兼顾的技术问题,提供一种多模态感知与强化学习的玩具交互自适应识别与反馈方法。
2、为解决上述技术问题,本发明提供一种多模态感知与强化学习的玩具交互自适应识别与反馈方法,包括以下步骤:
3、获取智能玩具传感器采集的多模态时序信号,并对所述多模态时序信号进行预处理;
4、将预处理后的多模态时序信号输入轻量级行为分类网络,输出当前交互行为的类别标签及对应的置信度分数;其中,所述轻量级行为分类网络通过知识蒸馏技术从云端教师模型获得;
5、基于所述类别标签、所述置信度分数、用户身份标识及历史交互编码构建低维状态向量;其中,所述用户身份标识通过对多模态身份特征进行长期统计隐式识别获得,所述历史交互编码通过轻量级循环神经网络对最近若干次交互进行时序编码获得;
6、将所述低维状态向量输入采用近端策略优化算法的强化学习决策网络,生成反馈动作指令;其中,所述决策网络的目标函数中包含熵正则项和辅助损失项,所述置信度分数作为熵系数的动态调节因子,当所述置信度分数低于预设阈值时增大所述熵系数以增强动作探索性,所述辅助损失项用于强制约束策略网络输出的动作熵与输入的置信度分数负相关;
7、执行所述反馈动作指令,并监测用户对所述反馈动作指令的即时反应以计算奖励值;
8、基于所述奖励值在本地更新所述决策网络的参数,更新过程中采用双缓冲机制维护当前策略网络和候选策略网络,所述候选策略网络经离线验证性能未下降后替换所述当前策略网络;
9、在满足预设条件时,将本地模型更新参数采用差分隐私加噪与轻量级同态加密相结合的方式上传至云端服务器进行联邦聚合,并接收更新后的全局模型参数。
10、进一步的,所述预设阈值通过以下步骤动态确定:
11、维护包括最近若干次分类结果的滑动窗口,记录所述滑动窗口内的平均置信度和置信度标准差;
12、基于所述平均置信度与所述置信度标准差的线性组合实时计算动态阈值;
13、获取环境噪声水平,当所述环境噪声水平超过历史均值加两倍标准差时,提高所述动态阈值。
14、进一步的,还包括长期交互退化监测与干预步骤:
15、持续监测单位时间内的平均奖励值变化趋势;
16、当日均交互次数达到预设最低阈值,且当前奖励相对于最近预设时间段内的平均奖励最高值的退化比例达到预设百分比时,触发退化预警;
17、响应于所述退化预警,执行探针测试,控制智能玩具执行已知的历史高奖励动作;
18、若所述探针测试获得的奖励值低于预设正常水平,则确认模型退化并将模型参数回滚至所述最近预设时间段内平均奖励最高的模型版本;若所述探针测试获得的奖励值不低于所述预设正常水平,则取消回滚。
19、进一步的,所述将预处理后的多模态时序信号输入轻量级行为分类网络之前,还包括:
20、在云端使用大规模标注交互数据训练教师模型;
21、通过知识蒸馏将所述教师模型的知识迁移至学生网络,得到所述轻量级行为分类网络;
22、其中,在蒸馏过程中增加时序对齐约束,将所述教师模型在时序维度上的特征序列与所述学生网络在对应时序位置的输出进行对齐。
23、进一步的,所述基于所述类别标签、所述置信度分数、用户身份标识及历史交互编码构建低维状态向量,还包括:
24、通过轻量级身份分类器对多模态身份特征进行处理,输出用户身份概率分布;
25、当身份置信度高于预设身份阈值时,使用对应用户的历史交互编码;
26、当身份置信度低于所述预设身份阈值时,使用各用户历史交互编码按所述用户身份概率分布加权得到的混合编码;
27、当检测到身份切换信号时,冻结历史交互编码的更新直至完成身份重识别。
28、进一步的,所述将本地模型更新参数采用差分隐私加噪与轻量级同态加密相结合的方式上传至云端服务器进行联邦聚合,包括:
29、对本地模型更新参数进行差分隐私加噪处理;
30、采用轻量级同态加密方案对加噪后的参数进行加密;
31、将加密后的参数分片上传至云端服务器,若上传中断则从断点继续传输;
32、云端服务器在密文状态下完成聚合操作,生成新的全局基础模型参数并分发。
33、进一步的,所述奖励值为多模态复合奖励,包括以下至少两项的加权组合:基于用户行为响应的行为响应奖励、基于用户语音基频和能量特征的情感倾向奖励、基于交互时长的交互持续奖励、以及基于用户反应与反馈动作关联性的一致性奖励。
34、进一步的,还包括动态精度调度步骤:
35、获取智能玩具的当前电池电量和处理器负载;
36、根据所述当前电池电量和处理器负载调整所述轻量级行为分类网络的推理频率和/或特征提取维度;
37、在低功耗模式下,对低精度样本赋予高于标准样本的优先级权重以进行经验回放,并将被压缩的特征维度用历史统计值进行插值补全。
38、进一步的,所述轻量级行为分类网络采用深度可分离卷积网络作为骨干网络,其参数量小于五万,运行于智能玩具的嵌入式处理器上。
39、进一步的,所述采用近端策略优化算法的强化学习决策网络的策略网络为三层全连接网络,所述低维状态向量的维度在三十维至五十维之间。
40、与现有技术相比,本发明具有以下有益效果:
41、通过轻量级行为分类网络输出类别标签及置信度分数,并将置信度分数作为状态向量维度输入强化学习决策网络,且在目标函数中引入辅助损失项强制动作熵与置信度负相关,能够解决识别与决策相互独立导致的信息断层问题,使决策网络感知输入可靠性,在低置信度时自动增强探索性或执行询问式行为,从而显著降低模糊交互场景下的误响应率;
42、通过将置信度分数作为熵系数的动态调节因子,并基于滑动窗口统计与环境噪声水平动态调整预设阈值,能够解决固定阈值无法适应不同用户习惯及环境变化的问题,实现“低置信度高探索、高置信度高利用”的自适应决策策略,进一步提升交互的自然度与准确性;
43、通过采用双缓冲机制维护当前策略网络和候选策略网络,并结合差分隐私加噪与轻量级同态加密进行联邦聚合,能够在保护儿童数据隐私的前提下,实现本地模型的持续在线进化与群体智慧的引入,解决反馈策略固化及长期交互退化问题,使玩具具备随使用时间增长而优化的持续成长能力;
44、通过构建包含交互频次过滤、相对退化率检测及探针测试的三层复合退化监测与干预机制,并在确认退化后回滚至历史最优模型版本,能够系统性解决智能玩具在长期使用中因用户行为变化或模型漂移导致的性能下降问题,确保交互体验的长期稳定性;
45、通过云端教师模型向学生网络的知识蒸馏,并在蒸馏过程中增加时序对齐约束,以及根据电池电量和处理器负载进行动态精度调度,能够在嵌入式设备算力与功耗受限的条件下,最大化推理精度与响应速度,解决云端推理延迟大、隐私风险高与本地部署精度低之间的矛盾。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com