一种端侧个性化与云端预训练融合的多模态手语识别系统的制作方法
本发明涉及人工智能无障碍交互,特别涉及一种端侧个性化与云端预训练融合的多模态手语识别系统。
背景技术:
1、我国现有听障人群超过2700万人,手语是这一群体日常交流中使用最为频繁的自然语言形式。手语的表达方式受地域、年龄、个人习惯等因素影响极大,各地形成了具有鲜明地域特征的方言手语体系,少数民族地区亦存在本土化的手语表达习惯。同时,部分听障用户因身体条件限制或长期使用习惯,选择以单手手语作为主要交流方式。手语的实际使用形态高度个性化、非标准化,这给手语识别技术的研发和落地带来了较大困难。
2、当前手语识别技术方案多建立在《国家通用手语》标准词库的基础上,要求用户严格按照标准动作进行表达,系统通过图像识别或深度学习模型对用户动作进行匹配。这类方案在实际推广中遇到了较为突出的适配问题:绝大多数听障用户日常使用的并非标准通用手语,而是融合了地域特征和个人习惯的个性化手语打法。以我国为例,仅“谢谢”一词在不同地区的方言手语中即存在多种变体表达方式,而现行识别系统对此类变体的识别能力不足。
3、与此同时,现有部分方案依赖云端部署的深度学习模型完成识别运算,用户端需将手语视频数据完整上传至服务器。这一模式在无网络或弱网络环境中难以运行,例如用户前往医院就诊、在政务大厅办事、在户外出行等场景中,网络条件往往不稳定,识别服务可能中断或出现明显延迟。另一方面,原始视频数据中包含用户面部、肢体、环境背景等信息,数据在上传和存储环节中存在隐私保护方面的风险。
4、少数方案尝试在端侧实现本地识别,但受限于移动设备的算力和功耗约束,轻量化方案在识别精度上难以满足实用要求,对于连续手语长句中动作边界模糊、词汇之间无停顿间隔等问题也缺乏有效的处理手段。小样本个性化训练方面,现有方案存在矛盾:要求用户录制大量样本则操作繁琐、门槛过高,仅采集少量样本则模型学习不充分,且缺少样本质量筛选和优化机制。整体来看,现有技术尚未形成一套能够兼顾个性化适配、方言覆盖、离线可用、隐私保护和识别精度的完整手语识别方案。
技术实现思路
1、本发明的目的在于至少解决现有技术中存在的技术问题之一,提供一种端侧个性化与云端预训练融合的多模态手语识别系统,能够解决个体手语差异的适配能力差的问题。
2、为实现上述目的,本发明提供如下技术方案:一种端侧个性化与云端预训练融合的多模态手语识别系统,包括用户端和服务器端,所述用户端包含摄像头采集模块、手部关键点提取模块、上肢及躯干及面部五官关键点提取模块、特征处理模块、动作起止检测模块、训练模块、模板质量评估模块、场景词库管理模块、候选召回与精匹配模块、端云融合决策模块、语音播报与双向交流模块、数据备份与隐私授权模块;
3、其中,服务器端包括用户账号管理模块、数据备份模块、公共手语库、方言手语库、云端预训练模型训练模块、质量分析模块、后台管理模块、版本管理模块;
4、用户端与服务器端之间通过加密通信协议进行数据交互。
5、优选的,所述摄像头采集模块的输出端连接至手部关键点提取模块和上肢及躯干及面部五官关键点提取模块的输入端;
6、两个关键点提取模块的输出端分别连接至特征处理模块的输入端;
7、特征处理模块的输出端分两路:一路连接至训练模块的输入端,另一路连接至动作起止检测模块的输入端。
8、优选的,所述训练模块的输出端连接至模板质量评估模块的输入端,模板质量评估模块的输出端连接至本地个人模板库。
9、优选的,所述动作起止检测模块的输出端连接至候选召回与精匹配模块的输入端,候选召回与精匹配模块分别从本地个人模板库和通用离线语库包中读取数据进行匹配计算,其输出端连接至端云融合决策模块的输入端;
10、端云融合决策模块的输出端连接至语音播报与双向交流模块的输入端。
11、优选的,所述数据备份与隐私授权模块分别与训练模块和端云融合决策模块进行数据交互;
12、场景词库管理模块与本地个人模板库和通用离线语库包进行数据交互,负责场景化词汇的组织和管理。
13、优选的,所述用户账号管理模块与数据备份模块进行数据交互,数据备份模块分别与用户端的数据备份与隐私授权模块以及质量分析模块进行数据交互。
14、优选的,所述公共手语库和方言手语库的输出端连接至云端预训练模型训练模块的输入端。
15、优选的,所述云端预训练模型训练模块的输出端连接至版本管理模块的输入端,版本管理模块的输出端连接至语库包生成模块(该模块位于后台管理模块内部),语库包生成模块的输出端下发至用户端的通用离线语库包。
16、优选的,所述质量分析模块的输出端连接至公共手语库和方言手语库的输入端。
17、优选的,所述后台管理模块与公共手语库、方言手语库、质量分析模块和版本管理模块均有数据交互。
18、与现有技术相比,本发明的有益效果是:
19、1、该端侧个性化与云端预训练融合的多模态手语识别系统,提升了个体手语差异的适配能力,传统手语识别系统要求用户严格遵循标准手语动作,对不同用户的年龄、地域、手型体态和长期使用习惯带来的个性化差异缺乏适配手段,本发明通过端侧个人模板训练机制,用户可自主训练常用词汇和短句,系统自适应调整不同手语语义类型的特征权重,使系统能够适配个人特有的手语表达方式,无需用户改变自身习惯去适应系统标准。
20、2、该端侧个性化与云端预训练融合的多模态手语识别系统,拓宽了方言手语和单手手语的覆盖范围,现有技术以国家通用标准手语为核心训练样本,对方言手语、少数民族手语及单手手语的识别能力不足,本发明在云端预训练模型的样本构建阶段即纳入各地方言手语、少数民族手语、单手手语及老年用户手语等非标准手语样本,并通过通用离线语库包下发至用户端,使系统在实际使用中能够识别现有技术无法适配的多种手语表达形态。
21、3、该端侧个性化与云端预训练融合的多模态手语识别系统,解决了云端识别对网络的依赖及隐私保护问题,现有云端识别方案需上传原始视频数据,在网络不稳定时存在识别延迟或失败的问题,同时原始视频上传存在隐私泄露风险,本发明采用端侧优先识别策略,大量手语动作在本地即可完成识别并输出结果,不依赖网络连接,对于需调用云端增强识别的场景,传输内容仅为脱敏后的关键点和时序压缩特征,原始视频数据始终不离开用户端设备,从数据采集源头控制了隐私风险。
22、4、该端侧个性化与云端预训练融合的多模态手语识别系统,降低了端侧识别对设备算力的要求并提升了识别稳定性,移动终端直接部署大型识别模型存在发热、卡顿、耗电快等问题,而轻量化简易模板方案识别精度和稳定性不足,本发明通过场景分区管理缩小候选匹配范围、通过候选召回机制筛选有限数量的候选模板进行精匹配、通过固定基准线机制过滤低置信度结果,降低了端侧计算开销,同时采用归一化、滤波、异常点剔除和遮挡补偿等多重预处理手段保障了特征数据的稳定性,使端侧识别在低功耗条件下仍能保持可用精度。
23、5、该端侧个性化与云端预训练融合的多模态手语识别系统,提升了连续手语识别的准确性,日常手语交流多为连续长句,词汇之间无明显停顿,现有技术难以精准判定动作边界,本发明采用滑动窗口与注意力积分融合机制,对连续手语序列进行重叠窗口划分和多窗口积分融合,通过注意力权重判定语义切换点,提升了连续表达中词汇边界的判定准确性,降低了漏分割和误识别的概率。
24、6、该端侧个性化与云端预训练融合的多模态手语识别系统,优化了小样本训练的效果和使用便捷性,现有个性化方案中,要求用户录制大量样本则操作繁琐、仅采集少量样本则学习不充分,本发明在训练流程中引入数据增强策略,从有限的原始样本生成增强模板以扩充模板集合,同时设置模板质量评估模块对生成的模板进行质量评分,质量不足时提示用户补录或重新训练,并通过离群模板淘汰机制持续优化本地模板库,在小样本条件下提升了训练效果和模板库的稳定性。
25、7、该端侧个性化与云端预训练融合的多模态手语识别系统,构建了端云协同的优势互补机制,现有技术体系单一,未构建“本地个性化、云端公共语库补充”的融合架构,本发明采用端侧优先、云端补充、动态融合的策略,端侧重个性化适配和离线可用性,云侧重通用语义覆盖和大规模样本支撑,二者通过端云融合决策模块进行综合判定,兼顾了个性化识别精度和通用手语覆盖率,同时通过用户授权的特征贡献机制实现了公共语库的持续迭代优化。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com