一种触控与视觉信息融合的手势识别方法、装置及电子设备与流程
本发明涉及人机交互,尤其涉及一种触控与视觉信息融合的手势识别方法、装置及电子设备。
背景技术:
1、随着信息技术的发展,以交互平板、智能白板为代表的智能终端设备在教育、会议等场景中得到广泛应用。这类设备通常集成了大尺寸触控屏,允许用户通过手指或触控笔进行书写、绘图和手势操作,为人机交互提供了极大的便利。
2、在实际使用中,尤其是在书写或精细操作场景下,用户的手掌、手腕或其他部分常常会无意中接触到触控屏表面。传统的触控系统难以准确区分这种无意的接触和有意的指尖或笔尖操作。现有的防误触技术多依赖于分析触控点的面积、形状或压力等单一模态信息,但在复杂的接触姿态下,其判断准确率有限,常常导致误识别,例如将手掌侧缘的接触识别为笔画,或者将快速的擦除手势识别为书写,严重影响了用户体验。
3、为了提升识别的准确性,一些方案尝试引入视觉信息,即利用设备自带的图像采集装置来辅助判断。然而,这些方案通常需要对图像采集装置捕获的完整视频流进行持续的、实时的图像分析。对于计算资源、功耗和散热都受限的交互平板等嵌入式设备而言,持续运行复杂的视觉算法会带来巨大的计算负担,导致系统卡顿、延迟增加和功耗过高,难以满足实时交互的需求。若将视觉分析任务卸载至云端服务器处理,虽然能解决端侧的算力瓶颈,但引入的网络延迟又使得该方案无法适用于对实时性要求极高的手写和手势操作场景。
4、因此,现有技术在如何平衡手势识别的准确率、实时性和计算效率方面存在着尚未解决的技术矛盾。亟需一种能够在资源受限的端侧设备上,实现低延迟、高精度、低功耗的手势识别技术方案。
技术实现思路
1、为了解决现有技术中手势识别方法难以在准确率、实时性和计算效率之间取得平衡的技术问题,本发明提供了一种触控与视觉信息融合的手势识别方法、装置及电子设备。该方法巧妙地利用低成本的触控信息作为高成本视觉分析的触发器和引导,实现了对系统资源的智能调度,从而在不牺牲准确率的前提下,大幅降低了计算开销。
2、为实现上述目的,本发明提供了一种触控与视觉信息融合的手势识别方法,包括:接收指示用户在交互界面上进行物理接触的触控信号;基于所述触控信号,判断所述物理接触是否满足预设的视觉分析触发条件;响应于所述物理接触满足所述视觉分析触发条件,基于所述触控信号确定感兴趣区域;响应于所述感兴趣区域的确定,从图像采集装置获取与所述感兴趣区域对应的图像数据;利用视觉分析模型处理所述图像数据,以生成视觉分析结果;基于所述视觉分析结果,确定所述物理接触的最终分类。通过这种方式,仅在触控信号表现出歧义性时才启动视觉分析,避免了对视频流的持续处理,显著降低了系统负载。
3、在一些实施例中,所述视觉分析模型为神经网络模型。采用神经网络模型能够从图像数据中学习并提取复杂的、非线性的特征,从而更准确地识别出手势的精细类别和属性,提高了最终分类的鲁棒性。
4、在一些实施例中,所述判断所述物理接触是否满足预设的视觉分析触发条件的步骤包括:基于所述触控信号确定触控点簇的面积、形状或数量中的至少一项;以及将所述至少一项与预设阈值比较,以判断是否满足所述视觉分析触发条件。例如,当检测到接触面积远大于典型的指尖或笔尖接触面积时,可判定其满足触发条件,从而启动视觉分析以确认是否为手掌接触。该方案为判断物理接触是否满足视觉分析触发条件提供了明确且可量化的判断依据。
5、在一些实施例中,所述视觉分析结果包括手指关键点位置和手势类别中的至少一项。获取手指关键点位置有助于分析更精细的手部姿态,而直接输出手势类别则可以快速得到高级语义信息,二者结合能够为下游应用提供更丰富的交互输入。
6、在一些实施例中,所述手势类别包括书写姿态、擦除姿态和手掌接触中的至少一种。通过视觉分析模型对这些具体的姿态进行分类,可以有效解决仅靠触控信息难以区分的场景,例如区分握笔书写的手势和握拳擦除的手势。
7、在一些实施例中,所述神经网络模型被部署于电子设备的神经网络处理单元上进行推理。利用专用的神经网络处理单元(npu)进行模型推理,可以实现比通用中央处理器(cpu)高出数倍乃至数十倍的计算效率和能效比,是实现端侧实时高性能推理的关键。
8、在一些实施例中,所述方法还包括:利用直接内存访问实现所述图像数据从所述图像采集装置到所述神经网络处理单元的零拷贝数据流转。通过直接内存访问(dma)技术,图像数据可以直接在硬件模块之间传输,无需cpu介入和内存拷贝,从而最大限度地减少了数据通路上的延迟和cpu开销。
9、在一些实施例中,所述电子设备采用异构多核系统级芯片,所述方法还包括:将用于控制所述神经网络处理单元执行推理任务的调度程序调度至所述系统级芯片的大核上优先运行。在异构多核处理器上,将对延迟敏感的关键任务绑定到大核执行,可以保证其被优先处理,从而确保整个识别流程的端到端低延迟。
10、在一些实施例中,所述神经网络模型采用轻量级骨干网络。采用专为移动和嵌入式设备设计的轻量级网络结构,可以在保持较高识别精度的同时,大幅减少模型的参数量和计算量,使其更适合在资源受限的端侧设备上运行。
11、在一些实施例中,所述电子设备为交互平板、智能白板或会议平板。本发明提出的技术方案完美契合了这类设备对低延迟、高精度手势交互的迫切需求及其硬件资源受限的特点。
12、本发明还提供了一种触控与视觉信息融合的手势识别装置,包括:接收单元,用于接收指示用户在交互界面上进行物理接触的触控信号;判断单元,用于基于所述触控信号,判断所述物理接触是否满足预设的视觉分析触发条件;确定单元,用于响应于所述物理接触满足所述视觉分析触发条件,基于所述触控信号确定感兴趣区域;获取单元,用于响应于所述感兴趣区域的确定,从图像采集装置获取与所述感兴趣区域对应的图像数据;处理单元,用于利用视觉分析模型处理所述图像数据,以生成视觉分析结果;分类单元,用于基于所述视觉分析结果,确定所述物理接触的最终分类。
13、本发明还提供了一种电子设备,包括一个或多个处理器以及存储器,所述存储器中存储有计算机程序指令,所述计算机程序指令被所述一个或多个处理器执行时,使得所述电子设备执行前述的触控与视觉信息融合的手势识别方法。
14、本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现前述的触控与视觉信息融合的手势识别方法。
15、与现有技术相比,本发明具有显著的有益效果。首先,本发明显著降低了计算开销和系统功耗。其提出的信息层面融合策略,以低成本的触控信号作为“哨兵”,仅在必要时唤醒高成本的视觉分析模块,并精确指导其在小范围的感兴趣区域内工作。这种“按需服务”的智能调度模式,避免了对视频流的盲目、持续处理,结合所采用的计算量小于50mflops的轻量级神经网络模型,从而大幅降低了系统的平均计算负载和功耗,尤其适合在对功耗和散热敏感的嵌入式设备上长期稳定运行。其次,本发明实现了低延迟和高精度的手势识别。由于计算负载被有效控制,系统能够将计算资源集中用于处理关键事件,并借助专用的神经网络处理单元(npu)和零拷贝数据流等优化技术,确保了视觉分析流程的快速响应。实验数据表明,本发明能够将端到端的手势识别延迟控制在15毫秒以内,满足了实时交互的严苛要求。同时,视觉信息的引入极大地提升了对复杂手势的识别准确率,与传统的纯触控防误触方案相比,能够将书写过程中的手掌误触率降低72%,显著提升了用户体验。最后,本发明能够复用现有硬件,降低成本和集成难度。本发明方案仅利用交互平板等设备上普遍配备的触控屏和内置摄像头,无需引入任何额外的专用传感器(如深度摄像头、红外传感器)或专用硬件。这不仅避免了额外的硬件成本,也简化了产品设计和系统集成,使得本技术方案具有极高的经济性和易于部署的优点,便于在现有的大量存量设备上进行软件升级实现。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com