一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于TinyML的少儿语言早教实现方法及系统与流程

2022-05-26 18:01:50 来源:中国专利 TAG:
基于tinyml的少儿语言早教实现方法及系统
技术领域
:1.本发明涉及机器学习、边缘计算及数据处理
技术领域
:,具体地说是一种基于tinyml的少儿语言早教实现方法及系统。
背景技术
::2.根据儿童语言专家的研究,0-6岁是人类学习语言的关键期,家长应该重视这段时间在家的教育方法。研究表明,在婴幼儿一岁左右,家长就应该开始和孩子进行对话互动。12-18个月左右的时候,家长需要对物品进行描述性解释,而不仅仅是单独的重复某个物品的名称。在18个月之后,孩子的词汇量会有一个大爆发,在这个阶段家长在对某一场景的描述后,问孩子问题,促进孩子对于场景物品的认知。3.对于外语的学习,一方面是抓住孩子学习外语的黄金时期,另一方面是要为孩子学习外语创造一个的环境,单纯的视频音乐是不能达到互动环境的要求的,因为孩子不能有效的建立起物品名称和单词的连接,所以一种可以互动的学习环境在语言学习中更为重要。4.由于现今越来越大的工作压力,年轻的家长缺少时间与精力与孩子进行互动。故如何在家长陪伴时间有限的情况下,实现少年儿童语言教学的目的是目前亟待解决的技术问题。技术实现要素:5.本发明的技术任务是提供一种基于tinyml的少儿语言早教实现方法及系统,来解决如何在家长陪伴时间有限的情况下,实现少年儿童语言教学的目的的问题。6.本发明的技术任务是按以下方式实现的,一种基于tinyml的少儿语言早教实现方法,该方法是在家居环境中,使用边缘计算设备树莓派4b配合轻量化目标检测模型nanodet-plus,并通过儿童佩戴的便携式摄像头进行实时输入,轻量化目标检测模型nanodet-plus识别输入视频流中的家具,在通过马尔可夫模型和专家系统对识别结果进行解释性描述,边缘计算设备树莓派4b通过扬声器播放获得的文字性的解释,实现儿童语言教学的目的。7.作为优选,该方法具体如下:8.家具数据库数据预处理:使用现有的家具数据图片建立家具数据库,并家具数据图片进行处理;9.建立轻量化目标检测模型nanodet-plus:使用深度可分离卷积,并结合改进型fcos和generalizedfocalloss构建轻量化目标检测模型nanodet-plus;为了获得更好的训练结果,并加载预训练好的模型参数;10.在gpu设备上训练:在gpu设备上进行训练,得到现有的家具识别模型;11.轻量化现有的家具识别模型:量化输出模型得到适合边缘设备的轻量化模型;12.将轻量化后的现有的家具识别模型部署于树莓派4b;13.在树莓派4b上设置马尔可夫模型和专家系统。14.更优地,轻量化现有的家具识别模型的权重由fp32量化成uint8类型,量化后权重的范围为[0,255];量化的现有的家具识别模型为:[0015]xfloat=xscale*xquantized;[0016]若现有的家具识别模型权重的范围为[-1,1],则xscale为[0017]更优地,深度可分离卷积是指将一个3x3的卷积核分离成一个3x3的深度可分离卷积和一个1x1卷积的组合。[0018]更优地,马尔可夫模型由状态和动作组成,状态是由一个物体的集合组成,当轻量化后的现有的家具识别模型识别出状态外的物体,就会向状态输入一个信号,原有状态会转入新的状态,并在次过程中,调用专家系统的解释,并输出各个物体的位置信息描述,比如电视在餐桌的左边。[0019]更优地,对专家系统输出的文字性解释播报,提供汉语和英语两种朗读方式。[0020]一种基于tinyml的少儿语言早教系统,该系统包括,[0021]建立模块一,使用现有的家具数据图片建立家具数据库,并家具数据图片进行处理;[0022]构建模块二,用于使用深度可分离卷积,并结合改进型fcos和generalizedfocalloss构建轻量化目标检测模型nanodet-plus;为了获得更好的训练结果,并加载预训练好的模型参数;[0023]获取模块,用于在gpu设备上进行训练,获取现有的家具识别模型;[0024]轻量化模块,用于量化输出模型得到适合边缘设备的轻量化模型;[0025]部署模块,用于将轻量化后的现有的家具识别模型部署于树莓派4b;[0026]设置模块,用于在树莓派4b上设置马尔可夫模型和专家系统。[0027]作为优选,该系统工作过程具体如下:[0028](1)、使用便携式摄像头传递实时数据;[0029](2)、树莓派4b上部署的轻量化后的现有的家具识别模型进行目标检测;[0030](3)、树莓派4b输出识别出的家具名称;[0031](4)、将家具按照识别框大小依次输入马尔可夫模型;[0032](5)、通过专家系统对各个家具位置进行描述,通过中文或者英文播放输出的文字性描述。[0033]一种电子设备,包括:存储器和至少一个处理器;[0034]其中,所述存储器上存储有计算机程序;[0035]所述至少一个处理器执行所述存储器存储的计算机程序,使得所述至少一个处理器执行如上述的基于tinyml的少儿语言早教实现方法。[0036]一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序可被处理器执行以实现如上述的基于tinyml的少儿语言早教实现方法。[0037]原有的目标识别网络都是需要经过大型计算设备训练后才可以达到精度较高的识别结果,但mobilenet的产生改观了这一局面,mobilenet等轻量化模型可以用较小的模型规模达到与大型模型相似的识别精度,2021年发布的nanodet-plus模型可以在80类识别中达到34%的识别精度,并且,在边缘设备的运算速度达到了20fps左右。[0038]本发明的基于tinyml的少儿语言早教实现方法及系统具有以下优点:[0039](一)在家长陪伴时间有限的情况下,本发明实现少年儿童语言教学的目的;[0040](二)本发明通过边缘设备,与儿童的注意力进行交互,当儿童在某一场景下停留一段时间之后,设备才会对场景进行解释性描述,并且通过中英双语版本的语音播报,可以有效地为儿童创造双语环境,还可以提供多个场景的识别模型,从而实现多场景语言教学的目的;[0041](三)本发明可以识别家居环境中多种常用家具,将现有的网络通过gpu设备训练,获得高精度家具识别模型,将训练好的模型及参数,通过轻量化技术,部署于树莓派4b wm8960音频模块,树莓派具有与gpu设备相似的识别精度;[0042](四)本发明运用开源常用的开发语言和库,实现了tinyml在复杂场景下的应用,为儿童语言训练提供了一种新的方法。附图说明[0043]下面结合附图对本发明进一步说明。[0044]附图1为基于tinyml的少儿语言早教实现方法的流程框图;[0045]附图2为基于tinyml的少儿语言早教系统的工作过程的流程框图。具体实施方式[0046]参照说明书附图和具体实施例对本发明的基于tinyml的少儿语言早教实现方法及系统作以下详细地说明。[0047]实施例1:[0048]本实施例中的基于tinyml的少儿语言早教实现方法,该方法是在家居环境中,使用边缘计算设备树莓派4b配合轻量化目标检测模型nanodet-plus,并通过儿童佩戴的便携式摄像头进行实时输入,轻量化目标检测模型nanodet-plus识别输入视频流中的家具,在通过马尔可夫模型和专家系统对识别结果进行解释性描述,边缘计算设备树莓派4b通过扬声器播放获得的文字性的解释,实现儿童语言教学的目的;具体如下:[0049]s1、家具数据库数据预处理:使用现有的家具数据图片建立家具数据库,并家具数据图片进行处理;[0050]s2、建立轻量化目标检测模型nanodet-plus:使用深度可分离卷积,并结合改进型fcos和generalizedfocalloss构建轻量化目标检测模型nanodet-plus;为了获得更好的训练结果,并加载预训练好的模型参数;[0051]s3、在gpu设备上训练:在gpu设备上进行训练,得到现有的家具识别模型;[0052]s4、轻量化现有的家具识别模型:量化输出模型得到适合边缘设备的轻量化模型;[0053]s5、将轻量化后的现有的家具识别模型部署于树莓派4b;[0054]s6、在树莓派4b上设置马尔可夫模型和专家系统。[0055]本实施例步骤s4中的轻量化现有的家具识别模型的权重由fp32量化成uint8类型,量化后权重的范围为[0,255];量化的现有的家具识别模型为:[0056]xfloat=xscale*xquantized;[0057]若现有的家具识别模型权重的范围为[-1,1],则xscale为[0058]本实施例步骤s2中的深度可分离卷积是指将一个3x3的卷积核分离成一个3x3的深度可分离卷积和一个1x1卷积的组合。[0059]本实施例步骤s6中的马尔可夫模型由状态和动作组成,状态是由一个物体的集合组成,当轻量化后的现有的家具识别模型识别出状态外的物体,就会向状态输入一个信号,原有状态会转入新的状态,并在次过程中,调用专家系统的解释,并输出各个物体的位置信息描述,比如电视在餐桌的左边。[0060]本实施例对专家系统输出的文字性解释播报,提供汉语和英语两种朗读方式。[0061]实施例2:[0062]本实施例中的基于tinyml的少儿语言早教系统,该系统包括,[0063]建立模块一,使用现有的家具数据图片建立家具数据库,并家具数据图片进行处理;[0064]构建模块二,用于使用深度可分离卷积,并结合改进型fcos和generalizedfocalloss构建轻量化目标检测模型nanodet-plus;为了获得更好的训练结果,并加载预训练好的模型参数;[0065]获取模块,用于在gpu设备上进行训练,获取现有的家具识别模型;[0066]轻量化模块,用于量化输出模型得到适合边缘设备的轻量化模型;[0067]部署模块,用于将轻量化后的现有的家具识别模型部署于树莓派4b;[0068]设置模块,用于在树莓派4b上设置马尔可夫模型和专家系统。[0069]该系统工作过程具体如下:[0070](1)、使用便携式摄像头传递实时数据;[0071](2)、树莓派4b上部署的轻量化后的现有的家具识别模型进行目标检测;[0072](3)、树莓派4b输出识别出的家具名称;[0073](4)、将家具按照识别框大小依次输入马尔可夫模型;[0074](5)、通过专家系统对各个家具位置进行描述,通过中文或者英文播放输出的文字性描述。[0075]该系统还可以模仿家长教孩子认识物品的过程:对于每一类可识别的标签,比如“餐桌”,“椅子”,“地毯”等,设备在成功辨识家具种类后,对其进行解释性描述,该过程使用马尔可夫模型实现结合专家系统实现,该模型会检测出多个识别目标相互的位置信息,并根据不同的位置信息,对场景进行解释。比如,当一把椅子单独出现的时候,设备会播报“这是一把椅子,一把椅子有四条腿”;但识别出的椅子在桌子旁边,则会播报“这是一张桌子,桌子旁边有4把椅子。”早教机还可以按照家长需求,设置不同语言版本的解释,为孩子创造一个双语教学环境,比如以上的例子英语的解释版本为:“thisisachair,achairhasfourlegs;thisisatable,thereare4chairsbesidethetable”。[0076]在使用过程中,孩子需要将便携式摄像头通过松紧带佩戴在头上,摄像头方向和孩子的目光方向保持一致,当孩子的停留在一个场景内超过一定时间,早教机就会对孩子眼前的场景进行教学,教学顺序按照场景内物体的大小,即目标检测识别框的大小顺序,因为在同一空间中,体积越大约容易吸引孩子的注意力。[0077]实施例3:[0078]本实施例还提供了一种电子设备,包括:存储器和处理器;[0079]其中,存储器存储计算机执行指令;[0080]处理器执行所述存储器存储的计算机执行指令,使得处理器执行本发明任一实施例中的基于tinyml的少儿语言早教实现。[0081]处理器可以是中央处理单元(cpu),还可以是其他通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通过处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。[0082]存储器可用于储存计算机程序和/或模块,处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现电子设备的各种功能。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器还可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,只能存储卡(smc),安全数字(sd)卡,闪存卡、至少一个磁盘存储期间、闪存器件、或其他易失性固态存储器件。[0083]实施例4:[0084]本发明实施例还提供了一种计算机可读存储介质,其中存储有多条指令,指令由处理器加载,使处理器执行本发明任一实施例中的基于tinyml的少儿语言早教实现。具体地,可以提供配有存储介质的系统或者装置,在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。[0085]在这种情况下,从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此程序代码和存储程序代码的存储介质构成了本发明的一部分。[0086]用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-rym、dvd-rw、dvd rw)、磁带、非易失性存储卡和rom。可选择地,可以由通信网络从服务器计算机上下载程序代码。[0087]此外,应该清楚的是,不仅可以通过执行计算机所读出的程序代码,而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作,从而实现上述实施例中任意一项实施例的功能。[0088]此外,可以理解的是,将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作,从而实现上述实施例中任一实施例的功能。[0089]最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。当前第1页12当前第1页12
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献