基于树莓派的仿人实体机器人系统的制作方法

1.本发明涉及机器人技术领域，特指一种基于树莓派的仿人实体机器人系统。


背景技术：

2.模仿人的形态和行为而设计制造的机器人就是仿人机器人，一般分别或同时具有仿人的四肢和头部。机器人一般根据不同应用需求被设计成不同形状，如运用于工业的机械臂、轮椅机器人、步行机器人等。而仿人机器人研究集机械，电子，计算机，材料，传感器，控制技术等多门科学于一体，代表着一个国家的高科技发展水平。从机器人技术和人工智能的研究现状来看，要完全实现高智能，高灵活性的仿人机器人还有很长的路要走，而且，人类对自身也没有彻底地了解，这些都限制了仿人机器人的发展。
3.仿人机器人具有人类的外观，可以适应人类的生活和工作环境，代替人类完成各种作业，并可以在很多方面扩展人类的能力，在服务，医疗，教育，娱乐等多个领域得到广泛应用。
4.树莓派(raspberry pi)是为学习计算机编程教育而设计，只有信用卡大小的微型电脑。其体积小巧，却具备所有pc的基本功能，若基于树莓派设计一款用于机器人的系统，能够使得机器人也相应的小巧、轻便，目前市面上暂无基于树莓派的仿人实体机器人的系统。为此，亟需提供一种基于树莓派的仿人实体机器人的系统。


技术实现要素：

5.本发明的目的在于克服现有技术的缺陷，提供一种基于树莓派的仿人实体机器人系统，解决现有暂未基于树莓派的仿人实体机器人的问题以弥补该技术空白。
6.实现上述目的的技术方案是：
7.本发明提供了一种基于树莓派的仿人实体机器人系统，包括：
8.语音识别单元，用于获取语音数据并对所获取的语音数据进行识别得到对应的语音识别结果；
9.图像识别单元，用于获取图像数据并对所获取的图像数据进行识别得到对应的图像识别结果；
10.深度学习单元，与所述语音识别单元和所述图像识别单元连接，用于根据所述语音识别单元得到的语音识别结果和/或所述图像识别单元得到的图像识别结果得到深度学习反馈结果；
11.ai孪生单元，用于获取人的运动视频数据并对所获取的人的运动视频数据进行处理，得到对应的运动参数结果；以及
12.处理单元，与所述语音识别单元、所述图像识别单元、所述深度学习单元以及所述ai孪生单元连接，还与实体机器人控制连接，所述处理单元用于根据所述深度学习单元的深度学习反馈结果形成对应的反馈指令并控制所述实体机器人执行所述反馈指令，还用于根据所述ai孪生单元的运动参数结果形成对应的运动指令并控制所述实体机器人执行所
述运动指令。
13.本发明的系统基于树莓派设计，能够实现对仿人实体机器人进行控制，使得仿人实体机器人能够像真人一样进行相应的动作，适用于服务、医疗、教育以及娱乐等领域。且本发明的系统还具有ai孪生单元，使得实体机器人能够对人的行为进行模仿，让实体机器人的动作与真人的动作同步。本发明基于树莓派设计的系统，弥补了树莓派仿人实体机器人领域内的系统设计空白。
14.本发明基于树莓派的仿人实体机器人系统的进一步改进在于，所述ai孪生单元包括语音孪生模块，用于实时采集真人远程语音形成真人远程语音数据，并对所述真人远程语音数据进行处理进而形成语音孪生结果；
15.所述处理单元还用于根据所述语音孪生结果形成对应的讲话指令并控制所述实体机器人执行所述讲话指令。
16.本发明基于树莓派的仿人实体机器人系统的进一步改进在于，还包括情感交互单元，与所述语音识别单元、所述图像识别单元以及所述处理单元连接；
17.所述情感交互单元用于接收所述语音识别单元获取的语音数据和所述图像识别单元获取的图像数据，并对所述语音数据和所述图像数据进行情感分析以得到情感分析结果；
18.所述处理单元根据所述情感分析结果形成对应的情感指令并控制所述实体机器人执行所述情感指令。
19.本发明基于树莓派的仿人实体机器人系统的进一步改进在于，还包括设于云端的云脑系统；
20.所述云脑系统包括语音识别云模型、图像识别云模型、深度学习云模型以及虚拟孪生云模型；
21.所述处理单元与所述云脑系统通信连接，用于将所述语音识别单元获取的语音数据发送给云脑系统，将所述图像识别单元获取的图像数据发送给云脑系统，将所述ai孪生单元获取的人的运动视频数据发送给云脑系统，并接收所述云脑系统发送的对应数据的识别结果。
22.本发明基于树莓派的仿人实体机器人系统的进一步改进在于，所述云脑系统还包括情感识别云模型；
23.所述云脑系统还用于将接收到的语音数据和图像数据输入至所述情感识别云模型中，并获取所述情感识别云模型输出的情感分析结果进而反馈给所述处理单元。
24.本发明基于树莓派的仿人实体机器人系统的进一步改进在于，所述云脑系统还用于根据所接收的语音数据对所述语音识别云模型进行重训练。
25.本发明基于树莓派的仿人实体机器人系统的进一步改进在于，所述云脑系统还用于根据所接收的图像数据对所述图像识别云模型进行重训练。
26.本发明基于树莓派的仿人实体机器人系统的进一步改进在于，所述云脑系统还用于根据所接收的语音数据和图像数据对所述深度学习云模型进行重训练。
27.本发明基于树莓派的仿人实体机器人系统的进一步改进在于，所述云脑系统还用于根据所接收的人的运动视频数据对所述虚拟孪生云模型进行重训练。
28.本发明基于树莓派的仿人实体机器人系统的进一步改进在于，还包括机器人动作
库和机器人表情库；
29.所述机器人动作库中存储有机器人的动作名称及动作指令；
30.所述机器人表情库中存储有机器人的表情名称以及表情指令；
31.所述处理单元与所述机器人动作库和所述机器人表情库连接，用于根据深度学习反馈结果查找得到对应的动作指令和表情指令，并控制实体机器人执行。
附图说明
32.图1为本发明基于树莓派的仿人实体机器人系统的系统图。
33.图2为本发明基于树莓派的仿人实体机器人系统的架构图。
34.图3为本发明基于树莓派的仿人实体机器人系统中实体机器人进行实体孪生的流程图。
35.图4为本发明基于树莓派的仿人实体机器人系统中3d虚拟人孪生的流程图。
36.图5为本发明基于树莓派的仿人实体机器人系统中语音孪生的流程图。
37.图6为本发明基于树莓派的仿人实体机器人系统中情感交互的流程图。
38.图7为本发明基于树莓派的仿人实体机器人系统的云脑系统中语音识别的流程图。
39.图8为本发明基于树莓派的仿人实体机器人系统的云脑系统中图像识别的流程图。
40.图9为本发明基于树莓派的仿人实体机器人系统的云脑系统中深度学习的流程图。
41.图10为本发明基于树莓派的仿人实体机器人系统的云脑系统中虚拟孪生的流程图。
42.图11为本发明基于树莓派的仿人实体机器人系统的云脑系统中情感识别的流程图。
43.图12为本发明基于树莓派的仿人实体机器人系统所应用的实体机器人的硬件部件的结构示意图。
具体实施方式
44.下面结合附图和具体实施例对本发明作进一步说明。
45.参阅图1，本发明提供了一种基于树莓派的仿人实体机器人系统，用于解决现有技术中暂无树莓派仿人实体机器人的系统，弥补了树莓派仿人实体机器人领域内的系统设计的技术空白。下面结合附图对本发明基于树莓派的仿人实体机器人系统进行说明。
46.参阅图1，显示了本发明基于树莓派的仿人实体机器人系统的系统图。下面结合图1，对本发明基于树莓派的仿人实体机器人系统进行说明。
47.如图1所示，本发明的基于树莓派的仿人实体机器人系统包括语音识别单元21、图像识别单元22、深度学习单元23、ai孪生单元24以及处理单元25，其中语音识别单元21和图像识别单元22均与深度学习单元23连接，处理单元25与语音识别单元21、图像识别单元22、深度学习单元23以及ai孪生单元24连接，且该处理单元25还与实体机器人控制连接，用于对实体机器人的各种动作、行为实现控制。
48.语音识别单元21用于获取语音数据并对所获取的语音数据进行识别得到对应的语音识别结果；较佳地，语音识别单元21可与麦克风连接，通过麦克风录音来实现语音数据的获取，该麦克风设置在实体机器人上，且麦克风实时获取实体机器人周围的声音，并将获得的语音数据发送给语音识别单元21。通过设置的语音识别单元21可使得实体机器人能够进行语音交互。
49.图像识别单元22用于获取图像数据并对所获取的图像数据进行识别得到对应的图像识别结果；较佳地，图像识别单元22可与摄像头连接，通过摄像头来获取图像数据，该摄像头设置在实体机器人的眼镜上，该摄像头实时的对实体机器人所看到的事物进行拍摄从而形成图像数据，并将获得的图像数据发送给图像识别单元22。通过设置的图像识别单元22可使得实体机器人能够看到周围的事物并可对此作出相应的反应。
50.深度学习单元23用于根据语音识别单元得到的语音识别结果和/或图像识别单元得到的图像识别结果得到深度学习反馈结果；深度学习单元基于深度学习形成有深度学习模型，将语音识别结果输入至深度学习模型中，能够得到语音反馈结果，将图像识别结果输入至该深度学习模型能够得到图像反馈结果，利用深度学习单元23实现机器人对语音识别结果和/或图像识别结果进行反馈。
51.ai孪生单元24用于获取人的运动视频数据并对所获取的人的运动视频数据进行处理，得到对应的运动参数结果；该ai孪生单元24可根据人的运动视频数据实现实时动作的模仿。
52.处理单元25，用于根据深度学习单元23的深度学习反馈结果形成对应的反馈指令并控制实体机器人执行反馈指令，还用于根据ai孪生单元24的运动参数结果形成对应的运动指令并控制实体机器人执行运动指令。
53.在本发明的一种具体实施方式中，如图2所示，本发明的系统架构分为五个层次，分别是硬件实体层、os层、中间件层、应用层以及云脑系统，硬件实体层包括实体机器人的各个硬件实体，结合图12所示，包括有大脑、头部、腰部、腿部、脚部、手部以及手臂，实体机器人的硬件实体通过硬件板主控，能够实现各个部位的精确动作控制。os层采用树莓派操作系统。中间件层包括云脑中间件、动作库、表情库以及语音识别库。应用层包括语音交互系统、图像识别系统、深度学习系统、ai孪生系统和情感交互系统。机器人的云脑系统包括语音识别模型系统、情感情绪模型系统、虚拟孪生模型系统和深度学习模型系统。
54.本发明系统的语音识别单元21、图像识别单元22、深度学习单元23、ai孪生单元24以及处理单元25设于系统架构的应用层，相当于应用程序安装在操作系统上。
55.在本发明的一种具体实施方式中，ai孪生单元25包括语音孪生模块，用于实时采集真人远程语音形成真人远程语音数据，并对真人远程语音数据进行处理进而形成语音孪生结果；
56.处理单元25还用于根据语音孪生结果形成对应的讲话指令并控制实体机器人执行讲话指令。
57.具体地，请结合图5所示，ai孪生单元实现了机器人的语音孪生功能，也即实体机器人可以根据远程真人实时语音而进行实时语音输出以及唇形对应。首先真人远程语音时，外部设备采集真人语音，然后进行音频简单处理如滤波除杂处理，接着将处理后的数据传输给机器人云脑系统，云脑系统会做相关的音频美音处理、变音处理、3d环绕处理、背景
音处理等，处理完后云脑将结果传输到对应的实体机器人，机器人应用层接收数据并进一步根据当前实体机器人硬件信息对结果信息进行语音数据处理和唇形对应处理，最后将音频数据通过扬声器播放及嘴巴的对应唇形动作输出。
58.进一步地，如图3和图4所示，本发明的ai孪生单元能够实现真人实体孪生和3d图像虚拟孪生，真人实体孪生是指实体机器人可以根据真人实时动作而进行实时动作模仿，首先真人身体运动时，外部图像采集设备采集真人动作，然后进行图像骨骼化处理，接着将处理后的数据传输给机器人云脑系统，云脑系统会做相关的数据滤波处理，从而使机器人动作更平滑，处理完后云脑将结果传输到对应的实体机器人，机器人应用层接收数据并进一步根据当前实体机器人硬件信息对结果信息进行数据处理，最后将数据分发到机器人各个部位使机器人动作与真人动作同步。3d图像虚拟孪生即实体机器人可以根据3d虚拟人实时动作而进行实时动作模仿。首先3d虚拟人身体运动时并将处理后的数据传输给机器人云脑系统，云脑系统会做相关的数据滤波处理，从而使机器人动作更平滑，处理完后云脑将结果传输到对应的实体机器人，机器人应用层接收数据并进一步根据当前实体机器人硬件信息对结果信息进行数据处理，最后将数据分发到机器人各个部位使机器人动作与3d虚拟人动作同步。
59.在本发明的一种具体实施方式中，本发明的系统还包括情感交互单元，与语音识别单元、图像识别单元以及处理单元连接；
60.该情感交互单元用于接收语音识别单元获取的语音数据和图像识别单元获取的图像数据，并对语音数据和图像数据进行情感分析以得到情感分析结果；
61.处理单元根据情感分析结果形成对应的情感指令并控制实体机器人执行情感指令。
62.通过情感交互单元可使得机器人能够根据结果进行对应的语气、语音、内容、表情以及动作的输出。
63.在本发明的一种具体实施方式中，本发明的系统还包括设于云端的云脑系统；
64.云脑系统包括语音识别云模型、图像识别云模型、深度学习云模型以及虚拟孪生云模型；
65.处理单元与云脑系统通信连接，用于将语音识别单元获取的语音数据发送给云脑系统，将图像识别单元获取的图像数据发送给云脑系统，将ai孪生单元获取的人的运动视频数据发送给云脑系统，并接收云脑系统发送的对应数据的识别结果。
66.该云脑系统属于一对多的系统，可以接收线下所有实体机器人的数据以及需求，进而反馈结果，云脑系统具有更强的计算能力、分析推力能力和ai深度学习能力。
67.进一步地，云脑系统还包括情感识别云模型；
68.云脑系统还用于将接收到的语音数据和图像数据输入至情感识别云模型中，并获取情感识别云模型输出的情感分析结果进而反馈给处理单元。
69.较佳地，如图6所示，情感交互单元进行情感分析可借助云脑系统中的情感识别云模型，具体地，在接收到语音数据和图像数据的输入后，将该些数据传输给云脑系统的情感识别云模型进行分析，之后云脑系统回传结果给处理单元，处理单元再根据结果进行对应的语气、语音、内容、表情以及动作的相应输出。
70.在一种较佳实施方式中，语音识别单元可离线进行语音识别，还可在线进行语音
识别，其中离线进行语音识别是通过实体机器人系统内部预先存储的语音识别模型来实现，而在线进行语音识别是通过云脑系统中的语音识别云模型来实现。结合图7所示，云脑系统接收到实体机器人发送的语音数据之后，若当前不是定时训练任务，则进行云脑线上的语音识别，然后将识别结果输出并传输到对应的实体机器人。
71.进一步地，云脑系统还用于根据所接收的语音数据对语音识别云模型进行重训练。云脑系统在接收到语音数据时，还对接收到的语音数据进行存储，若当前属于定时训练任务，然后用新数据(也即存储的语音数据)使用语音识别模型定时进行集中训练，然后输出模型最新权重参数，若结果达标则停止训练，若结果不达标则继续进行训练，直到结果达标为止。
72.在另一种较佳实施方式中，图像识别单元可离线识别，还可在线识别，其中离线识别是通过实体机器人内部的识别模型进行识别，而在线识别是通过云脑系统中的图像识别云模型来实现。结合图8所示，云脑系统接收线下机器人的所有图像新数据输入，若当前不是定时训练任务，则进行云脑线上的图像识别，然后将识别结果输出并传输到对应的实体机器人。
73.进一步地，云脑系统还用于根据所接收的图像数据对图像识别云模型进行重训练。云脑系统接收到图像数据时，还对图像数据进行存储，若当前属于定时训练任务，然后用存储的新数据使用图像识别模型定时进行集中训练，然后输出模型最新权重参数，若结果达标则停止训练，若结果不达标则继续进行训练，直到结果达标为止。
74.在又一种较佳实施方式中，深度学习单元可离线学习，还可在线学习，其中离线学习通过实体机器人内部的深度学习模型实现的，在线学习是通过云脑系统中的深度学习云模型来实现。结合图9所示，云脑系统接收线下机器人的所有音频和图像新数据输入，若当前不是定时训练任务，则进行云脑线上的深度学习，然后将识别结果输出并传输到对应的实体机器人。
75.进一步地，云脑系统还用于根据所接收的语音数据和图像数据对深度学习云模型进行重训练。云脑系统对接收的语音数据和图像数据进行存储，若当前属于定时训练任务，然后用存储的新数据使用深度学习模型定时进行集中训练，然后输出模型最新权重参数，若结果达标则停止学习，若结果不达标则继续进行学习，直到结果达标为止。
76.在又一种较佳实施方式中，如图10所示，ai孪生单元是借助云脑系统的虚拟孪生云模型来实现动作模仿的。
77.进一步地，云脑系统还用于根据所接收的人的运动视频数据对虚拟孪生云模型进行重训练。云脑系统接收线下真人或3d虚拟人的新数据输入，并存储数据，然后进行数据滤波处理，并将新数据输出到数据存储区以供其他模型定时集中训练。
78.在又一种较佳实施方式中，如图11所示，情感分析可借助云脑系统的情感识别云模型来实现，云脑系统接收线下机器人的所有音频图像新数据输入，若当前不是定时训练任务，则进行云脑线上的情感情绪识别，然后将识别结果输出并传输到对应的实体机器人；若当前属于定时训练任务，然后用新数据使用情感情绪模型定时进行集中训练，然后输出模型最新权重参数，若结果达标则停止训练，若结果不达标则继续进行训练，直到结果达标为止。
79.在本发明的一种具体实施方式中，本发明的系统还包括机器人动作库和机器人表
情库；机器人动作库中存储有机器人的动作名称及动作指令；机器人表情库中存储有机器人的表情名称以及表情指令；处理单元与机器人动作库和机器人表情库连接，用于根据深度学习反馈结果查找得到对应的动作指令和表情指令，并控制实体机器人执行。
80.中间件层的云脑中间件有两个功能，一个是机器人应用层向云脑请求流程，另一个是机器人接收云脑推送的流程。机器人应用层向云脑请求信息，则机器人中间件将协议封装并上传到云脑；云脑推送信息流程为，当云脑回传处理信息或主动推送相关信息后，机器人收到云脑信息使用云脑中间件进行解析，并输出给应用层处理。
81.机器人应用层发出动作请求，然后动作库对请求进行动作分类及动作算法旋转，然后将结果输出给os硬件抽象层处理。
82.机器人应用层输出语音或图像信息，然后表情库对信息进行推理及相应算法选择，然后将结果输出给os硬件抽象层处理。
83.机器人应用层发出语音识别请求，语音识别库进行判断是否可以本地识别，若可以则离线识别并输出结果；若不能，则将源语音信息上传到云脑，让云脑进行识别，云脑识别后将结果传回到对应机器人。
84.os层采用raspberry pi os，系统为linux系统，基于debian专门针对raspberry pi的硬件做了适配，该系统包含进程调度、存储管理、cpu和进程管理、文件系统、设备管理和驱动、网络通信，以及系统的初始化(引导)、系统调用等。
85.机器人的控制通过如下过程实现：
86.外部语音输入后，机器人大脑接收在应用层解析处理，若本地能够识别处理，则本地中间件将数据进行解析，若需要云脑处理，则将数据传输到云脑，云脑处理完后回传处理结果到线下实体机器人，线下实体机器人中间件进行解析并下传到os层硬件抽象模块进行处理，并最终控制控制机器人实体各部位的硬件运动。
87.实体机器人的头部包含眉毛、眼皮、眼球、嘴巴、舌头、面颊和下巴。
88.头部各个部位均采用微型舵机进行控制，通过调节各个舵机的运行角度和速度来表现出头部丰富的面部表情。外部语音或图像信息输入后，机器人大脑接收在应用层解析处理，若本地能够识别处理，则本地中间件将数据进行解析，若需要云脑处理，则将数据传输到云脑，云脑处理完后回传处理结果到线下实体机器人，线下实体机器人中间件进行解析并下传到os层硬件抽象模块进行处理，并最终控制控制机器人头部实体各部位的硬件运动。
89.实体机器人的腰部包含两个大扭矩电机，可以进行腰部左右扭动和机器人前倾后仰的动作，并且可以通过调节两个电机的角度和速度的阈值从而让机器人可以做出更多的人体动作。外部语音或图像信息输入后，机器人大脑接收在应用层解析处理，若本地能够识别处理，则本地中间件将数据进行解析，若需要云脑处理，则将数据传输到云脑，云脑处理完后回传处理结果到线下实体机器人，线下实体机器人中间件进行解析并下传到os层硬件抽象模块进行处理，并最终控制控制机器人腰部实体各部位的硬件运动。
90.实体机器人的手臂为肩膀、大臂和小臂部分，分别采用大扭矩电机实现手臂的动作控制。通过对肩膀、大臂和小臂电机的协同调节从而可以让机器人的手臂像真人般灵活运动。外部语音或图像信息输入后，机器人大脑接收在应用层解析处理，若本地能够识别处理，则本地中间件将数据进行解析，若需要云脑处理，则将数据传输到云脑，云脑处理完后
回传处理结果到线下实体机器人，线下实体机器人中间件进行解析并下传到os层硬件抽象模块进行处理，并最终控制控制机器人手臂部实体各部位的硬件运动。
91.实体机器人的手部分为手腕、手掌和手指，分别采用微型舵机实现手部的动作控制。通过对手腕、手掌和手指舵机的协同调节从而让机器人手部可以实现灵活动作，同时可以灵活负载抓取1kg的物品。外部语音或图像信息输入后，机器人大脑接收在应用层解析处理，若本地能够识别处理，则本地中间件将数据进行解析，若需要云脑处理，则将数据传输到云脑，云脑处理完后回传处理结果到线下实体机器人，线下实体机器人中间件进行解析并下传到os层硬件抽象模块进行处理，并最终控制控制机器人手部实体各部位的硬件运动。
92.实体机器人的腿部分为大腿和小腿，分别采用大扭矩舵机实现腿部的动作控制。通过对大腿和小腿的舵机的协同调节从而可以让机器人腿部实现蹲立等动作。外部语音或图像信息输入后，机器人大脑接收在应用层解析处理，若本地能够识别处理，则本地中间件将数据进行解析，若需要云脑处理，则将数据传输到云脑，云脑处理完后回传处理结果到线下实体机器人，线下实体机器人中间件进行解析并下传到os层硬件抽象模块进行处理，并最终控制控制机器人腿部实体各部位的硬件运动。
93.实体机器人的脚部采用轮式滑动方式在平地上进行移动，具有定点巡航、定时巡航、路径规划等功能。外部语音或图像信息输入后，机器人大脑接收在应用层解析处理，若本地能够识别处理，则本地中间件将数据进行解析，若需要云脑处理，则将数据传输到云脑，云脑处理完后回传处理结果到线下实体机器人，线下实体机器人中间件进行解析并下传到os层硬件抽象模块进行处理，并最终控制控制机器人脚部实体各部位的硬件运动。
94.以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。