机械臂式AI台灯及其交互控制方法与流程

本发明涉及台灯，尤其涉及一种机械臂式ai台灯及其交互控制方法。

背景技术：

1、台灯作为人们日常学习、办公中不可或缺的照明设备，其基本功能已从单纯的照明逐步向智能化、交互化方向发展。一方面，如何让台灯具有情绪表达功能，以最为直观、人类最易于理解的方式传递情绪信号，提升人机交互的自然度和情感共鸣效果，是本领域需要解决的技术问题之一。

2、另一方面，在实际学习场景中，用户在阅读纸质教材或练习册时经常遇到不理解的文字内容或题目，需要通过拍照搜索或查阅工具书等方式获取解答，操作流程繁琐、效率低下。智能台灯如何辅助用户（尤其是学生）进行阅读学习和问题解答，也是本领域需要解决的技术问题之一。

3、鉴于此，有必要开发一种机械臂式ai台灯及其交互控制方法。

技术实现思路

1、本发明的目的在于揭示一种机械臂式ai台灯及其交互控制方法。

2、为实现上述第一个发明目的，本发明提供了一种机械臂式ai台灯，包括底座、机械臂式灯杆、灯头组件；

3、所述灯头组件包括主控板、感应部及对称设置于所述感应部两侧的第一灯头及第二灯头，所述主控板配置有情绪表达模块；

4、所述感应部设置有第一摄像孔及音频接收孔，其内设置第一摄像头及音频模块，所述第一摄像头用于采集用户的面部图像，所述音频模块用于采集用户的语音信号；

5、所述第一灯头、第二灯头的前端面分别设置有第一显示屏、第二显示屏，所述第一显示屏和所述第二显示屏分别用于显示左眼图像和右眼图像，所述第一显示屏的四周设置第一白板部，所述第二显示屏的四周设置第二白板部，所述第一白板部和所述第二白板部的顶部、底部分别设置灯带；

6、所述主控板分别与所述第一摄像头、所述音频模块、所述第一显示屏和所述第二显示屏电连接，所述情绪表达模块根据所述面部图像和/或所述语音信号识别用户当前情绪状态，并根据识别结果控制所述第一显示屏和所述第二显示屏显示对应的眼部表情动画。

7、为实现上述第一个发明目的，本发明还提供了一种机械臂式ai台灯，包括底座、机械臂式灯杆、灯头组件；

8、所述灯头组件包括主控板、感应部及对称设置于所述感应部两侧的第一灯头及第二灯头，所述主控板配置有ai交互模块；

9、所述感应部设置有第二摄像孔及音频接收孔，其内设置第二摄像头及音频模块，所述第二摄像头用于采集用户手指所指示的阅读界面区域的图像，所述音频模块用于采集用户的语音信号；

10、所述第一灯头、所述第二灯头的底部分别设置有第一出光区和第二出光区，所述第一出光区和所述第二出光区均朝向所述阅读界面区域出光；

11、所述主控板分别与所述第二摄像头、所述音频模块和语音播放模块电连接，所述ai交互模块用于根据所述第二摄像头采集的图像识别用户手指指示的目标文字内容，根据所述语音信号识别用户的提问意图，调用多模态大语言模型生成对应的语音对话内容和/或解答信息，控制所述语音播放模块以语音外放形式输出所述语音对话内容和/或解答信息，并根据所述语音对话内容和/或解答信息的语义内容确定对应的表情类型，控制所述第一显示屏和所述第二显示屏显示与所述表情类型对应的眼部表情动画。

12、为实现上述第一个发明目的，本发明还提供了一种机械臂式ai台灯，包括底座、机械臂式灯杆、灯头组件；

13、所述灯头组件包括主控板、感应部及对称设置于所述感应部两侧的第一灯头及第二灯头，所述主控板配置有情绪表达模块和ai交互模块；

14、所述感应部设置有第一摄像孔、第二摄像孔、感光孔及音频接收孔，其内设置第一摄像头、第二摄像头、感光模块及音频模块，所述第一摄像头用于采集用户的面部图像和坐姿图像，所述第二摄像头用于采集用户手指所指示的阅读界面区域的图像，所述感光模块用于感应环境光；所述音频模块用于采集用户的语音信号；

15、所述第一灯头、所述第二灯头的底部分别设置有第一出光区和第二出光区，所述第一出光区和所述第二出光区均朝向所述阅读界面区域出光；

16、所述第一灯头、第二灯头的前端面分别设置有第一显示屏、第二显示屏，所述第一显示屏和所述第二显示屏分别用于显示左眼图像和右眼图像，所述第一显示屏的四周设置第一白板部，所述第二显示屏的四周设置第二白板部，所述第一白板部和所述第二白板部的顶部、底部分别设置灯带；

17、所述情绪表达模块根据所述面部图像识别用户当前情绪状态，和/或根据所述语音信号识别用户当前情绪状态，并根据识别结果控制所述第一显示屏和所述第二显示屏显示对应的眼部表情动画；

18、所述ai交互模块用于根据所述第二摄像头采集的图像识别用户手指指示的目标文字内容，根据所述语音信号识别用户的提问意图，调用多模态大语言模型生成对应的语音对话内容和/或解答信息，并根据所述语音对话内容和/或解答信息的语义内容确定对应的表情类型。

19、优选地，所述感应部包括柱形壳体，所述柱形壳体表面设置弧形槽、沿所述弧形槽滑动的弧形盖；

20、滑动所述弧形盖遮挡或露出所述第一摄像孔和所述第二摄像孔；

21、所述第一摄像孔和所述第二摄像孔处于所述柱形壳体的同一个横切面上。

22、优选地，所述第一显示屏和所述第二显示屏为圆形或类圆形且呈黑色。

23、优选地，所述情绪表达模块还根据所述坐姿图像识别用户的坐姿状态，当识别到用户坐姿异常时，通过所述第一显示屏和/或所述第二显示屏显示坐姿提醒信息，和/或通过语音播放模块输出坐姿提醒语音；

24、所述主控板配置有追光控制模块；

25、所述追光控制模块用于根据所述第一摄像头采集的图像检测用户的入座状态及用户数量：

26、当检测到一名用户入座时，所述追光控制模块以该用户的面部位置作为目标位置，控制所述机械臂式灯杆驱动所述灯头组件运动，使所述第一灯头和所述第二灯头的中心对准所述目标位置；

27、当检测到两名用户入座时，所述追光控制模块以两名用户的面部位置之间的中间位置作为目标位置，控制所述机械臂式灯杆驱动所述灯头组件运动，使所述第一灯头和所述第二灯头的中心对准所述目标位置；

28、当检测到三名用户入座时，所述追光控制模块以三名用户中的中间用户面部位置作为目标位置，控制所述机械臂式灯杆驱动所述灯头组件运动，使所述第一灯头和所述第二灯头的中心对准所述目标位置；

29、所述追光控制模块在所述灯头组件运动过程中实时跟踪检测各用户的面部位置，并根据所述用户数量的变化动态更新所述目标位置。

30、优选地，所述第一摄像孔位于所述第二摄像孔的上侧，所述感光孔和所述音频接收孔位于所述第二摄像孔的下侧。

31、优选地，所述机械臂式灯杆包括第一臂、第一关节、第二臂、第二关节、第三臂、第三关节及第四臂；

32、所述底座内设置第一电机，所述第一电机通过第一齿轮组驱动所述第一臂左右摆动；

33、所述第二臂内尾对尾设置第二电机和第三电机，所述第二电机通过第二齿轮组驱动所述第一关节俯仰，所述第一关节带动所述第二臂俯仰，所述第三电机通过第三齿轮组驱动所述第二关节俯仰，所述第二关节带动所述第三臂俯仰；

34、所述第三臂内设置第四电机，所述第四电机通过第四齿轮组驱动所述第三关节俯仰，所述第三关节带动所述第四臂俯仰；

35、所述第四臂的端部安装所述感应部。

36、优选地，所述第一齿轮组包括主动齿和从动齿；

37、所述第二齿轮组、第三齿轮组和第四齿轮组分别由两个锥齿轮组成；

38、所述第一关节的俯仰角度为-10°~45°，所述第二关节的俯仰角度为-25°~60°，所述第三关节的俯仰角度为-15°~60°。

39、基于相同的发明原理，为实现上述第二个发明目的，本发明提供了一种机械臂式ai台灯的交互控制方法，机械臂式ai台灯包括底座、机械臂式灯杆和灯头组件，所述灯头组件包括主控板、感应部及对称设置于所述感应部两侧的第一灯头及第二灯头，所述主控板配置有情绪表达模块、追光控制模块和ai交互模块，所述感应部内设置有第一摄像头、第二摄像头、感光模块及音频模块，所述第一灯头、所述第二灯头的前端面分别设置有第一显示屏、第二显示屏，所述第一灯头、所述第二灯头的底部分别设置有第一出光区和第二出光区；

40、包括以下步骤：

41、s1、通过所述第一摄像头采集用户的面部图像和坐姿图像，通过所述第二摄像头采集用户手指所指示的阅读界面区域的图像，通过所述感光模块感应环境光强度，并通过所述音频模块采集用户的语音信号；

42、s2、通过所述第一出光区和所述第二出光区朝向所述阅读界面区域出光，并根据所述感光模块感应的环境光强度调节所述第一出光区和所述第二出光区的出光亮度；

43、s3、将所述面部图像和/或所述语音信号输入所述情绪表达模块，识别用户当前的情绪状态，并根据识别结果控制所述第一显示屏和所述第二显示屏分别显示与所述情绪状态对应的眼部表情动画；

44、s4、所述追光控制模块在所述灯头组件运动过程中实时跟踪检测各用户的面部位置，并根据所述用户数量的变化动态更新所述目标位置；

45、s5、所述ai交互模块用于根据所述第二摄像头采集的图像识别用户手指指示的目标文字内容，根据所述语音信号识别用户的提问意图，调用多模态大语言模型生成对应的语音对话内容和/或解答信息，控制所述语音播放模块以语音外放形式输出所述语音对话内容和/或解答信息，并根据所述语音对话内容和/或解答信息的语义内容确定对应的表情类型，控制所述第一显示屏和所述第二显示屏显示与所述表情类型对应的眼部表情动画。

46、与现有技术相比，本发明的有益效果是：

47、（1）本发明的灯头组件通过感应部两侧对称设置的第一灯头和第二灯头，分别配置第一显示屏和第二显示屏，形成类似“眼睛”的仿生外观结构；两个显示屏可分别显示左眼图像和右眼图像，通过控制显示屏显示不同的眼部表情动画（如开心表情、惊喜表情、生气表情、悲伤表情等），能够以最为直观、人类最易于理解的方式传递情绪信号；本发明的“眼睛”表情能够大幅提升人机交互的自然度和情感共鸣效果。

48、（2）本发明的ai交互模块能够根据第二摄像头采集的图像识别用户手指指示的目标文字内容，根据语音信号识别用户的提问意图，生成对应的解答信息并语音外放输出，实现智能辅导功能，有效提升学习效率，免除了用户拍照搜索或查阅工具书的繁琐操作；在解答信息的同时，还通过第一显示屏和第二显示屏与表情类型对应的眼部表情动画，增加交互体验感。

49、（3）本发明通过底座内的第一电机驱动第一臂左右摆动，实现灯头在水平方向上的±60°转动；通过第二臂内的第二电机和第三电机分别驱动第一关节和第二关节俯仰，以及第三臂内的第四电机驱动第三关节俯仰，实现灯头在垂直方向上的多级俯仰调节，多个关节的俯仰角度相互叠加，使得灯头能够在较大的空间范围内灵活调整位置和姿态，满足坐姿阅读、站立照明、多角度补光等多样化使用场景的需求。