基于边缘计算听障骑手智能手势交互与信息显示胸卡系统

摘要: 本发明涉及人机交互,具体是涉及基于边缘计算听障骑手智能手势交互与信息显示胸卡系统。背景技术:1、随着外卖配送、即时物流等服务场景的不断扩展,骑手在取餐、送餐、联...
基于边缘计算听障骑手智能手势交互与信息显示胸卡系统

本发明涉及人机交互,具体是涉及基于边缘计算听障骑手智能手势交互与信息显示胸卡系统。

背景技术:

1、随着外卖配送、即时物流等服务场景的不断扩展,骑手在取餐、送餐、联系用户、与商家确认订单信息以及处理配送异常时,通常需要进行较高频次的信息交互。现有配送沟通方式主要依赖语音交流、电话联系、手机应用消息或人工输入文本,然而,对于听障骑手而言,语音沟通存在天然障碍,频繁查看和操作手机又容易分散注意力,影响配送效率和骑行安全,难以满足移动配送场景下快速、直观、低干扰的信息表达需求;

2、现有辅助交互技术主要包括手机端文字沟通、语音转文字、通用智能穿戴设备、手势识别装置以及依赖云端处理的智能交互系统,上述方案虽然能够在一定程度上辅助信息传递,但仍存在不足:一是部分方案依赖专用客户端或复杂操作流程,使用门槛较高;二是云端识别或远程服务器处理容易受网络环境影响,存在响应延迟和稳定性不足的问题;三是通用手势识别方案多停留在手势类别识别层面,缺少与配送业务语义的对应关系,难以形成标准化表达;四是手势识别结果、外部文本消息和实时画面通常分散呈现,缺乏适合听障骑手现场交互的统一显示界面;

3、因此,有必要提供一种基于边缘计算听障骑手智能手势交互与信息显示胸卡系统,以实现本地手势识别、配送语义表达、远程文本接收和多模态融合显示。

技术实现思路

1、为解决上述技术问题,提供基于边缘计算听障骑手智能手势交互与信息显示胸卡系统,本技术方案解决了上述的听障骑手配送沟通中依赖语音、手机操作或云端识别,导致交互不便、实时性不足、表达不标准以及信息显示分散的问题。

2、为达到以上目的,本发明采用的技术方案为:

3、基于边缘计算听障骑手智能手势交互与信息显示胸卡系统,包括:

4、胸卡式边缘计算终端,用于由听障骑手佩戴,包括图像采集单元、显示单元和本地边缘处理单元;

5、图像采集与手势识别模块,用于通过所述图像采集单元采集预设识别区域内的手势图像序列,并由所述本地边缘处理单元对所述手势图像序列进行手部区域提取、轮廓分析、凸包与凸缺陷分析及手指数量识别,得到当前手势类别;

6、边缘交互处理模块,用于对连续图像帧中的当前手势类别进行稳定性判断,在满足预设稳定条件时确定稳定手势类别,并映射为预定义配送交互语义,生成手势表达信息;

7、远程文本通信模块,用于在所述胸卡式边缘计算终端本地构建基于http协议的轻量级web通信服务,接收外部移动终端经浏览器发送的远程文本信息,并存入本地消息缓存区;

8、信息融合显示模块,用于获取所述手势表达信息、读取本地消息缓存区中的远程文本信息,并在所述显示单元的同一界面中分区显示手势表达信息、远程文本信息及所述手势图像序列对应的实时预览画面;

9、其中,所述胸卡式边缘计算终端在本地完成手势识别、文本接收和融合显示,实现无需语音、无需专用客户端且无需云端识别的双向信息交互。

10、优选地,其特征在于,所述胸卡式边缘计算终端包括:

11、壳体,用于形成可佩戴的胸卡式安装结构;

12、图像采集单元,设置于所述壳体上并朝向预设识别区域,用于采集手势图像序列;

13、显示单元,设置于所述壳体上并朝向外部可视方向,用于显示手势表达信息、远程文本信息以及实时预览画面;

14、本地边缘处理单元,设置于所述壳体内,并分别与所述图像采集单元和显示单元连接,用于在本地完成手势识别、文本接收和融合显示控制。

15、优选地,其特征在于,所述本地边缘处理单元采用多线程方式运行,包括:

16、图像采集线程,用于获取所述图像采集单元采集的手势图像序列;

17、手势识别线程,用于对所述手势图像序列进行手部区域提取、轮廓分析、凸包与凸缺陷分析及手指数量识别,得到当前手势类别;

18、文本通信线程,用于运行所述轻量级web通信服务,接收外部移动终端经浏览器发送的远程文本信息,并将所述远程文本信息存入本地消息缓存区;

19、界面显示线程,用于读取手势表达信息、远程文本信息以及实时预览画面,并控制显示单元进行分区显示。

20、优选地,其特征在于,所述图像采集与手势识别模块中,采集预设识别区域内的手势图像序列包括:

21、在所述图像采集单元采集的图像帧中划定预设识别区域;

22、将位于所述预设识别区域内的图像数据作为待识别图像数据;

23、对所述待识别图像数据进行手部区域提取,以减少预设识别区域外背景图像对当前手势类别识别的干扰。

24、优选地,其特征在于,所述图像采集与手势识别模块中,对所述手势图像序列进行手部区域提取包括:

25、将所述手势图像序列中的图像帧转换至hsv颜色空间;

26、根据预设肤色阈值从转换后的图像帧中提取候选手部区域;

27、对所述候选手部区域进行形态学去噪处理,得到手部区域。

28、优选地,其特征在于,所述图像采集与手势识别模块中,轮廓分析、凸包与凸缺陷分析及手指数量识别包括:

29、根据手部区域提取结果确定手部主体轮廓;

30、对所述手部主体轮廓进行凸包计算,得到手部主体轮廓对应的凸包区域;

31、对所述手部主体轮廓与所述凸包区域之间的凹陷部分进行凸缺陷检测;

32、根据凸缺陷对应的手指间夹角和凸缺陷深度确定手指数量,并根据所述手指数量得到当前手势类别。

33、优选地,其特征在于,所述边缘交互处理模块中,对连续图像帧中的当前手势类别进行稳定性判断包括:

34、获取连续图像帧中每一图像帧对应的当前手势类别;

35、统计相同当前手势类别在连续图像帧中的连续出现次数;

36、当所述连续出现次数达到预设稳定帧数阈值时,判定满足预设稳定条件,并将对应的当前手势类别确定为稳定手势类别;

37、当所述连续出现次数未达到预设稳定帧数阈值时,不输出稳定手势类别。

38、优选地,其特征在于,所述边缘交互处理模块中,将所述稳定手势类别映射为预定义配送交互语义,生成手势表达信息包括:

39、建立稳定手势类别与预定义配送交互语义之间的对应关系;

40、所述预定义配送交互语义包括到达提示、等待提示、取餐提示、送达提示和异常说明中的至少一种;

41、根据所述对应关系确定与稳定手势类别匹配的预定义配送交互语义;

42、将匹配得到的预定义配送交互语义生成为手势表达信息。

43、优选地,其特征在于,所述远程文本通信模块中,接收外部移动终端经浏览器发送的远程文本信息,并存入本地消息缓存区包括:

44、在所述胸卡式边缘计算终端本地构建基于http协议的轻量级web通信服务;

45、通过所述轻量级web通信服务生成供外部移动终端访问的本地web页面;

46、接收外部移动终端通过浏览器在所述本地web页面提交的远程文本信息;

47、将接收的远程文本信息存入本地消息缓存区,以供信息融合显示模块读取。

48、优选地,其特征在于,所述信息融合显示模块中,在所述显示单元的同一界面中分区显示手势表达信息、远程文本信息及实时预览画面包括:

49、将所述显示单元的同一界面划分为手势表达信息显示区域、远程文本信息显示区域和实时预览画面显示区域;

50、在所述手势表达信息显示区域显示所述边缘交互处理模块生成的手势表达信息;

51、在所述远程文本信息显示区域显示从本地消息缓存区读取的远程文本信息;

52、在所述实时预览画面显示区域显示所述手势图像序列对应的实时预览画面。

53、与现有技术相比,本发明的有益效果在于:

54、本发明提出由本地边缘处理单元完成手势图像处理、稳定手势判定和配送语义映射的方式,解决了单帧手势误识别、通用手势识别难以匹配配送语义的问题;

55、提出基于http协议的轻量级web通信服务,解决了外部用户或商家发送文本信息需要安装专用客户端、使用门槛较高的问题;提出在同一显示界面中分区显示手势表达信息、远程文本信息和实时预览画面,解决了现有信息显示分散、现场交互效率低的问题。