面向多终端协同的语音交互方法及平台与流程

本发明涉及数据处理技术，尤其涉及一种面向多终端协同的语音交互方法及平台。

背景技术：

1、鉴于现有的建筑施工现场巡检管理过程中，巡检机器人往往仅能执行单一的图像采集或固定的巡回任务，缺乏与现场实际施工环境（如作业人员是否在岗）的动态交互能力。

2、在面临建材调度和施工作业核查时，通常需要大量的人工介入来进行跨终端的信息传递与确认，导致现场施工人员、巡检机器人与空间管理端之间的信息同步滞后。这种多终端之间缺乏自适应协同语音交互的现状，不仅增加了无效的人机沟通成本，降低了建材调度的响应速度，也导致无人作业场景下的现场状态核查效率低下，难以满足现代智能化施工场景对高频次、自动化以及高效率协同作业的需求。

3、基于此，亟需提供一种能够提高协同效率的面向多终端协同的语音交互方法及平台。

技术实现思路

1、基于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种面向多终端协同的语音交互方法及平台。

2、根据本发明的一个方面，提供一种面向多终端协同的语音交互方法，包括以下步骤：

3、响应巡检机器人沿对应施工现场的预定巡检路线移动至任一巡检空间，控制巡检机器人基于对应巡检空间的目标空间任务进行图像采集，得到对应巡检空间的空间图像；

4、基于空间图像确定巡检空间是否存在施工人员，并基于确定结果确定巡检机器人对应巡检空间的巡检模式；

5、当确定巡检模式为调度模式，控制巡检机器人输出建材调度确定信号，并将基于建材调度确定信号获取的调度语音信息发送至对应巡检空间的空间管理端；

6、当确定巡检模式为核查模式，控制巡检机器人基于目标空间任务对巡检空间进行核查，并基于核查结果生成向对应巡检空间的空间管理端进行发送的核查语音信息。

7、可选地，在根据本发明的方法中，控制巡检机器人基于对应巡检空间的目标空间任务进行图像采集，得到对应巡检空间的空间图像，包括：

8、确定组成巡检空间的各空间结构面，并基于由预定巡检路线获取的、对应巡检空间的巡检序号调取对应巡检空间的目标空间任务；

9、当基于目标空间任务确定任一空间结构面存在施工工作项，将该空间结构面确定为采集结构面，并获取对应巡检空间的空间中心点；

10、基于预定巡检路线确定巡检机器人对应空间中心点的巡检朝向，并基于目标空间任务确定空间中心点对应每一采集结构面的施工朝向；

11、基于巡检朝向确定巡检机器人对应每一施工朝向的各调整朝向，并控制巡检机器人依次进行对应不同调整朝向的旋转，以对每一采集结构面进行采集，得到对应巡检空间的空间图像。

12、可选地，在根据本发明的方法中，对每一采集结构面进行采集，得到对应巡检空间的空间图像，包括：

13、响应巡检机器人旋转至任一调整朝向，控制预先设置于巡检机器人的光线单元朝向对应该调整朝向的采集结构面发射指示光线；

14、将对应该采集结构面的施工工作项填充至位于预设合影模板的种类槽位，得到合影语音信息；

15、控制预先设置于巡检机器人的语音单元对得到的合影语音信息进行输出，并控制预先设置于巡检机器人的图像单元进行基于预设采集频率、且持续预设采集时长的采集，以将得到的各采集子图像确定为空间图像。

16、可选地，在根据本发明的方法中，基于空间图像确定巡检空间是否存在施工人员，并基于确定结果确定巡检机器人对应巡检空间的巡检模式，包括：

17、对空间图像包括的每一采集子图像进行识别，并响应基于识别结果确定任一采集子图像存在指示任一施工人员的人脸区域，将该采集子图像确定为标识子图像，反之则确定为施工子图像；

18、当确定对应同一空间图像的所有采集子图像均为施工子图像，确定该采集结构面不存在施工人员，并将巡检机器人对应该采集结构面的巡检模式确定为核查模式；

19、当确定对应同一空间图像的至少一个采集子图像为标识子图像，基于施工工作项将与采集结构面具有绑定关系的施工人员图像与基于时序顺序确定的、对应最后的标识子图像进行对比，得到第一相似度；

20、将第一相似度与预设相似度进行对比，并基于对比结果确定该采集结构面是否存在施工人员，以确定巡检机器人对应巡检空间的巡检模式。

21、可选地，在根据本发明的方法中，将第一相似度与预设相似度进行对比，并基于对比结果确定该采集结构面是否存在施工人员，以确定巡检机器人对应巡检空间的巡检模式，包括：

22、响应第一相似度大于预设相似度，将对应该第一相似度的采集结构面确定为标识结构面，并确定该标识结构面存在施工人员，以将巡检机器人对应该采集结构面的巡检模式确定为调度模式；

23、响应第一相似度小于等于预设相似度，将对应该第一相似度的采集结构面确定为异常结构面，并确定该异常结构面不存在施工人员，以将巡检机器人对应该采集结构面的巡检模式确定为核查模式；

24、将对应标识结构面的人脸区域确定为基准区域，并将对应异常结构面的人脸区域确定为对比区域；

25、将对应同一巡检空间的所有对比区域与所有基准区域进行对比，得到第二相似度；

26、响应得到的任一第二相似度大于预设相似度，将对应该第二相似度的标识结构面的巡检模式由调度模式切换至核查模式。

27、可选地，在根据本发明的方法中，控制巡检机器人输出建材调度确定信号，并将基于建材调度确定信号获取的调度语音信息发送至对应巡检空间的空间管理端，包括：

28、基于施工工作项确定对应采集结构面的施工建材以及建材施工范围，并对采集结构面的任一施工子图像进行识别，得到指示施工建材的各建材区域以及指示建材施工范围的施工范围区域；

29、响应任一建材区域位于施工范围区域内，将该建材区域确定为具有施工属性，反之则确定为具有余量属性；

30、确定对应施工范围区域的范围区域面积，并将对应具有施工属性的每一建材区域的建材面积进行求和计算，得到建材总面积；

31、将范围区域面积与建材总面积进行差值计算，并将得到的空余面积与建材面积进行对比；

32、当确定空余面积小于建材面积，将对应该采集结构面的巡检模式由调度模式切换至核查模式；

33、当确定空余面积大于等于建材面积，基于施工范围区域确定对应空余面积的空余子区域，并控制巡检机器人将由空余子区域、具有余量属性的建材区域得到的建材调度确定信号进行输出，以将基于建材调度确定信号获取的调度语音信息发送至对应巡检空间的空间管理端。

34、可选地，在根据本发明的方法中，控制巡检机器人将由空余子区域、具有余量属性的建材区域得到的建材调度确定信号进行输出，以将基于建材调度确定信号获取的调度语音信息发送至对应巡检空间的空间管理端，包括：

35、获取对应空余子区域、任一建材区域的空余中心点以及建材中心点，并以空余中心点重合于建材中心点的方式将空余子区域与建材区域进行重叠；

36、当确定空余子区域对建材区域进行包围时，获取空余面积对应建材面积的整倍数值，并获取对应具有余量属性的所有建材区域的余量数值；

37、当确定整倍数值大于余量数值，控制巡检机器人对得到的建材调度确定信号进行输出；

38、响应获取来自施工人员的、包括预设确定词汇的语音反馈内容，将整倍数值对应余量数值的建材差值填充至预设调取模板，以将得到的调度语音信息发送至对应巡检空间的空间管理端。

39、可选地，在根据本发明的方法中，控制巡检机器人基于目标空间任务对巡检空间进行核查，并基于核查结果生成向对应巡检空间的空间管理端进行发送的核查语音信息，包括：

40、基于施工工作项调取对应采集结构面的各施工核查类，并控制巡检机器人基于施工核查类对采集结构面对应的施工子图像进行识别，得到实际核查结果；

41、将实际核查结果与对应同一施工核查类的预设标准结果进行对比计算，并将得到的核查标准差值与预设核查阈值进行比对；

42、响应核查标准差值小于等于预设核查阈值，将对应采集结构面确定为合规结构面，并生成对应合规状态的核查结果；

43、响应核查标准差值大于预设核查阈值，将对应采集结构面确定为待整改结构面，并将对应核查标准差值的施工核查类确定为偏差核查项，以生成包含偏差核查项以及核查标准差值的异常核查结果；

44、基于对应采集结构面的施工朝向、核查结果生成核查语音信息，并将核查语音信息发送至对应巡检空间的空间管理端。

45、可选地，在根据本发明的方法中，所述方法还包括：

46、响应将调度语音信息或核查语音信息发送至对应巡检空间的空间管理端，将该巡检空间确定为当前空间，并基于预定巡检路线将与当前空间连接、且位于当前空间之后的其它巡检空间确定为到达空间；

47、获取对应当前空间与到达空间之间的过渡地面图像，并对过渡地面图像进行识别，得到已施工地面区域以及剩余地面区域；

48、调取对应已施工地面区域的施工建材类型，并基于施工建材类型确定已施工地面区域的通行属性；

49、当确定施工建材类型为水泥建材，将通行属性确定为不可通行，并将对应的已施工地面区域确定为干涉避让区域；

50、当确定施工建材类型为板砖建材，将通行属性确定为可通行，并将对应的已施工地面区域确定为安全行走区域；

51、基于剩余地面区域与安全行走区域规划由当前空间至到达空间的跨区移动路径，并控制巡检机器人沿跨空间移动路径移动至到达空间。

52、根据本发明的又一个方面，提供一种面向多终端协同的语音交互平台，包括：

53、图像采集模块，被配置为响应巡检机器人沿对应施工现场的预定巡检路线移动至任一巡检空间，控制巡检机器人基于对应巡检空间的目标空间任务进行图像采集，得到对应巡检空间的空间图像；

54、模式确定模块，被配置为基于空间图像确定巡检空间是否存在施工人员，并基于确定结果确定巡检机器人对应巡检空间的巡检模式；

55、调度执行模块，被配置为当确定巡检模式为调度模式，控制巡检机器人输出建材调度确定信号，并将基于建材调度确定信号获取的调度语音信息发送至对应巡检空间的空间管理端；

56、核查执行模块，被配置为当确定巡检模式为核查模式，控制巡检机器人基于目标空间任务对巡检空间进行核查，并基于核查结果生成向对应巡检空间的空间管理端进行发送的核查语音信息。

57、根据本发明的方案，本发明提供的一种面向多终端协同的语音交互方法及平台至少具有以下有益效果：

58、首先，本发明通过控制巡检机器人对巡检空间进行图像采集，并基于空间图像智能判断是否存在施工人员，从而自适应地将巡检模式确定为调度模式或核查模式。这使得巡检作业能够动态贴合现场真实的作业状态，在有人的场景下促成快速协同，在无人场景下执行独立核查，大幅减少了无意义的人机交互流程，提高了整体的执行效率；

59、其次，本发明通过获取巡检空间的空间中心点，结合预定巡检路线与目标空间任务，精确计算巡检机器人的巡检朝向、施工朝向以及各调整朝向。这种按空间结构面匹配正对视角的采集方式，有效减少了倾斜拍摄带来的图像畸变与信息遗漏；配合光线单元的指示光线与语音单元的提示播报，提升了采集过程的规范性和后续图像识别的准确度；

60、接着，本发明在判定现场人员时，不仅提取人脸区域进行时序比对，还将采集到的图像与绑定的专属施工人员图像进行第一相似度对比；同时，在整个巡检空间内进行基准区域与对比区域的第二相似度交叉校验。这种机制有效过滤了无关人员误入、跨作业面流动或串岗造成的误判，确保仅向真实的在岗匹配人员开放调度权限，提升了模式切换的严谨性；

61、然后，在调度模式下，本发明通过识别建材区域与施工范围区域，精确计算面积差值以评估调度空间，进一步地，通过将空余中心点与建材中心点重合，校验空余子区域是否能完整包围建材区域，排除了仅面积达标但形状不匹配的无效调度场景；再结合现场施工人员的语音反馈内容生成最终的调度语音信息，既发挥了自动空间测算的效率优势，又兼顾了现场调度的实际可行性，减少了现场拥堵与二次搬运；

62、再然后，在核查模式下，本发明按施工核查类调用对应识别算法，将实际核查结果与预设标准结果进行量化差值计算，并与预设核查阈值进行比对。该机制不仅减少了人工验收的主观判断偏差，还能自动生成包含偏差核查项和核查标准差值的异常核查结果；通过将核查结果转化为核查语音信息发送至空间管理端，使得管理人员无需翻阅图文报表即可快速定位问题点位与整改方向；

63、最后，本发明在巡检机器人跨巡检空间移动时，能够自动获取过渡地面图像，并根据提取出的已施工地面区域的施工建材类型（如水泥建材或板砖建材）来动态判定通行属性。通过将不可通行的未固化区域划定为干涉避让区域，将可承载区域划定为安全行走区域以规划跨区移动路径，有效防止了机器人盲目移动对新浇筑地面等施工成品造成破坏，降低了巡检作业对现场正常工序的干扰。