一种用于智能终端语音交互的检测方法及系统

技术特征：
1.一种用于智能终端语音交互的检测方法，其特征在于，包括如下步骤：s101.测试人员通过测试系统平台制定测试任务；s102.智能机器人按照测试任务自主导航到达选定位置后，通过自身运动组件调节相对应操作和观察高度；s103.通过智能机器人的音响播放语音指令控制智能化设备，判断智能操控效果，摄像机录制对应的视频或照片用以对比操控效果；s104.将获取到的视频或照片输入到对应的文字识别算法或目标检测算法；s105.将识别到的文字目标和语音指令进行匹配得出测试结果，生成测试报告。2.根据权利要求1所述的一种用于智能终端语音交互的检测方法，其特征在于，s101包括：测试人员在系统平台选择家电种类、智能机器人到达位置、音响播放高度、测试次数和待测试语音指令，且系统平台通过数据库筛选智能化设备空调不具备的指令，数据库通过sol协议进行指令检索，且同时通过测试人员进行手工判断整体测试精度；s102包括：智能机器人模拟人类进行语音播放，其中智能机器人包括上位机、下位机；上位机包括工控机、信息采集机构、激光雷达、音响麦克风、可移动挂壁；其中可移动挂壁用于放置音响麦克风，音响麦克风用于播放语音指令，用于进行智能化设备语音功能测试；下位机包括单片机、imu、超声波传感器、电机驱动及编码器电机；s103包括：生成操控效果文本，且操控效果文本通过单片机中集成的云端算法转换为可播放语音格式，操控效果文本具体包括特征提取、模式匹配和参考模式库三个单元，且特征提取通过对语音进行预处理来提取语音特征，通过对声波的声纹的首尾静音切除，并通过对声音分帧后，提取mfcc特征，声音变为观察矩阵，并采用声母和韵母作为音素集，组成读出的单词；系统平台通过和大华网络摄像头及智能机器人进行交互，完成每段语音指令对应的视频录制及保存；s104包括：将用于文字识别的各段语音指令对应的视频或图片传入到文字检测算法中得到图中的文字区域坐标，再将文字区域的坐标信息传入到文字识别算法，文字识别算法包括检测提取得到坐标信息后，通过投影直方图分割出单行的文本的图片，对单行的文本进行分割字符，并通过卷积神经网络对分割字符进行校正处理，得到校正后的文本；将用于目标检测的视频或照片传入到目标检测算法中，若检测出目标则会在图中标记为规则矩形，并保存文字类别信息；所述s105包括：将语音指令通过自然语言处理提取出关键词，并将文字识别得到的文字目标以及目标检测得到的文字类别信息分别与语音指令关键词进行匹配，若匹配成功则标记为成功，否则为失败；所有测试任务完成后，生成测试任务报告。3.根据权利要求1所述的一种用于智能终端语音交互的检测方法，其特征在于，s101包括：测试人员在系统平台内输入待测试语音指令，智能机器人即将到达的位置、音响播放的高度、播放的方言类别、测试次数；其中，输入的语音指令将通过算法转换为机器人可播放的音频；s102包括：智能机器人能够实现自主导航到达测试人员指定位置和高度，进行指令播
放；s103包括：通过影像采集装置对智能化设备面板录制或拍摄，完成智能化设备面板对语音指令做出反馈的视觉采集工作；s104包括：通过将影像采集装置采集的视频流或照片输入到目标检测器yolov5中得到相应目标的坐标和类别，跳帧检测视频，当检测到目标，对应目标会由规则框标记出，且将目标种类存放到label[]中，照片同上；s105包括：将检测到的文字目标和语音指令进行关键词匹配，若匹配成功则说明智能化设备完成该条语音指令的反馈，若匹配失败则说明智能化设备未完成该语音指令；匹配失败后，贴标机构(3)会对未完成该语音指令智能化设备表面贴上不合格的标签；所有测试任务完成后，生成测试任务报告。4.一种用于智能终端语音交互检测方法的检测系统，包括承载板(1)，其特征在于，所述承载板(1)的下表面设置有用于避障减震的避障机构(2)，所述避障机构(2)的两端均安装有行走机构(3)，所述承载板(1)的上表面设置有调整机构(4)，所述调整机构(4)内安装有用于防坠保护的防坠机构(5)，所述防坠机构(5)连接有限位机构(6)，所述调整机构(4)的顶部安装有升降机构(7)，所述升降机构(7)的顶部安装有信息采集机构(8)，所述信息采集机构(8)的一侧设置有播报机构(9)。5.根据权利要求4所述的一种用于智能终端语音交互检测方法的检测系统，其特征在于，所述避障机构(2)包括与承载板(1)固定的连接底座(201)，所述连接底座(201)的前后两端对称设置有2组安装杆(202)，每组安装杆(202)设置有2个，所述安装杆(202)与连接底座(201)连接的另一端安装有连接块(203)，所述安装杆(202)的横截面呈“h”形结构，所述安装杆(202)的内侧与第一连杆(204)的一端铰接，第一连杆(204)的另一端设置有第二连杆(205)，所述第一连杆(204)与第二连杆(205)之间由强力弹簧(206)相连接，第二连杆(205)与连接底座(201)连接；所述行走机构(3)包括与连接块(203)固定的驱动马达(301)，所述驱动马达(301)的输出端连接有输出轴(302)，所述输出轴(302)末端设置有行走轮(303)，调整机构(4)包括与承载板(1)固定的安装箱(401)，所述安装箱(401)的上方一侧安装有伺服电机(402)，所述伺服电机(402)的输出端连接有伸入安装箱(401)内部的传动杆(403)，所述传动杆(403)的左右两端均设置有固定块(404)，所述固定块(404)关于止动块(405)的中轴线左右对称设置，所述固定块(404)与止动块(405)的外表面均呈啮齿状结构。6.根据权利要求5所述的一种用于智能终端语音交互检测方法的检测系统，其特征在于，所述安装箱(401)内部设有支撑台，所述防坠机构(5)包括与支撑台滑动连接的活动杆(501)，所述活动杆(501)的内部开设有两个凹槽，两个凹槽中分别设置有第一活动块(502)和第二活动块(504)，所述活动杆(501)与第一活动块(502)之间、活动杆(501)与第二活动块(504)之间均由第一弹簧(503)相连接且第一活动块(502)与第二活动块(504)相对设置，所述活动杆(501)的顶部一侧固定有挤压块(505)，所述第一活动块(502)与第二活动块(504)均在活动杆(501)的内部构成滑动结构，所述第一活动块(502)和第二活动块(504)均与止动块(405)啮合连接，所述限位机构(6)包括与止动块(405)卡合连接的竖杆(601)，所述竖杆(601)的内部贯穿有固定杆(602)，竖杆(601)能够绕着固定杆(602)做旋转运动，所述固定杆(602)与竖杆(601)连接的另一端设置有支撑板(603)，支撑板(603)上还安装有弹簧连接板，弹簧连接板上固定有第二弹簧(604)，所述竖杆(601)的上部一侧设有与止动块
(405)卡接的卡块，另一侧与第二弹簧(604)接触；竖杆(601)的下部被所述挤压块(505)限制转动角度。7.根据权利要求6所述的一种用于智能终端语音交互检测方法的检测系统，其特征在于，所述升降机构(7)包括与固定块(404)啮合连接的控制杆(701)，所述控制杆(701)的顶端固定有安装座(702)，所述安装座(702)的一端安装有伺服马达(703)，所述伺服马达(703)的输出端连接有外表面呈螺纹状的连接杆(704)，所述连接杆(704)贯穿于安装套(705)的内部，所述控制杆(701)通过固定块(404)构成升降结构，所述信息采集机构(8)包括与安装套(705)转动连接的齿轮(801)，所述齿轮(801)的前方设置有齿条(802)，所述齿轮(801)顶部安装有采集摄像头(803)，所述齿轮(801)通过连接杆(704)在齿条(802)的一侧构成滑动结构，所述播报机构(9)包括与安装座(702)固定连接的挂壁本体(901)，所述挂壁本体(901)的一侧设置有音响(902)。8.一种用于智能终端语音交互检测方法的检测系统，包括行走机构(11)，其特征在于，所述行走机构(11)的顶部设置有用于调整高度的升降机构(21)，所述升降机构(21)的顶部设置有用于标记的贴标机构(31)，所述贴标机构(31)的顶部设置有用于记录视频片段的影像采集装置(41)，所述贴标机构(31)的两侧设置有用于播放语音指令的音频装置(51)。9.根据权利要求8所述的一种用于智能终端语音交互检测方法的检测系统，其特征在于，所述行走机构(11)包括固定板(111)，所述固定板(111)的底端的四个角均固定连接有万向轮(113)，所述固定板(111)的四周嵌设固定有激光雷达(112)，所述升降机构(21)包括与固定板(111)固定连接的升降框(211)，所述升降框(211)的顶端开设有升降槽，所述升降槽滑动连接有升降柱(212)，所述升降柱(212)的顶部固定连接有控制盒(61)，所述控制盒(61)的正面开设有放置口，所述升降柱(212)的一侧固定设有齿条(213)，所述升降框(211)内设有位于齿条(213)一侧的转动连接有齿轮轴(214)，所述升降框(211)内固定设有位于齿轮轴(214)底部的第一步进电机(215)，所述第一步进电机(215)通过齿轮与齿轮轴(214)啮合；所述贴标机构(31)包括与放置口滑动连接的贴标盒(311)，所述贴标盒(311)的内部转动连接有两个缠绕盘(312)，所述贴标盒(311)内转动连接有位于缠绕盘(312)一侧的导向轴(313)，所述贴标盒(311)内转动连接有位于导向轴(313)一侧的贴标柱(314)，所述贴标柱(314)的顶部和底部开均设有放置槽，所述放置槽内转动连接有转动辊(315)，所述控制盒(61)内固定设有滑板(611)，所述滑板(611)的顶端开设有滑槽，所述滑板(611)上固定安装位于滑槽一侧的第一电动伸缩杆(612)，所述滑槽的内部滑动连接有电机板(613)，所述电机板(613)的一侧与第一电动伸缩杆(612)的伸缩端固定连接，所述电机板(613)的顶端设有第三步进电机(614)，所述电机板(613)上设有位于第三步进电机(614)一侧的第二步进电机(615)，所述第三步进电机(614)与第二步进电机(615)的转轴顶端均固定设有锥齿轮。10.根据权利要求9所述的一种用于智能终端语音交互检测方法的检测系统，其特征在于，所述影像采集装置(41)包括与控制盒(61)固定连接的第四步进电机(411)，所述第四步进电机(411)的转轴顶端固定连接有连接板(412)，所述连接板(412)的顶端固定连接有连接座(413)，所述连接座(413)的顶部固定连接有摄像头(414)，所述连接板(412)上固定设有位于连接座(413)一侧的第二电动伸缩杆(415)，所述第二电动伸缩杆(415)与摄像头
(414)转动连接，所述音频装置(51)包括与控制盒(61)转动连接的第三电动伸缩杆(511)，所述第三电动伸缩杆(511)的伸缩端转动连接有挂壁(512)，所述挂壁(512)上固定连接有音箱(513)，所述第三电动伸缩杆(511)与挂壁(512)的连接处转动连接有第五步进电机(514)，所述第五步进电机(514)用以驱动所述挂壁(512)转动，所述第三电动伸缩杆(511)的侧面转动连接有第六步进电机，所述第六步进电机用以驱动所述第三电动伸缩杆(511)转动。

技术总结
本发明公开一种用于智能终端语音交互的检测方法及系统，结合了目标检测算法和自主导航机器人，可以对通用的智能化设备的智能功能进行测试，在可容忍的误判率下，达到了代替大量人力、人机协同完成智能化设备测试。本发明利用人机协同的理念，最小化人工操作，最大化智能操作，由机器人和算法平台代替人工完成枯燥单一的任务，并具备标准化、可复检的效果。可复检的效果。可复检的效果。


技术研发人员：曲宗峰 焦利敏 胡清华 李红伟 朱鹏飞 金轮 曹海芳
受保护的技术使用者：天津大学
技术研发日：2022.08.11
技术公布日：2022/12/16