一种可实时语音交互的数字化多功能智慧展厅云控制平台的制作方法

1.本发明属于建筑展厅云控制技术领域，涉及到一种可实时语音交互的数字化多功能智慧展厅云控制平台。


背景技术：

2.随着进入科技技术的不断发展与创新，人工智能已经成为了当代社会的一个标签，很多企业为了展示其企业文化，都会建立属于自己企业特色的数字化多功能智慧展厅，方便参观人员对其企业文化的了解；
3.现有的可实时语音交互的数字化多功能智慧展厅云控制平台能够实现人机互动，但在多人与展厅平台同时互动方面，很多展厅平台在对参观者指令筛选方面精准度并没有达到预期效果，因此现有的可实时语音交互的数字化多功能智慧展厅云控制平台还存在了一定的弊端，一方面无法对参观人员发出的指令进行精准的筛选，另一方面没有对参观人员外部环境进行综合分析，进而无法有效的提高语音交互的效率。


技术实现要素：

4.鉴于此，为解决上述背景技术中所提出的问题，现提出一种可实时语音交互的数字化多功能智慧展厅云控制平台，实现了对多人交互指令的精准判断和筛选。
5.本发明的目的可以通过以下技术方案实现：
6.本发明提供了一种可实时语音交互的数字化多功能智慧展厅云控制平台，该平台包括信息录入模块、展台数量统计模块、展台空间检测模块、区域人数统计模块、指令采集模块、指令识别模块、声音清晰度检测模块、数据处理与分析模块、确认终端、执行终端和数据库；
7.数据处理与分析模块分别与展台空间检测模块、区域人数统计模块、指令采集模块、指令识别模块、声音清晰度检测模块、确认终端、执行终端和数据库相连接，指令采集模块与指令识别模块连接，展台数量统计模块分别与信息录入模块和展台空间检测模块连接；
8.所述信息录入模块用于将参观该多功能智慧展厅的参观人员进行基本信息导入，其中该多功能智慧展厅参观人员的基本信息包括参观人员姓名、参观人员音色特征和参观人员人脸图像；
9.所述展台数量统计模块用于对该多功能展厅内对应的展台数量进行统计，进而获取该多功能展厅内对应的展台数量，进而将统计的该多功能展厅内对应的展台按照预设顺序进行编号，依次标记为1,2，...i，...n；
10.所述展台空间检测模块包括对各个展台所在区域对应的空间大小进行统计，进而通过三维激光扫描仪对各展台所在区域进行扫描，进而获取该多功能展厅各展台所在区域对应的空间体积，进而根据各展台所在区域对应的空间体积，进而构建各展台空间体积集合l(l1，l2，...li,...ln)，li表示第i个展台所在区域对应的空间体积，将构建的各展台空
间体积集合发送至数据处理与分析模块；
11.所述区域人数统计模块包括若干摄像头，其分别安装在各展台所在区域内，其分别用于对各展台所在区域的参观人员进行数量统计，进而通过各展台所在区域的摄像头对各展台所在区域的参观人员进行图像采集，进而获取各展台所在区域对应的参观人员图像，根据采集的各展台所在区域对应的各参观人员图像，进而对各展台所在区域对应的各参观人员图像进行特征提取，将提取的各参观人员图像特征进行对比筛选，进而统计各展台所在区域对应的参观人员数量，将统计的各展台所在区域的参观人员按照预设顺序进行编号，依次标记为1,2，...j...m，进而将统计的各展台所在区域对应的参观人员数量发送至数据处理与分析模块；
12.所述指令采集模块包括若干指令采集单元，其分别安装在各展台所在区域内，其用于对各展台所在区域对应的各参观人员进行指令信号采集，当某时刻某展台所在区域某位参观人员发出指令时，对该区域参观人员对应的指令信息进行采集，进而获取该采集时间点各展台所在区域各参观人员对应的指令信息，根据该采集时间点各展台所在区域各参观人员对应的指令信息，进而将该采集的时间各展台所在区域各参观人员对应的指令信息进行音色特征提取，进而获取该采集时间点各展台所在区域各参观人员对应的音色特征，同时通过深度学习对该采集时间点各展台所在区域各参观人员对应的指令信息进行声源位置获取，进而获取该采集时间点各展台所在区域各声源对应的位置，将该采集时间点各展台所在区域各参观人员对应的指令信息发送至指令识别模块，将该采集时间点各展台所在区域各参观人员对应的音色特征和该采集时间点各展台所在区域各声源对应的位置发送至数据处理与分析模块；
13.所述指令识别模块用于接收指令采集模块发送的该采集时间点各展台所在区域各参观人员对应的指令信息，进而对该采集时间点各展台所在区域各参观人员对应的指令信息进行识别，根据该采集时间点各展台所在区域各参观人员对应的指令信息，进而将该采集时间点各展台所在区域各参观人员对应的指令信息进行降噪和滤波处理，进而获取降噪和滤波后的各展台所在区域各参观人员对应的指令信息，进而通过语音识别技术，将各展台所在区域各参观人员对应的指令信息转化为平台可识别的指令信号，进而获取各展台所在区域各参观人员对应的指令内容，同时通过频谱分析法对各展台所在区域各参观人员对应的指令信息进行频谱分析，进而获取各展台所在区域各参观人员指令对应的分贝，将指令分贝记为b，进而将各展台所在区域各参观人员指令对应的分贝将发送至数据处理与分析模块；
14.所述声音清晰度检测模块通过声音清晰度检测仪各展台所在区域各参观人员发出的指令进行清晰度检测，当指令采集单元开始采集指令信息时，启动声音清晰度检测仪对各展台所在区域各参观人员发出的指令进行清晰度检测，进而获取该时间点各展台所在区域各参观人员发出的指令对应的清晰度，进而构建各展台所在区域参观人员指令清晰度集合d
r
(d
r
1,d
r
2,...d
r
i,...d
r
n)，d
r
i表示第i个展台所在区域第r个参观人员对应的指令清晰度，r表示参观人员编号，r＝1,2，...j...m,进而将各展台所在区域参观人员指令清晰度集合发送至数据处理与分析模块；
15.所述数据处理与分析模块用于接收指令采集模块发送的该采集时间点各展台所在区域各参观人员对应的音色特征和该采集时间点各展台所在区域各声源对应的位置，进
而根据参观该多功能智慧展厅各参观人员对应的基本信息，获取该多功能智慧展厅的各参观人员对应的音色特征，将各展台所在区域各参观人员对应的音色特征与参加该多功能智慧展厅各参观人员对应的音色特征进行对比筛选，进而从数据库调取各展台所在区域各音色特征对应的指令筛选影响系数，并记为将进而根据该采集时间点各展台所在区域各声源对应的位置和各声源对应的音色特征进而获取各展台所在区域各参观人员对应的位置，进而从数据中调取各展台所在区域各参观人员位置对应的指令筛选影响系数，并记为α；
16.所述数据处理与分析模块用于接收展台空间检测模块发送的各展台空间体积集合和区域人数统计模块发送的各展台所在区域对应的参观人员数量，根据各展台空间体积集合进而获取各展台所在区域对应的空间体积大小，进而从数据库提取各展台所在区域空间体积对应的标准参观人员数量，将各展台所在区域对应的参观人员数量与各展台所在区域空间体积对应的标准参观人员数量进行对比，进而统计各展台所在区域参观人员密集度影响系数；
17.所述数据处理与分析模块用于接收指令识别模块发送的各展台所在区各展台所在区域各参观人员指令对应的分贝，将各展台所在区域各参观人员指令对应的分贝与各展台所在区域对应的标准指令分贝进行对比，进而获取各展台所在区域各参观人员指令对应的分贝与各展台所在区各展台所在区域对应的标准指令分贝的差值，根据该差值进而统计各展台所在区域对应的分贝影响系数；
18.所述数据处理与分析模块用于接收声音清晰度检测模块发送的各展台所在区域参观人员指令清晰度集合，根据该集合，进而获取各展台所在区域各参观人员指令对对应的清晰度，将各展台所在区域各参观人员指令对应的清晰度与各展台所在区域各参观人员指令对应的标准清晰度进行对比，进而统计各展台所在区域对应的清晰度影响系数；
19.数据处理与分析模块根据统计的各展台所在区域各音色特征对应的指令筛选影响系数、各展台所在区域各参观人员位置对应的指令筛选影响系数、各展台所在区域对应的参观人员密集度影响系数、各展台所在区域对应的分贝影响系数和各展台所在区域对应的清晰度影响系数，进而统计各展台所在区域对应的指令筛选精准度影响系数，进而根据各展台所在区域各参观人员对应的指令内容，将而将各展台所在区域各参观人员对应的指令内容进行对比筛选，若指令内容一致，进而将各展台所在区域各参观人员对应的指令内容发送至执行终端，若指令内容不一致，进而根据各展台所在区域指令对应的筛选精准度影响系数，将各展台所在区域各指令对应的筛选精准度影响系数按照从大到小的顺序进行排序，进而获取排名第一位的指令，将该指令记为执行指令，进而将各展台所在区域对应的执行指令发送至确认终端；
20.所述确认终端用于接收数据处理与分析模块发送的各展台所在区域对应的执行指令，进而调取各展台对应的确认提示单元对各展台对应的执行指令进行提示和确认，进而将已确认的各展台对应的执行指令进而发送至执行终端；
21.所述执行终端用于接收数据处理与分析模块发送的各展台所在区域各参观人员对应的指令内容和确认终端发送的已确认的各展台对应的执行指令，当执行终端接收到各展台所在区域各参观人员对应的指令内容或已确认的各展台对应的执行指令时，进而调取各展台对应的执行终端执行其对应的指令；
22.所述数据库用于存储各展台所在区域各音色特征对应的指令筛选影响系数、各展
台所在区域各参观人员位置对应的指令筛选影响系数、各展台所在区域空间体积对应的标准参观人员数量、各展台所在区各展台所在区域对应的标准指令分贝、各展台所在区域各参观人员指令对应的标准清晰度。
23.进一步地，所述指令采集单元为麦克风。
24.进一步地，所述各展台所在区域参观人员密集度影响系数计算公式为m
d
表示第d个展台所在区域对应的参观人员密集度影响系数，m
d
表示第d个展台所在区域对应的参观人员数量，m
d标准
表示第d个展台所在区域空间体积对应的标准参观人员数量，d表示展台编号，d＝1,2，...i，...n。
25.进一步地，所述各展台所在区域对应的分贝影响系数计算公式为b
d
表示第d个展台所在区域对应的分贝影响系数，b
d
r表示第d个展台所在区域第r个参观人员指令对应的分贝，b
d标准
表示第d个展台所在区域各展台所在区域对应的标准指令分贝，m表示参观人员数量。
26.进一步地，所述各展台所在区域对应的清晰度影响系数计算公式为λ
d
表示第d个展台所在区域对应的清晰度影响系数，d
dr
表示第d个展台所在区域第r个参观人员指令对应的清晰度，d
d标准r
表示第d个展台所在区域第r个参观人员指令对应的标准清晰度。
27.进一步地，所述各展台所在区域对应的指令筛选精准度影响系数计算公式为q
d
表示第d个展台所在区域对应的指令筛选精准度影响系数，表示第d个展台所在区域第r个参观人员音色特征对应的指令筛选影响系数，α
d
r表示第d个展台所在区域第r个参观人员位置对应的指令筛选影响系数。
28.本发明的有益效果：
29.(1)本发明提供的一种可实时语音交互的数字化多功能智慧展厅云控制平台，通过区域人数统计模块、指令采集模块、指令识别模块、声音清晰度检测模块并结合数据处理与分析模块，进而对该智慧展厅展台所在区域的空间大小、参观人员数量、各参观人员音色特征、各参观人员所在位置、各参观人员指令分贝大小以及各参观人员指令对应的声音清晰度这六个方面对该多功能智慧展厅语音交互方面进行了精准的统计和分析，进而解决了无法对参人员者发出的指令进行精准的筛选的问题，实现了对参观人员外部环境的综合分析，有效的提高该多功能智慧展厅语音交互的效率。
30.(2)本发明在展台空间检测模块，通过三维激光扫描仪对各展台所在区域进行扫描，进而获取该多功能展厅各展台所在区域对应的空间体积，通过使用三维激光扫描仪进而有效的提高了对各展台所在区域对应的空间体积的检测效率，同时有效的提高了检测结果的准确度。
31.(3)本发明在指令采集模块通过对各展台所在区域各参观人员进行语音信息采集，同时通过深度学习对该采集时间点各展台所在区域各人员对应的语音信息进行声源位置获取，进而有效的分析了各展台所在与各参观人员对应的位置。
附图说明
32.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1为本发明中系统模块连接示意图。
具体实施方式
34.下面将结合本发明实施以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
35.请参阅图1所示，本发明提供了一种可实时语音交互的数字化多功能智慧展厅云控制平台，该平台包括信息录入模块、展台数量统计模块、展台空间检测模块、区域人数统计模块、指令采集模块、指令识别模块、声音清晰度检测模块、数据处理与分析模块、确认终端、执行终端和数据库；
36.数据处理与分析模块分别与展台空间检测模块、区域人数统计模块、指令采集模块、指令识别模块、声音清晰度检测模块、确认终端、执行终端和数据库相连接，指令采集模块与指令识别模块连接，展台数量统计模块分别与信息录入模块和展台空间检测模块连接；
37.所述信息录入模块用于将参观该多功能智慧展厅的参观人员进行基本信息导入，其中该多功能智慧展厅参观人员的基本信息包括参观人员姓名、参观人员音色特征和参观人员人脸图像；
38.所述展台数量统计模块用于对该多功能展厅内对应的展台数量进行统计，进而获取该多功能展厅内对应的展台数量，进而将统计的该多功能展厅内对应的展台按照预设顺序进行编号，依次标记为1,2，...i，...n；
39.所述展台空间检测模块包括对各个展台所在区域对应的空间大小进行统计，进而通过三维激光扫描仪对各展台所在区域进行扫描，进而获取该多功能展厅各展台所在区域对应的空间体积，进而根据各展台所在区域对应的空间体积，进而构建各展台空间体积集合l(l1，l2，...li,...ln)，li表示第i个展台所在区域对应的空间体积，将构建的各展台空间体积集合发送至数据处理与分析模块；
40.本发明实施例在展台空间检测模块，通过三维激光扫描仪对各展台所在区域进行扫描，进而获取该多功能展厅各展台所在区域对应的空间体积，通过使用三维激光扫描仪进而有效的提高了对各展台所在区域对应的空间体积的检测效率，同时有效的提高了检测结果的准确度。
41.所述区域人数统计模块包括若干摄像头，其分别安装在各展台所在区域内，其分别用于对各展台所在区域的参观人员进行数量统计，进而通过各展台所在区域的摄像头对各展台所在区域的参观人员进行图像采集，进而获取各展台所在区域对应的参观人员图像，根据采集的各展台所在区域对应的各参观人员图像，进而对各展台所在区域对应的各参观人员图像进行特征提取，将提取的各参观人员图像特征进行对比筛选，进而统计各展台所在区域对应的参观人员数量，将统计的各展台所在区域的参观人员按照预设顺序进行编号，依次标记为1,2，...j...m，进而将统计的各展台所在区域对应的参观人员数量发送至数据处理与分析模块；
42.所述指令采集模块包括若干指令采集单元，所述指令采集单元为麦克风，其分别安装在各展台所在区域内，其用于对各展台所在区域对应的各参观人员进行指令信号采集，当某时刻某展台所在区域某位参观人员发出指令时，对该区域参观人员对应的指令信息进行采集，进而获取该采集时间点各展台所在区域各参观人员对应的指令信息，根据该采集时间点各展台所在区域各参观人员对应的指令信息，进而将该采集的时间各展台所在区域各参观人员对应的指令信息进行音色特征提取，进而获取该采集时间点各展台所在区域各参观人员对应的音色特征，同时通过深度学习对该采集时间点各展台所在区域各参观人员对应的指令信息进行声源位置获取，进而获取该采集时间点各展台所在区域各声源对应的位置，将该采集时间点各展台所在区域各参观人员对应的指令信息发送至指令识别模块，将该采集时间点各展台所在区域各参观人员对应的音色特征和该采集时间点各展台所在区域各声源对应的位置发送至数据处理与分析模块；
43.本发明实施例指令采集模块通过对各展台所在区域各参观人员进行语音信息采集，同时通过深度学习对该采集时间点各展台所在区域各人员对应的语音信息进行声源位置获取，进而有效的分析了各展台所在与各参观人员对应的位置。
44.所述指令识别模块用于接收指令采集模块发送的该采集时间点各展台所在区域各参观人员对应的指令信息，进而对该采集时间点各展台所在区域各参观人员对应的指令信息进行识别，根据该采集时间点各展台所在区域各参观人员对应的指令信息，进而将该采集时间点各展台所在区域各参观人员对应的指令信息进行降噪和滤波处理，进而获取降噪和滤波后的各展台所在区域各参观人员对应的指令信息，进而通过语音识别技术，将各展台所在区域各参观人员对应的指令信息转化为平台可识别的指令信号，进而获取各展台所在区域各参观人员对应的指令内容，同时通过频谱分析法对各展台所在区域各参观人员对应的指令信息进行频谱分析，进而获取各展台所在区域各参观人员指令对应的分贝，将指令分贝记为b，进而将各展台所在区域各参观人员指令对应的分贝将发送至数据处理与分析模块；
45.本发明实施例在指令识别模块通过语音书别技术和频谱分析法有效的提高了对指令内容的识别效率和对指令分贝大小的的检测。
46.所述声音清晰度检测模块通过声音清晰度检测仪各展台所在区域各参观人员发出的指令进行清晰度检测，当指令采集单元开始采集指令信息时，启动声音清晰度检测仪对各展台所在区域各参观人员发出的指令进行清晰度检测，进而获取该时间点各展台所在区域各参观人员发出的指令对应的清晰度，进而构建各展台所在区域参观人员指令清晰度集合d
r
(d
r
1,d
r
2,...d
r
i,...d
r
n)，d
r
i表示第i个展台所在区域第r个参观人员对应的指令清
晰度，r表示参观人员编号，r＝1,2，...j...m,进而将各展台所在区域参观人员指令清晰度集合发送至数据处理与分析模块；
47.所述数据处理与分析模块用于接收指令采集模块发送的该采集时间点各展台所在区域各参观人员对应的音色特征和该采集时间点各展台所在区域各声源对应的位置，进而根据参观该多功能智慧展厅各参观人员对应的基本信息，获取该多功能智慧展厅的各参观人员对应的音色特征，将各展台所在区域各参观人员对应的音色特征与参加该多功能智慧展厅各参观人员对应的音色特征进行对比筛选，进而从数据库调取各展台所在区域各音色特征对应的指令筛选影响系数，并记为将进而根据该采集时间点各展台所在区域各声源对应的位置和各声源对应的音色特征进而获取各展台所在区域各参观人员对应的位置，进而从数据中调取各展台所在区域各参观人员位置对应的指令筛选影响系数，并记为α；
48.所述数据处理与分析模块用于接收展台空间检测模块发送的各展台空间体积集合和区域人数统计模块发送的各展台所在区域对应的参观人员数量，根据各展台空间体积集合进而获取各展台所在区域对应的空间体积大小，进而从数据库提取各展台所在区域空间体积对应的标准参观人员数量，将各展台所在区域对应的参观人员数量与各展台所在区域空间体积对应的标准参观人员数量进行对比，进而统计各展台所在区域参观人员密集度影响系数，其中，各展台所在区域参观人员密集度影响系数计算公式为m
d
表示第d个展台所在区域对应的参观人员密集度影响系数，m
d
表示第d个展台所在区域对应的参观人员数量，m
d标准
表示第d个展台所在区域空间体积对应的标准参观人员数量，d表示展台编号，d＝1,2，...i，...n；
49.所述数据处理与分析模块用于接收指令识别模块发送的各展台所在区各展台所在区域各参观人员指令对应的分贝，将各展台所在区域各参观人员指令对应的分贝与各展台所在区域对应的标准指令分贝进行对比，进而获取各展台所在区域各参观人员指令对应的分贝与各展台所在区各展台所在区域对应的标准指令分贝的差值，根据该差值进而统计各展台所在区域对应的分贝影响系数，其中，各展台所在区域对应的分贝影响系数计算公式为b
d
表示第d个展台所在区域对应的分贝影响系数，b
d
r表示第d个展台所在区域第r个参观人员指令对应的分贝，b
d标准
表示第d个展台所在区域各展台所在区域对应的标准指令分贝，m表示参观人员数量；
50.所述数据处理与分析模块用于接收声音清晰度检测模块发送的各展台所在区域参观人员指令清晰度集合，根据该集合，进而获取各展台所在区域各参观人员指令对对应的清晰度，将各展台所在区域各参观人员指令对应的清晰度与各展台所在区域各参观人员指令对应的标准清晰度进行对比，进而统计各展台所在区域对应的清晰度影响系数，其中，各展台所在区域对应的清晰度影响系数计算公式为λ
d
表示第d个展台所在区域对应的清晰度影响系数，d
dr
表示第d个展台所在区域第r个参观人员指令对应的清晰度，d
d标准r
表示第d个展台所在区域第r个参观人员指令对应的标准清晰度；
51.数据处理与分析模块根据统计的各展台所在区域各音色特征对应的指令筛选影响系数、各展台所在区域各参观人员位置对应的指令筛选影响系数、各展台所在区域对应的参观人员密集度影响系数、各展台所在区域对应的分贝影响系数和各展台所在区域对应的清晰度影响系数，进而统计各展台所在区域对应的指令筛选精准度影响系数，其中，各展台所在区域对应的指令筛选精准度影响系数计算公式为q
d
表示第d个展台所在区域对应的指令筛选精准度影响系数，表示第d个展台所在区域第r个参观人员音色特征对应的指令筛选影响系数，α
d
r表示第d个展台所在区域第r个参观人员位置对应的指令筛选影响系数，进而根据各展台所在区域各参观人员对应的指令内容，将而将各展台所在区域各参观人员对应的指令内容进行对比筛选，若指令内容一致，进而将各展台所在区域各参观人员对应的指令内容发送至执行终端，若指令内容不一致，进而根据各展台所在区域指令对应的筛选精准度影响系数，将各展台所在区域各指令对应的筛选精准度影响系数按照从大到小的顺序进行排序，进而获取排名第一位的指令，将该指令记为执行指令，进而将各展台所在区域对应的执行指令发送至确认终端；
52.本发明实施例通过对该智慧展厅展台所在区域的空间大小、参观人员数量、各参观人员音色特征、各参观人员所在位置、各参观人员指令分贝大小以及各参观人员指令对应的声音清晰度这六个方面对该多功能智慧展厅语音交互方面进行了精准的统计和分析，进而解决了无法对参人员者发出的指令进行精准的筛选的问题，实现了对参观人员外部环境的综合分析，有效的提高该多功能智慧展厅语音交互的效率。
53.所述确认终端用于接收数据处理与分析模块发送的各展台所在区域对应的执行指令，进而调取各展台对应的确认提示单元对各展台对应的执行指令进行提示和确认，进而将已确认的各展台对应的执行指令进而发送至执行终端；
54.所述执行终端用于接收数据处理与分析模块发送的各展台所在区域各参观人员对应的指令内容和确认终端发送的已确认的各展台对应的执行指令，当执行终端接收到各展台所在区域各参观人员对应的指令内容或已确认的各展台对应的执行指令时，进而调取各展台对应的执行终端执行其对应的指令；
55.所述数据库用于存储各展台所在区域各音色特征对应的指令筛选影响系数、各展台所在区域各参观人员位置对应的指令筛选影响系数、各展台所在区域空间体积对应的标准参观人员数量、各展台所在区各展台所在区域对应的标准指令分贝、各展台所在区域各参观人员指令对应的标准清晰度。
56.以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。