基于麦克风阵列和深度相机组件输入的扬声器波束控制的制作方法

技术特征：
1.一种设备，包括：多个扬声器；多个麦克风，其被配置为从所述多个麦克风周围的局部区域捕获音频数据；深度相机组件，其被配置为捕获所述局部区域的视频数据，并确定深度信息，所述深度信息标识从所述深度相机组件到所述局部区域内的位置的深度；控制器，其耦合到所述多个麦克风、所述深度相机组件和所述多个扬声器，所述控制器被配置成：确定所述多个麦克风在所述局部区域中捕获音频数据的位置相对于垂直于所述设备的中心的轴的距离；从所述深度相机组件捕获的视频数据中识别所述多个麦克风在所述局部区域中捕获音频数据的位置内的对象；从所述深度相机组件捕获的深度信息确定从所述深度相机组件到识别的对象的深度；和将所述扬声器中的每一个的音频输出引导到所述多个麦克风在所述局部区域中捕获音频数据的位置相对于垂直于所述设备的中心的轴的所述距离处且在距离所述深度相机组件的所述深度处的所识别的对象。2.根据权利要求1所述的设备，其中，将所述扬声器中的每一个的音频输出引导到所述多个麦克风在所述局部区域中捕获音频数据的位置相对于垂直于所述设备的中心的轴的所述距离处且在距离所述深度相机组件的所述深度处的所识别的对象包括：对于所述多个扬声器中的每一个，确定从法向于扬声器的中心的轴到所述多个麦克风在所述局部区域中捕获音频数据的位置的角度；为所述多个扬声器中的每一个确定加权函数，扬声器的所述加权函数基于为该扬声器确定的角度，并且在所确定的距离和所确定的深度处具有最大值；和对于所述多个扬声器中的每一个，将对应于所述扬声器的加权函数应用于所述扬声器的音频输出。3.根据权利要求2所述的设备，其中，将所述扬声器中的每一个的音频输出引导到所述多个麦克风在所述局部区域中捕获音频数据的位置相对于垂直于所述设备的中心的轴的所述距离处且在距离所述深度相机组件的所述深度处的所识别的对象还包括：基于由所述控制器确定的概率和从法向于位于所述多个扬声器的中心的扬声器的中心的轴到所述多个麦克风在所述局部区域中捕获音频数据的位置的角度的乘积来确定阴影函数；和对所述多个扬声器的音频输出应用所述阴影函数。4.根据任一前述权利要求所述的设备，以下中的任一项成立：a)其中，所述深度相机组件包括相隔特定距离且并排放置的一对相机；或者b)其中，所述深度相机组件包括相机和深度传感器；或者c)其中，所述深度相机组件包括相机，并且所述控制器被配置为根据所述相机捕获的视频数据来确定从所述深度相机组件到所识别的对象的深度；或者d)其中，所述多个麦克风包括一阶差分麦克风阵列；在这种情况下，可选地，其中，所述一阶差分麦克风阵列包括中心麦克风和与所述中心麦克风具有相等距离的其他麦克风；或
者e)其中，所述多个麦克风包括二阶差分麦克风阵列，在这种情况下，可选地，其中，所述二阶差分麦克风阵列包括以六边形图案排列的至少六个麦克风。5.根据任一前述权利要求所述的设备，其中，以下中的任一项成立：a)所述控制器还被配置成：从所述深度相机组件捕获的数据中确定所识别的对象在所述局部区域内的位置的改变；确定所识别的对象的相对于垂直于所述设备的中心的轴的更新的距离和改变后的位置；确定从所述深度相机组件到在所述改变后的位置中的所识别的对象的更新的深度；和根据所述更新的距离和所述更新的深度，将所述扬声器中的每一个的音频输出重定向到在所述局部区域内的所述改变后的位置处的所识别的对象；或者b)其中，所述控制器还被配置成：从所述深度相机组件捕获的数据中确定所识别的对象在所述局部区域内的位置的改变；确定所识别的对象的相对于垂直于所述设备的中心的轴的更新的距离和改变后的位置；将所述扬声器中的每一个的音频输出根据所述更新的距离重定向到在所述局部区域内的所述改变后的位置处且位于所述深度的所识别的对象。6.根据任一前述权利要求所述的设备，其中，所述控制器还被配置成：确定从所述深度相机组件到所识别的对象的更新的深度；和将所述扬声器中的每一个的音频输出重定向到所述多个麦克风在所述局部区域中捕获音频数据的位置相对于垂直于所述设备的中心的轴的所述距离处且位于所述更新的深度处的所识别的对象。7.根据任一前述权利要求所述的设备，还包括耦合到所述控制器的低音炮。8.一种计算机程序产品，包括其上编码有指令的非暂时性计算机可读存储介质，当由处理器执行时，所述指令使得所述处理器：从由设备中包括的一个或更多个传感器捕获的数据中识别所述设备的局部区域内的对象，所捕获的数据包括音频数据或视频数据；根据由所述传感器中的一个或更多个捕获的数据确定从所述设备到所识别的对象的距离；和将所述设备的多个扬声器中的每一个的音频输出引导到所确定的距离处的所识别的对象。9.根据权利要求8所述的非暂时性计算机可读存储介质，以下中的任一项成立：a)其中，根据由所述传感器中的一个或更多个捕获的数据确定从所述设备到所识别的对象的距离包括：从包括在所述设备中的相机捕获的视频数据中确定从所述设备到所识别的对象的深度；或者b)其中，根据由所述传感器中的一个或更多个捕获的数据确定从所述设备到所识
别的对象的距离包括：确定由所述设备中包括的一个或更多个麦克风捕获的音频数据到达所述设备的方向；或者c)其中，根据由所述传感器中的一个或更多个捕获的数据来确定从所述设备到所识别的对象的距离包括：根据由包括在所述设备中的深度相机组件捕获的视频数据，确定从所述设备到所识别的对象的深度。10.一种计算机程序产品，包括其上编码有指令的非暂时性计算机可读存储介质，当由处理器执行时，所述指令使得所述处理器：确定设备中包括的多个麦克风在局部区域中捕获音频数据的位置相对于垂直于所述设备的中心的轴的距离；从深度相机组件获得所述局部区域的视频数据，并从所述深度相机组件获得标识从所述深度相机组件到所述局部区域内的位置的深度的深度信息；从所述深度相机组件捕获的数据中识别所述多个麦克风在所述局部区域中捕获音频数据的所述位置内的对象；从所述深度相机组件捕获的数据确定从所述深度相机组件到所识别的对象的深度；和将所述设备的多个扬声器中的每一个的音频输出引导到所述多个麦克风在所述局部区域中捕获音频数据的位置相对于垂直于所述设备的中心的轴的所述距离处的所识别的对象以及到从所述深度相机组件到所识别的对象的所述深度。11.根据权利要求10所述的计算机程序产品，其中，将所述设备的多个扬声器中的每一个的音频输出引导到所述多个麦克风在所述局部区域中捕获音频数据的位置相对于垂直于所述设备的中心的轴的所述距离处的所识别的对象以及到从所述深度相机组件到所识别的对象的所述深度包括：对于所述多个扬声器中的每一个，确定从垂直于扬声器的中心的轴到所述多个麦克风在所述局部区域中捕获音频数据的位置的角度；为所述多个扬声器中的每一个确定加权函数，扬声器的所述加权函数基于为该扬声器确定的角度，并且在所确定的距离和所确定的深度处具有最大值；和对于所述多个扬声器中的每一个，将对应于所述扬声器的加权函数应用于所述扬声器的音频输出。12.根据权利要求11所述的计算机程序产品，其中，到所述多个麦克风在所述局部区域中捕获音频数据的位置相对于垂直于所述设备的中心的轴的所述距离处的所识别的对象以及到从所述深度相机组件到所识别的对象的所述深度还包括：基于由控制器确定的概率和从法向于位于所述多个扬声器的中心的扬声器的中心的轴到所述多个麦克风在所述局部区域中捕获音频数据的位置的角度的乘积来确定阴影函数；和对所述多个扬声器的音频输出应用所述阴影函数。13.根据权利要求11或12所述的计算机程序产品，其中，所述非暂时性计算机可读存储介质还具有编码在其上的指令，当由所述处理器执行时，所述指令使得所述处理器：从所述深度相机组件捕获的数据中确定所识别的对象在所述局部区域内的位置的改
变；确定所识别的对象的相对于垂直于所述设备的中心的轴的更新的距离和改变后的位置；确定从所述深度相机组件到在所述改变后的位置中的所识别的对象的更新的深度；和根据所述更新的距离和所述更新的深度，将所述多个扬声器中的每一个的音频输出重定向到所述局部区域内的所述改变后的位置处的所识别的对象。14.根据权利要求11至13中任一项所述的计算机程序产品，其中，所述非暂时性计算机可读存储介质还具有编码在其上的指令，当由所述处理器执行时，所述指令使得所述处理器：从所述深度相机组件捕获的数据中确定所识别的对象在所述局部区域内的位置的改变；确定所识别的对象的相对于垂直于所述设备的中心的轴的更新的距离和改变后的位置；将所述多个扬声器中的每一个的音频输出根据所述更新的距离重定向到在所述局部区域内的所述改变后的位置处且位于所述深度的所识别的对象。15.根据权利要求11至14中任一项所述的计算机程序产品，其中，所述非暂时性计算机可读存储介质还具有编码在其上的指令，当由所述处理器执行时，所述指令使得所述处理器：确定从所述深度相机组件到所识别的对象的更新的深度；和将所述多个扬声器中的每一个的音频输出重定向到所述多个麦克风在所述局部区域中捕获音频数据的位置相对于垂直于所述设备的中心的轴的所述距离处且位于所述更新的深度处的所识别的对象。

技术总结
一种音频设备包括扬声器阵列和控制器，该控制器用于对扬声器阵列的音频输出进行波束控制，以将声音定位在音频设备周围的局部区域中的不同位置。音频设备还包括麦克风阵列或一组相机，其被配置为检测音频设备周围的局部区域中的对象，例如人。根据麦克风阵列或一组相机捕获的数据，音频设备确定对象在局部区域中的位置，并将扬声器阵列的音频输出朝向对象的确定位置控制。当对象在局部区域内移动时，音频设备动态地控制音频输出以随对象一起移动。频设备动态地控制音频输出以随对象一起移动。频设备动态地控制音频输出以随对象一起移动。


技术研发人员：迈克尔
受保护的技术使用者：脸谱公司
技术研发日：2020.02.17
技术公布日：2021/10/18