具有深度学习加速器和随机存取存储器的智能麦克风的制作方法

技术特征：
1.一种装置，其包括：换能器，其被配置成将声波转换为电信号；模数转换器，其与所述换能器耦合以根据所述电信号来产生音频数据；随机存取存储器，其被配置成存储表示人工神经网络的权重的第一数据且存储表示指令的第二数据，所述指令具有矩阵操作数且为可执行的以使用表示所述人工神经网络的所述权重的所述第一数据来实施对所述人工神经网络的矩阵计算；控制器，其与所述模数转换器和所述随机存取存储器耦合，其中所述控制器被配置成将所述音频数据作为到所述人工神经网络的输入而写入到所述随机存取存储器；至少一个处理单元，其被配置成执行由存储在所述随机存取存储器中的所述第二数据表示的所述指令以至少部分地基于存储在所述随机存取存储器中的所述第一数据和所述音频数据而产生所述人工神经网络的输出；以及收发器，其被配置成经由有线或无线连接将所述输出传送到计算机系统。2.根据权利要求1所述的装置，其进一步包括：集成电路封装，其至少围封所述至少一个处理单元和所述随机存取存储器。3.根据权利要求2所述的装置，其中所述集成电路封装进一步被配置成围封所述换能器。4.根据权利要求3所述的装置，其中所述换能器包含隔膜，所述隔膜被蚀刻到集成电路裸片中且被配置为电容器的板以产生所述电信号。5.根据权利要求3所述的装置，其中所述换能器包含压电元件，所述压电元件形成于集成电路裸片上且被配置成产生所述电信号。6.根据权利要求3所述的装置，其中所述人工神经网络的所述输出包含对被辨识为处于所述音频数据中的预定义声音型式的识别。7.根据权利要求6所述的装置，其中所述人工神经网络的所述输出包含由预定个人说出且从所述音频数据辨识到的词语。8.根据权利要求7所述的装置，其中所述控制器进一步被配置成训练所述人工神经网络以使用机器学习技术来辨识所述预定个人的语音。9.根据权利要求7所述的装置，其中所述控制器进一步被配置成从所述计算机系统下载所述预定个人的语音模型；所述人工神经网络被配置成使用所述语音模型来确定所述词语是否由所述预定个人说出；并且所述控制器被配置成响应于所述词语是由所述预定个人说出的分类而将所述词语传送到所述计算机系统。10.根据权利要求7所述的装置，其中所述人工神经网络进一步被配置成对由所述预定个人说出的所述词语的会话模式进行分类；并且响应于所述模式处于预定义类别，所述输出从所述装置被传送到所述计算机系统。11.根据权利要求7所述的装置，其中所述控制器被配置成基于所述人工神经网络的所述输出而确定是否保留所述音频数据以供发射到所述计算机系统。12.根据权利要求11所述的装置，其进一步包括：实施深度学习加速器的现场可编程门阵列(fpga)或专用集成电路(asic)的集成电路裸片，所述深度学习加速器包括所述至少一个处理单元以及被配置成从所述随机存取存储器加载所述指令以供执行的控制单元。
13.根据权利要求12所述的装置，其中所述至少一个处理单元包含被配置成对指令的两个矩阵操作数进行操作的矩阵-矩阵单元；其中所述矩阵-矩阵单元包含被配置成并行地操作的多个矩阵-向量单元；其中所述多个矩阵-向量单元中的每一者包含被配置成并行地操作的多个向量-向量单元；其中所述多个向量-向量单元中的每一者包含被配置成并行地操作的多个乘累加单元；并且其中所述多个乘累加单元中的每一者包含被配置成经由模拟电路系统执行乘累加运算的神经形态存储器。14.根据权利要求13所述的装置，其中所述随机存取存储器和所述深度学习加速器形成于分开的集成电路裸片上且通过硅穿孔(tsv)连接；并且所述收发器被配置成根据无线个人区域网或无线局域网的通信协议进行通信。15.一种方法，其包括：由装置的换能器根据声波来产生音频数据；将所述音频数据作为到人工神经网络的输入而存储到所述装置的随机存取存储器中，其中所述随机存取存储器进一步存储表示所述人工神经网络的权重的第一数据以及表示具有矩阵操作数的指令的第二数据；由所述装置的至少一个处理单元执行由存储在所述随机存取存储器中的所述第二数据表示的所述指令以至少部分地基于存储在所述随机存取存储器中的所述第一数据和所述音频数据而计算来自所述人工神经网络的输出；由所述装置基于所述人工神经网络的所述输出而识别表示由所述人工神经网络辨识的所述音频数据中的内容的部分的输入数据；以及经由所述装置的收发器且作为所述装置的输出而将表示所述音频数据中的所述内容的所述部分的所述输入数据传送到计算机系统。16.根据权利要求15所述的方法，其中来自所述人工神经网络的所述输出包含在所述音频数据中辨识的将由预定个人说出的词语；并且所述方法进一步包括：在所述装置中使用机器学习技术来训练所述人工神经网络以辨识所述预定个人的语音。17.根据权利要求16所述的方法，其中来自所述人工神经网络的所述输出进一步包含对由所述预定个人说出的所述词语的会话模式的识别；并且表示所述音频数据中的内容的所述部分的所述输入数据基于对所述模式的所述识别而被传送到所述计算机系统。18.根据权利要求17所述的方法，其中所述模式识别情绪状态、上下文或与基于语音的数字助理的相关性程度，或其任何组合。19.一种设备，其包括：麦克风，其用以从声波产生音频数据；随机存取存储器，其被配置成存储人工神经网络的矩阵且存储具有矩阵操作数的指令；控制器，其与模数转换器和所述随机存取存储器耦合且用以将所述音频数据作为到所述人工神经网络的输入而存储到所述随机存取存储器中；
现场可编程门阵列(fpga)或专用集成电路(asic)，其具有：存储器接口，其用以存取所述随机存取存储器；以及至少一个处理单元，其用以执行所述指令且使用存储在所述随机存取存储器中的所述矩阵来产生所述人工神经网络的输出，所述输出包含从所述音频数据辨识的话语；以及收发器，其用以基于所述人工神经网络的所述输出而将输入数据提供到基于语音的数字助理。20.根据权利要求19所述的设备，其中在不将所述音频数据发射到所述基于语音的数字助理的情况下将所述输入数据提供到所述基于语音的数字助理；并且其中所述基于语音的数字助理包含扬声器、电视、电器、移动计算机、手机、个人媒体播放器、个人计算机、物联网(iot)枢纽、iot装置、服务器计算机或服务器计算机的集群，或其任何组合。

技术总结
本文描述了与深度学习加速器和存储器相关的系统、装置和方法。举例来说，一种麦克风可被配置成执行具有矩阵操作数的指令，且配置有：换能器，其用以将声波转换为电信号；模数转换器，其用以根据所述电信号来产生音频数据；随机存取存储器，其用以存储可由所述深度学习加速器执行的指令且存储人工神经网络的矩阵；以及控制器，其用以将所述音频数据作为到所述人工神经网络的输入而存储在所述随机存取存储器中。所述深度学习加速器可执行所述指令以产生所述人工神经网络的输出，所述输出可作为所述麦克风的主要输出而提供到计算机系统，例如基于语音的数字助理。如基于语音的数字助理。如基于语音的数字助理。


技术研发人员：P
受保护的技术使用者：美光科技公司
技术研发日：2021.06.15
技术公布日：2023/2/3