用于实时音乐生成的乐器和方法与流程

背景

本公开涉及消费品以及专业音乐设备和软件中的音乐生成。更具体地，本发明涉及用于实时音乐生成的虚拟乐器和方法。

背景技术：

就像大多数其它行业一样，就创作和再现而言，音乐正变得越来越数字化。这为新体验敞开了大门，在新体验中，创作与再现之间的界线可能因改变最终用户的交互水平而变得模糊。极少数人有机会和能力去真正掌握传统乐器，但是就通过收听来进行消费以及通过跳舞、卡拉ok、音乐游戏等进行交互而言，都是广泛普及对音乐的关注的表现。

现有技术

与交互音乐体验有关的最新技术主要见于游戏，其中假定用户使用诸如简化的乐器、跳舞毯、手势、人声音高(vocalpitch)等的输入以不同方式敲击预定义的提示。贯穿这些第一代交互音乐体验的局限性在于，它们均不涉及实际音乐创作，这是因为游戏中的得分是基于玩家可以以预定义的音乐序列敲击提示的准确程度的。在该领域的另一面，存在实际上让用户创作音乐的音乐工具(诸如各种合成器、音序器、人声自动调音器等)，以在音乐家的创作处理中帮助音乐家。然而，这些工具要求用户是经训练的音乐家，以便了解如何正确使用这些工具。这意味着，在简单性与实际上交互地创作新的音乐内容的能力之间始终需要权衡利弊。

技术实现要素：

本公开的一个目的是提供虚拟乐器和方法，该虚拟乐器和方法使得能够实现真正的交互音乐体验，同时在最终用户的音乐训练方面维持非常低的门槛。

另一目的是提供一种包括指令的计算机程序产品，该指令使得能够实现真正的交互音乐体验，同时在最终用户的音乐训练方面维持非常低的门槛。

根据本公开，上述目的可以全部或部分地通过根据所附权利要求所述的装置、系统以及方法来满足。根据本公开，在所附权利要求中、下面的描述中以及附图中阐述了各个特征和方面。

根据第一方面，提供了一种用于实时音乐生成的虚拟乐器。所述虚拟乐器包括：音乐规则集mrs单元、定时约束音高生成器tcpg以及音频生成器。所述mrs单元包括预定义的作曲者输入，所述mrs单元基于所述预定义的作曲者输入来选择乐器特性的集合以及自适应规则定义的至少一个集合，并且将所选择的规则定义与实时控制信号组合成与时域特性和频域特性相关联的音符触发信号，其中，自适应规则定义的至少一个集合描述了实时形变音乐参数，其中，所述形变音乐参数是能够通过所述实时控制信号直接控制的。所述tcpg生成表示音乐的输出信号；所述tcpg基于所述音符触发信号按时域和频域来使新生成的音高同步。所述音频生成器可以被配置成转换来自所述tcpg的所述输出信号，并且将所述输出信号与所选择的乐器特性组合成音频信号。

在示例性实施方式中，所述虚拟乐器还包括音乐转调处理器，所述音乐转调处理器被配置成解释所述实时控制信号，并且基于根据所述预定义的作曲者输入的音乐特征，按照使得所生成的音乐中的不同部分之间的转调与当前正被形变的所述自适应规则定义在音乐上连贯(coherent)的方式处理所述转调。

在所述虚拟乐器的另一示例性实施方式中，所述实时控制信号是从实时输入装置rid接收的，所述rid被配置成从触摸屏接收诸如触摸位置的x坐标和y坐标的输入，并且将所述输入转换成控制信号。在又一实施方式中，所述触摸屏被配置成提供关于与所述触摸屏在所述触摸位置处接收到的触摸力有关的压力的附加信息，并且针对各个点使用这种附加信息以及所述x坐标和所述y坐标，并将该输入信号转换成控制信号。

在所述虚拟乐器的另一示例性实施方式中，所述实时控制信号是从rid接收的，所述rid被配置成从空间摄像头、视频游戏参数以及数字摄像头中的至少一者接收输入并且将所述输入转换成控制信号。在又一实施方式中，所述实时控制信号可以是从远程音乐家网络接收的。

根据第二方面，提供了一种在虚拟乐器中生成实时音乐的方法，所述虚拟乐器包括mrs单元、tcpg以及音频生成器。所述方法包括以下步骤：在所述mrs单元中取回预定义的作曲者输入；在所述mrs单元的存储器中存储多个自适应规则定义；其中，所述多个自适应规则定义描述了实时形变音乐参数，并且所述形变音乐参数是能够通过所述实时控制信号直接控制的；在所述mrs单元中接收实时控制信号；选择自适应规则定义的集合；选择乐器特性的集合；将所选择的自适应规则定义与所述实时控制信号组合成与时域特性和频域特性相关联的音符触发信号；在所述tcpg中，基于所述音符触发信号来按时域和频域使新生成的音高同步；以及在所述音频生成器中，将输出信号与乐器特性的所选择的集合组合成音频信号。

在示例性实施方式中，所述方法还包括以下步骤：解释所述实时控制信号，并且基于根据所述预定义的作曲者输入的音乐特征，按照使得所生成的音乐中的不同部分之间的转调与当前正被形变的所述自适应规则定义在音乐上连贯的方式处理所述转调。

此外，在另一实施方式中，所述实时控制信号是从实时输入装置rid接收的，所述rid被配置成从触摸屏接收诸如触摸位置的x坐标和y坐标的输入，并且将所述输入转换成控制信号。在又一实施方式中，所述触摸屏被配置成提供关于与所述触摸屏在所述触摸位置处接收到的触摸力有关的压力的附加信息，并且针对各个点使用这种附加信息以及所述x坐标和所述y坐标，并将该输入信号转换成控制信号。

在另外的实施方式中，所述实时控制信号是从rid接收的，所述rid被配置成从空间摄像头、视频游戏参数以及数字摄像头中的至少一者接收输入并且将所述输入转换成控制信号。根据又一实施方式，所述实时控制信号可以是从远程音乐家网络接收的。

根据第三方面，提供了一种包括计算机可读指令的计算机程序产品，当在计算机上执行时，所述计算机可读指令使得能够执行根据以上内容所述的方法。

因此，利用本发明，可以解释通过音乐规则结构、音高和节奏生成器解释的用户动作。取决于所述规则的严格性和结构，本公开可以在完全可演奏的乐器与充分预作曲的音乐片段之间的任何地方起作用。

附图说明

现在参照附图通过示例的方式对本发明进行描述，在附图中：

图1是根据本公开的系统的概观图。

图2是根据本公开的实时输入装置的示例。

图3是根据本公开的音乐规则集单元的示意图。

图4是根据本公开的定时约束音高生成器的示意图。

图5是用于实时音乐生成的方法的示例。

具体实施方式

在下文中，参照附图描述了本公开的特定实施方式；然而，所公开的实施方式仅仅是本公开的示例，并且可以以各种形式来具体实施。没有详细描述公知功能或构造，以免在不必要的细节上模糊本公开。因此，本文所公开的具体结构和功能细节不应被解释为限制性的，而仅仅是权利要求的基础，并且是教导本领域技术人员以虚拟的任何适当详述的结构来不同地采用本公开的代表性基础。贯穿附图的描述，相同的附图标记可以指代相似或相同的元素。

图1示出了表示本公开的一个实施方式的系统概观图。实时输入装置(rid)1是指要由预期的音乐家使用的装置，该装置提供旨在直接控制当前由系统生成的音乐的输入。如本领域技术人员所公知的，术语实时是相对术语，指的是在系统内非常快速地进行响应的事物。在数字系统中，没有这种即时的事物，因为始终存在由门、触发器、子系统时钟、固件以及软件引起的延迟。为了避免疑惑，在本公开的范围内的术语实时是描述当与音乐时标(诸如小节或次小节)相比时立即或非常快地出现的事件。这样的实时输入装置(rid)可以是但不限于一个或更多个触摸屏、手势传感器(诸如摄像头或基于激光的传感器)、陀螺仪和其它运动跟踪系统、眼球跟踪装置、人声输入系统(诸如音高检测器、自动调音器等)、模仿乐器或在乐器中形成新类型音乐的专用硬件、虚拟参数(诸如视频游戏中的参数)、网络命令、人工智能输入等。可以将rid块配置成与系统中的其它块异步地运行，由此，由rid块生成的控制信号2可以与音乐时标异步。音乐家是指通过操纵对rid1的输入来影响通过所公开的系统实时生成的音乐的任何人或任何事物。

在一个实施方式中，控制信号2对应于从音乐家使用的触摸屏的形式的rid1接收的光标状态。所述光标状态可以包含与屏幕上的位置有关的信息，因为x坐标和y坐标以及z坐标可以对应于施加在屏幕上的压力的量。可以将这些控制信号值(x，y，z)发送至音乐规则集(mrs)，并且无论何时被更新都会进行重新发送。当控制信号2被更新时，mrs可以根据系统定时以及预定义的音乐规则来使所述控制信号的定时同步。将所述控制信号2映射至mrs中的音乐规则的一种方式是让x控制节奏强度(诸如但不限于脉冲密度)，并且让y控制音调音高(诸如但不限于音高或和弦)，以及让z控制该音高、和弦等的速度。所述速度可以但不限于控制由音频生成器11演奏的对应虚拟乐器的击打、响度、环音(envelope)、延音(sustain)、音频样本选择、效果等。

在另一实施方式中，rid1可以包括运动传感器(诸如但不限于microsoftkinect游戏控制器、虚拟现实或增强现实界面、陀螺仪运动传感器、基于摄像头的运动传感器)、面部识别装置、3d摄像头、测距摄像头、立体摄像头、激光扫描仪、基于信标的空间跟踪(诸如来自valve的lighthouse技术)或者提供音乐家并且可选地还有音乐家周围环境的空间读数的其它装置。可以将一个或更多个所得三维位置指示用作控制信号2，并且在通过mrs7映射至音乐参数时，可以根据上面的描述解释为x坐标、y坐标以及z坐标。

也可以通过不太复杂的二维输入装置(诸如但不限于数字摄像头)，借助于计算机视觉，通过诸如像素簇的质心跟踪的方法、haar级联图像分析、针对视觉输入进行了训练的神经网络或者类似方法来建立这种空间跟踪，并由此生成一个或更多个光标位置以用作控制信号2。

图2a和图2b示出了这种rid的一个示例，其中具有摄像头的移动装置充当rid，坐在摄像头前方的人可以移动他的手，移动装置将捕获手势并在系统中将其解释为控制信号。摄像头可以是任何类型的摄像头，诸如但不限于2d摄像头、3d摄像头以及深度摄像头。

在又一实施方式中，rid1可以是专用硬件，诸如但不限于新型乐器、传统乐器的复制品、dj设备、现场音乐混音设备或者生成被用作控制信号2的对应x、y、z光标数据的类似装置。

在又一实施方式中，rid1是子系统，该子系统接收来自一个或更多个虚拟音乐家的输入，诸如但不限于视频游戏中的参数、人工智能(ai)算法或实体、远程音乐家网络、循环处理器、多维循环处理器、一个或更多个随机生成器以及这些项的任何组合。可以将所述多维循环处理器配置成记录光标移动并且与音乐拍同步地或者异步地连续重复该光标移动。此外，可以借助于插值、斜坡、低通滤波、样条、平均等来使所述循环处理器进行平滑处理。

在又一实施方式中，控制信号2被来自一个或更多个音乐家的远程网络3的控制输入所代替或加以补充。将这种远程控制信号2的数据速率保持到最小，以避免过度延迟，这种过度延迟会使远程音乐家输入变得非常困难。本公开自然地解决了这种数据速率问题，因为音乐是由在各个远程音乐家位置中运行相同的mrs7设定的系统的各个单独实例实时生成的，因此不需要跨网络传输音频数据，而这种跨网络传输音频数据需要比远程控制信号2的数据速率高很多倍的数据速率。此外，来自远程音乐家的所述输入以及音符触发信号6需要进行同步，以使所生成的音乐的完整片段连贯。在这个实施方式中，远程系统的时钟全部被同步。这种同步可以通过网络时间协议(ntp)、简单网络时间协议(sntp)、精确时间协议(ptp)等来实现。跨网络的时钟同步被认为是本领域技术人员已知的。

在又一实施方式中，远程音乐家的以及如上所述的本公开系统的实例的网络是基于5g或其它未来通信标准或者专注于低延迟而非高带宽的网络技术来构建的。

在又一实施方式中，rid可以连接至经音乐训练的ai(人工智能辅助作曲者，或者简称为aiac)。充当音乐家的这种ai可以基于某种深度学习和/或人工神经网络实现方式，诸如但不限于深度前馈、递归神经网络、深度卷积网络、液体状态机等。所述ai也可以基于其它结构，诸如但不限于有限状态机、马尔可夫链、玻尔兹曼机等。这些自主处理所基于的基础知识可以是常规音乐规则(诸如对位研究、schenkerian分析和类似音乐处理)的混合以及每次生成的社区驱动投票(communitydrivenvotingpergeneration)或其它人类质量保证手段。所述知识也可以源自使用在线音乐库和流媒体服务，通过诸如但不限于以下方式大规模地对现有音乐进行的深度分析：使用神经网络和haar级联、频谱/时域和频域的音高检测、现有api的每项服务的捎带或者使用内容id系统(原本为版权标识而设计的)等的内容的fft/stft分析。此外，可以借助于音频分析、多调音频分析、包含有关某些音乐规则(诸如但不限于音阶、调、拍子、特征、乐器、流派、风格、范围、声域)的信息的元数据标签等，使用现有音乐库来训练所述ai。

对于所有上述实施方式，也可以在控制信号2中嵌入超过所述示例中使用的三个(x，y，z)光标值的任何数量的附加光标值。使用附加光标值的一个示例是操纵mrs7内的其它音乐规则。这些附加音乐规则可以是但不限于连奏、随意、效果、变调、音高、节奏概率等。控制信号2中的附加光标值也可以被用于直接控制其它系统块。其它系统块的这种直接控制的一个示例可以是但不限于控制音频生成器11，以添加直接颤音、绕过由mrs7执行的音乐时标同步。

在一个实施方式中，可以将音频生成器(ag)11配置成借助于从预先记录的样本集进行选择(即，采样器)、实时生成对应的声音(即，合成器)或者它们的组合来生成与tcpg9的输出信号8相对应的音频信号。采样器或合成器的功能被认为是本领域技术人员已知的。

可以将ag11配置成取得附加实时控制信号2，诸如尚未与mrs或tcpg内的音乐拍同步的颤音、音高滑动(pitchbend)等。ag11可以在音乐生成系统的内部或外部，甚至可以在远程位置或者稍后时间连接至输出信号8的记录版本。

可以将可选的后处理块(ppb)13配置成向传出的音频信号添加效果和/或混合多个音频信号流，以便完成最终的音乐输出。这样的效果可以是但不限于混响、合唱、延迟、回声、均衡器、压缩器、限制器、谐波生成等。预期本领域技术人员会知道如何实现这种效果和音频混合能力。可以将ppb13配置成取得尚未与mrs或tcpg内的音乐拍同步的附加实时控制信号2，诸如但不限于低频振荡器(lfo)、虚拟房间参数以及影响最终音频混合的其它变化信号。可以将这种虚拟房间参数配置成借助于fir滤波卷积、混响、延迟、相移、ir滤波卷积或者其组合来改变充当针对最终音频混合的滤波器的房间脉冲响应。

作曲者输入4可以是来自数字音频工作站daw或音乐作曲软件的导出文件格式，该导出文件格式被转换成与音乐规则集mrs7的结构兼容的音乐规则定义rd701。

图2示出了实时输入装置1的示例。实时输入装置1可以是但不限于具有摄像头的移动装置、计算机等。摄像头可以是但不限于2d摄像头、3d摄像头或深度摄像头。可以将摄像头配置成捕获坐在摄像头前方的用户的姿势，并且借助于计算机视觉技术将该姿势解释为实时音乐生成的控制信号。

图3示出了音乐规则集(mrs)7的示例示意图。可以将mrs7配置成包含根据作曲者输入预定义的音乐规则定义701。作曲者输入可以是来自数字音频工作站(daw)或音乐作曲软件的导出文件格式，该导出文件格式被转换成与音乐规则集(mrs)的结构兼容的音乐规则定义(rd)。此外，所述作曲者输入可以源自人工智能(ai)作曲者、其它现有音乐元素的随机化或突变等。

mrs可以使用规则定义以及通过以下任一者获得的任何或所有添加项：实时用户输入、先前的用户输入、通过音乐神经元进行的实时ai处理、根据源自静态和流动(fluid)数据的知识进行的离线ai处理；从性能参数或源自交互系统的任何公共变量的回送的各个阶段。可以将到ai的回送用于迭代训练目的以及用作实时音乐生成的指导。音乐神经元基于使用来自mrs单元的音乐特征的音乐dna的输出来生成信号。mrs单元可以具有核心块301、音高块303、节拍块305以及文件块307，以限定音乐特征。

各个这样的音乐规则定义701可以包含针对部分音乐片段或整个音乐片段的规则集，诸如但不限于乐器法(instrumentation)、调、音阶、拍、拍子记号、乐句、律动、节奏模式、乐旨、和声等。

音乐规则定义701也可以包含不直接依赖音乐特质的混杂信息，诸如但不限于块链实现(block-chainimplementation)、更改日志、封面艺术、作曲者信息等。可以将所述块链实现配置成处理音乐规则定义701的版权。在一个实施方式中，所述块链实现可以使得能够实现采用音乐规则集、常规音乐乐句、歌词、用于另选输出的附加控制数据集等的形式的众包音乐内容。

mrs单元7基于所选择的规则定义以及来自rid1的控制信号来生成音符触发信号6。在一个示例中，音符触发信号6可以是音高选择信号和触发信号。音高选择信号稍后将被tcpg用于使所生成的信号按频域同步，而触发信号将被tcpg用于使所生成的信号按时域同步。

可以将音乐规则定义701的所述乐器法映射至多个单独的虚拟乐器(各个单独的虚拟乐器包含每乐器唯一的规则)，诸如但不限于节奏转换器7051、音高转换器7053、乐器声音定义7055、效果合成设定7057、覆盖7059、外部控制7061等。

可以将节奏转换器7051配置成转换节奏的音乐描述，诸如但不限于生成或限制从如在音乐规则定义701中限定的并且可选地由控制输入2操纵的拍划分、概率、预定义模式、midi文件、算法(诸如分形、马尔可夫链、粒状技术、欧几里德节奏、窗口化、瞬态检测或其组合)得出的节奏音符和休止符(pause)。所得节奏模式还可以根据不同方面的随机或预定义变化而被处理，诸如但不限于流动相位偏移、量化相位偏移、脉冲长度、低频振荡器、速度、音量、衰减、环音、击打等。可以将所得触发信号集用于控制tcpg9。

可以将音高转换器7053配置成转换频率音乐描述，诸如但不限于如在音乐规则定义701中限定的并且可选地由控制输入2操纵的音阶、和弦、midi文件、算法(诸如分形、频谱分析、马尔可夫链、粒状技术、窗口化、瞬态检测或其组合)。所得频率选择还可以根据不同方面的随机或预定义变化而被处理，诸如但不限于流动音高偏移、量化音高偏移、颤音、低频振荡器、扫描、音量、衰减、环音、击打、和声、音色等。可以将所得频率信号集用于控制tcpg9。

在另一实施方式中，可以通过直接使用描述时间参数和频率参数两者的信号来绕过tcpg，诸如但不限于将mrs直接连接至音频生成器的midi信号。

在一个实施方式中，节奏转换器7051和音高转换器7053可以被连接或用单个单元加以替换，该单个单元基于单个可演奏矩阵来限定节奏和音高两者。这种矩阵的示例可以是但不限于可演奏midi文件、诸如分形、马尔可夫链、粒状技术、窗口化或其组合的算法。可以将这样的可演奏midi文件映射至控制信号2，使得将某些光标映射至所述可演奏矩阵中的对应维。所述映射的一个示例可以是使用x轴光标来描述可演奏midi文件或矩阵中的当前音符长度，并且使用y轴光标来控制所述midi文件或矩阵中的音符选择，其中y轴光标上的较高值演奏所述midi文件或矩阵内的更后的音符。所述映射的另一示例可以是使用光标来根据所述光标值，通过借助于分形、马尔可夫链、粒状技术、欧几里德节奏、窗口化、瞬态检测或其组合来添加或减去音高和节奏素材改变midi文件或矩阵，其中，x轴光标可以基于该x轴光标与中间值的偏移来添加或减去节律素材，y轴光标可以基于该y轴光标与中间值的偏移来添加或减去音调素材。所述映射的又一示例可以是使用x轴光标来减慢或加速音乐(按照百分比或者按照精细步长)，并且允许y轴光标将音高素材变调(以绝对步长或者在预定义音阶内)。

可以将乐器声音定义7055配置成借助于设定要由合成器使用的参数、选择要由采样器使用的样本库、设定乐器等来限定虚拟乐器的声音特征。

可以将效果合成设定7057配置成指定要在各个乐器上应用的某些效果设定。这样的效果设定可以是但不限于混响、合唱、摇拍(panning)、eq、延迟及其组合。

可以将覆盖块7059配置成覆盖某些全局参数，诸如由当前正在演奏的总体规则定义限定的全局音阶、调、拍等。这样，针对某些音乐片段，某种乐器可以与所述全局规则无关地演奏某些音乐。

可以将外部控制块7061配置成输出用于外部装置(诸如外部合成器、采样器、音效、灯具、烟火效果、机械致动器、游戏参数、视频控制器等)的控制信号。所述输出信号可以遵循以下标准：诸如但不限于midi、osc、dmx-512、spdif、aes/ebu、uart、i2c、isp、hex、mqtt、tcp、i2s等。

在各方面，各个虚拟乐器可以连接至与其中任何参数有关的一个或更多个其它虚拟乐器。

可以将可选的音乐转调处理器703配置成通过逐步在多个音乐规则定义701之间进行形变和/或添加新的音乐内容(该新的音乐内容将音乐片段联系在一起而作为一个整体)来具有最高级别的音乐形式的控制。可以将音乐转调处理器配置成通过音乐上连贯的方式(对于具有当前流派或风格的知识的人类听众来说被理解为音乐上的方式)来针对一个或更多个乐器进行转调。在视频游戏的不同设定之间、在歌曲的独唱与合唱之间、在游戏、电影、戏剧、虚拟现实体验等的故事情节中的不同心情之间可能需要这样的转调。音乐转调处理器703可以根据作曲者输入、控制信号2、内部音序器等，针对音乐规则定义701之间的各种乐器转调使用一种或更多种音乐技术。这样的音乐转调技术可以是但不限于交叉淡入淡出、线性形变、对数形变、正弦形变、指数形变、窗口化形变、预定义音乐乐句、后退(retrograde)、转位、其它轮唱工具、分形组成、马尔可夫链、欧几里得节奏、粒状技术、专门为形变目的而创建的中间音乐规则定义701及其组合。

图4示出了时间约束音高生成器(tcpg)9的示例示意图。在该图所例示的一个实施方式中，通过mrs单元设定的时间和音调同步是通过以下结构获得的：在该结构中，节奏生成器903通过内部触发信号902来控制音高生成器901。作为所述结构的结果，根据在mrs7中限定的规则集，音高生成器只能在某些预定义时刻创作任何新音符。节奏生成器903可以但不限于通过转发直接来自源于mrs7的输入触发信号604的脉冲、时钟信号的划分或者通过基于由mrs7设定的音序器规则生成节奏来生成内部触发信号902。音序器(诸如在电子鼓等中使用的音序器)的功能被认为是本领域技术人员已知的。

可以将音高生成器901配置成对来自mrs7的音高选择信号602做出响应，以便挑选正确的音调音高，并且每当由内部触发信号902触发时就发送这种音符。音高选择信号602可以包含一个或多个音符，由此音高生成器901可以相应地生成在音高信号中发送的单个音高或和弦。

此外，可以通过锁定信号将音高生成器901锁定至节奏生成器903，从而使所选择的音高的播放在预定义音符持续时间内是同步的。例如，这可以用于演奏预定义旋律，在预定义旋律中，音符和休止符需要具有一定的持续时间和音高，以便如所期望地执行所述旋律。

可以将事件生成器905配置成基于传入的音高信号802、选通信号804以及动态信号806来生成输出信号8。所述输出信号8可以但不限于遵循以下标准：诸如midi、通用midi、midicent、通用midilevel2、可扩展多调midi、rolandgs、yamahaxg等。

在一个实施方式中，将事件生成器905的输入映射至midi标准的“通道语音”消息，其中，音高信号802控制由事件生成器905发送的“音符开(note-on)”和“音符关(note-off)”消息的定时。在这样的示例实施方式中，可以将音调音高映射至“midi音符编号”值，并且可以将动态信号906映射至所述“音符开”消息的“速度”值。在这样的示例实施方式中，可以将选通输入804用于发送附加“音符关”消息。

在另一实施方式中，可以将事件生成器905配置成以文本形式输出音乐，诸如但不限于音符、乐谱、标记等。

可以将音频生成器11配置成取得输出信号并借助于播放来自样本库的对应样本、通过实时合成(即，通过使用合成器)生成对应的音频信号等来生成对应的音频信号。所得音频信号可以以下格式输出：诸如但不限于原始样本、wav、核心音频、jack、pulseaudio、gstreamer、mpeg音频、ac3、dts、flac、aac、oggvorbis、spdif、i2s、aes/ebu、dante、ravenna等。

可以将后处理装置13配置成混合多个音频流，诸如但不限于人声音频、游戏音频、声学乐器音频、预先记录的音频等。此外，作为实时控制的方式，ppd13可以将效果添加至正被混合的各个传入的音频流以及传出的最终音频流，以便实时获得生产质量级的音频流。

图5示出了用于实时音乐生成的方法的示例。在该方法的开始，在s101，mrs单元7取回作曲者输入，在s103，将基于作曲者输入来获得自适应规则定义701的集合，并将其存储在mrs单元7的存储器中。然后，在s105，mrs从存储器选择规则定义的集合。在s107，mrs从rid1接收实时控制信号2，并且在s109，将控制信号2和所选择的规则定义进行组合。将输出音符触发信号6(其可以是但不限于音高选择信号602和触发信号604)输出至tcpg9。在s113，tcpg9将按时域和频域来使音乐同步，并且tcpg9的输出信号将成为ag11的输入。在s111，mrs选择乐器特性，并且将这些乐器特性输出至ag11。在s115，ag11将tcpg9的输出信号和所选择的乐器特性进行组合，以获得音频信号。可以将该音频信号转发至后处理装置13以供进一步处理以使该音乐适应环境，或者直接输出该音频信号。

将理解，本领域技术人员将容易想到附加优点和修改。因此，本文所呈现的公开及其更广泛的方面不限于本文中示出和描述的具体细节和代表性实施方式。因此，在不脱离由所附权利要求及其等同物限定的总体发明构思的精神或范围的情况下，可以包括许多修改、等同物以及改进。