信息处理装置、信息处理方法和信息处理程序与流程

1.本公开涉及信息处理装置、信息处理方法和信息处理程序。具体地，本公开涉及基于机器学习作曲的音乐数据的使用。


背景技术：

2.随着人工智能(ai)的进步，正在推广计算机在技术领域的使用。
3.例如，已知一种技术，该技术使用现有音乐作为学习数据来执行机器学习，以生成用于音乐生成的学习模型，并让计算机创作新音乐(例如，专利文献1)。在这样的技术中，可以通过使用马尔可夫模型来模仿现有音乐的特征或者产生更自然的旋律。
4.引文列表
5.专利文献
6.专利文献1：美国专利号9,110,817


技术实现要素：

7.本发明要解决的问题
8.根据传统技术，由于由ai提出(生成)的音乐数据可以用于创作，所以用户可以基于更广泛的各种观点来创作音乐。
9.然而，利用上述传统技术，并不总是能够通过ai来提高自动作曲功能的便利性。例如，目前，许多用户使用数字音频工作站(daw)来创作、改编和录制。然而，当用户结合daw使用上述传统技术时，在不同的工作环境之间来回进行工作，这可能降低工作效率。此外，由于ai的自动作曲功能通常具有沉重的信息处理负担，所以如果自动作曲功能与终端装置中的daw同时执行，则有可能没有展示足够的功能或者延迟daw侧的处理。
10.在此背景下，本公开提出了可以提高ai的自动作曲功能的便利性的信息处理装置、信息处理方法和信息处理程序。
11.问题的解决方案
12.为了解决上述问题，根据本公开的一种形式的信息处理装置是一种控制第一应用程序和第二应用程序的信息处理装置，所述第二应用程序用作扩展第一应用程序的功能的插件，其中，所述第一应用程序包括控制单元，所述控制单元控制第二应用程序在第一应用程序中的操作，并且所述第二应用程序包括：选择单元，所述选择单元选择用于控制基于机器学习的作曲功能的设置信息；以及传输/接收单元，所述传输/接收单元将设置信息传输到外部服务器，所述外部服务器执行基于机器学习的作曲功能，并通过网络接收由外部服务器作曲的音乐数据。
附图说明
13.图1是示出根据实施例的信息处理流程的概念图；
14.图2是示出根据实施例的用户界面的一个示例的示图(1)；
15.图3是示出根据实施例的用户界面的一个示例的示图(2)；
16.图4是示出根据实施例的风格调色板的一个示例的示图；
17.图5是示出根据实施例的信息处理流程的框图；
18.图6是示出根据本公开的实施例的信息处理系统的示图；
19.图7是示出根据实施例的用户终端的配置示例的示图；
20.图8是示出根据实施例的作曲设置信息的一个示例的示图；
21.图9是示出根据实施例的作曲音乐信息的一个示例的示图；
22.图10是示出根据实施例的历史信息的一个示例的示图；
23.图11是示出根据该实施例的相关乐器信息的一个示例的示图；
24.图12是示出根据实施例的处理服务器的配置示例的示图；
25.图13是示出根据实施例的用户信息的一个示例的示图；
26.图14是示出根据实施例的音乐信息的一个示例的示图；
27.图15是示出根据实施例的风格调色板信息的一个示例的示图；
28.图16是示出根据实施例的风格调色板序列信息的一个示例的示图；
29.图17是示出根据实施例的用户作曲信息的一个示例的示图；
30.图18是示出根据实施例的历史信息的一个示例的示图；
31.图19是示出根据实施例的信息处理的过程的流程图；
32.图20是示出实现信息处理装置的功能的计算机的一个示例的硬件配置图。
具体实施方式
33.在下文中，将参考附图详细描述本公开的实施例。注意，在以下每个实施例中，相同的部分将由相同的附图标记表示，从而省略重复的描述。
34.将根据以下所示的项目顺序来描述本公开。
35.1.实施例
[0036]1‑
1.根据实施例的信息处理的一个示例
[0037]1‑
2.根据实施例的信息处理系统的配置
[0038]1‑
3.根据实施例的信息处理装置(用户终端)的配置
[0039]1‑
4.根据实施例的外部服务器(处理服务器)的配置
[0040]1‑
5.根据实施例的信息处理过程
[0041]
2.修改
[0042]2‑
1.音乐数据的形式
[0043]2‑
2.主应用程序
[0044]2‑
3.由daw控制
[0045]2‑
4.信息处理系统的模式
[0046]
3.其他实施例
[0047]
4.根据本公开的信息处理装置的效果
[0048]
5.硬件配置
[0049]
(1.实施例)
[0050]
[1
‑
1.根据实施例的信息处理的一个示例]
[0051]
首先，将参照图1描述根据本公开的信息处理的一个示例。图1是示出根据实施例的信息处理流程的概念图。根据实施例的信息处理由作为根据本公开的信息处理装置的一个示例的用户终端10和作为根据本公开的外部服务器的一个示例的处理服务器100来执行。用户终端10和处理服务器100使用图1所示的有线或无线网络n(例如，互联网等)彼此通信。注意，用户终端10和处理服务器100的数量不限于图1所示的数量。
[0052]
图1所示的用户终端10是根据本公开的信息处理装置的一个示例。例如，用户终端10是诸如个人计算机(pc)、平板终端或智能手机等信息处理终端。用户终端10中包括(安装了)各种程序应用程序(以下简称为“应用程序”)。用户终端10启动并执行各种应用程序，并执行各种信息处理。
[0053]
在该实施例中，用户终端10包括实现综合音乐制作环境的应用程序(所谓的daw)。在以下描述中，应用程序(daw)被称为第一应用程序或主应用程序。根据该实施例，用于扩展功能的另一应用程序可以包含(插入)到第一应用程序中。即，假设第一应用程序可以使用所谓的插件，这是用于扩展功能的另一应用程序。在这种情况下，第一应用程序用作含有插件的主应用程序。
[0054]
另外，在该实施例中，用户终端10包括具有ai的自动作曲功能的应用程序。在下面的描述中，该应用程序(具有ai的自动作曲功能的应用程序)被称为第二应用程序或插件。根据该实施例的第二应用程序作为上述第一应用程序的插件被包含。该插件可以采取例如steinberg的虚拟工作室技术(vst)(注册商标)、音频单元、avid音频扩展(aax)等形式。
[0055]
图1所示的处理服务器100是执行与用户终端10中包括的第二应用程序相关的信息处理的服务器装置。例如，处理服务器100是所谓的云服务器，并且基于由用户终端10通过网络n命令的信息来执行预定的信息处理。具体地，处理服务器100基于从用户终端10传输的信息来执行预定的学习处理，并且基于从学习模型输出的数据来生成音乐数据。换言之，处理服务器100基于用户终端10的命令通过ai执行自动作曲功能。例如，处理服务器100向用户终端10提供使用马尔可夫模型等自动作曲的音乐数据，如上述传统技术文献等所示。
[0056]
如上所述，通过使用第二应用程序作为插件，用户终端10可以将第二应用程序上的由处理服务器100提供的音乐数据拖放到第一应用程序上，或者在第一应用程序上执行编辑。另外，虽然自动作曲功能依赖于在传统技术中执行处理的终端的处理性能(cpu功率等)，但是如图1所示，用户终端10不自己执行学习处理，而是使处理服务器100执行处理。结果，用户终端10可以执行具有较高处理负荷的自动作曲功能，同时节省其自身的资源。因此，用户终端10可以解决daw处理延迟(出现延迟等)，这是一个传统的问题。因此，根据本公开的用户终端10可以提高ai的自动作曲功能的便利性。在下文中，将参照图1根据流程描述根据本公开的信息处理的概要。
[0057]
如图1所示，用户终端10激活主应用程序(第一应用程序)20(步骤s1)。另外，用户终端10激活插件(第二应用程序)22，作为在主应用程序20上操作的插件的一个示例(步骤s2)。
[0058]
用户终端10根据用户的操作选择要在插件22中自动创作的音乐的设置信息。虽然稍后将描述细节，但是用户终端10根据用户的操作选择设置信息，例如，要自动创作的音乐的和弦进程、音乐的主观图像(暗、亮等)以及音乐的作曲。然后，用户终端10向处理服务器
100传输所选择的设置信息(步骤s3)。
[0059]
处理服务器100基于从用户终端10传输的设置信息执行预定的学习处理，并且基于学习结果执行作曲处理(步骤s4)。对于这种作曲处理，例如，可以使用上述传统技术文献中描述的处理。然后，处理服务器100生成作曲的音乐数据。
[0060]
随后，处理服务器100将生成的音乐数据传输到用户终端10(步骤s5)。用户终端10在插件22中接收从处理服务器100传输的音乐数据。例如，音乐数据包括由处理服务器100生成的诸如和弦进程、旋律和低音音符进程等信息。注意，音乐数据可以是标准数据，例如，乐器数字接口(midi)数据、波形数据或daw原始标准数据。用户可以在插件22上编辑接收的音乐数据，或者可以将音乐数据复制到主应用程序20并在主应用程序20上使用。
[0061]
如上所述，用户终端10控制主应用程序20和插件22，插件22用作扩展主应用程序20的功能的插件。另外，主应用程序20控制主应用程序20中的插件22的操作。另外，插件22基于机器学习选择用于控制作曲功能的设置信息，通过网络n将设置信息传输到处理服务器100，并且接收由处理服务器100作曲的音乐数据。
[0062]
即，用户终端10使用自动作曲功能作为daw的插件。为此，用户可以在作为正常工作环境的daw中接收自动作曲功能的支持。另外，用户可以通过使处理服务器100承担自动作曲功能的处理负荷来避免在daw中的处理延迟。因此，用户终端10可以提高ai的自动作曲功能的便利性。
[0063]
接下来，将参照图2至图4描述插件22的自动作曲功能的细节。
[0064]
图2是示出根据实施例的用户界面的一个示例的示图(1)。图2示出了当在用户终端10的屏幕上显示插件22时的用户界面的一个示例。
[0065]
在图2所示的示例中，用户界面30显示由插件22接收的音乐数据。注意，虽然稍后将描述细节，但是插件22中的音乐数据包括三种不同类型的数据：旋律、和弦和低音音符。在三种不同类型的数据中，图2所示的用户界面30显示与旋律相关的数据。
[0066]
设置信息31显示关于风格调色板的信息，这是自动作曲功能中的设置信息的一个示例。风格调色板是用于将素材音乐指定为机器学习的学习数据的指定信息。
[0067]
设置信息32显示关于和声的信息，这是自动作曲功能中的设置信息的一个示例。关于和声的信息例如是用于确定和弦中包括的作曲音符出现在由处理服务器100作曲的音乐数据的旋律中的概率的信息。例如，如果用户将关于和声的信息设置为“严格”，则包含在和弦中的作曲音符更有可能出现在自动作曲的音乐数据的旋律中。另一方面，如果用户将关于和声的信息设置为“松散”，则包含在和弦中的作曲音符不太可能出现在自动作曲的音乐数据的旋律中。图2中的示例示出了用户已经应用了关于更接近“严格”的和声的信息。
[0068]
设置信息33显示音符长度信息，这是自动作曲功能中的设置信息的一个示例。音符长度信息是例如用于确定由处理服务器100作曲的音乐数据中的音符长度的信息。例如，如果用户将音符长度信息设置为“长”，则具有较长音符长度的音符(例如，全音符、半音符等)更有可能出现在自动作曲的音乐数据中。另一方面，如果用户将音符长度信息设置为“短”，则具有较短音符长度的音符(例如，八分音符、十六分音符等)更有可能出现在自动作曲的音乐数据中。
[0069]
设置信息34显示用于确定除了包括在指定信息(由用户指定的风格调色板)中的素材音乐之外的素材音乐的类型和数量的信息，这是自动作曲功能中的设置信息的一个示
例。这种信息例如是用于确定是否严格基于包括在由处理服务器100作曲的音乐数据中由用户指定的风格调色板中的音乐来执行学习的信息。例如，如果用户将这样的信息设置为“从不”，则在自动作曲学习中使用除了风格调色板中包括的音乐之外的音乐的倾向降低。另一方面，如果用户将这样的信息设置为“仅”，则在自动作曲学习中使用除了风格调色板中包括的音乐之外的音乐的趋势增加。
[0070]
音乐数据35显示从处理服务器100传输的特定音乐数据。在图2的示例中，音乐数据35包括指示诸如cm等和弦进程的信息、指示小节中的音高和音符长度的信息、音符音高的过渡(换言之，旋律)等。另外，如图2所示，例如，音乐数据35可以包括四种不同类型的内容。即，处理服务器100可以传输多段音乐数据，而不是仅传输一种类型的自动作曲的音乐数据。结果，用户可以从生成的多个音乐数据候选中选择他/她喜欢的音乐数据，或者组合多段音乐数据，来创作他/她喜欢的音乐。
[0071]
注意，尽管图2中所示的用户界面30显示了三种不同类型的数据中与旋律相关的数据：包括在音乐数据中的旋律、和弦和低音音符，但是在其他用户界面上显示其他数据。这一点将参照图3进行描述。图3是示出根据实施例的用户界面的一个示例的示图(2)。
[0072]
如图3所示，除了显示与旋律相关的数据的用户界面30之外，用户终端10可以在屏幕上显示用户界面38，用户界面38显示与和弦相关的数据；以及用户界面39，显示与低音音符相关的数据。尽管图3中未示出，但是用户界面38和用户界面39在用户界面30中显示不同于音乐数据35的音符信息。具体地，用户界面38显示与对应于音乐数据的旋律的和弦相关的音符信息(例如，和弦cm的作曲音符等)。另外，用户界面39显示与对应于音乐数据的旋律或和弦的低音音符相关的音符信息(例如，在和弦cm的情况下的音符“c”等)。
[0073]
例如，用户可以从显示的用户界面30、用户界面38和用户界面39选择要复制到主应用程序20的信息，或者编辑低音音符的一部分。
[0074]
接下来，将参照图4描述作为上述设置信息的一个示例的风格调色板。图4是示出根据实施例的风格调色板的一个示例的示图。
[0075]
图4所示的窗口40是插件22中显示的用户界面的一个示例。例如，用户参考在窗口40中显示的风格调色板的特征信息，并选择与要自动创作的音乐相匹配的图像。例如，用户选择具有特征信息“亮”的风格调色板41、具有特征信息“暗”的风格调色板42等。或者，用户选择具有音乐的流派和类型的名为“美国”的风格调色板43，作为特征信息，或者用户选择具有音乐的作曲的名为“诗歌
‑
>桥段
‑
>合唱”的风格调色板44，作为特征信息。
[0076]
注意，如上所述，风格调色板是用于指定由处理服务器100用于学习的音乐的信息。即，每个风格调色板包含用于识别预先创作的现有音乐的信息。例如，假设作曲音乐列表50与风格调色板41相关联。作曲音乐列表50包括多首现有音乐。另外，假设作曲音乐列表51与风格调色板42相关联。作曲音乐列表51包括不同于包括在作曲音乐列表50中的音乐的多首现有音乐。
[0077]
为此，基于风格调色板41通过机器学习生成的学习模型不同于基于风格调色板42通过机器学习生成的学习模型。这是因为机器学习中的学习数据根据用户选择的风格调色板而变化。即，风格调色板也可以被认为是用于在自动作曲中指定学习数据的指定信息。
[0078]
包括在风格调色板中的音乐例如由插件22的管理员、提供者等预先记录。例如，插件22的管理员提取主观上被感知为“明亮”的多首音乐，以生成作曲音乐列表50，并将作曲
音乐列表50与风格调色板41相关联。注意，风格调色板和对应于风格调色板的音乐可以由插件22的用户任意编辑。例如，用户可以从诸如歌曲分发服务或社交网络服务(sns)等网络服务中选择音乐，组合所选择的音乐片段，并生成期望的风格调色板。具体地，用户可以任意提取由预定音乐应用程序自动生成的播放列表或提供给音乐应用程序的用户的播放列表中包括的音乐，并且改变他/她创建的风格调色板的作曲音乐或者创建新风格调色板。结果，用户可以灵活地生成他/她喜欢的风格调色板。
[0079]
注意，当选择风格调色板作为设置信息时，用户可以选择多个风格调色板。例如，用户可以选择风格调色板41，作为用于创作歌曲的一部分的设置信息(例如，前八小节)，并且选择风格调色板42，作为用于创作歌曲的另一部分(例如，中间八小节)的设置信息。包括多个风格调色板的这种信息在下文中被称为风格调色板序列。换言之，风格调色板序列可以被认为是组合的指定信息，在该组合的指定信息中，组合了用于指定音乐的多条指定信息(即风格调色板)。通过为音乐作曲设置风格调色板序列，用户可以容易地在一首音乐中创建具有多个特征的各种音乐数据。
[0080]
接下来，将参考图5概念性地示出主应用程序20和插件22之间的关系。图5是示出根据实施例的信息处理流程的框图。
[0081]
图5中所示的处理块60示出了由daw(主应用程序20)和插件22执行的处理流程。通常，演奏者会记录乐器演奏的声音或创建数据，例如，midi。另外，在根据该实施例的信息处理中，对应于旋律、和弦和低音音符的音乐数据由插件22而不是演奏者生成。例如，演奏者或插件22生成旋律61、和弦62或低音音符63。
[0082]
此后，用户在与daw相关的记录器中记录用于音乐的旋律61、和弦62和低音音符63，并创建对应于旋律、和弦和低音音符的每个音轨。例如，用户为插件22生成的旋律61设置指示在演奏中使用的乐器的乐器信息。具体地，用户设置乐器信息，例如，在daw中记录在吉他上演奏旋律61。然后，用户将虚拟吉他演奏的声音记录在记录器中，并创建对应于吉他的音轨。注意，由于daw可以创建多个音轨，所以基于演奏者的演奏声音的音轨和基于插件22创建的音乐数据的音轨可以共存。
[0083]
此后，用户在daw上混合音轨，并通过执行混音等来创建音乐数据。另外，用户在daw上执行母带制作，调整声音信号电平等，并且创建可以在播放装置等上播放的音乐文件65。
[0084]
如上所述，根据依照该实施例的信息处理，用户可以使用由插件22根据演奏者播放的演奏数据和创建的midi数据自动作曲的数据，并且在daw上创建音乐。例如，用户可以通过将ai自动作曲的旋律与演奏者演奏的演奏数据混合，或者通过将ai提出的和弦进程包含到演奏者演奏的演奏数据中，在daw上创建音乐。
[0085]
在上文中，已经描述了根据本公开的信息处理的总体流程的概要。在图6和以下附图中，将描述包括用户终端10的信息处理系统1的配置，并且将依次描述各种处理的细节。
[0086]
[1
‑
2.根据第一实施例的信息处理系统的配置]
[0087]
图6是示出根据本公开第一实施例的信息处理系统1的一个示例的示图。如图1所示，信息处理系统1包括用户终端10、处理服务器100和管理服务器200。
[0088]
用户终端10是根据本公开的信息处理装置的一个示例，并且控制主应用程序20和插件22的操作。
[0089]
处理服务器100是根据本公开的外部服务器的一个示例，并且与插件22协作执行自动作曲处理。
[0090]
管理服务器200例如是由提供插件22的商业运营商等管理的服务器。
[0091]
例如，管理服务器200管理插件22用户的用户权限，并管理插件22中可用的风格调色板的信息。例如，管理服务器200基于唯一标识用户的用户id来确定用户是否有权使用插件22。另外，管理服务器200创建风格调色板，编辑包括在风格调色板中的音乐，并且向用户终端10和处理服务器100传输关于风格调色板的信息。注意，管理服务器200可以与处理服务器100一体配置。
[0092]
[1
‑
3.根据实施例的信息处理装置(用户终端)的配置]
[0093]
接下来，将参照图7描述作为根据本公开的信息处理装置的一个示例的用户终端10的配置。图7是示出根据本公开实施例的用户终端10的配置示例的示图。如图7所示，用户终端10包括通信单元11、输入单元12、显示单元13、存储单元15和控制单元16。
[0094]
通信单元11由例如网络接口卡(nic)等实现。通信单元11通过有线或无线连接到网络n(互联网等)，并且通过网络n向处理服务器100、管理服务器200等传输信息和从其接收信息。
[0095]
输入单元12是接受来自用户的各种操作的输入装置。例如，输入单元12由包括在用户终端10中的操作键等实现。显示单元13是用于显示各种类型的信息的显示装置。例如，显示单元13由液晶显示器等实现。注意，当用户终端10采用触摸板时，输入单元12的一部分和显示单元13集成。
[0096]
存储单元15例如由诸如随机存取存储器(ram)或闪存等半导体存储元件或者诸如硬盘或光盘等存储装置来实现。存储单元15存储用于信息处理的各种数据。
[0097]
如图7所示，存储单元15存储各种信息，例如，作曲设置信息151、作曲音乐信息152、历史信息153和相关乐器信息154(associated instrument information，担当乐器信息)。在下文中，将描述每种类型的信息。
[0098]
作曲设置信息151是当执行自动作曲时由插件22(第二应用程序)使用的信息。图8示出了根据实施例的作曲设置信息151的一个示例。图8是示出根据实施例的作曲设置信息151的一个示例的示图。
[0099]
如图8所示，作曲设置信息151包括作曲语料库信息和演奏风格信息。作为作曲语料库信息，存储用作自动作曲的学习数据的音乐数据或保存音乐数据的地方(例如，数据服务器的地址)。另外，作曲语料库信息包括例如诸如每首音乐的音符的平均长度和转调等信息。
[0100]
作为演奏风格信息，存储用作自动作曲的学习数据的诸如音乐的演奏风格等信息。例如，演奏风格包括诸如整体混洗(shuffle)比率、和弦和低音音符分离以及整体平衡等信息。
[0101]
作曲音乐信息152是关于当执行自动作曲时由插件22使用的音乐的信息。图9示出了根据实施例的作曲音乐信息152的一个示例。图9是示出根据实施例的作曲音乐信息152的一个示例的示图。
[0102]
如图9所示，作曲音乐信息152包括音乐id、风格调色板id和风格调色板序列id。音乐id指示用于唯一标识用作学习数据的现有音乐的标识信息。风格调色板id指示用于标识
包括多首现有音乐的风格调色板的标识信息。风格调色板序列id指示用于标识包括多个风格调色板的风格调色板序列的标识信息。
[0103]
历史信息153指示用户在主应用程序20和插件22中的操作的历史以及用户创建的音乐的历史。图10示出了根据实施例的历史信息153的一个示例。图10是示出根据实施例的历史信息153的一个示例的示图。
[0104]
如图10所示，历史信息153包括作曲音乐信息。作曲音乐信息包括从处理服务器100传输的音乐数据、包括在音乐数据中的多个候选数据(例如，包括基于某些设置信息生成的四种类型的细分的音乐数据35等，如图2所示)以及由用户编辑的音乐数据。
[0105]
相关乐器信息154指示为从处理服务器100传输的音乐数据和包括在音乐数据中的多条候选数据设置的乐器信息。图11示出了根据实施例的相关乐器信息154的一个示例。图11是示出根据实施例的相关乐器信息154的一个示例的示图。
[0106]
如图11所示，相关乐器信息154包括相关乐器信息。相关乐器信息指示用于标识从处理服务器100传输的用于虚拟演奏音乐数据或包括在音乐数据中的多条候选数据的乐器组的信息、用于音乐数据的乐器组的名称等。例如，作为相关的乐器信息，可以为旋律、和弦和低音音符中的每一个设置不同的信息。
[0107]
回到图7，将继续描述。例如，由执行存储在用户终端10内部的程序(例如，根据本公开的信息处理程序)的中央处理单元(cpu)、微处理单元(mpu)、图形处理单元(gpu)等，实现控制单元16，其中，随机存取存储器(ram)等作为工作区域。另外，控制单元16是控制器，并且可以通过例如集成电路来实现，例如，专用集成电路(asic)或现场可编程门阵列(fpga)。
[0108]
如图7所示，控制单元16具有主应用程序控制单元161和插件应用程序控制单元165，并且实现或执行下面描述的信息处理功能和操作。主应用程序控制单元161包括插件控制单元162、播放单元163和显示控制单元164。插件应用程序控制单元165包括选择单元166、传输/接收单元167、播放单元168和显示控制单元169。注意，控制单元16的内部配置不限于图7所示的配置，并且可以是另一种配置，只要它是用于执行稍后描述的信息处理的配置。
[0109]
主应用程序控制单元161控制主应用程序20(作为第一应用程序的daw)。
[0110]
插件控制单元162控制主应用程序20中各种插件的操作。例如，插件控制单元162控制诸如调用主应用程序20中的插件、激活主应用程序20上的插件以及将插件中的数据复制到主应用程序20等操作。
[0111]
例如，当插件播放包括在从处理服务器100接收的音乐数据中的和弦、旋律或低音音符时，插件控制单元162单独设置用于指定音质的乐器信息。例如，插件控制单元162读出在daw上记录的虚拟乐器的信息，并设置关于虚拟乐器的信息，以演奏插件的音乐数据中包括的和弦、旋律或低音音符中的每一个。
[0112]
播放单元163控制主应用程序20中的播放处理。播放单元163在主应用程序20中具有同步播放功能、播放信息传输功能、声音合成播放功能、播放风格排列功能等。
[0113]
例如，播放单元163与插件的播放单元168的同步播放功能协作，以播放由插件保存的音乐数据。例如，播放单元163可以将指示主应用程序正在播放的位置的时间信息传递给插件，以获取和播放对应于播放位置的部分的旋律、和弦和低音音符。
[0114]
另外，在插件中设置了演奏风格等的情况下，播放单元163可以根据演奏风格处理播放数据并播放处理后的数据。
[0115]
显示控制单元164控制主应用程序20中的显示控制处理。例如，显示控制单元164具有用于在屏幕(显示单元13)上显示关于每个音轨的信息的演奏信息显示功能、用于将诸如音乐数据等信息复制到音轨的作曲音乐信息粘贴功能等。
[0116]
此外，显示控制单元164控制插件，来单独显示每个窗口，各个窗口显示关于从处理服务器100接收的音乐数据中包括的和弦、旋律或低音音符的信息。例如，显示控制单元164在daw的屏幕上显示对应于和弦、旋律或低音音符中的每一个的用户界面，如图3所示。
[0117]
另外，根据用户的操作，显示控制单元164控制显示关于和弦、旋律或低音音符的信息的每个窗口和显示关于主应用程序的信息的窗口之间的信息的传输和接收。结果，用户可以快速执行处理，例如，将自动作曲的音乐数据复制到任意音轨或在daw上执行编辑。
[0118]
注意，显示控制单元164不仅可以控制主应用程序和插件之间的信息交换，还可以控制显示的插件窗口之间的信息交换。即，显示控制单元164可以根据用户的操作来控制窗口之间的信息的传输和接收，每个窗口显示关于和弦、旋律或低音音符的信息。
[0119]
插件应用程序控制单元165控制在主应用程序20上运行的插件的操作。例如，插件应用程序控制单元165根据用户的操作激活主应用程序20上的插件。
[0120]
选择单元166基于机器学习选择用于控制作曲功能的设置信息。例如，选择单元166选择用于将素材音乐指定为用于机器学习的学习数据的指定信息，作为设置信息。具体地，指定信息对应于图4和其他附图中所示的风格调色板。
[0121]
例如，根据用户的操作，选择单元166选择指定信息，该指定信息预先存储在存储单元15中，并且包括指示指定信息特征的特征信息以及与特征信息相关联的多首素材音乐。例如，用户通过图4所示的窗口40等参考风格调色板的特征信息(“亮”、“暗”等)。然后，基于特征信息，用户选择风格调色板，该风格调色板包括要由ai作曲的音乐的期望特征信息。
[0122]
另外，选择单元166可以选择组合的指定信息，在该组合的指定信息中，组合了对应于由外部服务器作曲的音乐数据的一些小节的第一指定信息和对应于其一些其他小节的第二指定信息。如上所述，组合的指定信息对应于风格调色板序列。此外，第一指定信息对应于风格调色板，该风格调色板是用于创作一些小节的设置信息。此外，第二指定信息对应于风格调色板，该风格调色板是用于创作一些其他小节的设置信息。
[0123]
此外，除了风格调色板之外，选择单元166可以选择关于要作曲的音乐数据的详细设置信息。
[0124]
例如，选择单元166可以基于风格调色板选择包括在由处理服务器100作曲的音乐数据中的音符的长度信息，作为设置信息。例如，选择单元166通过显示包括在图2所示的用户界面30等中的设置信息33的滑块等来接受用户对音符长度信息的选择。
[0125]
另外，选择单元166可以基于风格调色板选择用于确定和弦中包括的作曲音符出现在由处理服务器100作曲的音乐数据的旋律中的概率的信息，作为设置信息。例如，选择单元166通过显示包括在图2所示的用户界面30等中的设置信息32的滑块等，从用户接受对用于确定和弦中包括的作曲音符出现在旋律中的概率的信息的选择。
[0126]
另外，选择单元166可以基于风格调色板选择用于确定由处理服务器100作曲的音
乐数据中的风格调色板中包括的素材音乐之外的素材音乐的类型和数量的信息，作为设置信息。例如，选择单元166通过显示包括在图2所示的用户界面30等中的设置信息34的滑块等，从用户接受用于确定除了包括在风格调色板中的素材音乐之外的素材音乐的类型和数量的信息的选择。
[0127]
另外，选择单元166可以选择风格调色板之外的信息，作为用于自动作曲的设置信息。作为一个示例，选择单元166可以基于用户的操作选择作曲音乐中的和弦进程，作为设置信息。在这种情况下，处理服务器100基于用户选择的和弦进程，自动生成音乐数据。
[0128]
传输/接收单元167将由选择单元166选择的设置信息传输到处理服务器100，处理服务器100通过网络n执行基于机器学习的作曲功能，并且接收由处理服务器100作曲的音乐数据。
[0129]
例如，传输/接收单元167向处理服务器100传输由选择单元166选择的风格调色板。然后，传输/接收单元167接收由处理服务器100基于风格调色板生成的音乐数据。
[0130]
传输/接收单元167例如接收指定长度的小节中的和弦、小节中的旋律和小节中的低音音符，作为音乐数据。这种信息可以是诸如midi、musicxml等数据、daw原始标准的信息或波形数据(wav文件等)。
[0131]
另外，传输/接收单元167可以向处理服务器100传输由选择单元166选择的风格调色板序列。在这种情况下，传输/接收单元16接收由处理服务器1007基于风格调色板序列生成的音乐数据。
[0132]
当传输/接收单元167接收由处理服务器100基于风格调色板序列作曲的音乐数据时，传输/接收单元167可以将音乐数据与风格调色板序列相关联地存储在存储单元15中。结果，作为历史，用户可以参考由什么样的风格调色板序列创建什么样的音乐数据，使得这样的信息可以用于作曲。
[0133]
另外，传输/接收单元167可以向处理服务器100传输除了风格调色板和风格调色板序列之外的各种设置信息。例如，传输/接收单元167向处理服务器100传输音符长度信息、用于确定包括在和弦中的作曲音符出现在旋律中的概率的信息、用于确定除了包括在风格调色板中的素材音乐之外的素材音乐的类型和数量的信息等由用户设置的信息。
[0134]
另外，当用户在接收到音乐数据之后对由处理服务器100作曲的音乐数据执行播放或编辑操作时，传输/接收单元167可以向处理服务器100传输关于播放或编辑操作的信息。结果，处理服务器100可以获取诸如如何使用作曲数据或者使用了多少作曲音乐数据等信息。在这种情况下，处理服务器100可以基于这样的信息调整学习方法和要生成的音乐数据。例如，处理服务器100可以分析由更多用户使用的过去音乐数据，并且优先生成具有这种特性的音乐数据。
[0135]
播放单元168控制插件中的播放处理。例如，播放单元168播放由传输/接收单元167接收的音乐数据。具体地，播放单元168为音乐数据中包括的旋律、和弦和低音音符中的每一个设置任意的乐器信息，并且播放每一段数据。注意，播放单元168可以组合播放旋律、和弦和低音音符。
[0136]
显示控制单元169控制插件中的显示处理。例如，显示控制单元169在屏幕上显示诸如显示插件信息的用户界面等窗口。
[0137]
如图2所示，例如，显示控制单元169获取四个小节的四种类型的音乐数据，并且在
用户界面中并排显示四个候选。用户可以通过从四种类型的音乐数据候选中沿着时间轴连接好的部分(即，执行伴奏)来选择最终候选。例如，用户可以删除或连接旋律中的一些音符，改变音符的长度，或者改变音符的音高。
[0138]
另外，显示控制单元169可以执行控制，以从存储单元15检索由处理服务器100作曲的过去音乐数据的历史，并且根据用户的操作显示过去音乐数据的历史。结果，用户可以在参考过去由处理服务器100作曲的数据的同时继续作曲。例如，用户可以通过将通过编辑创建的最新音乐与过去编辑的音乐历史进行比较来确定最终候选。
[0139]
另外，显示控制单元169可以执行控制，以从存储单元15检索对由处理服务器100作曲的过去音乐数据执行的编辑操作的历史，并且还显示对过去音乐数据执行的编辑操作。结果，用户可以参考过去执行的编辑操作，例如，由编辑操作生成的音乐数据，从而可以有效地执行作曲。
[0140]
注意，虽然图2和图3示出了音乐数据以类似于显示音高和音符长度的所谓的钢琴卷帘的格式显示在用户界面上的示例，但是显示控制单元169可以以五线谱或daw特有的格式显示音乐数据。
[0141]
[1
‑
4.根据实施例的外部服务器(处理服务器)的配置]
[0142]
接下来，将描述作为根据本公开的外部服务器的一个示例的处理服务器100的配置。图12是示出根据实施例的处理服务器100的配置示例的示图。
[0143]
如图12所示，处理服务器100包括通信单元110、存储单元120和控制单元130。注意，处理服务器100可以具有从管理处理服务器100的管理员等接受各种操作的输入单元(例如，键盘、鼠标等)以及用于显示各种信息的显示单元(例如，液晶显示器等)。
[0144]
通信单元110由例如nic等实现。通信单元210通过有线或无线连接到网络n，并且通过网络n向用户终端10、管理服务器20等传输信息和从其接收信息。
[0145]
存储单元120例如由诸如ram或闪存等半导体存储元件或者诸如硬盘或光盘等存储装置来实现。存储单元120存储用于信息处理的各种数据。
[0146]
如图12所示，存储单元120存储各种信息，例如，用户信息121、音乐信息122、风格调色板信息123、风格调色板序列信息124、用户作曲信息125和历史信息126。在下文中，将描述每种类型的信息。
[0147]
用户信息121指示插件22(第二应用程序)的用户的信息。图13示出了根据实施例的用户信息121的一个示例。图13是示出根据实施例的用户信息121的一个示例的示图。
[0148]
如图13所示，用户信息121包括用户id、用户元信息和权限信息。用户id表示用于唯一标识用户的标识信息。用户元信息是用户的额外信息，例如，用户的姓名和地址。权限信息是例如标识信息，例如，插件的用户是管理员、普通用户还是特殊用户。
[0149]
音乐信息122指示关于用于自动作曲处理的音乐的信息。图14示出了根据实施例的音乐信息122的一个示例。图14是示出根据实施例的音乐信息122的一个示例的示图。
[0150]
如图14所示，音乐信息122包括音乐id、音乐元信息、旋律信息、和弦进程信息和低音音符进程信息。音乐id指示用于唯一识别音乐的标识信息。音乐元信息例如是诸如音乐标题、作曲家、日期和音乐流派等信息。旋律信息是例如表达声音部分的音阶信息等。和弦进程信息例如是表示音乐中和弦过渡的时间序列信息。低音音符进程信息是指示和弦进程信息的根音符的时间序列信息。
[0151]
风格调色板信息123指示关于用于自动作曲处理的风格调色板的信息。图15示出了根据实施例的风格调色板信息123的一个示例。图15是示出根据实施例的风格调色板信息123的一个示例的示图。
[0152]
如图15所示，风格调色板信息123包括风格调色板id、风格调色板元信息和音乐id。风格调色板id指示用于唯一标识风格调色板的标识信息。风格调色板元信息包括例如诸如风格调色板的名称等信息、诸如亮或暗、快或慢等主观特征信息、诸如包括诗歌、桥段和合唱的歌曲等结构以及和弦进程的特征。音符和弦进程信息等可以被添加到风格调色板元信息的名称。结果，用户可以直观地掌握风格调色板的特征。另外，如图15所示，多个音乐id与风格调色板相关联地记录。例如，风格调色板信息123由管理服务器200等记录。
[0153]
风格调色板序列信息124指示关于用于自动作曲处理的风格调色板序列的信息。图16示出了根据实施例的风格调色板序列信息124的一个示例。图16是示出根据实施例的风格调色板序列信息124的一个示例的示图。
[0154]
如图16所示，风格调色板序列信息124包括风格调色板序列id、风格调色板序列元信息、风格调色板id和调合(formulation)信息。风格调色板序列id指示用于唯一标识风格调色板序列的标识信息。风格调色板序列元信息例如是风格调色板序列的名称和主观特征信息，例如，亮或暗、快或慢。另外，如图16所示，多个风格调色板id与风格调色板序列相关联地记录。另外，调合信息是关于风格调色板序列中风格调色板的排列的信息。
[0155]
用户作曲信息125指示从用户终端10接收的关于作曲的信息。图17示出了根据实施例的用户作曲信息125的一个示例。图17是示出根据实施例的用户作曲信息125的一个示例的示图。
[0156]
如图17所示，用户作曲信息125包括用户id、音乐id、风格调色板id和风格调色板序列id。用户id指示用于唯一标识用户的标识信息。音乐id指示标识信息，用于标识为由用户id标识的用户生成的音乐。风格调色板id指示标识信息，用于标识从由用户id标识的用户传输的风格调色板。风格调色板序列id指示标识信息，用于标识从由用户id识别的用户传输的风格调色板序列。
[0157]
历史信息126是与处理服务器100的信息处理相关的各种历史。图18示出了根据实施例的历史信息126的一个示例。图18是示出根据实施例的历史信息126的一个示例的示图。
[0158]
如图18所示，历史信息126包括作曲历史信息和操作历史信息。作曲历史信息是由处理服务器100生成的音乐的历史。操作历史信息是诸如用户在用户终端10上的编辑操作的历史等信息。操作历史信息例如是关于用户执行改编、选择作曲的音乐数据、编辑音乐数据的信息、关于播放次数和播放被跳过的次数的信息等。这些信息可以用作作曲单元134的学习数据，这将在后面描述。
[0159]
回到图12，将继续描述。控制单元130通过例如执行存储在处理服务器100内部的程序的cpu、mpu、gpu器等来实现，其中，ram等作为工作区域。另外，控制单元130是控制器，并且可以通过例如集成电路(例如，asic或fpga)来实现。
[0160]
如图12所示，控制单元130具有接受单元131、管理单元132、获取单元133、作曲单元134和传输单元135，并且实现或执行下面描述的信息处理功能和操作。注意，控制单元130的内部配置不限于图12所示的配置，并且可以是另一种配置，只要它是用于执行稍后描
述的信息处理的配置。
[0161]
接受单元131接受从管理服务器200传输的各种信息。例如，接受单元131接受关于插件的用户的信息、关于风格调色板的信息、关于在自动作曲中使用的素材音乐的信息等。例如，当用户购买并激活产品(插件、daw等)时，接受单元131执行向用户发布用户id并接受关于用户的信息的处理。另外，接受单元131根据来自管理服务器200的操作和命令，接受要链接到风格调色板的音乐的记录、风格调色板的编辑等。
[0162]
管理单元132管理由接受单元131接受的各种信息。例如，管理单元132在存储单元120中存储各种信息，并且适当地更新存储的信息。
[0163]
例如，当管理单元132的风格调色板记录处理完成时，用户可以获取并浏览风格调色板信息的列表。
[0164]
获取单元133获取从用户终端10传输的自动作曲请求。另外，获取单元133获取与请求一起传输的设置信息。例如，获取单元133获取用户期望的风格调色板，作为设置信息。
[0165]
作曲单元134基于由获取单元133获取的设置信息来创作音乐。作曲单元134可以通过使用各种现有的音乐生成算法来创作音乐。例如，作曲单元134可以使用利用马尔可夫链的音乐生成算法，或者可以使用利用深度学习的音乐生成算法。如上所述，作曲单元134为从用户传输的单条设置信息生成多条音乐数据。结果，用户可以从作曲单元134接收多个建议，并且因此可以通过使用更多样的信息来继续作曲。
[0166]
当通过作曲处理生成音乐数据时，作曲单元134将生成的音乐数据与传输风格调色板的用户的用户id相关联，并将其作为历史信息存储在存储单元120中。
[0167]
传输单元135将作曲单元134生成的音乐数据传输到用户终端10。
[0168]
[1
‑
5.根据实施例的信息处理过程]
[0169]
接下来，将参照图19描述根据实施例的信息处理的过程。图19是示出根据实施例的信息处理的过程的流程图。
[0170]
如图19所示，用户终端10根据用户的操作激活主应用程序上的自动作曲功能(插件)(s101)。
[0171]
随后，用户终端10确定是否从用户接受了风格调色板等的选择(步骤s102)。如果未从用户接受风格调色板等的选择(步骤s102，否)，用户终端10等待，直到接受到选择。
[0172]
另一方面，如果从用户接受了风格调色板等的选择(步骤s102，是)，用户终端10根据用户的操作选择风格调色板(步骤s103)。注意，在步骤s102中，用户终端10可以接受除了风格调色板之外的各种设置信息。
[0173]
此后，用户终端10确定是否从用户接受了作曲请求(步骤s104)。如果没有从用户接受作曲请求(步骤s104否)，则用户终端10等待，直到接受请求。
[0174]
另一方面，如果从用户接受了作曲请求(步骤s104，是)，用户终端10将接受的设置信息与作曲请求一起传输到处理服务器100(步骤s105)。此后，用户终端10接收由处理服务器100创作(生成)的音乐数据(步骤s106)。
[0175]
随后，用户终端10确定用户是否已经在用户终端10上执行了编辑处理等(步骤s107)。如果没有执行编辑处理等(步骤s107，否)，则用户终端10等待，直到接受编辑处理等(步骤s107)。
[0176]
另一方面，如果已经执行了编辑处理等(步骤s107，是)，用户终端10反映编辑并将
关于编辑操作的信息传输到处理服务器100(步骤s108)。
[0177]
此后，用户终端10确定是否从用户接受了另一作曲请求(步骤s109)。如果从用户接受了作曲请求(步骤s109，是)，用户终端10接受来自用户的新设置信息。
[0178]
另一方面，如果没有从用户接受了作曲请求(步骤s109，否)，用户终端10确定是否接受主应用程序终止请求(步骤s110)。如果未接受主应用程序终止请求(步骤s110，否)，则用户终端10继续当前接收的音乐数据的编辑处理。另一方面，如果接受了主应用程序终止请求(步骤s110是)，用户终端10终止主应用程序和插件，并结束处理。
[0179]
(2.修改)
[0180]
除了上述实施例之外，上述信息处理系统1可以以各种不同的形式实现。因此，下面将描述实施例的修改。
[0181]
[2
‑
1.音乐数据的形式]
[0182]
在上述实施例中，假设插件中的音乐数据的相关乐器信息154等中设置的信息类型是旋律、和弦和低音音符。然而，本发明不限于此。例如，相关乐器信息154不仅可以应用于旋律、和弦和低音音符，还可以应用于例如大乐队的每个乐器的演奏部分。
[0183]
[2
‑
2.主应用程序]
[0184]
在上述实施例中，假设daw是主应用程序。然而，本发明不限于此。例如，主应用程序可以是视频编辑应用等，而不是音乐编辑应用。
[0185]
[2
‑
3.由daw控制]
[0186]
在上述实施例中，示出了用户终端10选择关于插件的设置信息并将选择的信息传输到处理服务器100的示例。然而，可以由主应用程序选择设置信息等。即，用户终端10可以向处理服务器100传输在主应用程序中选择的设置信息(例如，和弦进程)等，以使得能够执行自动作曲处理。在这种情况下，主应用程序可以向插件提供应用编程接口(api)，以便插件使用主应用程序的信息，并且允许从主应用程序获取用于生成风格调色板的信息，并且控制处理服务器100的传输和接收处理。
[0187]
例如，用户终端10使用作为主应用程序的daw的和弦生成功能来生成任意和弦进程。然后，用户终端10可以基于由daw生成的和弦进程来执行自动作曲。例如，用户终端10将由daw生成的和弦进程输入到插件中，并通过插件将和弦进程传输到处理服务器100。
[0188]
即，主应用程序执行控制，以将关于在主应用程序中生成的和弦进程的信息传输到插件。然后，插件选择关于在主应用程序中生成的和弦进程的信息，作为设置信息。此外，插件将关于在主应用程序中生成的和弦进程的信息传输到处理服务器100，并接收基于关于和弦进程的信息而作曲的音乐数据。
[0189]
此外，用户终端10可以基于由daw生成的和弦进程，自动选择要传输到处理服务器100的风格调色板。例如，用户终端10可以选择具有类似于由daw生成的和弦进程的特征的风格调色板，并将该风格调色板传输到处理服务器100。另外，用户终端10可以根据由daw生成的和弦进程，依次选择风格调色板，生成风格调色板序列，并将生成的风格调色板序列传输到处理服务器100。
[0190]
另外，用户终端10可以执行设置，使得允许插件访问主应用程序上的基本音轨的信息。例如，用户设置daw的基本音轨，使得音轨跟随自动作曲的音乐数据。在这种情况下，例如，根据由处理服务器100生成的音乐数据和由daw生成的和弦进程，来自动补充基本音
轨。
[0191]
另外，用户终端10可以执行设置，使得允许插件访问主应用程序上的旋律音轨的信息。例如，用户设置daw的旋律音轨，使得该音轨自动跟随作曲的音乐数据。在这种情况下，当用户选择某个小节并请求自动作曲时，生成的旋律会自动插入到音轨中。另外，当用户通过组合多段音乐数据将daw设置为用于编辑的模式(称为伴奏模式等)时，用户可以通过选择出现在屏幕上的多个音轨的期望部分来完成旋律。
[0192]
此外，用户终端10可以执行设置，使得允许插件访问主应用程序上的旋律音轨和midi输入的信息。在这种情况下，用户可以通过充分利用自动作曲功能和midi输入来执行作曲。例如，用户在四个小节中输入任意的和弦进程，并使daw循环。然后，用户根据循环性能用midi键盘进行输入。通过将和弦进程和旋律信息上传到处理服务器100，用户终端10可以在处理服务器100侧自动创建个人风格调色板。例如，在daw上新添加的风格调色板菜单中，用户可以给出开始或停止创建、保存、命名或删除个人风格调色板的指令。可以通过风格调色板菜单公开获得这种个人风格调色板。
[0193]
另外，用户终端10可以执行设置，使得允许插件访问主应用程序上的音轨的信息。音轨例如是记录乐器演奏声音的音轨，并且例如是包括钢琴的和弦演奏、低音吉他的低音音符演奏、主音乐器的旋律等的音轨。该插件访问音轨，通过信号处理分析音频数据，例如，每个音轨的旋律、和弦和低音音符，并获得旋律的nidi信息、和弦进程信息等。插件可以使用例如12音分析技术等进行分析。在这种情况下，用户终端10可以将分析的信息传输到处理服务器100，以通过机器学习等自动推断最佳和弦进程。然后，处理服务器100基于该和弦进程信息定义风格调色板序列。结果，用户可以基于由处理服务器100生成的风格调色板序列来执行辅助作曲，使得例如可以改编整个作曲或者可以部分改编和替换作曲。
[0194]
另外，用户终端10可以执行设置，使得允许插件访问主应用程序上的现有主音轨的信息。例如，通过在daw中执行混音并向下混合到双声道立体声来获得主音轨。插件访问主音轨，通过信号处理分析音频数据，获取和弦进程信息等。用户终端10可以将分析的信息传输到处理服务器100，以通过机器学习等自动推断最佳和弦进程。然后，处理服务器100基于该和弦进程信息定义风格调色板序列。结果，用户可以基于由处理服务器100生成的风格调色板序列来执行辅助作曲，使得例如可以改编整个作曲或者可以部分改编和替换作曲。
[0195]
如上所述，在主应用程序设置有各种功能的情况下，根据本公开，用户终端10可以将这些功能应用于插件并将其用于信息处理。例如，如上所述，用户终端10可以基于由daw生成的和弦进程来生成风格调色板序列，并且使风格调色板序列在网络上公开可用，以激励用户之间的作曲处理。
[0196]
[2
‑
4.信息处理系统的模式]
[0197]
在该实施例中，假设处理服务器100安装在云网络上。然而，本发明不限于该示例，并且只要与用户终端10的通信是可能的，处理服务器100和管理服务器200可以安装在诸如局域网(lan)等网络上。
[0198]
在该实施例中，示出了第一应用程序和第二应用程序安装在用户终端10中的示例。然而，第一应用程序和第二应用程序可以是安装在不同装置中的应用程序。例如，用户终端10可以仅具有第一应用程序的功能，并且例如通过控制安装在诸如平板终端或智能手机等另一装置上的第二应用程序来播放声源。
[0199]
(3.其他实施例)
[0200]
根据上述每个实施例的处理可以以不同于上述实施例的各种不同形式来执行。
[0201]
另外，在上述每个实施例中描述的处理中，被描述为自动执行的全部或部分处理可以手动执行，或者被描述为手动执行的全部或部分处理可以通过已知方法自动执行。此外，除非另有说明，否则上述说明和附图中显示的处理程序、具体名称以及包括各种数据和参数的信息可以任意改变。例如，附图中所示的各种信息不限于所示的信息。
[0202]
此外，每个示出的装置的每个组件都是功能概念，并且不一定必须如图所示进行物理配置。即，每个装置的分配或集成的具体形式不限于图中所示的形式，并且全部或部分装置可以根据各种负荷和使用条件在功能上或物理上分配或集成在任意单元中。
[0203]
另外，只要处理内容不相互矛盾，上述实施例和修改可以适当地组合。
[0204]
另外，本说明书中描述的效果仅仅是说明性的，而不是限制性的。因此，可以获得其他效果。
[0205]
(4.根据本公开的信息处理装置的效果)
[0206]
如上所述，根据本公开的信息处理装置(在实施例中，用户终端10)控制第一应用程序(在实施例中，主应用程序20)和第二应用程序(在实施例中，插件22)，第二应用程序用作扩展第一应用程序的功能的插件。第一应用程序包括控制第一应用程序中的第二应用程序的操作的控制单元(在实施例中，主应用程序控制单元161)。第二应用程序包括：选择单元(在实施例中，选择单元166)，其选择用于控制基于机器学习的作曲功能的设置信息；以及传输/接收单元(在实施例中，传输/接收单元167)，其将设置信息传输到外部服务器(在实施例中，处理服务器100)，该外部服务器基于机器学习执行作曲功能并通过网络接收由外部服务器作曲的音乐数据。
[0207]
如上所述，根据本公开的信息处理装置将具有自动作曲功能的第二应用程序作为插件来处理，并使外部服务器执行实际作曲处理。结果，信息处理装置可以向用户提供具有良好工作效率同时抑制处理负荷的环境。即，信息处理装置可以提高ai的自动作曲功能的便利性。
[0208]
传输/接收单元接收指定长度的小节中的和弦、小节中的旋律和小节中的低音音符，作为音乐数据。结果，信息处理装置可以单独参考和编辑音乐数据，这可以提高用户的便利性。
[0209]
控制单元单独设置乐器信息，用于在播放音乐数据中包括的和弦、旋律或低音音符时指定音质。结果，信息处理装置可以提供各种播放环境。
[0210]
控制单元执行控制，以单独显示每个窗口，该窗口显示关于音乐数据中包括的和弦、旋律或低音音符的信息。结果，信息处理装置可以提高用户编辑操作的便利性。
[0211]
根据用户的操作，控制单元控制显示关于和弦、旋律或低音音符的信息的每个窗口和显示关于第一应用程序的信息的窗口之间的信息的传输和接收。结果，信息处理装置可以通过诸如拖放等操作在第一应用程序和第二应用程序之间交换信息，从而可以提高用户编辑操作的便利性。
[0212]
控制单元根据用户的操作控制窗口之间信息的传输和接收，每个窗口显示关于和弦、旋律或低音音符的信息。结果，信息处理装置可以提高用户编辑操作的便利性。
[0213]
选择单元选择用于将素材音乐指定为用于机器学习的学习数据的指定信息(在实
施例中，风格调色板)，作为设置信息。传输/接收单元将选择单元选择的指定信息传输到外部服务器。结果，信息处理装置可以通过指定用户期望的各种特征来执行自动作曲。
[0214]
根据用户的操作，选择单元选择指定信息，该指定信息预先存储在存储单元(在实施例中，存储单元15)中，并且包括指示指定信息的特征的特征信息以及与特征信息相关联的多首素材音乐。结果，当用户选择指定信息时，信息处理装置可以提高便利性。
[0215]
选择单元选择组合的指定信息(在实施例中，风格调色板序列)，在该组合的指定信息中，组合了对应于由外部服务器作曲的音乐数据的一些小节的第一指定信息和对应于其一些其他小节的第二指定信息。结果，信息处理装置可以自动生成各种音乐。
[0216]
当传输/接收单元基于组合的指定信息接收由外部服务器作曲的音乐数据时，传输/接收单元将组合的指定信息与音乐数据相关联地存储在存储单元中。结果，当用户参考作为过去创建的音乐数据的基础的组合的指定信息等时，信息处理装置可以提高便利性。
[0217]
选择单元基于指定信息选择包括在由外部服务器作曲的音乐数据中的音符的长度信息，作为设置信息。传输/接收单元向外部服务器传输指定信息和音符长度信息。结果，信息处理装置可以生成具有用户期望的特征的音乐数据。
[0218]
选择单元基于指定信息选择用于确定和弦中包括的作曲音符出现在由外部服务器作曲的音乐数据的旋律中的概率的信息，作为设置信息。传输/接收单元向外部服务器传输指定信息和用于确定和弦中包括的作曲音符出现在旋律中的概率的信息。结果，信息处理装置可以生成具有用户期望的特征的音乐数据。
[0219]
选择单元基于指定信息选择用于确定除了由外部服务器作曲的音乐数据中的指定信息中包括的素材音乐之外的素材音乐的类型和数量的信息，作为设置信息。传输/接收单元向外部服务器传输指定信息和用于确定除了包含在指定信息中的素材音乐之外的素材音乐的类型和数量的信息。结果，信息处理装置可以生成具有用户期望的特征的音乐数据。
[0220]
第二应用程序还包括显示控制单元(在实施例中，显示控制单元169)，该显示控制单元根据用户的操作执行控制，以从存储单元检索由外部服务器作曲的过去音乐数据的历史，并显示过去音乐数据的历史。结果，当用户查阅过去的操作历史等时，信息处理装置可以提高便利性。
[0221]
显示控制单元执行控制，以从存储单元检索对由外部服务器作曲的过去音乐数据执行的编辑操作的历史，并且还显示对过去音乐数据执行的编辑操作。结果，当用户查阅过去的操作历史等时，信息处理装置可以提高便利性。
[0222]
当用户在接收到音乐数据之后对由外部服务器作曲的音乐数据执行播放或编辑操作时，传输/接收单元向外部服务器传输关于播放或编辑操作的信息。结果，信息处理装置可以使得处理服务器100基于用户执行的编辑等来执行进一步的学习。
[0223]
选择单元基于用户的操作选择所创作的音乐中的和弦进程。作为设置信息。传输/接收单元将选择单元选择的和弦进程传输到外部服务器。结果，信息处理装置可以提供用户期望的音乐数据，而不依赖于指定信息。
[0224]
控制单元执行控制，以将关于在第一应用程序中生成的和弦进程的信息传输到第二应用程序。选择单元选择关于在第一应用程序中生成的和弦进程的信息，作为设置信息。传输/接收单元将关于在第一应用程序中生成的和弦进程的信息传输到外部服务器，并且
接收基于关于和弦进程的信息而作曲的音乐数据。结果，信息处理装置可以利用诸如daw等的第一应用程序的功能来执行作曲处理。
[0225]
(5.硬件配置)
[0226]
例如，根据上述每个实施例的诸如用户终端10、处理服务器100和管理服务器200等信息装置由具有如图20所示的配置的计算机1000来实现。在下文中，将作为示例描述根据实施例的用户终端10。图20是示出实现用户终端10的功能的计算机1000的一个示例的硬件配置图。计算机1000具有cpu 1100、ram 1200、只读存储器(rom)1300、硬盘驱动器(hdd)1400、通信接口1500和输入/输出接口1600。计算机1000的每个部分通过总线1050连接。
[0227]
cpu 1100基于存储在rom 1300或hdd 1400中的程序进行操作，并控制每个部分。例如，cpu 1100将存储在rom 1300或hdd 1400中的程序扩展到ram 1200中，并执行对应于各种程序的处理。
[0228]
rom 1300存储引导程序，例如，当计算机1000启动时由cpu 1100执行的基本输入输出系统(bios)以及依赖于计算机1000的硬件的程序。
[0229]
hdd 1400是非临时记录由cpu 1100执行的程序和程序使用的数据的计算机可读记录介质。具体地，hdd 1400是用于记录根据本公开的信息处理程序的记录介质，根据本公开的信息处理程序是程序数据1450的一个示例。
[0230]
通信接口1500是计算机1000连接到外部网络1550(例如，互联网)的接口。例如，cpu 1100从另一装置接收数据，或者通过通信接口1500将由cpu 1100生成的数据传输到另一装置。
[0231]
输入/输出接口1600是用于连接输入/输出装置1650和计算机1000的接口。例如，cpu 1100通过输入/输出接口1600从诸如键盘或鼠标等输入装置接收数据。另外，cpu 1100通过输入/输出接口1600将数据传输到输出装置，例如，显示器、扬声器或打印机。另外，输入/输出接口1600可以用作媒体接口，用于读取记录在预定记录介质上的程序等。该介质例如是光学记录介质(例如，数字多功能盘(dvd)或相变可重写盘(pd))、磁光记录介质(例如，磁光盘(mo))、磁带介质、磁记录介质或半导体存储器。
[0232]
例如，在计算机1000用作根据实施例的用户终端10的情况下，计算机1000的cpu 1100通过执行加载在ram 1200上的信息处理程序来实现控制单元16等的功能。另外，hdd 1400将根据本公开的信息处理程序和数据存储在存储单元15中。注意，虽然cpu 1100从hdd 1400读取并执行程序数据1450，但是作为另一示例，可以通过外部网络1550从另一装置获取这些程序。
[0233]
注意，也可以以下述方式配置本技术。
[0234]
(1)一种信息处理装置，用于控制第一应用程序和第二应用程序，所述第二应用程序用作扩展第一应用程序的功能的插件，其中，
[0235]
所述第一应用程序包括：
[0236]
控制单元，所述控制单元控制第一应用程序中的第二应用程序的操作，并且
[0237]
所述第二应用程序包括：
[0238]
选择单元，所述选择单元选择用于控制基于机器学习的作曲功能的设置信息，以及
[0239]
传输/接收单元，所述传输/接收单元通过网络将设置信息传输到外部服务器并接
收由外部服务器作曲的音乐数据，所述外部服务器执行基于机器学习的作曲功能。
[0240]
(2)根据上述(1)所述的信息处理装置，其中，
[0241]
所述传输/接收单元接收指定长度的小节中的和弦、小节中的旋律和小节中的低音音符，作为音乐数据。
[0242]
(3)根据上述(2)所述的信息处理装置，其中，
[0243]
当播放音乐数据中包括的和弦、旋律或低音音符时，所述控制单元单独设置用于指定音质的乐器信息。
[0244]
(4)根据上述(3)所述的信息处理装置，其中，
[0245]
所述控制单元执行控制，以单独显示每个窗口，各个窗口显示关于音乐数据中包括的和弦、旋律或低音音符的信息。
[0246]
(5)根据上述(4)所述的信息处理装置，其中，
[0247]
所述控制单元根据用户的操作，控制显示关于和弦、旋律或低音音符的信息的每个窗口和显示关于第一应用程序的信息的窗口之间的信息的传输和接收。
[0248]
(6)根据上述(4)或(5)所述的信息处理装置，其中，
[0249]
所述控制单元根据用户的操作，控制均显示关于和弦、旋律或低音音符的信息的窗口之间的信息的传输和接收。
[0250]
(7)根据上述(1)至(6)中任一项所述的信息处理装置，其中，
[0251]
所述选择单元选择用于指定素材音乐作为机器学习的学习数据的指定信息，作为设置信息，并且
[0252]
所述传输/接收单元向外部服务器传输由选择单元选择的指定信息。
[0253]
(8)根据上述(7)所述的信息处理装置，其中，
[0254]
根据用户的操作，所述选择单元选择指定信息，所述指定信息预先存储在存储单元中，并且包括指示所述指定信息的特征的特征信息以及与特征信息相关联的多首素材音乐。
[0255]
(9)根据上述(7)或(8)所述的信息处理装置，其中，
[0256]
所述选择单元选择组合的指定信息，在组合的指定信息中，组合了对应于由外部服务器作曲的音乐数据的一些小节的第一指定信息和对应于其一些其他小节的第二指定信息。
[0257]
(10)根据上述(9)所述的信息处理装置，其中，
[0258]
当所述传输/接收单元基于组合的指定信息接收由外部服务器作曲的音乐数据时，所述传输/接收单元将组合的指定信息与音乐数据相关联地存储在存储单元中。
[0259]
(11)根据上述(7)至(10)中任一项所述的信息处理装置，其中，
[0260]
所述选择单元基于指定信息选择包括在由外部服务器作曲的音乐数据中的音符的长度信息，作为设置信息，并且
[0261]
所述传输/接收单元向外部服务器传输指定信息和音符长度信息。
[0262]
(12)根据上述(7)至(11)中任一项所述的信息处理装置，其中，
[0263]
所述选择单元基于指定信息，选择用于确定和弦中包括的作曲音符出现在由外部服务器作曲的音乐数据的旋律中的概率的信息，作为设置信息，并且
[0264]
所述传输/接收单元向外部服务器传输指定信息和用于确定和弦中包括的作曲音
符出现在旋律中的概率的信息。
[0265]
(13)根据上述(7)至(12)中任一项所述的信息处理装置，其中，
[0266]
所述选择单元基于所述指定信息，选择用于确定除了包括在由外部服务器作曲的音乐数据中的指定信息中的素材音乐之外的素材音乐的类型和数量的信息，作为设置信息，并且
[0267]
所述传输/接收单元向外部服务器传输指定信息和用于确定除了包含在指定信息中的素材音乐之外的素材音乐的类型和数量的信息。
[0268]
(14)根据上述(1)至(13)中任一项所述的信息处理装置，其中，
[0269]
第二应用程序还包括显示控制单元，显示控制单元根据用户的操作执行控制，以从存储单元检索由外部服务器作曲的过去音乐数据的历史，并显示过去音乐数据的历史。
[0270]
(15)根据上述(14)所述的信息处理装置，其中，
[0271]
所述显示控制单元执行控制，以从存储单元检索对由外部服务器作曲的过去音乐数据执行的编辑操作的历史，并且还显示对过去音乐数据执行的编辑操作。
[0272]
(16)根据上述(1)至(15)中任一项所述的信息处理装置，其中，
[0273]
当用户在接收到音乐数据之后对由外部服务器作曲的音乐数据执行播放或编辑操作时，所述传输/接收单元向外部服务器传输关于播放或编辑操作的信息。
[0274]
(17)根据上述(1)至(16)中任一项所述的信息处理装置，其中，
[0275]
所述选择单元基于用户的操作，选择所创作的音乐中的和弦进程，作为设置信息，并且
[0276]
所述传输/接收单元将选择单元选择的和弦进程传输到外部服务器。
[0277]
(18)根据上述(1)至(17)中任一项所述的信息处理装置，其中，
[0278]
所述控制单元执行控制，以将关于在第一应用程序中生成的和弦进程的信息传输到第二应用程序，
[0279]
所述选择单元选择关于在第一应用程序中生成的和弦进程的信息，作为设置信息，并且
[0280]
所述传输/接收单元将关于在第一应用程序中生成的和弦进程的信息传输到外部服务器，并且接收基于关于和弦进程的信息而作曲的音乐数据。
[0281]
(19)一种由信息处理装置执行的信息处理方法，所述信息处理装置控制第一应用程序和第二应用程序，所述第二应用程序用作扩展第一应用程序的功能的插件，其中，
[0282]
所述第一应用程序控制第一应用程序中的第二应用程序的操作，并且
[0283]
所述第二应用程序选择用于控制基于机器学习的作曲功能的设置信息，并且通过网络将设置信息传输到外部服务器以及接收由外部服务器作曲的音乐数据，所述外部服务器执行基于机器学习的作曲功能。
[0284]
(20)一种信息处理程序，其促使控制第一应用程序和第二应用程序的信息处理装置如下起作用，所述第二应用程序用作扩展第一应用程序的功能的插件，
[0285]
所述第一应用程序控制第一应用程序中的第二应用程序的操作，并且
[0286]
所述第二应用程序选择用于控制基于机器学习的作曲功能的设置信息，并且通过网络将设置信息传输到外部服务器以及接收由外部服务器作曲的音乐数据，所述外部服务器执行基于机器学习的作曲功能。
[0287]
附图标记列表
[0288]
1 信息处理系统
[0289]
10 用户终端
[0290]
11 通信单元
[0291]
12 输入单元
[0292]
13 显示单元
[0293]
15 存储单元
[0294]
151 作曲设置信息
[0295]
152 作曲音乐信息
[0296]
153 历史信息
[0297]
154 相关乐器信息
[0298]
16 控制单元
[0299]
161 主应用程序控制单元
[0300]
162 插件控制单元
[0301]
163 播放单元
[0302]
164 显示控制单元
[0303]
165 插件应用程序控制单元
[0304]
166 选择单元
[0305]
167 传输/接收单元
[0306]
168 播放单元
[0307]
169 显示控制单元
[0308]
100 处理服务器
[0309]
200 管理服务器