音响解析方法、音响解析装置及程序与流程

1.本发明涉及对音响信号进行解析的技术。


背景技术：

2.以往提出了通过对表示乐曲的演奏音的音响信号进行解析而推定该乐曲所属的音乐流派(music genre)的技术。例如在非专利文献1中，公开了通过利用机器学习技术的音响信号的解析而推定乐曲的音乐流派的技术。
3.非专利文献1：hareesh bahuleyan,"music genre classification using machine learning techniques,"arxiv:1804.01149[cs.sd],3 apr 2018
[0004]
但是，实际的乐曲有时包含遍布多个音乐流派的音乐特征。因此，例如即使针对利用者所指定的乐曲而检索音乐流派共通的乐曲，实际上有时也检索到音乐特征明显不同的乐曲。此外，在以上的说明中关注了音乐流派，但设想到除了音乐流派以外对于包含基于“明快印象的乐曲”“忧郁印象的乐曲”等音乐印象的分类在内的音乐类别(music category)有同样的课题。考虑到以上情况，本发明的一个方式的目的在于，根据多个音乐类别的观点而选择与特定的乐曲相似的适当的乐曲。


技术实现要素：

[0005]
为了解决以上课题，本发明的一个方式涉及的音响解析方法，取得表示乐曲的演奏音的音响信号，针对多个音乐类别的每一者，通过所述音响信号的解析而对包含所述乐曲属于该音乐类别的准确度的特征量进行计算，选择多个候补乐曲中特征量与针对所述乐曲计算出的特征量相似的1个以上的候补乐曲。
[0006]
本发明的一个方式涉及的音响解析装置具有：信号取得部，其取得表示乐曲的演奏音的音响信号；信号解析部，其针对多个音乐类别的每一者，通过所述音响信号的解析而对包含所述乐曲属于该音乐类别的准确度的特征量进行计算；以及乐曲选择部，其选择多个候补乐曲中特征量与针对所述乐曲计算出的特征量相似的1个以上的候补乐曲。
[0007]
本发明的一个方式涉及的程序使计算机作为如下功能部起作用：信号取得部，其取得表示乐曲的演奏音的音响信号；信号解析部，其针对多个音乐类别的每一者，通过所述音响信号的解析而对包含所述乐曲属于该音乐类别的准确度的特征量进行计算；以及乐曲选择部，其选择多个候补乐曲中特征量与针对所述乐曲计算出的特征量相似的1个以上的候补乐曲。
附图说明
[0008]
图1是例示出第1实施方式涉及的音响解析装置的结构的框图。
[0009]
图2是例示出音响解析装置的功能性结构的框图。
[0010]
图3是特征量的说明图。
[0011]
图4是例示出信号解析部的具体结构的框图。
[0012]
图5是与变动模式y的解析相关的说明图。
[0013]
图6是例示出生成变动模式的处理的具体流程的流程图。
[0014]
图7是单位特征量的计算的说明图。
[0015]
图8是第1解析图像的示意图。
[0016]
图9是第1解析图像的示意图。
[0017]
图10是第2解析图像的示意图。
[0018]
图11是例示出乐曲选择部的具体结构的框图。
[0019]
图12是例示出音响解析处理的具体流程的流程图。
[0020]
图13是例示出第2实施方式的音响解析装置的功能性结构的框图。
[0021]
图14是例示出第2实施方式的音响解析处理的具体流程的流程图。
具体实施方式
[0022]
a：第1实施方式
[0023]
图1是例示出本发明的第1实施方式涉及的音响解析装置100的结构的框图。音响解析装置100是通过对表示特定的乐曲(以下称为“目标乐曲”)的演奏音的音响信号s进行解析，从而生成与音乐流派相关的特征量的信息处理装置。音乐流派是指以音乐观点对乐曲进行分类的区分(种类)。例如摇滚乐、流行乐、爵士乐、舞曲或者布鲁斯乐等的音乐区分是音乐流派的典型例。
[0024]
音响解析装置100由具有控制装置11、存储装置12和显示装置13的计算机系统实现。例如，音响解析装置100通过智能机或者个人计算机等各种信息终端而实现。此外，音响解析装置100由单体的装置实现，除此以外也可以由相互分体地构成的多个装置(即系统)实现。
[0025]
控制装置11由对音响解析装置100的各要素进行控制的单个或多个处理器构成。例如，控制装置11由cpu(central processing unit)、spu(sound processing unit)、dsp(digital signal processor)、fpga(field programmable gate array)、或者asic(application specific integrated circuit)等1种以上的处理器构成。显示装置13基于控制装置11的控制而对图像进行显示。显示装置13例如是液晶显示面板。
[0026]
存储装置12是对控制装置11执行的程序和控制装置11使用的数据进行存储的单个或多个存储器。存储装置12例如由磁记录介质或者半导体记录介质等公知的记录介质构成。此外，也可以通过多种记录介质的组合而构成存储装置12。另外，也可以将相对于音响解析装置100可装拆的可移动型的记录介质、或者能够与音响解析装置100通信的外部记录介质(例如网络硬盘)作为存储装置12进行利用。
[0027]
存储装置12对音响解析装置100的解析对象即音响信号s进行存储。音响信号s例如是表示构成目标乐曲的多个演奏声部的演奏音的混合音的时间区域的信号。目标乐曲的演奏音例如包含乐器发音的乐音和歌唱者发音的语音中的至少一者。音响信号s例如作为从音乐传送装置(省略图示)传送至音响解析装置100的音乐文件而存储于存储装置12。
[0028]
图2是例示出音响解析装置100的功能性结构的框图。控制装置11通过执行在存储装置12存储的程序而实现用于对音响信号s进行解析的多个功能(信号取得部21、信号解析部22、显示控制部23及乐曲选择部24)。此外，可以通过相互分体地构成的多个装置而实现
控制装置11的功能，也可以通过专用电路而实现控制装置11的功能的一部分或全部。信号取得部21取得音响信号s。具体而言，信号取得部21从存储装置12依次读取音响信号s的各样本。此外，信号取得部21也可以从能够与音响解析装置100通信的外部装置取得音响信号s。
[0029]
[信号解析部22]
[0030]
信号解析部22通过音响信号s的解析而对特征量f进行计算。图3是特征量f的说明图。特征量f是包含与不同的音乐流派gn相对应的n个准确度q1～qn的n维向量(n为2以上的自然数)。与第n个(n＝1～n)音乐流派gn相对应的准确度qn是音响信号s所表示的目标乐曲属于该音乐流派gn的概率的指标。即，例如，特征量f的1个准确度qn越大，能够评价为目标乐曲属于第n个音乐流派gn的可能性越高。如根据以上说明所理解的那样，特征量f是用于评价目标乐曲所属的音乐流派gn的指标。
[0031]
图4是例示出信号解析部22的具体结构的框图。信号解析部22具有第1处理部221、第2处理部222、第3处理部223。
[0032]
第1处理部221通过音响信号s的解析而生成变动模式(fluctuation pattern)y。图5是与变动模式y的解析相关的说明图。图5的记号f是指频率，记号t是指时间。第1处理部221针对将音响信号s在时间轴上进行区分的多个期间(以下称为“单位期间”)t的每一者而生成变动模式y。单位期间t例如是与目标乐曲内的规定个数的小节相当的时间长度(例如4个小节)的期间。
[0033]
变动模式y由与不同的音色相对应的m个系数序列y1～ym构成。m种音色是能够在多个乐曲出现的音响成分的音色。m种音色中的与第m个(m＝1～m)的音色相对应的系数序列ym是表示与音响信号s的该音色的音响成分相关的强度(例如振幅或功率)的时间变动的非负的数值列。此外，例如针对乐器或者歌唱者等的发音源的每个种类而音色不同。因此，系数序列ym还可以称为m种发音源中的与第m个发音源的音响成分相关的强度的时间变动。
[0034]
第1处理部221通过利用已知的基矩阵b的非负矩阵分解(nmf：non-negative matrix factorization)而根据音响信号s来生成变动模式y。基矩阵b是包含与不同的音色相对应的m个频率特性b1～bm的非负矩阵。与第m个音色相对应的频率特性bm是与该音色的音响成分相关的每个频率的强度的系列。具体而言，频率特性bm例如是振幅谱或者功率谱。通过机器学习而预先生成的基矩阵b存储于存储装置12。
[0035]
如根据以上说明所理解的那样，变动模式y是与基矩阵b相对应的非负的系数矩阵(激活矩阵)。即，变动模式y的各系数序列ym是加权值(激活度)相对于基矩阵b内的频率特性bm的时间变动。各系数序列ym还可以称为音响信号s的与第m个音色相关的韵律模式。每个音色的韵律模式的倾向针对每个音乐流派gn而不同。
[0036]
图6是例示出第1处理部221生成变动模式y的处理的具体流程的流程图。针对音响信号s的每个单位期间t而执行图6的处理。
[0037]
第1处理部221针对音响信号s的单位期间t而生成观测矩阵x(sa1)。观测矩阵x如图5所例示的那样，是表示音响信号s的频率特性的时间序列的非负矩阵。具体而言，单位期间t内的振幅谱或者功率谱的时间序列(频谱图)作为观测矩阵x而生成。
[0038]
第1处理部221通过利用在存储装置12存储的基矩阵b的非负矩阵分解而根据观测矩阵x来计算变动模式y(sa2)。具体而言，第1处理部221以使得基矩阵b和变动模式y之积by
与观测矩阵x近似(理想情况为一致)的方式对变动模式y进行计算。
[0039]
图4的第2处理部222根据变动模式y而计算单位特征量v。针对每个单位期间t而对单位特征量v进行计算。具体而言，第2处理部222如图3所例示的那样，针对多个单位期间t的每一者，根据该单位期间t的变动模式y而计算单位特征量v。单位特征量v与前述的特征量f相同地，是包含与不同的音乐流派gn相对应的n个准确度q1～qn的n维向量。与第n个音乐流派gn相对应的准确度qn是音响信号s所表示的目标乐曲的单位期间t属于该音乐流派gn的概率的指标。
[0040]
第3处理部223通过针对目标乐曲内的多个单位期间t将单位特征量v进行平均而计算特征量f。具体而言，特征量f的第n个音乐流派gn的准确度qn是多个单位特征量v的该音乐流派gn的准确度qn的平均值。因此，对反映了目标乐曲内的多个单位期间t整个范围的音响特性的特征量f进行计算。
[0041]
图7是通过第2处理部222进行的单位特征量v的计算的说明图。在存储装置12存储与不同的音乐流派gn相对应的n个变动模式z1～zn。各变动模式zn与前述的变动模式y相同地，由与不同的音色相对应的m个系数序列z1～zm构成。各变动模式zn例如通过以下流程进行准备。
[0042]
针对n个音乐流派gn的每一者，准备该音乐流派gn的与不同的乐曲相对应的多个参照信号rn。根据针对各音乐流派gn准备的多个参照信号rn而生成该音乐流派gn的变动模式zn。参照信号rn是表示属于第n个音乐流派gn的乐曲的伴奏音的时间区域的信号。通过与图6的信号解析处理相同的流程，根据各参照信号rn而生成变动模式z'n，针对属于1个音乐流派gn的多个乐曲而将变动模式z'n进行平均，由此生成该音乐流派gn的变动模式zn。如根据以上说明所理解的那样，变动模式zn的系数序列zm是在属于第n个音乐流派gn的乐曲中在第m个音色容易发生的韵律模式。
[0043]
第2处理部222针对n个音乐流派g1～gn的每一者对该音乐流派gn的变动模式zn和目标乐曲的变动模式y进行对比，由此对单位特征量v的准确度qn进行计算。准确度qn是变动模式zn和变动模式y之间的相关性或距离。在以下的说明中，例示出变动模式zn和变动模式y之间的相关性的指标即相关系数作为准确度qn。因此，变动模式zn和变动模式y相互之间越相关，则准确度qn成为越大的数值。即，准确度qn是目标乐曲属于音乐流派gn的概率的指标。如根据以上说明所理解的那样，特征量f的准确度qn通过对音乐流派gn的变动模式zn和目标乐曲的变动模式y进行对比而计算。
[0044]
如根据以上说明所理解的那样，对表示音乐流派gn的韵律模式的倾向的变动模式zn和表示目标乐曲的韵律模式的倾向的变动模式y进行对比，由此对单位特征量v的准确度qn(进一步为特征量f的准确度qn)进行计算。因此，在音乐流派gn共通的多个乐曲之间，存在特征量f相互相似的倾向。
[0045]
[显示控制部23]
[0046]
显示控制部23使通过信号解析部22进行的解析的结果显示于显示装置13。具体而言，显示控制部23使图8或图9的第1解析图像13a和图10的第2解析图像13b显示于显示装置13。
[0047]
第1解析图像13a是表示特征量f的图像。图8是针对乐曲a计算出的特征量f的第1解析图像13a，图9是针对与乐曲a音乐印象不同的乐曲b计算出的特征量f的第1解析图像
13a。第1解析图像13a是将构成特征量f的n个准确度q1～qn的每一者表现于纵轴的直方图。利用者通过参照第1解析图像13a，能够在视觉上及直观地掌握乐曲属于n个音乐流派g1～gn的每一者的准确度qn。例如，通过参照图8的第1解析图像13a，利用者能够确认乐曲a兼具音乐流派g1(摇滚乐)和音乐流派g4(舞曲)这两者的特征。另一方面，通过参照图9的第1解析图像13a，利用者能够确认乐曲a是音乐流派g1(摇滚乐)的典型性倾向强的乐曲。
[0048]
另外，图10中例示出的第2解析图像13b是表示多个单位期间t的范围的单位特征量v的时间序列的图像。在第2解析图像13b设定相互正交的第1轴ax和第2轴ay。第1轴ax是指时间轴。在第2轴ay设定n个音乐流派g1～gn。第2解析图像13b是沿第1轴ax及第2轴ay将多个单位图像u以矩阵状排列的图像。与第1轴ax的1个单位期间t和第2轴ay的1个音乐流派gn的组合相对应的单位图像u表现针对该单位期间t计算出的单位特征量v的n个准确度q1～qn中的与该音乐流派gn相对应的准确度qn。具体而言，与各准确度qn相对应的单位图像u的显示方式(例如灰度或色彩)是与该准确度qn对应地设定的。例如，准确度qn越大，该单位图像u以越高的灰度进行显示。
[0049]
如根据以上说明所理解的那样，在第2解析图像13b中，沿第2轴ay的n个单位图像u的排列是指任意的1个单位期间t的单位特征量v(即，n个准确度q1～qn的系列)。另外，在第2解析图像13b中沿第1轴ax的多个单位图像u的排列是指乐曲属于1个音乐流派gn的准确度qn的时间上的变化。利用者通过参照第2解析图像13b，能够视觉上及直观地掌握单位特征量v或者各准确度qn的时间上的变化。
[0050]
[乐曲选择部24]
[0051]
图2的乐曲选择部24对多个(k个)候补乐曲中与目标乐曲音乐性相似的多个候补乐曲进行选择。图11是例示出乐曲选择部24的结构的框图。
[0052]
在存储装置12存储候补表格c。候补表格c是针对k个候补乐曲的每一者而登记了特征量fk(k＝1～k)和乐曲数据dk的数据表。各候补乐曲的特征量fk是以与目标乐曲的特征量f的生成相同的流程针对该候补乐曲而事先生成的特征量。即，特征量fk由与不同的音乐流派相对应的n个准确度q1～qn构成。各候补乐曲的乐曲数据dk是与该候补乐曲相关联的信息。例如，候补乐曲的乐曲名或者演奏者名等各种信息包含于乐曲数据dk。
[0053]
乐曲选择部24对k个候补乐曲中特征量fk与目标乐曲的特征量f相似的多个候补乐曲进行选择。乐曲选择部24具有相似度计算部241和选择处理部242。相似度计算部241针对k个候补乐曲的每一者，对该候补乐曲的特征量fk和目标乐曲的特征量f之间的相似度σk进行计算。相似度σk是与特征量fk和特征量f之间的相似程度相关的指标。具体而言，相似度σk是特征量fk和特征量f之间的相关性或距离。在以下的说明中，例示出特征量fk和特征量f之间的相关性的指标即相关系数作为相似度σk。因此，特征量fk和特征量f越相似，相似度σk成为越大的数值。
[0054]
选择处理部242对k个候补乐曲中相似度σk高的多个候补乐曲进行选择。具体而言，选择处理部242选择相似度σk大于规定的阈值的多个候补乐曲、或者按照相似度σk的降序而位于上位的规定个候补乐曲。即，对目标乐曲选择音乐印象(特别是，韵律模式)相似的候补乐曲。
[0055]
显示控制部23将由乐曲选择部24(选择处理部242)选择的多个候补乐曲的每一者提示给利用者。具体而言，显示控制部23使各候补乐曲的乐曲数据dk表示的信息(乐曲名及
演奏者名)显示于显示装置13。
[0056]
图12是例示出控制装置11执行的处理(音响解析处理)的具体流程的流程图。例如，将来自利用者对音响解析装置100的指示作为契机而开始音响解析处理。
[0057]
如果开始音响解析处理，则信号取得部21取得音响信号s(sb1)。信号解析部22针对将音响信号s在时间轴上进行区分的多个单位期间t的每一者而计算单位特征量v(sb2)。信号解析部22通过针对多个单位期间t将单位特征量v进行平均而计算特征量f(sb3)。显示控制部23使第1解析图像13a及第2解析图像13b显示于显示装置13(sb4)。乐曲选择部24对k个候补乐曲中特征量fk与目标乐曲的特征量f相似的多个候补乐曲进行选择(sb5)。显示控制部23使由乐曲选择部24选择出的多个候补乐曲的每一者的乐曲数据dk表示的信息显示于显示装置13(sb6)。
[0058]
如以上所说明的那样，在第1实施方式中，针对n个音乐流派g1～gn的每一者，对包含目标乐曲属于该音乐流派gn的准确度qn的特征量f进行计算。而且，对k个候补乐曲中特征量fk与目标乐曲的特征量f相似的多个候补乐曲进行选择。因此，与对属于针对目标乐曲推定出的1个音乐流派gn的候补乐曲进行选择的结构相比，能够选择在考虑了n个音乐类型g1～gn的综合性观点上音乐印象与目标乐曲相似的适当的候补乐曲。例如，在目标乐曲的特征量f的n个准确度q1～qn中与摇滚乐及爵士乐相对应的准确度qn相对高的情况下，能够选择属于摇滚乐的2个以上的候补乐曲中接近爵士乐的候补乐曲。
[0059]
在第1实施方式中，特别是，利用针对多个音色的每一者而表示时间上的变动的变动模式y，对目标乐曲属于各音乐流派gn的准确度qn进行计算。因此，能够对根据目标乐曲的韵律的观点适当地表现出目标乐曲属于各音乐流派gn的准确度qn的特征量f。
[0060]
另外，在第1实施方式中，通过将针对多个单位期间t的每一者计算出的单位特征量v进行平均而计算特征量f。因此，能够对反映了目标乐曲内的多个单位期间t的范围的部分的音响特性的特征量f进行计算。
[0061]
b：第2实施方式
[0062]
对第2实施方式进行说明。此外，在以下所例示的各方式中，对功能与第1实施方式相同的要素，沿用在第1实施方式的说明中使用的标号。适当省略各自的详细说明。
[0063]
图13是例示出第2实施方式涉及的音响解析装置100的功能性结构的框图。第2实施方式的音响解析装置100是在与第1实施方式相同的要素(信号取得部21、信号解析部22、显示控制部23及乐曲选择部24)追加了构造解析部25的结构。
[0064]
构造解析部25通过音响信号s的解析而确定目标乐曲的多个乐曲构造区间。乐曲构造区间是与音乐意义或者乐曲内的定位对应地将目标乐曲在时间轴上进行区分的区间。例如，乐曲构造区间是前奏(intro)、a主歌(verse)、b主歌(bridge)、副歌(chorus)或者结尾部分(outro)。基于构造解析部25进行的各乐曲构造区间的确定任意采用公知的音乐解析技术。
[0065]
第2实施方式的信号解析部22(第3处理部223)利用针对每个乐曲构造区间设定的加权值对多个单位期间t的范围的单位特征量v进行加权平均，由此计算特征量f。即，信号解析部22将针对各单位特征量v的加权值针对每个乐曲构造区间而分别设定。例如，与a主歌、b主歌或者副歌相当的乐曲构造区间内的各单位期间t的加权值，大于与前奏或者结尾部分相当的乐曲构造区间内的各单位期间t的加权值。另外，与副歌相当的乐曲构造区间内
的各单位期间t的加权值，大于与a主歌或者b主歌相当的乐曲构造区间内的各单位期间的加权值。
[0066]
图14是例示出第2实施方式的音响解析处理的具体流程的流程图。如果执行音响信号s的取得(sb1)和每个单位期间t的单位特征量v的计算(sb2)，则构造解析部25通过音响信号s的解析而确定目标乐曲的多个乐曲构造区间(sc)。信号解析部22通过应用了针对每个乐曲构造区间而设定的加权值的单位特征量v的加权平均而计算特征量f(sb3)。显示控制部23及乐曲选择部24的动作(sb4～sb6)与第1实施方式相同。此外，也可以将单位特征量v的计算(sb2)和乐曲构造区间的解析(sc)的顺序颠倒。
[0067]
在第2实施方式中，也实现与第1实施方式相同的效果。乐曲的音乐印象有时针对每个乐曲构造区间而变化。在第2实施方式中，针对每个乐曲构造区间而设定各单位特征量v的加权值，由此能够针对每个乐曲构造区间而计算适当地反映了音乐印象发生变化这一倾向的特征量f。
[0068]
c：变形例
[0069]
以下，例示出对以上例示的各方式附加的具体变形的方式。可以在彼此不矛盾的范围，适当将从以下例示任意选择出的2个以上方式合并。
[0070]
(1)在前述的各方式中，通过将多个单位期间t范围的单位特征量v进行平均而计算特征量f，但也可以计算每个单位期间t的单位特征量v作为最终的特征量f。即，信号解析部22针对多个单位期间t的每一者而计算特征量f。在针对每个单位期间t而计算特征量f的结构中，省略第3处理部223。
[0071]
(2)在前述的各方式中，在目标乐曲的全部的单位期间t将单位特征量v进行平均，但也可以针对目标乐曲内的特定的区间而计算特征量f。例如，也可以通过在目标乐曲内针对副歌等特定的乐曲构造区间内的2个以上的单位期间t将单位特征量v进行平均，计算特征量f。
[0072]
(3)在前述的各方式中，例示出将变动模式zn和变动模式y之间的相关性作为单位特征量v的准确度qn，但也可以是第2处理部222对变动模式zn和变动模式y之间的距离进行计算，作为准确度qn。在以上结构中，变动模式zn和变动模式y相互之间越相关，准确度qn成为越小的数值。
[0073]
(4)在前述的各方式中，乐曲选择部24选择了特征量fk与目标乐曲的特征量f相似的多个候补乐曲，但乐曲选择部24也可以选择1个候补乐曲。具体而言，乐曲选择部24选择相似度σk最大的1个候补乐曲。
[0074]
(5)在前述的各方式中，计算出候补乐曲的特征量fk和目标乐曲的特征量f之间的相关性作为相似度σk，但也可以是相似度计算部241计算特征量fk和特征量f之间的距离作为相似度σk。在以上结构中，特征量fk和特征量f越相似，相似度σk成为越小的数值。因此，选择处理部242选择相似度σk小于规定的阈值的多个候补乐曲、或者按照相似度σk的升序而位于上位的规定个候补乐曲。
[0075]
(6)在前述的各方式中，将各候补乐曲的乐曲数据dk表示的信息显示于显示装置13，但针对乐曲选择部24选择出的候补乐曲而执行的处理不限定于以上的例示。例如，在乐曲数据dk包含表示候补乐曲的演奏音的音乐文件的结构中，也可以利用该音乐文件而对候补乐曲的演奏音进行播放。另外，在候补乐曲的音乐文件没有存储于存储装置12的情况下，
也可以从音乐传送装置取得该候补乐曲的音乐文件。
[0076]
(7)在前述的各方式中，选择了特征量fk与目标乐曲的特征量f相似的候补乐曲，但利用特征量f的方法不限定于以上的例示。例如，作为与目标乐曲的音响信号s相关的付加音乐信息，也可以登记特征量f。付加信息所包含的特征量f是为了对属于特定的音乐流派gn的乐曲进行检索而利用的。如根据以上说明所理解的那样，特征量f作为乐曲的音乐信息而有用，特征量f的用途不限定于候补乐曲的选择。因此，在前述的各方式中例示出的乐曲选择部24也可以省略。
[0077]
(8)前述的各方式的音乐流派gn是“音乐类别”的一个例子。音乐类别是乐曲的音乐分类。在音乐类别，除了在前述的各方式中例示的音乐流派gn以外，还包含基于“明快印象的乐曲”“忧郁印象的乐曲”等音乐印象进行的分类。
[0078]
(9)也可以通过在与移动电话机或者智能机等终端装置之间进行通信的服务器装置而实现音响解析装置100。例如，音响解析装置100通过从终端装置接收到的音响信号s的解析而计算特征量f，将利用该特征量f而选择出的候补乐曲通知给请求源的终端装置。此外，还设想到将根据音响信号s计算出的特征量f发送至终端装置的结构、或者将候补乐曲的乐曲数据dk发送至终端装置的结构。
[0079]
(10)以上例示的音响解析装置100的功能如前述的那样，通过构成控制装置11的单个或多个处理器、和存储于存储装置12的程序的协同动作而实现。本发明涉及的程序可以以储存于计算机可读取的记录介质的方式提供而安装于计算机。记录介质例如是非临时性(non-transitory)的记录介质，优选是cd-rom等光学式记录介质(光盘)，还包含半导体记录介质或磁记录介质等公知的任意形式的记录介质。此外，作为非临时性的记录介质，包含除了临时性的传输信号(transitory,propagating signal)以外的任意的记录介质，也可以不将易失性的记录介质除外。另外，在传送装置经由通信网而传送程序的结构中，在该传送装置，对程序进行存储的存储装置12相当于前述的非临时性的记录介质。
[0080]
d：附录
[0081]
根据以上例示的方式，例如能够掌握以下结构。
[0082]
本发明的一个方式(方式1)涉及的音响解析方法，取得表示乐曲的演奏音的音响信号，针对多个音乐类别的每一者，通过所述音响信号的解析而对包含所述乐曲属于该音乐类别的准确度的特征量进行计算，选择多个候补乐曲中特征量与针对所述乐曲计算出的特征量相似的1个以上的候补乐曲。在以上的方式中，针对多个音乐类别的每一者，对包含乐曲属于该音乐类别的准确度的特征量进行计算。而且，选择多个候补乐曲中特征量与乐曲相似的1个以上的候补乐曲。因此，与选择属于针对乐曲而推定出的1个音乐类别的候补乐曲的结构相比，能够选择在考虑了多个音乐类别的综合性观点上音乐印象与乐曲相似的适当的候补乐曲。在方式1的具体例(方式2)中，所述多个音乐类别(music category)是多个音乐流派(music genre)。
[0083]
此外，“音乐类别”是乐曲的音乐分类。“音乐类别”的代表例是音乐流派(例如，摇滚乐或者爵士乐等)，但基于“明快印象的乐曲”“忧郁印象的乐曲”等音乐印象进行的分类也包含于“音乐类别”的概念。
[0084]
在方式1或方式2的具体例(方式3)中，在所述1个以上的候补乐曲的选择中，针对所述多个候补乐曲的每一者，计算该候补乐曲的特征量和所述计算出的特征量之间的相似
度，选择所述多个候补乐曲中所述相似度高的所述1个以上的候补乐曲。在以上的方式中，能够与候补乐曲的特征量和乐曲的特征量之间的相似度对应地适当选择1个以上的候补乐曲。
[0085]“相似度”例如是与特征量间是否相似有关的指标，具体而言是距离或者相关性。“相似度高”这一概念包含“距离小”或者“相关性大”这两者。因此，“相似度大于阈值”包含“距离小于阈值”及“相关性大于阈值”这两者。“相似度高的1个以上的候补乐曲”例如是相似度大于阈值的1个以上的候补乐曲、或者按照相似度的降序而位于上位的1个以上的候补乐曲。
[0086]
在方式1至方式3中任意者的具体例(方式4)中，在所述特征量的计算中，针对多个音色的每一者，通过所述音响信号的解析而生成表示时间上的变动的变动模式，针对多个音乐类别的每一者，通过对该音乐类别的变动模式和所述生成的变动模式进行对比，从而计算所述乐曲属于该音乐类别的准确度。在以上的方式中，针对多个音色的每一者，利用表示时间上的变动的变动模式，计算音响信号表示的乐曲属于各音乐类别的准确度。因此，能够计算根据乐曲的韵律的观点而适当地表现出该乐曲属于各音乐类别的准确度的特征量。
[0087]
在方式1至方式4中任意者的具体例(方式5)中，在所述特征量的计算中，针对将所述音响信号在时间轴上进行区分的多个单位期间的每一者，计算所述特征量。在以上的方式中，针对多个单位期间的每一者而计算特征量，因此能够对乐曲内的特征量的时间上的迁移进行评价。
[0088]
在方式1至方式4中任意者的具体例(方式6)中，在所述特征量的计算中，针对将所述音响信号在时间轴上进行区分的多个单位期间的每一者，对包含所述乐曲属于所述多个音乐类别的每一者的准确度的单位特征量进行计算，通过将所述多个单位期间中2个以上的单位期间的所述单位特征量进行平均而计算所述特征量。在以上的方式中，通过将针对2个以上的单位期间计算出的单位特征量进行平均而计算特征量，因此能够计算反映了乐曲内的2个以上的单位期间的范围的部分的音响特性的特征量。
[0089]
方式6的具体例(方式7)涉及的所述音响解析方法，还通过所述音响信号的解析而确定所述乐曲的多个乐曲构造区间，在所述单位特征量的平均中，利用针对所述多个乐曲构造区间的每一者设定的加权值，将所述2个以上的单位期间的所述单位特征量进行加权平均。在以上的方式中，利用针对每个乐曲构造区间而设定的加权值，将多个单位特征量进行加权平均。因此，能够针对每个乐曲构造区间而计算适当地反映出了音乐印象发生变化这一倾向的特征量。
[0090]“乐曲构造区间”是与音乐意义或者乐曲内的定位对应地将乐曲在时间轴上进行区分的期间。例如，乐曲构造区间是前奏(intro)、a主歌(verse)、b主歌(bridge)、副歌(chorus)或者结尾部分(outro)。
[0091]
本发明的一个方式(方式8)涉及的音响解析装置具有：信号取得部，其取得表示乐曲的演奏音的音响信号；信号解析部，其针对多个音乐类别的每一者，通过所述音响信号的解析而对包含所述乐曲属于该音乐类别的准确度的特征量进行计算；以及
[0092]
乐曲选择部，其选择多个候补乐曲中特征量与针对所述乐曲计算出的特征量相似的1个以上的候补乐曲。
[0093]
本发明的一个方式(方式9)涉及的程序使计算机作为如下功能部起作用：信号取
得部，其取得表示乐曲的演奏音的音响信号；信号解析部，其针对多个音乐类别的每一者，通过所述音响信号的解析而对包含所述乐曲属于该音乐类别的准确度的特征量进行计算；以及乐曲选择部，其选择多个候补乐曲中特征量与针对所述乐曲计算出的特征量相似的1个以上的候补乐曲。
[0094]
标号的说明
[0095]
100
…
音响解析装置，11
…
控制装置，12
…
存储装置，13
…
显示装置，21
…
信号取得部，22
…
信号解析部，221
…
第1处理部，222
…
第2处理部，223
…
第3处理部，23
…
显示控制部，24
…
乐曲选择部，241
…
相似度计算部，242
…
选择处理部，25
…
构造解析部，c
…
候补表格，dk
…
乐曲数据，f，fk
…
特征量，gn(g1～gn)
…
音乐流派，qn(q1～qn)，qn(q1～qn)
…
准确度，rn
…
参照信号，s
…
音响信号，t
…
单位期间，u
…
单位图像，v
…
单位特征量，x
…
观测矩阵，y
…
变动模式，zn(z1～zn)
…
变动模式，ym(y1～ym)
…
系数序列，σk(σ1～σk)
…
相似度。