控制装置、控制系统以及控制方法与流程

1.本发明涉及控制装置、控制系统以及控制方法。


背景技术：

2.现有技术中存在根据生物体或者物体发出的声音来确定该声音具有什么样的特征的技术。所谓生物体例如为人或者动物。例如，在专利文献1中公开了将听诊音数字化表征，对该听诊音与疾病的关系性进行映射的技术。
3.在先技术文献
4.专利文献
5.专利文献1：日本国公表专利公报“特表2007-508899号”

技术实现要素：

[0006]-发明所要解决的课题-[0007]
如上所述，存在各种用于关于生物体或者物体发出的声音，发现该声音的特征，并基于任何观点来对该声音进行分类的技术。而且，在这种技术中，要求更高精度地判定声音的分类。
[0008]-用于解决课题的手段-[0009]
一实施方式相关的控制装置，具备：第1数据取得部，取得包括表示关于某声音的声音的分类的信息在内的第1数据；第2数据取得部，取得包括关于某声音的声音的信息在内的第2数据；存储部，存储用于从第2数据提取多个特征量的该特征量的定义数据；提取部，基于定义数据提取第2数据的多个特征量；和模型构建部，基于第2数据的多个特征量和第1数据构建对多个特征量与声音的分类的相关关系进行了机器学习的学习完毕模型。
[0010]
一实施方式相关的控制装置具备：第2数据取得部，取得包括检查对象的声音的信息在内的第2数据；存储部，存储用于从第2数据提取多个特征量的该特征量的定义数据；提取部，基于定义数据提取第2数据的多个特征量；和推定部，采用对多个特征量与声音的分类的相关关系进行了机器学习的学习完毕模型，根据第2数据的多个特征量推定检查对象的声音的分类。
[0011]
一实施方式相关的控制系统包括控制装置和将所检测到的第2数据发送到控制装置的检测装置。
[0012]
一实施方式相关的控制方法包括以下步骤：取得包括表示关于某声音的声音的分类的信息在内的第1数据；取得包括关于某声音的声音的信息在内的第2数据；存储用于从第2数据提取多个特征量的该特征量的定义数据；基于定义数据提取第2数据的多个特征量；和基于第2数据的多个特征量和第1数据构建对多个特征量与声音的分类的相关关系进行了机器学习的学习完毕模型。
[0013]
一实施方式相关的控制方法包括以下步骤：取得包括检查对象的声音的信息在内的第2数据；存储用于从第2数据提取多个特征量的该特征量的定义数据；基于定义数据提
取第2数据的多个特征量；和采用对多个特征量与声音的分类的相关关系进行了机器学习的学习完毕模型，根据第2数据的多个特征量推定检查对象的声音。
[0014]-发明效果-[0015]
根据本公开相关的发明的一方式，能够基于检查对象发出的声音精度良好地判定该声音的分类。
附图说明
[0016]
图1是表示实施方式1相关的控制系统的要部结构的框图。
[0017]
图2是表示来自声音数据的时间波形的特征量的提取过程的图。
[0018]
图3是表示来自声音数据的频率波形的特征量的提取过程的图。
[0019]
图4是表示来自声音数据的频谱图波形的特征量的提取过程的图。
[0020]
图5是表示特征量列表的数据构造的一例的图。
[0021]
图6是表示学习完毕模型的输入输出数据和学习完毕模型的结构的概要的示意图。
[0022]
图7是表示模型构建处理的流程的流程图。
[0023]
图8是表示实施方式2相关的控制系统的要部结构的框图。
[0024]
图9是表示实施方式3相关的控制系统的要部结构的框图。
[0025]
图10是表示推定处理的流程的流程图。
[0026]
图11是表示实施方式4相关的控制系统的要部结构的框图。
具体实施方式
[0027]
用于对声音进行分类的现有技术只是将声音应用于已知的分类来进行分类。而且，在这样的现有技术中，未必能够明确地对声音进行分类。例如，假定从医学的观点对呼吸音进行分类。在该情况下，在呼吸音中包括的噪音中，可能包括多个特征混合的噪音和/或与已知的分类不一致但实际上由于疾病而产生的噪音等。在现有技术中，难以准确地判定这些噪音的分类。
[0028]
发明者们发现了这样的现有技术的问题点。在本公开中关于能更精度良好地判定声音的分类的控制装置、控制系统、以及控制方法等进行说明。
[0029]
一实施方式相关的控制系统为用于构建能根据人等的生物体或者物体等发出的声音的数字数据(声音数据)推定该声音的分类的学习完毕模型的系统。此外，一实施方式相关的控制系统能够采用所述学习完毕模型根据检查对象的人或者物体发出的声音的声音数据来推定该声音的分类。
[0030]
本公开相关的发明的适用范围没有被特别地限定。例如，一实施方式相关的控制系统也可构建能推定人或者动物的呼吸音的分类的学习完毕模型。此外，一实施方式相关的控制系统也可采用该学习完毕模型来推定检查对象的人或者动物的呼吸音的分类。
[0031]“声音的分类”例如也可为医生等专家对人或者动物进行了听诊时的声音的、医学的分类。声音例如也可为在人或者动物的体内由于气体流动而产生的声音。即声音例如也可被分类为伴随着呼吸运动而产生的声音。具体而言，声音例如也可被分类为肺音。此外，声音例如也可被分类为肺音中所含的声音中的呼吸音和副噪音。
[0032]
呼吸音例如也可进一步被分类为正常呼吸音和异常声音。正常声音例如也可被分类为肺泡呼吸音、支气管肺泡呼吸音、支气管呼吸音以及气管呼吸音。异常声音例如也可进一步被分类为减弱、消失、呼气延长、以及支气管呼吸音化等特征。或者，异常声音例如也可进一步被分类为狭窄音。狭窄音例如也可进一步按气管、咽、以及喉等的每个狭窄的部位被分类。
[0033]
副噪音例如也可进一步被分类为ra音(即罗素音)和其他的声音。ra音例如也可进一步被分类为连续性ra音和断续性ra音。连续性ra音例如也可进一步被分类为类鼾音、笛声、尖叫、以及喘鸣。断续性ra音例如也可进一步被分类为粗的断续性ra音、细小的断续性ra音、水泡音、以及捻发音。其他声音例如也可进一步被分类为胸膜摩擦音、以及肺血管性噪音。
[0034]
另外，声音的分类并不限定于上述的例子。即声音的分类中也可包括涉及声音而在医学上采用的所有分类。此外，在本公开中，有时将被分类为呼吸音以及副噪音等的、伴随着呼吸运动而产生的声音的声音统称为呼吸音。
[0035]
此外，例如一实施方式相关的控制系统也可构建能推定敲击建筑材料等时的声音的分类的学习完毕模型。此外，控制系统也可采用该学习完毕模型来推定对检查对象的建筑材料进行了敲击时的声音的分类。在该情况下，“声音的分类”中也可包括根据例如专家等(建筑师等)的经验而确定的、根据声音确定建筑材料的耐久性的情况下的分类的类型。
[0036]
以下，基于实施方式1～4对本发明的各种方式进行说明。另外，在以下的实施方式中，对声音为人的呼吸音，所谓声音的分类为呼吸音的医学上的分类的情况进行说明。
[0037]
〔实施方式1〕
[0038]
《系统概要》
[0039]
一实施方式相关的控制系统100为用于构建学习完毕模型的系统，该学习完毕模型基于包括表示某声音的分类的信息在内的数据(第1数据)以及该某声音的数据(第2数据)对多个“声音的特征量”和“声音的分类”的相关关系进行了机器学习。第1数据例如也可包括表示某呼吸音的分类在内的信息。此外，第2数据也可包括例如采用听诊器、以及麦克风等现有公知的集音设备通过现有公知的手法将该某呼吸音进行了电子的转换的数据。即第2数据也可为包括关于该某声音的声音信息在内的数字形式的数据。即一实施方式相关的控制系统100例如也可为用于构建能推定呼吸音的医学上的分类的学习完毕模型的系统。控制系统100能够从以现有公知的手法对采用听诊器、以及麦克风等现有公知的集音设备能集音的声音进行了电子的转换的声音的数据(声音数据)算出多个进行了集音的声音的特征量。此外，控制系统100也可取得关于所录音的声音的、由专家(例如、医生以及护士等)所得到的医学的分类结果。一实施方式相关的控制系统100例如能够根据呼吸音的数据算出多个特征量。此外，控制系统100也可取得该呼吸音的医学的分类结果。另外，某声音不限于呼吸音。某声音例如也可为伴随心脏的搏动的心音以及伴随胃或肠的腹鸣声音等。即所谓某声音例如也可为伴随着任何生理的或者病理的现象而生成的声音。
[0040]
控制系统100能够创建包括所算出的多个特征量作为输入数据，并且包括医学的分类结果作为正确解答数据的教示数据。而且，控制系统100也可采用该教示数据来执行学习模型的机器学习。由此，控制系统100能够构建对声音的特征量和声音的分类的相关关系进行了学习的学习完毕模型。
[0041]
《要部结构》
[0042]
图1是表示控制系统100的要部结构的框图。控制系统100包括控制装置1、检测装置2和外部装置3。控制装置1与检测装置2、控制装置1与外部装置3、以及检测装置2与外部装置3也可分别被有线或者无线地连接。
[0043]
(检测装置2)
[0044]
检测装置2为用于检测呼吸音的装置。例如检测装置2能够由指向性的麦克风实现。本实施方式中，检测装置2能够检测第2数据。检测装置2能够将所检测到的声音数据发送到控制装置1的声音取得部11。检测装置2也可将声音数据发送到外部装置3。另外，检测装置2也可由内置有麦克风的听诊器等实现。此外，检测装置2也可具有对所检测出的呼吸音进行录音的功能。在该情况下，检测装置2也可具有存储器等的存储介质。
[0045]
(外部装置3)
[0046]
外部装置3为用于医生等专家输入第1数据的输入装置。外部装置3的具体的结构并不被特别地限定。例如、外部装置3也可由个人计算机(pc)或者智能手机等实现。外部装置3具备用于专家输入表示呼吸音的分类的信息的输入部、和用于外部装置3与其他装置进行通信的通信部。此外，外部装置3也可具有输出声音数据的声音输出部、和用于连接闪速存储器或者sd卡等的外部记录介质的接口。
[0047]
如果从检测装置2接收到声音数据，则外部装置3也可将该声音数据从声音输出部输出。操作外部装置3的专家倾听该声音数据来判定呼吸音的分类，也可将判定结果经由输入部输入到外部装置3。外部装置3也可将所取得的判定结果发送到控制装置1。这里所说的“判定结果”是指包括表示与声音数据相对应的呼吸音的分类的信息在内的第1数据。此时，外部装置3也可将该呼吸音的声音数据的识别信息附加到表示呼吸音的分类的信息并发送到控制装置1。识别信息的形式不被特别地限定。例如也可将声音数据的文件名设为识别信息，也可将声音数据的创建时刻设为识别信息。以下，将表示附加有声音数据的识别信息的声音(本实施方式中即呼吸音)的分类的信息称作“分类信息”。
[0048]
另外，在检测装置2具有用于收听呼吸音的功能的情况下，专家采用检测装置2来倾听呼吸音，也可将其结果(即呼吸音的分类的判定结果)输入到外部装置3。在该情况下，外部装置3也可不输出声音数据。此外，外部装置3也可从与本装置连接的外部记录介质读出并输出声音数据。此外，外部装置3也可将分类信息记录于与本装置连接的外部记录介质。
[0049]
(控制装置1)
[0050]
控制装置1为基于声音数据以及与该声音数据对应的呼吸音的分类构建该学习完毕模型24的装置。控制装置1具备控制部10和存储部20。另外，控制装置1也可具备能连接外部记录介质的接口。此外，控制装置1也可包括按钮、鼠标、以及触摸面板等的输入部、和显示器等的显示部。
[0051]
控制部10综合地控制控制装置1。控制部10包括声音取得部(第2数据取得部)11、提取部12、分类信息取得部(第1数据取得部)13和教示数据创建部14。
[0052]
声音取得部11从检测装置2取得声音数据。声音取得部11将声音数据发送到提取部12。
[0053]
另外，声音取得部11也可将通过对从检测装置2取得的声音数据进行解析而以给
定的间断分割该声音数据所得到的分割声音数据发送到提取部12。所谓“给定的间断”例如也可为以人的呼吸间隔(例如每隔吸入排出气息这样的一系列的动作一次)分割声音数据的间断。此外，所谓“给定的间断”例如也可为以任意的时间分割所取得的声音数据的间断(例如从检测开始起每隔30秒这样的间断)。另外，给定的间断并不限于上述的例子。即声音取得部11也可以为了构建学习完毕模型24而在必要的范围中适当地分割声音数据并发送到提取部12。即给定的间断例如也可为将声音数据每隔进行两次人吸入排出气息这样的一系列的动作来分割的间断。此外，声音取得部11例如也可从所分割的声音数据选择任意的数据并发送到提取部12。即，声音取得部例如也可在取得了180秒期间的声音数据的情况下，将从检测开始到60秒后为止的数据和从检测开始120秒后到180秒后为止的数据发送到提取部12。即也可适当选择声音取得部11发送到提取部12的声音数据。
[0054]
各分割声音数据也可包括分割源的声音数据的识别信息和分割后的声音数据的识别信息。在以下的说明中，只要没有特别的记载，“声音数据”表示分割源的声音数据和分割后的声音数据这两者。
[0055]
提取部12能够基于存储部20的定义数据25规定的特征量的定义从声音数据提取声音的特征量。“声音的特征量”也可为采用与前述的呼吸音的医学的分类独立的方法提取到呼吸音的特征的情况下的参数。此外，“声音的特征量”例如也可为基于声音的时间的变化、声音中包括的频率分量、以及声音的频谱图中的至少任意者提取出的参数。声音的特征量的提取方法在后面详述。也可将提取部12提取到的多个特征量与声音数据的识别信息对应关联地作为特征量数据21存储在存储部20。特征量数据21的具体的结构后述。
[0056]
分类信息取得部13能够从外部装置3取得包括分类信息的第1数据。也可将分类信息取得部13所取得的第1数据中包括的分类信息作为分类信息22存储到存储部20。
[0057]
教示数据创建部14能够根据特征量数据21、分类信息22创建教示数据。教示数据创建部14也可从存储部20读出特征量数据21的至少一部分，进而从存储部20读出与所读出的特征量数据21具有相同的识别信息的分类信息22。即教示数据创建部14也可读出基于相同的声音数据的特征量数据21和分类信息22。
[0058]
教示数据创建部14能够创建将所读出的特征量数据21设为输入数据，并且将分类信息22设为正确解答数据的教示数据。教示数据创建部14创建的教示数据的数量、即用于机器学习的数据集的规模也可按照构建的学习完毕模型24的构造等适当决定。教示数据创建部14也可将所构建的教示数据作为教示数据23存储于存储部20。
[0059]
模型构建部15通过采用教示数据23使未学习的学习模型执行机器学习，能够构建学习完毕模型。另外，未学习的学习模型(即学习完毕模型24的雏形)可以由模型构建部15保持，也可以存储于存储部20。此外，模型构建部15中的机器学习的具体的方法没有被特别地限定。模型构建部15也可将进行了构建的学习完毕模型作为学习完毕模型24存储于存储部20。
[0060]
另外，在控制装置1中也可未必包括模型构建部15。例如模型构建部15也可包括在与控制装置1不同的装置。例如模型构建部15也可存储在与控制装置1连接的外部的服务器中。即学习完毕模型的构建也可由控制装置1以外的装置进行。在该情况下，控制装置1和其他的装置被有线或者无线地连接，也可适当地发送接收学习完毕模型的构建所需的信息。
[0061]
(存储部20)
[0062]
存储部20为存储控制装置1的动作所需的各种数据的存储装置。存储部20包括前述的特征量数据21、分类信息22、教示数据23、学习完毕模型24和定义数据25。关于学习完毕模型24的构造在后面详细说明。
[0063]
定义数据25为对在提取部12中提取的特征量的参数的种类和该参数的提取方法进行规定的数据。即定义数据25为用于从声音数据提取多个特征量的数据。定义数据25也可预先由控制系统100的用户构建并存储于存储部20。另外，定义数据25的构建方法没有被特别地限定。
[0064]
另外，定义数据25也可未必被存储于存储部20。例如、定义数据25也可被存储于与控制装置1不同的装置。例如定义数据25也可被存储于与控制装置1连接的外部的服务器。此外，例如在控制装置1中也可未必包括提取部12。例如提取部12也可以存储于与控制装置1连接的外部的服务器。即特征量的提取也可由控制装置1以外的装置进行。在该情况下，控制装置1与其他装置被有线或者无线地连接，也可适当地发送接收特征量的提取所需的信息。
[0065]
(变形例)
[0066]
控制系统100中，外部装置3不是必须的结构。在控制系统100不包括外部装置3的情况下，控制装置1为了实现作为外部装置3的功能，也可具备相当于前述的外部装置3的各种部件的结构。而且，专家等的控制系统100的使用者也可经由控制装置1的输入部而不是外部装置3输入呼吸音的分类。分类信息取得部13也可从该输入部取得表示呼吸音的分类的信息。关于以后的处理也是同样的。
[0067]
《特征量的提取方法》
[0068]
采用图2～图5对提取部12中的特征量的提取和特征量数据21的构造详细地进行说明。另外，图2～图4中，以箭头所示的顺序加工声音数据，提取特征量。另外，在图2～图4中，为了容易理解而将时间波形、频率波形、以及频谱图波形作为图表示出，但是在控制系统100中，这些波形也可未必被视觉化。
[0069]
图2是表示来自声音数据的时间波形的特征量的提取过程的图。所谓时间波形表示声音的输出的时间变化。如图2所示那样，在时间波形的图表中，横轴表示声音的输出时间，纵轴表示输出强度。首先，提取部12解析声音数据并确定该声音数据的时间波形。接下来，提取部12将该时间波形加工为包络线波形。最后提取部12从包络线波形提取声音数据的特征量。
[0070]
例如，提取部12也可从包络线波形中提取高位10个的波峰，并将该波峰所示的图表纵轴的值(以下也称作峰值)作为特征量提取。此外例如、提取部12也可将高位10个的峰值的时间位置、峰值的方差、峰值的平均的至少任意者作为特征量提取。此外例如提取部12也可确定高位10个的峰值的包络线宽度、以及高位10个的峰值的每个时间位置的能量集中度，并将它们作为特征量提取。另外，这里所述的能量集中度表示将包络线波形的全部时间以规定数量分割的情况下的各个区划的波形的面积比。
[0071]
图3是表示来自声音数据的频率波形的特征量的提取过程的图。所谓频率波形表示在某声音数据中包括的频率分量的分布。如图3所示那样，在频率波形的图表中，横轴表示频率，纵轴表示强度。首先，提取部12解析声音数据并确定该声音数据的频率波形。接下来，提取部12从该频率波形提取声音数据的特征量。频率波形能够通过对声音的输出的时
间变化进行傅里叶变换而求得。
[0072]
例如提取部12也可从频率波形提取高位3个峰值并将该峰值的频率位置作为特征量提取。此外例如提取部12也可确定高位3个的峰值的带宽、以及每个频段的能量集中度，并将它们作为特征量提取。另外，在此所述的能量集中度表示将频率波形的所有频率以规定数量分割的情况下的各个区划的波形的面积比。
[0073]
图4是表示来自声音数据的频谱图波形的特征量的提取过程的图。所谓频谱图波形表示在某声音数据中包含的频率分量的时间变化。如图4所示那样，在频谱图波形的图表中，横轴表示时间，纵轴表示频率，浓淡表示强度。首先，提取部12解析声音数据并确定该声音数据的时间波形。接下来，提取部12根据该时间波形确定频谱图波形。最后，提取部12从频谱图波形提取声音数据的特征量。频谱图波形能够通过对每给定时间的时间波形进行傅里叶变换来算出各时间的频率波形，通过将各时间的频率波形接连起来而求得。
[0074]
例如，如图4所示那样，提取部12也可从关于频谱图波形的一部分的时间波形分别提取高位3个的峰值。而且，提取部12也可确定该峰值的时间位置的频率峰值的高位3个、频率位置、该位置的方差以及平均、带宽、和每个频段的能量集中度，并将它们作为特征量提取。
[0075]
控制装置1也可使时间波形、频率波形、以及频谱图波形的图表显示于控制装置1的显示部、或者与控制装置1连接的显示装置。在该情况下，使用者通过视觉上辨识所显示的图表而容易地判断学习完毕模型24的构建所需的数据范围。即控制系统100能够提高便利性。
[0076]
如图2～4所示那样，定义定义数据25以使得基于声音数据的时间的变化、频率分量、以及频谱图中的至少任意者提取特征量，从而能够从声音数据提取多样的特征量。因此，能够构建能更精度良好地判定声音的分类的学习完毕模型24。
[0077]
《特征量数据的数据构造》
[0078]
图5是表示特征量数据21的数据构造的一例的图。图5的1行、即1个记录表示1个特征量的识别编号(id)、项目名、以及值。在“项目名”栏中保存有由定义数据25定义的、表示各特征量的性质或者算出方法等的信息。另外，在图5的例子中为了方便，设置“项目名”的列，记载有各特征量的性质的说明，但在特征量数据21中“项目名”的列不是必须的。即特征量数据21也可为将能够唯一地确定各特征量的识别编号与特征量的值对应关联起来的数据。
[0079]
《学习完毕模型24的构造和动作概要》
[0080]
图6是表示学习完毕模型24的输入输出数据、学习完毕模型24的结构的概要的示意图。另外，图6所示的学习完毕模型24的结构只是一例，学习完毕模型24的结构并不限于此。
[0081]
如图所示那样，学习完毕模型24为将声音数据的特征量作为输入数据，最终将声音的分类作为输出数据的结构。学习完毕模型24也可具有例如通过将所输入的各种特征量的参数加权、合并、或者取舍选择从而减去该参数的总数的特征量选择模型。
[0082]
特征量选择模型例如也可由神经网络(nn)等构成，也可构成为一个以上的多项式等的模型式的集合体。特征量选择模型例如也可执行以下的(1)～(3)。
[0083]
(1)对所输入的特征量分别乘以加权系数
[0084]
(2)从相乘后的各特征量选择2个以上的参数
[0085]
(3)计算它们的和、差、积、或者商以及和、差、积、或者商的组合
[0086]
由此，能够构建将该2个以上的参数加权并合并得到的中间参数。此外，特征量选择模型例如也可以通过将所输入的特征量中、1个以上的特征量的加权设为0、或者取舍选择1个以上的特征量，从而减少特征量的参数的总数。此外，例如也可采用主分量分析、独立分量分析来进行特征量的取舍选择。如上所述，在特征量选择模型中被加权、合并、或者取舍选择后的多个中间参数也可被输入到以下的分类模型。如上所述，通过对多种多样的特征量进行加权、合并、或者取舍选择，从而在后续的分类模型中，能够更精度良好地判定声音的分类。
[0087]
分类模型例如为由支持向量机(svm)等实现的分类器。分类模型确定并输出所输入的中间参数表示的声音的分类。另外，分类模型也可为nn。在特征量选择模型以及分类模型均为nn的情况下，这两个模型也可为1个nn。
[0088]
《模型构建处理的流程》
[0089]
图7是表示控制装置1构建学习完毕模型24的处理(模型构建处理)的流程的流程图。
[0090]
首先，控制装置1取得成为教示数据23的资料的各种数据。具体而言，声音取得部11从检测装置2取得呼吸音的声音数据(s10)。声音取得部11将声音数据输出到提取部12。提取部12从所输入的声音数据提取该声音数据的特征量(s11)。在此，提取部12提取至少两个以上的特征量。提取部12将所提取的各种特征量作为特征量数据21存储于存储部20。
[0091]
与s10以及s11的处理顺序不同或者并行地，分类信息取得部13从外部装置3取得与声音取得部11在s10中取得的声音数据相对应的分类信息(s12)。分类信息取得部13将所取得的分类信息作为分类信息22存储于存储部20。
[0092]
接下来，控制装置1构建教示数据23。具体而言，教示数据创建部14读出特征量数据21和分类信息22构建将特征量作为输入数据、将分类信息作为正确解答数据的教示数据(s13)。教示数据创建部14将所构建的教示数据作为教示数据23存储于存储部20。另外，s13的处理也可以与s10～s12独立的定时执行。
[0093]
最后，控制装置1执行采用了教示数据23的机器学习。具体而言，模型构建部15读出教示数据23并采用该教示数据23使未学习的学习模型执行机器学习。由此，模型构建部15构建学习完毕模型24(s14)。模型构建部15使所构建的学习完毕模型24存储于存储部20。
[0094]
根据以上的处理，控制装置1能够构建使机器学习了声音数据的特征量与该声音数据的医学的声音的分类的相关关系的学习完毕模型24。即控制装置1能够构建基于检查对象发出的声音能精度良好地判定该声音的分类的学习完毕模型24。
[0095]
以往例如在医生通过听诊将呼吸音医学地进行分类的情况下，呼吸音按照医生的经验而被分类。例如如果声音的持续时间为200毫秒以上，则医生将该呼吸音经验性地判断为是连续性ra音。此外例如医生经验性地判断为连续性ra音中的、主要含有较多频率为200hz以下的声音那样的呼吸音是被称为类鼾音的低音性连续性ra音。此外例如医生经验地判断为连续性ra音中的、主要含有较多频率为400hz以下的声音那样的呼吸音是被称作笛声音的高音性连续性ra音。但是，在该分类方法中，未必能够正确地对所有的呼吸音进行分类。例如在呼吸音中有时混合有由于多个病情而引起的多个声音。在该情况下，由于呼吸
音中含有多个频率的声音，因而有时医生的判断错误。此外，在根据医生等专家的经验判断症状为严重还是轻度的情况下，有时根据每个专家判断症状的轻重时会产生偏差。
[0096]
与此相对，在提取部12中提取的特征量为包括在分类信息、与呼吸音的医学的分类独立地被定义的特征量。而且，通过由定义数据25规定该特征量，从而用户能够自由地增减特征量的数量。因此，通过例如将特征量定义为比该医学的分类的数量多样且多个，能够基于这种许多的特征量构建学习完毕模型24。因此，与仅医生对呼吸音进行分类相比学习完毕模型24能够准确地判定呼吸音的分类。这是因为例如学习完毕模型24对于多个分类的特征混合的噪音、不符合已知分类但实际上是由疾病引起的噪音等、已知的方法无法考虑的呼吸音的特征与呼吸音的分类的关系性也进行了机器学习的缘故。
[0097]
〔实施方式2〕
[0098]
以下关于本发明的其他实施方式进行说明。另外，为了方便说明，关于具有与上述实施方式中说明的部件相同的功能的部件，附记相同的符号，并不重复其说明。关于以下的实施方式也同样。
[0099]
本发明相关的控制系统的控制装置也可具备评价学习完毕模型的机器学习的结果，并反馈到模型构建部的评价部。而且，模型构建部也可通过使学习完毕模型基于来自评价部的反馈重新学习，从而修正学习完毕模型的结构。以下，采用图8对本实施方式相关的控制系统200进行说明。
[0100]
图8是表示本实施方式相关的控制系统200的要部结构的框图。控制系统200在包括控制装置4来代替控制装置1这一点以及包括显示装置5这一点上与实施方式1相关的控制系统100不同。另外，显示装置5在控制系统200中不是必须的结构。
[0101]
控制装置4包括控制部30和存储部20。控制部30除了包括评价部31以外具有与实施方式1相关的控制装置1相同的功能。显示装置5为显示评价部31的评价结果的装置。显示装置5的具体的结构没有被特别地限定。
[0102]
评价部31也可从存储部20、或者教示数据创建部14取得教示数据23的至少一部分数据。评价部31也可将所取得的教示数据23中的、输入数据(即声音的特征量)输入到学习完毕模型24。而且，也可将在将某输入数据输入到学习完毕模型24时输出的推定结果与对应于该某输入数据的正确解答数据(即声音的分类)进行比较。
[0103]
评价部31能够将该比较重复教示数据23的数量相应的量。而且，如果评价部31关于所取得的教示数据23全部的比较结束，则也可算出比较结果。
[0104]
比较结果的算出方法没有被特别地限定。例如评价部31也可算出比较的结果、推定结果与正确解答数据的一致率(即学习完毕模型24的正确解答率)。此外例如评价部31也可算出正确解答数据为“正常呼吸音”的教示数据23中的、学习完毕模型24将声音的分类分类为“正常呼吸音”以外的(即错误地推定为有异常的)教示数据的比例。此外例如评价部31也可算出正确解答数据为“正常呼吸音”以外的教示数据23中的、学习完毕模型24将声音的分类分类为“正常呼吸音”的(即错误地推定为没有异常的)教示数据的比例。
[0105]
评价部31也可将比较结果、即机器学习的评价输出(即反馈)到模型构建部15。模型构建部15也可基于该比较结果使学习完毕模型24执行重新学习。重新学习的方法没有被特别地限定，但例如模型构建部15也可将与根据前述的比较结果推测为学习完毕模型24进行了误答的教示数据23相类似的教示数据23从存储部20读出，将该类似的教示数据23用作
重新学习用的数据集。
[0106]
另外，在前述的比较结果为良好的情况下(所谓比较结果为良好是指例如学习完毕模型24的正确解答率为给定值以上的情况)，模型构建部15也可不进行重新学习。换句话说，模型构建部15也可在来自评价部31的评价不满足给定的条件的情况下实施重新学习，在满足了给定的条件的情况下不执行重新学习。
[0107]
根据以上的结构，能够对一次构建的学习完毕模型24进行评价，按照该评价修正学习完毕模型24的结构。因此，能够将学习完毕模型24调谐为推定精度更高的已学习模型。
[0108]
〔实施方式3〕
[0109]
图9是表示本实施方式相关的控制系统300的要部结构的框图。控制系统300包括检测装置2、显示装置5和控制装置6。另外，显示装置5在控制系统300中不是必须的结构。
[0110]
控制装置6包括控制部40和存储部50。控制部40综合地控制控制装置6。控制部40包括声音取得部11、提取部12和推定部41。存储部50也可存储定义数据25和学习完毕模型24。
[0111]
在本实施方式中，检测装置2能够将录音了检查对象的人的呼吸音所得到的声音数据发送到声音取得部11。声音取得部11也可取得该声音数据，按照需要间断地将该声音数据输出到提取部12。提取部12也可基于定义数据25的定义提取所输入的声音数据的特征量，并输出到推定部41。
[0112]
推定部41也可采用学习完毕模型24根据声音数据的特征量推定呼吸音的分类。推定部41也可将从提取部12输入的特征量输入到学习完毕模型24，并取得从学习完毕模型24输出的声音的分类的推定结果。推定部41也可使推定结果显示于显示装置5。在本实施方式中，显示装置5能够显示推定部41的推定结果。
[0113]
另外，学习完毕模型24的推定结果自身、以及采用了学习完毕模型24的推定部41中的推定结果的加工处理的方法等没有被特别地限定。例如学习完毕模型24也可为按照所输入的特征量仅输出一个与该特征量相符的声音的分类的名称的结构，也可为输出多个的结构。此外，在输出多个声音的分类的名称的情况下，学习完毕模型24也可输出作为推定结果的、表示对各声音的分类的匹配度(即声音的分类的确定性)的值。此外，推定部41在能从学习完毕模型24取得对多个声音的分类的匹配度的情况下，也可将该匹配度加工为雷达图等的图并显示于显示装置5。
[0114]
《推定处理》
[0115]
图10是表示控制装置6推定呼吸音的分类的推定处理的流程的图。声音取得部11从检测装置2取得成为检查对象的呼吸音的声音数据(s20)。声音取得部11将声音数据输出到提取部12。提取部12从所输入的声音数据提取该声音数据的特征量(s21)。提取部12将所提取的各种特征量输出到推定部41。
[0116]
推定部41将特征量输入到存储部50的学习完毕模型24(s22)。学习完毕模型24将根据特征量推定出的声音的分类输出到推定部41。推定部41取得从学习完毕模型24输出的、声音的分类的推定结果(s23)。推定部41使推定结果显示于显示装置5(s24)。另外，s24的处理不是必须的。此外，推定部41也可使推定结果存储于存储部50。
[0117]
根据以上的处理，控制装置1能够采用学习完毕模型24根据检查对象的呼吸音的声音数据推定该呼吸音的分类。在此，提取部12中所提取的特征量为与在分类信息中包括
的、与呼吸音的医学的分类独立地定义的特征量，其数量比该医学的分类的数量多。由于基于多个特征量执行推定处理，因而控制装置6与仅医生对呼吸音进行分类相比能基于检查对象发出的声音精度良好地判定该声音的分类。例如控制装置6能够考虑多个分类的特征混合的噪音、不符合已知分类但实际上是由疾病引起的噪音等、已知的方法无法考虑的呼吸音的特征来推定呼吸音的分类。
[0118]
另外，在控制装置6中也可未必包括推定部41。例如推定部41也可包括在与控制装置1连接的其他装置中。此外，例如推定部41也可包括在外部的服务器中。即呼吸音的分类的推定也可由控制装置6以外的装置进行。在该情况下，控制装置6和其他的装置有线或者无线地被连接，只要适当地发送接收呼吸音的分类的推定所需的信息即可。
[0119]
〔实施方式4〕
[0120]
本发明相关的控制系统也可实施模型构建处理和推定处理这两者。即控制系统100(或者控制系统200)与控制系统300也可一体地构成。以下，在本实施方式中，关于控制系统100与控制系统300一体地构成的例子进行说明。
[0121]
图11是表示本实施方式相关的控制系统400的要部结构的框图。控制系统400包括检测装置2、外部装置3、显示装置5和控制装置7。另外，外部装置3以及显示装置5在控制系统400中也不是必须的结构。
[0122]
控制装置7包括控制部60和存储部20。控制部60包括控制系统100相关的控制部10的结构和实施方式3相关的控制部40的结构。控制装置7也可通过在任意的定时实施实施方式1中说明的模型构建处理来构建学习完毕模型24。而且，控制装置7也可将构建得到的学习完毕模型24存储于存储部20。此外，控制装置7也可通过在学习完毕模型24的构建后的任意的定时实施实施方式3中说明的推定处理，来从声音数据提取特征量。而且，控制装置7也可采用学习完毕模型24从所提取的特征量推定声音的分类。
[0123]
另外，关于将控制系统200和控制系统300一体地构成的情况，基本的处理的流程也相同。在该情况下，控制系统400除了图11所示的结构外，还可以包括在实施方式2中说明的评价部31。
[0124]
〔变形例1〕
[0125]
实施方式3或者实施方式4相关的推定部41也可根据多个声音的特征量推定声音的分类的匹配度。例如推定部41也可推定声音的分类的名称和该分类的匹配度的等级。在该情况下，学习完毕模型24构成为作为输出数据输出1个以上的声音的分类的名称和向该分类的匹配度的值。由此，推定部41能够更精密地推定声音的分类。
[0126]
〔变形例2〕
[0127]
各实施方式相关的第1数据也可包括表示发出了声音的对象的状态的信息。以下将该信息称作状态信息。此外，各实施方式相关的学习完毕模型24也可为机器学习了多个特征量或者声音的分类的至少一方与发出了声音的对象的状态的相关关系的学习完毕模型24。
[0128]
在该情况下，实施方式1或者实施方式2中，也可通过专家对外部装置3输入分类信息以及状态信息。此外，外部装置3也可将包括分类信息以及状态信息在内的第1数据发送到控制装置1或者4。此外，如果控制装置1或者4的分类信息取得部13取得该第1数据，则也可将该第1数据中包括的分类信息和状态信息与声音数据的识别信息分别对应关联地存储
于存储部20。
[0129]
而且，教示数据创建部14也可采用特征量数据21、分类信息22、以及状态信息构建教示数据。此外，模型构建部15也可基于该教示数据使学习完毕模型24执行机器学习。
[0130]
由此，构建对多个声音的特征量或者声音的分类的至少一方与发出了声音的对象的状态的相关关系进行了机器学习的学习完毕模型24。
[0131]
此外，实施方式3或者实施方式4相关的推定部41也可采用该变形例相关的学习完毕模型24从声音数据的多个特征量推定检查对象的状态。推定方法也可按照学习完毕模型24中的、相关关系的学习方式而被确定。例如假设学习完毕模型24为对多个声音的特征量与声音的分类的相关关系、和该分类与发出了声音的对象的状态的相关关系进行了机器学习的学习完毕模型。在该情况下，学习完毕模型24也可首先根据所输入的多个特征量推定声音的分类。而且，学习完毕模型24也可进一步根据所推定的声音的分类推定发出了声音的对象的状态。另一方面，假设学习完毕模型24为对多个声音的特征量与声音的分类的相关关系、和多个声音的特征量与发出了声音的对象的状态的相关关系进行了机器学习的学习完毕模型。在该情况下，学习完毕模型24也可根据所输入的多个特征量推定声音的分类和发出了声音的对象的状态这两者。此外，假设学习完毕模型24为对多个声音的特征量、声音的分类和发出了声音的对象的状态这三个信息的相关关系进行了机器学习的学习完毕模型。在该情况下，学习完毕模型24也可根据所输入的多个特征量推定声音的分类、发出了声音的对象的状态中的至少一方。
[0132]
通过构建以及使用该变形例那样的学习完毕模型24，从而能够根据检查对象的呼吸音的声音数据推定该发出了声音的对象的状态。
[0133]
另外，状态信息也可是表示与医学的分类相对应的症状以及病名的至少一方的信息。在该情况下，能够根据呼吸音的声音数据推定发出了该呼吸音的对象的症状以及病名的至少一方。
[0134]
〔基于软件的实现例〕
[0135]
控制装置1、4、6、以及7的控制模块也可通过形成于集成电路(ic芯片)等的逻辑电路(硬件)来实现，也可通过软件实现。
[0136]
在后者的情况下，控制装置1、4、6以及7具备执行作为实现各功能的软件的程序的命令的计算机。该计算机例如具备1个以上的处理器，并且具备存储有上述程序的计算机可读取记录介质。而且，上述计算机中，通过上述处理器从上述记录介质读取上述程序并执行，从而实现本发明的目的。作为上述处理器，能够采用例如cpu(central processing unit，中央处理单元)。作为上述记录介质，除了“非暂时的有形的介质”、例如rom(read only memory，只读存储器)等，还能够采用带、盘、卡、半导体存储器、可编程的逻辑电路等。此外，也可还具备展开上述程序的ram(random access memory，随机存储器)等。此外，上述程序也可通过能传输该程序的任意的传输介质(通信网络、广播波等)提供给上述计算机。另外，本发明的一个方式也能够以通过电子传输将上述程序具体化的、嵌入载波中的数据信号的方式来实现。
[0137]
本公开相关的发明并不限定于上述的各实施方式。即能在权利要求所示的范围进行各种变更。此外，关于适当组合在不同的实施方式中分别公开的技术的手段而得到的实施方式，也包括在本公开相关的发明的技术的范围中。此外，应该注意如果为本领域技术人
员则基于本公开进行各种变形或者修正是容易的。因而，应当留意这些变形或者修正包括在本公开的范围中。
[0138]-符号说明-[0139]
1、4、6、7控制装置
[0140]
2检测装置
[0141]
3外部装置
[0142]
5显示装置
[0143]
10、30、40、60控制部
[0144]
11声音取得部
[0145]
12提取部
[0146]
13分类信息取得部
[0147]
14教示数据创建部
[0148]
15模型构建部
[0149]
20、50存储部
[0150]
21特征量数据
[0151]
22分类信息
[0152]
23教示数据
[0153]
24学习完毕模型
[0154]
25定义数据
[0155]
31评价部
[0156]
41推定部
[0157]
100、200、300、400控制系统。