一种基于心电信号和音乐的抑郁症治疗系统

1.本发明涉及心理学领域和计算机领域，具体涉及一种基于心电信号的气质类型识别方法。


背景技术：

2.世界卫生组织在最新报告中指出，46％的疾病都与抑郁症直接相关。据估计，目前全世界有3亿人受到抑郁症困扰。
3.抑郁症的主要症状是易怒，出现身心性疾病症状，例如消化系统和心血管系统疾病。抑郁症对患者在职场、学校和社会生活当中的表现都会产生重大影响。
4.国内外大量研究证实：音乐可以引起各种生理反应，促进人体内稳态平衡，减少紧张焦虑，促进身心放松；音乐有镇痛的作用，可直接入意识，在心理治疗中有特殊的功效。
5.然而音乐种类繁多，何种音乐能够在个体焦虑，抑郁时起到调节作用，对于不同个体而言，存在较大差异。
6.在此基础上，在用户自身难以分辨选择适宜音乐种类的情况下，快速高效地为每一位用户筛选出能够起到调节作用的音乐种类就显得尤为重要。
7.由于上述原因，本发明人对音乐类型及与抑郁相关的生理参数做了深入研究，以期待设计出一种能够解决上述问题的基于心电信号和音乐的抑郁治疗系统。


技术实现要素：

8.为了克服上述问题，本发明人进行了锐意研究，设计出一种一种基于心电信号和音乐的抑郁症治疗系统，该系统由生物传感器采集人体的心率，基于心电信号实时追踪个体的交感神经和副交感神经活动模式，根据个体的心率以及交感/副交感神经指数指标的反馈对每个流派类别和情绪子类别的音乐进行排序，根据排序结果对音乐样本库中音乐样本进行归类，基于不同归类的音乐样本构建量子化变分自编码器模型用以生成流派类似的新音乐样本，根据推荐置信表向使用人生成并推荐合适的抑郁情绪治疗音乐。
9.具体来说，本发明的目的在于提供一种基于心电信号和音乐的抑郁症治疗系统，
10.该系统包括音乐样本库1、音乐播放模块2、心电信号提取模块3、情绪能量解算模块4、存储模块5和推荐置信表模块6；
11.其中，所述音乐样本库1中存储有多种流派类别的音乐，每首音乐都对应有描述标签；
12.所述音乐播放模块2用于筛选音乐播放给使用者聆听，并在收到切换指令后更换音乐；
13.所述心电信号提取模块3用于提取使用者的心电信号；
14.所述情绪能量解算模块4用于根据提取到的使用者的心电信号获得情绪能量值；
15.所述存储模块5用于存储使用者聆听的每一首音乐的描述标签、聆听时间以及聆听阶段获得的量化抑郁情绪的融合指标；
16.所述推荐置信表模块6用于根据存储模块5中的数据生成推荐置信表和适配音乐库，并据此控制音乐播放模块2播放的音乐内容。
17.其中，所述音乐样本库1中，所述描述标签包括该音乐的流派类别和具体类别中的情绪子类别；
18.优选地，通过dbscan聚类算法，将同一流派类别的中多个音乐样本区分为多个情绪子类别。
19.其中，所述心电信号提取模块3用于在使用者聆听音乐前，获得使用者在正常静息状态下的心电信号，记为正常心电信号；
20.所述心电信号提取模块3还用于在使用者聆听音乐播放模块2发出的音乐时，实时获得使用者的心电信号，记为音乐心电信号。所述情绪能量解算模块(4)从使用者的正常心电信号中提取心动周期序列，采用拉盖尔自回归模型得到在给定时间窗范围内的交感神经指标序列和副交感神经指标序列再进一步获取二者的标准差和作为基础情绪能量值；
21.所述情绪能量解算模块(4)根据音乐心电信号获得的交感神经指标序列和副交感神经指标序列的标准差和作为音乐情绪能量值；
22.优选地，所述情绪能量解算模块(4)还用于根据音乐情绪能量值与基础情绪能量值获得量化抑郁情绪的融合指标δi
sai-pai
。
23.其中，所述量化抑郁情绪的融合指标δi
sai-pai
通过下式(1) 获得：
[0024][0025]
其中，表示音乐融合指标，表示基础融合指标；
[0026]
优选地，所述基础融合指标和音乐融合指标通过下式(1.1)和(1.2)获得：
[0027][0028][0029]
其中，λ1和λ2表示加权系数。
[0030]
其中，在所述推荐置信表模块6中，从存储模块5中调取所有满足δi
sai-pai
＞0的音乐及对应的描述标签和聆听时间；
[0031]
根据调取出的数据获得每首音乐的情绪调适指标，
[0032]
在对所述情绪调适指标按照大小排序，提取其中涉及的前m 个流派类别，在音乐样本库中挑选出所述m个流派类别的音乐，并在每个流派类别中筛选出相关度最大的前n个情绪子类别的音乐，构建生成样本库；
[0033]
优选地，在所述推荐置信表模块6中，还对获得的每首音乐的情绪调适指标做归一化处理，获得推荐置信表。
[0034]
其中，所述情绪调适指标通过下式(2)获得：
[0035]
ie(i)＝t(i)
·
δi
sai-pai(i)ꢀꢀꢀꢀ
(2)
[0036]
其中，ie(i)表示第i首音乐对应的情绪调适指标，t(i)表示第i首音乐对应的聆听时间，δi
sai-pai
(i)表示第i首音乐对应的融合指标。
[0037]
其中，在所述生成样本库中，根据其中的m个流派类别对应的样本，构建m个wavenet模型，用以生成新的相似流派音乐样本，
[0038]
再根据推荐置信表控制音乐播放模块2从生成的新的相似流派音乐样本中挑选合适的音乐。
[0039]
本发明所具有的有益效果包括：
[0040]
(1)根据本发明提供的基于心电信号和音乐的抑郁症治疗系统，可以嵌入到任何音乐装置或者是app中，使用方便，对硬件条件及使用环境要求较低；对音乐样本库中的音乐样本流派类别和情绪子类别的判断分类主要依据sai-pai交感神经和副交感神经系统的指标反馈来进行；该系统的指标度量仅完全源自心跳，因此可以通过任何携带心跳事件信息的便携式可穿戴设备进行数据采集，更加方便快捷。
[0041]
(2)根据本发明提供的基于心电信号和音乐的抑郁症治疗系统能够针对个人建立推荐模型，满足个体差异化需求；
[0042]
(3)根据本发明提供的基于心电信号和音乐的抑郁症治疗系统基于心电信号实时追踪个体的交感和副交感活动模式，跟踪快，反馈快，能够即时调整快；另外，仅通过心跳的定时就可以分别表征交感神经活动和副交感神经活动，所以数据的采集工作过程中不会对人体产生副作用。
[0043]
(4)根据本发明提供的基于心电信号和音乐的抑郁症治疗系统基于音乐疗法和自主神经活动模式建构了一个科学的音乐推荐疗法，省去了经验判断的过程，得到的推荐疗法更符合抑郁患者的需求。
附图说明
[0044]
图1示出根据本发明一种优选实施方式的基于心电信号和音乐的抑郁症治疗系统的整体逻辑图。
具体实施方式
[0045]
下面通过附图和实施例对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。
[0046]
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
[0047]
根据本发明提供的，如图1中所示，基于心电信号和音乐的抑郁症治疗系统，该系统包括音乐样本库1、音乐播放模块2、心电信号提取模块3、情绪能量解算模块4、存储模块5和推荐置信表模块6；
[0048]
其中，所述括音乐样本库1中存储有多种流派类别的音乐，每首音乐都对应有描述标签；本技术中所述的流派类别是根据通用的分类标准进行划分的，具体包含古典音乐、流
行音乐、蓝调音乐、摇滚音乐、爵士乐和管弦乐等。
[0049]
所述音乐播放模块2用于筛选音乐并播放给使用者聆听，并在收到切换指令后更换音乐；优选地，所述音乐播放模块2从音乐样本库或者生成样本库中生成的相似流派的音乐样本中筛选音乐。
[0050]
所述心电信号提取模块3用于提取使用者的心电信号；
[0051]
所述情绪能量解算模块4用于根据提取到的使用者的心电信号解算获得情绪能量值，所述情绪能量值定义为交感神经信号与副交感神经信号在固定时间窗内的标准差的加权值，表示情绪的正负性；本技术中的情绪能量值包括基础情绪能量值和音乐情绪能量值。
[0052]
所述存储模块5用于存储使用者聆听的每一首音乐的描述标签、聆听时间以及聆听阶段获得的量化抑郁情绪的融合指标；
[0053]
所述推荐置信表模块6用于根据存储模块5中的数据生成推荐置信表和适配音乐库，并据此控制音乐播放模块2播放的音乐内容。
[0054]
在一个优选的实施方式中，所述音乐样本库1中，所述描述标签包括该音乐的流派类别和具体类别中的情绪子类别；所述音乐样本库可以登录互联网筛选调用任意已有音乐；
[0055]
优选地，通过dbscan聚类算法，将同一流派类别的中多个音乐样本区分为多个情绪子类别，由于同一音乐流派内音乐表达的情绪存在较大差异，采用聚类将其进一步细分为情绪子类别。情绪子类别由聚类算法根据同一流派内音乐的相似性聚合得到，分为喜悦、紧张、舒缓、悲伤等。
[0056]
优选地，本发明采用dbscan聚类算法(ester m,kriegel hp,sander j,et al.a density-based algorithm fordiscovering clusters in large spatial databases withnoise[c]//kdd.1996,96(34):226-231.)将同一流派的音乐分为多个情绪子类别，dbscan属于常用的聚类算法，通过调整邻域范围和核心对象数量实现情绪子类别的聚合。
[0057]
在一个优选的实施方式中，所述音乐播放模块2包括播放音乐的硬件设备，如喇叭、耳机等。
[0058]
在一个优选的实施方式中，所述心电信号提取模块3用于在使用者聆听音乐前，获得使用者在正常静息状态下的心电信号，记为正常心电信号；本技术中所述的正常静息状态是指使用者处于平静的状态，表示为其心电信号等各项指标保持稳定不出现大的波动。具体来说，在连续1分钟内，交感神经指标序列和副交感神经指标序列的比值序列的值在一定范围内上下波动变化，如0.3-0.4之间波动，或者波动更小，都可认定为平静状态。
[0059]
所述心电信号提取模块3还用于在使用者聆听音乐播放模块2发出的音乐时，实时获得使用者的心电信号，记为音乐心电信号。
[0060]
优选地，在获得音乐心电信号的过程中，心电信号最低要求的持续时长为1分钟；本技术中，无需判断使用者是否为抑郁状态，只要聆听音乐后情绪能量增长即表明音乐有缓解抑郁的效果。
[0061]
在一个优选的实施方式中，所述情绪能量解算模块4从使用者的正常心电信号中提取心动周期序列，采用拉盖尔自回归模型得到在给定时间窗范围内的交感神经指标序列
和副交感神经指标序列再进一步获取二者的标准差和作为基础情绪能量值。所述情绪能量解算模块4根据音乐心电信号获得的交感神经指标序列和副交感神经指标序列的标准差和作为音乐情绪能量值；和均是1维向量，和都是数值，通过标准差计算公式得到，如下所示：
[0062][0063]
其中，表示交感或副交感神经序列的均值，n表示交感或副交感神经序列长度，si表示第i个交感或副交感神经序列。
[0064]
优选地，所述情绪能量解算模块4还用于根据音乐情绪能量值与基础情绪能量值获得量化抑郁情绪的融合指标δi
sai-pai
。优选地，所述拉盖尔回归模型选用(gaetano v,luca c, philip s j,et al.measures of sympatheti c andparasympathetic autonomic outflow from heartbeatdynamics.[j].journal of applied physiology,2018, 125(1):19-39.)中的模型。
[0065]
在进一步优选的实施方式中，所述量化抑郁情绪的融合指标δi
sai-pai
通过下式(1)获得：
[0066][0067]
其中，表示音乐融合指标，表示基础融合指标；
[0068]
优选地，所述基础融合指标和音乐融合指标通过下式(1.1)和(1.2)获得：
[0069][0070][0071]
其中，λ1和λ2表示加权系数，为经验参数，可以根据实际情况选择设置，如设置λ1为0.3～0.5，λ2为0.5～0.7。
[0072]
优选地，若某首音乐的聆听时间过长，如大于3分钟时，选取使用者切换该音乐时获得的最后一个来计算δi
sai-pai
。同时，若因聆听某音乐导致其δi
sai-pai
变化显著时，即使得一分钟内δi
sai-pai
的变化超过40％时，需要先暂停音乐播放，待使用者恢复平静时继续播放。
[0073]
在一个优选的实施方式中，在所述推荐置信表模块6中，从存储模块5中调取所有满足δi
sai-pai
≥0的音乐及对应的描述标签和聆听时间；
[0074]
根据提取出的数据获得每首音乐的情绪调适指标，
[0075]
在对所述情绪调适指标按照大小排序，提取其中涉及的前m 个流派类别，在音乐
样本库中挑选出所述m个流派类别的音乐，并在每个流派类别中筛选出相关度最大的前n个情绪子类别的音乐，构建生成样本库；即在所述生成样本库中具有m*n个情绪子类别的音乐。所述相关度是指该情绪子类别在存储模块5出现次数，出现次数越多，该相关度越大。
[0076]
优选地，在所述推荐置信表模块6中，还对获得的每首音乐的情绪调适指标做归一化处理，获得推荐置信表。
[0077]
其中，所述归一化处理采用最大最小归一化方法，将聆听时间t和δi
sai-pai
变换为[0,1]范围内，变换公式为：
[0078][0079]
解算工作在音乐聆听过程结束后启动，聆听过程优选持续 30分钟以上，单次聆听优选不超过30秒，优选存储60组以上数据。
[0080]
m优选取值为5-10，n优选取值为3-5。
[0081]
在一个优选的实施方式中，所述情绪调适指标定义为聆听时间与融合指标差值的乘积；
[0082]
所述情绪调适指标通过下式(2)获得：
[0083]
ie(i)＝t(i)
·
δi
sai-pai(i)ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0084]
其中，ie(i)，t(i)和δi
sai-pai
(i)分别表示第i首音乐对应的情绪调适指标、聆听时间和融合指标。
[0085]
在一个优选的实施方式中，在所述生成样本库中，根据其中的m个流派类别对应的样本，构建m个wavenet模型，用以生成新的相似流派音乐样本，生成新的相似流派音乐样本数量根据对抑郁患者的治疗时间确定。
[0086]
所述新的相似流派音乐样本是指与生成样本库中的音乐同属于同一流派类别但不完全相同的音乐。
[0087]
优选地，所述vq-vae模型修改为经典的音乐生成模型 wavenet(oord a,dieleman s,zen h,et al.wavenet:agenerative model for raw audio[j].arxiv preprintarxiv:1609.03499,2016.)。
[0088]
优选地，再根据推荐置信表控制音乐播放模块2从生成的新的相似流派音乐样本中挑选合适的音乐。优选地，所述归一化和推荐置信表的构成过程如下：
[0089]
记录测试者音乐的聆听记录，搜索t(i)和δi
sai-pai
(i)的最大值与最小值，根据最大最小归一化方法将其值变换为[0,1]之间。如聆听时间最大值为20秒，最小为5秒，对于聆听10秒的音乐，归一化后为(10-5)/(20-10)＝0.5。对于δi
sai-pai
(i)则同理。根据归一化后的t(i)和δi
sai-pai
(i)计算对应流派和情绪子类别的 ie(i)，构建推荐置信表。
[0090]
推荐置信表的行表示音乐流派，列表示音乐子类别，表中的元素表示对应流派和音乐子类别计算得到ie(i)的平均值。
[0091]
在每次推荐音乐时，根据测试中音乐流派的情绪调适指标大小生成对应的概率，采用轮盘赌算法选择流派，进而在该流派中随机生成音乐推送。
[0092]
推荐置信表可根据使用者的聆听记录更新，当使用者聆听音乐后，计算该音乐对应的情绪调适指标ie(i)并记录。当使用者聆听一定数量的音乐后(如100首)，根据ie(i)平
均值更新推荐置信表，更改音乐的推荐概率。使用者可随时将当前推荐置信表返回初始设置，若大部分ie(i)的平均值小于0(如80％以上)，则提示使用者重新测试，获得正常心电信号。
[0093]
实验例
[0094]
选择100名具有抑郁症状的测试者，将测试者平均分为两组，每组50人，一组作为实验组，一组作为对照组。连续实验 12周，在实验过程中，每名测试者都按照大致相同的作息规律生活，每天在晚间20-23点的时间段内段聆听音乐，每天共计聆听音乐的时间为1小时，在聆听音乐的过程中，测试者随时能够切换音乐。
[0095]
其中一组为实验组，实验组的测试者佩戴基于心电信号和音乐的抑郁症治疗系统，包括实时检测其心电信号的心电信号提取模块，能够实时为测试者播放音乐的音乐播放模块，并且所述播放的音乐为推荐置信表从生成的新的相似流派音乐样本中挑选的音乐，测试者能够随时选择切换音乐，但音乐播放模块只能根据挑选内容播放切换后的音乐，不能由测试者自行选择音乐，其中，推荐置信表和生成的新的相似流派音乐样本通过下述方法在实验开始前获得：
[0096]
步骤1，通过心电信号提取模块提取测试者在正常静息状态下的心电信号，并据此提取心动周期序列，采用拉盖尔自回归模型得到在给定时间窗范围内的交感神经指标序列和副交感神经指标序列再进一步获取二者的标准差和作为基础情绪能量值。
[0097]
步骤2，为测试者从音乐样本库中随机播放音乐样本库中的音乐，测试者随时能够切换音乐，记录测试者聆听每一首音乐的时长和对应的心电信号，根据心电信号获得使用者聆听音乐时的音乐心电信号，最终获得音乐情绪能量值；
[0098]
步骤3，通过下式(1)获得量化抑郁情绪的融合指标δi
sai-pai
：
[0099][0100]
其中，表示音乐融合指标，表示基础融合指标；
[0101]
优选地，所述基础融合指标和音乐融合指标通过下式(1.1)和(1.2)获得：
[0102][0103][0104]
其中，λ1和λ2表示加权系数，λ1取值设置为0.4，λ2取值设置为0.6；当某首音乐的聆听时间大于3分钟时，选取使用者切换该音乐时获得的最后一个来计算δi
sai-pai
；
[0105]
步骤4，调取所有满足δi
sai-pai
≥0的音乐及对应的描述标签和聆听时间，所述描述标签中记载有该音乐的流派类别和情绪子类别；根据调取出的数据，利用下式(2)获得情绪调适指标：
[0106]
ie(i)＝t(i)
·
δi
sai-pai(i)ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0107]
其中，ie(i)表示第i首音乐对应的情绪调适指标，t(i)表示第i首音乐对应的聆听
时间，δi
sai-pai
(i)表示第i首音乐对应的融合指标。
[0108]
步骤5，将获得的全部情绪调适指标按照大小排序，按照情绪调适指标从大到小的顺序依次查看并记录每个情绪调适指标对应的流派类别，选择记录的前10个流派类别；在音乐样本库中找到该10个流派类别，并从每个流派类别中挑选4个情绪子类别，进而得到40个情绪子类别；调取音乐样本库中该40个情绪子类别对应的全部音乐，构建生成样本库。
[0109]
步骤6，对步骤5中的情绪调适指标做归一化处理，得到推荐置信表；
[0110]
步骤7，在所述生成样本库中，根据其中的10个流派类别对应的样本，构建10个wavenet模型，用以生成100个新的相似流派音乐样本；
[0111]
再根据推荐置信表控制音乐播放模块从生成的新的相似流派音乐样本中挑选合适的音乐。
[0112]
每次推荐音乐时，根据测试中音乐流派的情绪调适指标大小生成对应的概率，采用轮盘赌算法选择流派，进而在该流派中随机生成音乐推送。
[0113]
另一组为对照组，对照组的测试者通过佩戴mp3或者通过电脑音乐盒来聆听音乐，测试者能够随时切换音乐，可以自行选择音乐内容，也可以随机调取音乐内容，该对照组中播放的音乐可以是世界上已有的任何音乐。
[0114]
实验结束后，比较两组患者的病情变化，在未参加实验之前，两组抑郁患者通过hamd抑郁量表检测到，实验组得分为25 分，标准差为3.1，对照组得分为26分，标准差为3.2；参加完实验之后，检测两组的抑郁得分，通过方差分析得到，实验组抑郁得分均值为15分，标准差为2.2，对照组得分均值为23分，标准差为3.4，p《0.05,两组患者在参加完实验之后，抑郁程度存在显著差异，说明本技术提供的基于心电信号和音乐的抑郁症治疗系统对缓解抑郁程度存在一定的作用。
[0115]
以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。