1.本发明涉及通信控制领域，具体涉及一种基于强化学习的可穿戴心电监测网络切换方法。
背景技术：
：：2.可穿戴心电监测可以提高医疗保健的效率。然而，目前仅依靠单一无线传输技术的可穿戴设备并不能保证患者在任何时间、任何地点都能连接到远程心电保健中心。为此，提出了一种对患者健康状况敏感的垂直切换方案，用于异构无线网络下的远程可穿戴心电监测应用。异构网络中的垂直切换是指在不中断业务链路的情况下从一个网络迁移到另一个网络的过程。因此，在现有的通信技术中，必须根据可穿戴心电数据传输所需的功率水平、数据速率、运行范围、多种技术共存等因素，选择最合适的技术，减少网络切换延迟时间，从而保证心电监测数据能够实时传输。3.现有技术中具有根据终端设备黑名单应用扫描蓝牙通信或者蜂窝网络进行网络切换的方法，来规避大流量的耗费，从而提供良好的上网体验。但该方法设定的阈值条件过于繁琐，增添许多不必要的计算量和扫描所需的能耗。还有根据移动终端网络连接的时空特性，选择满足当前业务性能需求且可靠性最高的网络，以保证传输时延小的同时可靠性高。但该方法需采集各个移动终端的位置、时间段、业务类型、网络可靠性等信息，而且需要第三方服务器，计算量大，并不适用于生理数据实时传输系统。同时具有根据终端中网络相关功能的使用状态确定所使用的网络类型并切换至相匹配的高功耗或低功耗网络，但该方法并未考虑到可穿戴设备监测数据实时传输的情况，无法轻易判断高低功耗的网络类型。技术实现要素：4.针对现有技术中的上述不足，本发明提供了一种基于强化学习的可穿戴心电监测网络切换方法。5.为了达到上述发明目的，本发明采用的技术方案为：6.一种基于强化学习的可穿戴心电监测网络切换方法，包括如下步骤：7.s1、接收环境网络监测设备和心电数据感知模块返回的数据；8.s2、对步骤s1返回的数据进行预处理，利用q学习算法得到关于期望动作和对应期望动作收益值的q表；9.s3、利用减法聚类方法对步骤s2预处理后q表的数据分类成簇，对不确定和不精确数据进行计算得到环境状态矩阵；10.s4、在q表中找出收益值最大的输出，将对应的最优动作作为输出发送给外部任务控制器执行，动作执行后若任务未完成则返回步骤s1继续执行，若任务完成则结束工作。11.进一步，所述s1中环境网络监测设备返回的数据包括t时刻可穿戴心电监测设备蓝牙网络的接收信号强度rssit，吞吐量throughputt，数据传输速率rt；12.心电数据感知模块返回的数据包括t时刻心电数据频率13.进一步，所述s2中数据预处理方式为：14.s21、间隔固定时间δt对步骤s1中返回的数据进行采样，每组数据包括多个样本；15.s22、将s21采样的数据编码成数据序列，得到时刻开始δt区间内的当前连接网络接收信号强度数据序列rssiδt，t时刻开始δt区间内的当前连接网络吞吐量数据序列throughputδt，t时刻开始δt区间内的当前连接网络数据传输速率数据序列rδt，并去掉rssiδt、throughputδt和rδt中的最大值和最小值；16.s23、对去掉rssiδt、throughputδt和rδt中的最大值和最小值后的数据序列求取平均值，得到对应的序列平均值和并将得到的序列平均值和t时刻的当前心电数据频率合并环境状态矩阵st。17.进一步，所述s2中q学习算法的计算方式为：[0018][0019]其中，q(st,at)为t时刻的q表值，st为t时刻的环境状态矩阵值，at为t时刻的动作，st为环境状态矩阵，rt为t时刻当前连接网络的传输速率，α、γ为常值参数。[0020]进一步，所述s3中减法聚类方法的具体计算方式为：[0021][0022]其中，χi、χj分别为s2预处理后的q表数据中的第i和第j个数据，r为聚类半径，χj-χi为第i和第j个数据的欧氏距离，为密度指标最高的数据点，dj为数据点χi处的密度指标，为二范数平方运算。[0023]进一步，所述s4具体包括如下步骤：[0024]s41、初始化q(s,a)，s∈st，a∈a，a为动作集合，并根据减法聚类后的结果初始化环境状态矩阵st；[0025]s42、根据连接网络的网络参数更新环境状态矩阵st，并更新q表值；[0026]s43、根据更新后的q表值选择输出最大q值max(q(st,a))对应的最优动作a′t并交由外部任务控控制器执行，若执行后任务未完成则返回步骤s1。[0027]本发明具有以下有益效果：[0028]本发明开创性提出了面向可穿戴心电监测设备的异构网络切换的轻量化强化学习模型构建方法，通过综合考虑可穿戴网络切换的网络环境因素和ecg信号频率特征，大大提高模型在可穿戴网络环境中进行快速切换任务的适应性；本发明还采用减法聚类技术将切换度量分类为相应的状态，提高q表的准确度，能够有效降低模型计算量，适合在嵌入式环境下为可穿戴网络提供服务。附图说明[0029]图1为本发明基于强化学习的可穿戴心电监测网络切换方法流程示意图。[0030]图2为本发明实施例网络切换具体流程示意图。具体实施方式[0031]下面对本发明的具体实施方式进行描述，以便于本
技术领域：
：的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本
技术领域：
：的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。[0032]一种基于强化学习的可穿戴心电监测网络切换方法，如图1所示，包括如下步骤：[0033]s1、接收环境网络监测设备和心电数据感知模块返回的数据；[0034]本实施例里，模型接收网络环境状态监测器返回的数据作为输入，环境状态信息比如t时刻可穿戴心电监测设备蓝牙网络的接收信号强度rssit，吞吐量throughputt，数据传输速率rt；接收心电数据感知模块返回的心电频率数据作为输入，比如t时刻心电数据频率[0035]s2、对步骤s1返回的数据进行预处理，利用q学习算法得到关于期望动作和对应期望动作收益值的q表；[0036]如图2所示，数据预处理模块主要进行数据的采样，采用间隔固定秒数对网络状况监测器数据、心电数据频率进行采样后的数据为数据预处理模块的输出，具体方式为：[0037]s21、间隔固定时间δt对步骤s1中返回的数据进行采样，每组数据包括多个样本；[0038]s22、将s21采样的数据编码成数据序列，得到时刻开始δt区间内的当前连接网络接收信号强度数据序列rssiδt，t时刻开始δt区间内的当前连接网络吞吐量数据序列throughputδt，t时刻开始δt区间内的当前连接网络数据传输速率数据序列rδt，并去掉rssiδt、throughputδt和rδt中的最大值和最小值；[0039]s23、对去掉rssiδt、throughputδt和rδt中的最大值和最小值后的数据序列求取平均值，得到对应的序列平均值和并将得到的序列平均值和t时刻的当前心电数据频率合并环境状态矩阵st。[0040]在实施例里，如图2所示，模型采用q学习算法(公式1)，通过对网络环境的高效学习和及时响应，即q(s，a)在某一个时刻的状态下，采取动作a能够获得收益的期望，环境根据agent的动作反馈相应的奖励，并将state和action构建成一张q_table表来存储q值，然后根据q值来选取能够获得最大收益的动作，从而做出最优决策，克服网络切换带来的较长时延的缺点，并结合心电数据的频率特征，根据心电采样频率对心电数据进行分层编码，分为包含重要的心脏状况细节的低频ecg，以及增加心电信号的细节量的高频ecg，然后从能量效率和切换时延两个方面评估切换性能。模型根据本地记录的关于网络传输质量的历史信息，判断是否满足网络切换的条件，动态地确定当前可穿戴设备的网络接口自主地进行网络切换，无需与接收端进行信息交互，有效避免网络中断事件的发生，并且大大降低了网络切换的时延。为了提高训练效率，获得更小的q表，引入减法聚类技术(公式2)根据数据分布将切换度量分类为相应的状态区间，将输入指标分类成簇，有效地处理不确定和不精确的数据，从而最大限度地减少推理对决策的影响。[0041][0042]其中，q(st,at)为t时刻的q表值，st为t时刻的环境状态矩阵值，at为t时刻的动作，st为环境状态矩阵，rt为t时刻当前连接网络的传输速率，α、γ为常值参数。[0043][0044]其中，χi、χj分别为s2预处理后的q表数据中的第i和第j个数据，r为聚类半径，χj-χi为第i和第j个数据的欧氏距离，为密度指标最高的数据点，dj为数据点χi处的密度指标，为二范数平方运算。[0045]s3、利用减法聚类方法对步骤s2预处理后q表的数据分类成簇，对不确定和不精确数据进行计算得到新的环境状态矩阵；[0046]s4、在q表中找出收益值最大的输出，将对应的最优动作作为输出发送给外部任务控制器执行，动作执行后若任务未完成则返回步骤s1继续执行，若任务完成则结束工作。[0047]具体而言，包括如下步骤：[0048]所述s4具体包括如下步骤：[0049]s41、初始化q(s,a)，s∈st，a∈a，a为动作集合，并根据减法聚类后的结果初始化环境状态矩阵st；[0050]s42、根据连接网络的网络参数更新环境状态矩阵st，并更新q表值；[0051]s43、根据更新后的q表值选择输出最大q值max(q(st,a))对应的最优动作a′t并交由外部任务控控制器执行，若执行后任务未完成则返回步骤s1。[0052]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0053]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0054]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0055]本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。[0056]本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。当前第1页12当前第1页12
背景技术：
：：2.可穿戴心电监测可以提高医疗保健的效率。然而，目前仅依靠单一无线传输技术的可穿戴设备并不能保证患者在任何时间、任何地点都能连接到远程心电保健中心。为此，提出了一种对患者健康状况敏感的垂直切换方案，用于异构无线网络下的远程可穿戴心电监测应用。异构网络中的垂直切换是指在不中断业务链路的情况下从一个网络迁移到另一个网络的过程。因此，在现有的通信技术中，必须根据可穿戴心电数据传输所需的功率水平、数据速率、运行范围、多种技术共存等因素，选择最合适的技术，减少网络切换延迟时间，从而保证心电监测数据能够实时传输。3.现有技术中具有根据终端设备黑名单应用扫描蓝牙通信或者蜂窝网络进行网络切换的方法，来规避大流量的耗费，从而提供良好的上网体验。但该方法设定的阈值条件过于繁琐，增添许多不必要的计算量和扫描所需的能耗。还有根据移动终端网络连接的时空特性，选择满足当前业务性能需求且可靠性最高的网络，以保证传输时延小的同时可靠性高。但该方法需采集各个移动终端的位置、时间段、业务类型、网络可靠性等信息，而且需要第三方服务器，计算量大，并不适用于生理数据实时传输系统。同时具有根据终端中网络相关功能的使用状态确定所使用的网络类型并切换至相匹配的高功耗或低功耗网络，但该方法并未考虑到可穿戴设备监测数据实时传输的情况，无法轻易判断高低功耗的网络类型。技术实现要素：4.针对现有技术中的上述不足，本发明提供了一种基于强化学习的可穿戴心电监测网络切换方法。5.为了达到上述发明目的，本发明采用的技术方案为：6.一种基于强化学习的可穿戴心电监测网络切换方法，包括如下步骤：7.s1、接收环境网络监测设备和心电数据感知模块返回的数据；8.s2、对步骤s1返回的数据进行预处理，利用q学习算法得到关于期望动作和对应期望动作收益值的q表；9.s3、利用减法聚类方法对步骤s2预处理后q表的数据分类成簇，对不确定和不精确数据进行计算得到环境状态矩阵；10.s4、在q表中找出收益值最大的输出，将对应的最优动作作为输出发送给外部任务控制器执行，动作执行后若任务未完成则返回步骤s1继续执行，若任务完成则结束工作。11.进一步，所述s1中环境网络监测设备返回的数据包括t时刻可穿戴心电监测设备蓝牙网络的接收信号强度rssit，吞吐量throughputt，数据传输速率rt；12.心电数据感知模块返回的数据包括t时刻心电数据频率13.进一步，所述s2中数据预处理方式为：14.s21、间隔固定时间δt对步骤s1中返回的数据进行采样，每组数据包括多个样本；15.s22、将s21采样的数据编码成数据序列，得到时刻开始δt区间内的当前连接网络接收信号强度数据序列rssiδt，t时刻开始δt区间内的当前连接网络吞吐量数据序列throughputδt，t时刻开始δt区间内的当前连接网络数据传输速率数据序列rδt，并去掉rssiδt、throughputδt和rδt中的最大值和最小值；16.s23、对去掉rssiδt、throughputδt和rδt中的最大值和最小值后的数据序列求取平均值，得到对应的序列平均值和并将得到的序列平均值和t时刻的当前心电数据频率合并环境状态矩阵st。17.进一步，所述s2中q学习算法的计算方式为：[0018][0019]其中，q(st,at)为t时刻的q表值，st为t时刻的环境状态矩阵值，at为t时刻的动作，st为环境状态矩阵，rt为t时刻当前连接网络的传输速率，α、γ为常值参数。[0020]进一步，所述s3中减法聚类方法的具体计算方式为：[0021][0022]其中，χi、χj分别为s2预处理后的q表数据中的第i和第j个数据，r为聚类半径，χj-χi为第i和第j个数据的欧氏距离，为密度指标最高的数据点，dj为数据点χi处的密度指标，为二范数平方运算。[0023]进一步，所述s4具体包括如下步骤：[0024]s41、初始化q(s,a)，s∈st，a∈a，a为动作集合，并根据减法聚类后的结果初始化环境状态矩阵st；[0025]s42、根据连接网络的网络参数更新环境状态矩阵st，并更新q表值；[0026]s43、根据更新后的q表值选择输出最大q值max(q(st,a))对应的最优动作a′t并交由外部任务控控制器执行，若执行后任务未完成则返回步骤s1。[0027]本发明具有以下有益效果：[0028]本发明开创性提出了面向可穿戴心电监测设备的异构网络切换的轻量化强化学习模型构建方法，通过综合考虑可穿戴网络切换的网络环境因素和ecg信号频率特征，大大提高模型在可穿戴网络环境中进行快速切换任务的适应性；本发明还采用减法聚类技术将切换度量分类为相应的状态，提高q表的准确度，能够有效降低模型计算量，适合在嵌入式环境下为可穿戴网络提供服务。附图说明[0029]图1为本发明基于强化学习的可穿戴心电监测网络切换方法流程示意图。[0030]图2为本发明实施例网络切换具体流程示意图。具体实施方式[0031]下面对本发明的具体实施方式进行描述，以便于本
技术领域：
：的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本
技术领域：
：的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。[0032]一种基于强化学习的可穿戴心电监测网络切换方法，如图1所示，包括如下步骤：[0033]s1、接收环境网络监测设备和心电数据感知模块返回的数据；[0034]本实施例里，模型接收网络环境状态监测器返回的数据作为输入，环境状态信息比如t时刻可穿戴心电监测设备蓝牙网络的接收信号强度rssit，吞吐量throughputt，数据传输速率rt；接收心电数据感知模块返回的心电频率数据作为输入，比如t时刻心电数据频率[0035]s2、对步骤s1返回的数据进行预处理，利用q学习算法得到关于期望动作和对应期望动作收益值的q表；[0036]如图2所示，数据预处理模块主要进行数据的采样，采用间隔固定秒数对网络状况监测器数据、心电数据频率进行采样后的数据为数据预处理模块的输出，具体方式为：[0037]s21、间隔固定时间δt对步骤s1中返回的数据进行采样，每组数据包括多个样本；[0038]s22、将s21采样的数据编码成数据序列，得到时刻开始δt区间内的当前连接网络接收信号强度数据序列rssiδt，t时刻开始δt区间内的当前连接网络吞吐量数据序列throughputδt，t时刻开始δt区间内的当前连接网络数据传输速率数据序列rδt，并去掉rssiδt、throughputδt和rδt中的最大值和最小值；[0039]s23、对去掉rssiδt、throughputδt和rδt中的最大值和最小值后的数据序列求取平均值，得到对应的序列平均值和并将得到的序列平均值和t时刻的当前心电数据频率合并环境状态矩阵st。[0040]在实施例里，如图2所示，模型采用q学习算法(公式1)，通过对网络环境的高效学习和及时响应，即q(s，a)在某一个时刻的状态下，采取动作a能够获得收益的期望，环境根据agent的动作反馈相应的奖励，并将state和action构建成一张q_table表来存储q值，然后根据q值来选取能够获得最大收益的动作，从而做出最优决策，克服网络切换带来的较长时延的缺点，并结合心电数据的频率特征，根据心电采样频率对心电数据进行分层编码，分为包含重要的心脏状况细节的低频ecg，以及增加心电信号的细节量的高频ecg，然后从能量效率和切换时延两个方面评估切换性能。模型根据本地记录的关于网络传输质量的历史信息，判断是否满足网络切换的条件，动态地确定当前可穿戴设备的网络接口自主地进行网络切换，无需与接收端进行信息交互，有效避免网络中断事件的发生，并且大大降低了网络切换的时延。为了提高训练效率，获得更小的q表，引入减法聚类技术(公式2)根据数据分布将切换度量分类为相应的状态区间，将输入指标分类成簇，有效地处理不确定和不精确的数据，从而最大限度地减少推理对决策的影响。[0041][0042]其中，q(st,at)为t时刻的q表值，st为t时刻的环境状态矩阵值，at为t时刻的动作，st为环境状态矩阵，rt为t时刻当前连接网络的传输速率，α、γ为常值参数。[0043][0044]其中，χi、χj分别为s2预处理后的q表数据中的第i和第j个数据，r为聚类半径，χj-χi为第i和第j个数据的欧氏距离，为密度指标最高的数据点，dj为数据点χi处的密度指标，为二范数平方运算。[0045]s3、利用减法聚类方法对步骤s2预处理后q表的数据分类成簇，对不确定和不精确数据进行计算得到新的环境状态矩阵；[0046]s4、在q表中找出收益值最大的输出，将对应的最优动作作为输出发送给外部任务控制器执行，动作执行后若任务未完成则返回步骤s1继续执行，若任务完成则结束工作。[0047]具体而言，包括如下步骤：[0048]所述s4具体包括如下步骤：[0049]s41、初始化q(s,a)，s∈st，a∈a，a为动作集合，并根据减法聚类后的结果初始化环境状态矩阵st；[0050]s42、根据连接网络的网络参数更新环境状态矩阵st，并更新q表值；[0051]s43、根据更新后的q表值选择输出最大q值max(q(st,a))对应的最优动作a′t并交由外部任务控控制器执行，若执行后任务未完成则返回步骤s1。[0052]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0053]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0054]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0055]本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。[0056]本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
