睡眠分期模型的训练方法、睡眠分期方法及装置与流程

1.本公开涉及睡眠分期领域，具体涉及一种睡眠分期模型的训练方法、睡眠分期方法及装置。


背景技术：

2.睡眠是人体生理状态的重要组成部分，但随着生活和工作中的压力逐渐增多，睡眠疾病成为了影响人体身体健康的又一主要问题。分析睡眠结构、评估睡眠质量对解决睡眠相关疾病有很大的帮助。
3.睡眠过程不是单一的状态，而是具有自身内部结构的复杂生理过程，睡眠时相能够表征睡眠过程。在睡眠过程中，脑电图的波形会随着睡眠深度的变化而发生改变。早在1953年，aserinsky和kleitman根据脑电波形的不同将睡眠分为两个大的阶段，快速眼动期(rapid eye movement sleep,rem sleep)和非快速眼动期(non-rapid eye movement sleep,nrem sleep)。非快速眼动期和快速眼动期在睡眠过程中交替出现，每一阶段持续约90-110分钟，一个正常的6-8小时的睡眠期大约有4-6个这样的循环。1968年，rechtschaffen和kales根据脑电的变化将非快速眼动期分为四个不同阶段：睡眠i期，睡眠ii期，睡眠iii期，睡眠iv期(s1，s2，s3，s4)。2007年，美国睡眠学会将s1期和s2期重新命名为n1和n2期睡眠，将s3期和s4期合并为n3期睡眠。其中，30秒钟的数据长度能够反映一个睡眠阶段。但是，对于睡眠分期数据的采集需要大量实践，并且睡眠分期的准确性依赖于专家的实践经验和专业水平。而通过计算机对睡眠进行自动化睡眠监测的方法能够减少因人工判断导致的误判现象。
4.目前的睡眠评估主要有两大类方法。一类是常用于医院的睡眠多导仪(polysomnography，psg)监测方法，通过采集脑电、心电、眼电等生理参数，并经过一套科学、系统的评价方法来评估睡眠，它是临床睡眠检测的金标准。但是，psg需要在受测者身上放置众多传感器，这会影响受测者的睡眠舒适感，影响自然睡眠，降低睡眠分期的可靠性和准确性。psg方法在利用仪器对数据进行初步分析后，还需要人工判读，一般需要2～3小时才能完成一份完整的睡眠报告，分期时间太长。第二类睡眠评估方法采用可穿戴设备，通过测得的连续生理参数来自动化分析睡眠过程，如心率、呼吸率和体动。第二类方法具有很高的实用价值，但是，通过这类方法得到的睡眠分期结果准确性很不稳定。
5.随着深度学习在各个领域内的突出表现，基于机器学习和深度学习的睡眠分期方法能够提高睡眠分期结果准确性，但是目前采用深度学习的方法仍基于人工特征提取。人工进行特征提取不仅过度依赖技术人员的经验，而且提取的特征分布会影响模型的分类结果。此外，基于深度学习的睡眠分期方法需要通过大量数据样本进行训练后，才能进行准确的睡眠分期。目前，基于心电和呼吸阻抗的带标签睡眠多导数据集样本量过少，无法对深度学习网络进行训练。


技术实现要素：

6.鉴于上述问题，本公开提供了根据单导联心电数据和呼吸数据样本的睡眠分期数据进行睡眠分期的睡眠分期模型的训练方法、睡眠分期方法及装置。
7.根据本公开的第一个方面，提供了一种睡眠分期模型的训练方法，包括：对源域数据进行预处理，得到源域数据集，源域数据包括心律失常数据；利用源域数据集训练初始睡眠分期模型，得到预训练睡眠分期模型；以及利用目标域数据集训练预训练睡眠分期模型，得到用于对睡眠数据进行分类的睡眠分期模型，其中，目标域数据集包括单导联心电数据和呼吸数据。
8.根据本公开的实施例，其中，源域数据集包括训练样本集，训练样本集包括多个数据组，数据组包括两个单导联心电数据；初始睡眠分期模型包括多个初始子模型；利用源域数据集训练初始睡眠分期模型，得到预训练睡眠分期模型包括：将训练样本集输入多个初始子模型，得到多个子分类结果；根据多个子分类结果，确定预测类别；基于预测类别，确定与预测类别对应的样本，得到优化训练样本集；以及利用优化训练样本集训练初始睡眠分期模型，得到预训练睡眠分期模型。
9.根据本公开的实施例，其中，睡眠分期模型包括第一分类模块、第二分类模块和补充特征提取模块，利用目标域数据集训练预训练睡眠分期模型，得到用于对睡眠数据进行分类的睡眠分期模型包括：将目标域数据集输入第一分类模块，输出第一特征数据，其中，第一分类模块为经过的调整的预训练睡眠分期模型；将目标域数据集输入补充特征提取模块，输出第二特征数据和第三特征数据；将第一特征数据、第二特征数据和第三特征数据输入第二分类模块，输出分类结果。根据分类结果调整预训练睡眠分期模型的网络参数，直至分类结果满足预设条件，将分类结果满足预设条件的预训练睡眠分期模型作为睡眠分期模型。
10.根据本公开的实施例，其中，将第一特征数据、第二特征数据和第三特征数据输入第二分类模块，输出分类结果包括：第一特征数据包括多个第一子特征数据，将多个第一子特征数据进行合并，得到第一输入特征数据；将第二特征数据和第三特征数据做降维处理，得到第二输入特征数据和第三输入特征数据；将第一输入特征数据、第二输入特征数据和第三输入特征数据进行合并，得到总输入数据；将总输入数据输入第二分类模块，得到分类结果。
11.根据本公开的实施例，其中，对源域数据进行预处理，得到源域训练样本集包括：对源域数据进行降采样，得到预设频率的源域数据；对预设频率的源域数据进行随机截取或补零，得到数据长度一致的源域数据；对数据长度一致的源域数据进行上采样，得到样本数量均衡的源域训练样本集。
12.根据本公开的实施例，其中，对数据长度一致的源域数据进行上采样，得到样本数量均衡的源域训练样本集包括：基于源域数据，确定源域数据中的基准类别，基准类别为样本数最多的类别；在基准类别的样本数为源域数据中第一类别的样本数的整数倍时，直接复制第一类别的样本，得到与基准类别的样本数相同的第一类样本；在基准类别的样本数不是源域数据中第二类别的样本数的整数倍时，在第二类别的样本中随机抽取样本，得到与基准类别的样本数相同的第二类样本。
13.根据本公开的实施例，其中，初始睡眠分期模型包括卷积神经网络模块、双向门循
环单元层和自注意力层；其中卷积神经网络模块用于处理目标域数据集，输出第一特征数据；双向门循环单元层用于处理第一特征数据，输出第二特征数据；自注意力层用于处理第二特征数据，输出第三特征数据。
14.根据本公开的第二个方面，提供了一种睡眠分期方法，包括：获取单导联心电数据和呼吸数据；将单导联心电数据和呼吸数据输入睡眠分期模型，输出分类结果，其中睡眠分期模型通过权利要求1至7任一项睡眠分期模型的训练方法训练得到。
15.根据本公开的第三个方面，提供了一种睡眠分期模型的训练装置，包括：第一获取模块，用于获取源域数据，对源域数据进行预处理，得到源域训练样本集，源域数据为心律失常数据；第一确定模块，用于利用源域训练样本集训练初始睡眠分期模型，得到训练好的初始睡眠分期模型；第二确定模块，用于利用目标域数据集训练预训练睡眠分期模型，得到用于对睡眠数据进行分类的睡眠分期模型，其中，目标域数据集包括单导联心电数据和呼吸数据。
16.根据本公开的第四个方面，提供了一种睡眠分期装置，包括：第二获取模块，用于获取单导联心电数据和呼吸数据；分类模块，用于将单导联心电数据和呼吸数据输入睡眠分期模型，输出分类结果，其中睡眠分期模型通过上述睡眠分期模型的训练方法训练得到。
附图说明
17.通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
18.图1示意性示出了根据本公开实施例的睡眠分期模型的训练方法和睡眠分期方法的应用场景图；
19.图2示意性示出了根据本公开实施例的睡眠分期模型的训练方法的流程图；
20.图3示意性示出了根据本公开实施例的睡眠分期模型迁移学习的示意图；
21.图4示意性示出了根据本公开实施例的得到预训练睡眠分期模型的流程图；
22.图5示意性示出了根据本公开实施例的得到睡眠分期模型的流程图；
23.图6示意性示出了根据本公开实施例的输出分类结果的流程图；
24.图7示意性示出了根据本公开实施例的得到源域训练样本集的流程图；
25.图8示意性示出了根据本公开实施例的数据处理的示意图；
26.图9示意性示出了根据本公开实施例的对源域数据进行上采样的流程图；
27.图10示意性示出了根据本公开实施例的添加噪声数据的示意图；
28.图11示意性示出了根据本公开实施例的得到初始睡眠分期模型的流程图；
29.图12示意性示出了根据本公开实施例的初始睡眠分期模型的结构示意图；
30.图13示意性示出了根据本公开实施例的睡眠分期方法的流程图；
31.图14示意性示出了根据本公开实施例的睡眠分期模型的训练装置的结构框图；
32.图15示意性示出了根据本公开实施例的睡眠分期装置的结构框图；以及
33.图16示意性示出了根据本公开实施例的适于实现睡眠分期方法的电子设备的方框图。
具体实施方式
34.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
35.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
36.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
37.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
38.根据本公开的实施例，提供了一种睡眠分期模型的训练方法，包括：对源域数据进行预处理，得到源域数据集，源域数据包括心律失常数据；利用源域数据集训练初始睡眠分期模型，得到预训练睡眠分期模型；以及利用目标域数据集训练预训练睡眠分期模型，得到用于对睡眠数据进行分类的睡眠分期模型，其中，目标域数据集包括单导联心电数据和呼吸数据。
39.图1示意性示出了根据本公开实施例的睡眠分期模型的训练方法和睡眠分期方法的应用场景图。
40.如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
41.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
42.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
43.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
44.需要说明的是，本公开实施例所提供的睡眠分期方法和睡眠分期模型的训练方法一般可以由服务器105执行。相应地，本公开实施例所提供的睡眠分期装置和睡眠分期模型的训练装置一般可以设置于服务器105中。本公开实施例所提供的睡眠分期方法和睡眠分期模型的训练方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器
105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的睡眠分期装置和睡眠分期模型的训练装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
45.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
46.图2示意性示出了根据本公开实施例的睡眠分期模型的训练方法的流程图。
47.如图2所示，该方法包括操作s201～s203。
48.在操作s201，对源域数据进行预处理，得到源域数据集。
49.根据本公开的实施例，源域数据包括心律失常数据，具体的可以是来自cpsc2018数据库的数据。源域数据和单导联心电数据都属于心电图数据(electrocardiogram，ecg)数据。通过对源域数据进行预处理，得到和目标域数据信号相同的ecg数据；再将经过预处理后的源域数据作为训练样本集，能够对神经网络进行训练。
50.cpsc2018数据库是来自2018年中国生理信号挑战赛(china physiological signal challenge 2018)的数据，cpsc2018数据库包括11家医院测试的心率数据，公开的数据集中包含了6877条记录，男性数据为3699条，女性数据为3178条。源域数据的采样率为500hz，每条记录包含标准12导联的心电数据，同时也包括受测个体的年龄和性别。每条记录的测试时间长度不同，最短的测试时间为6s，最长的测试时间达到了60s。源域数据中共包含9类心律失常数据，分别为正常(normal)，心房颤动(atrial fibrillation，af)，i度房室阻滞(first-degree atrioventricular block，i-avb)，左束支阻滞(left bundle branch block，lbbb)，右束支阻滞(right bundle branch block，rbbb)，房性早搏(premature atrial contraction，pac)，室性早搏(premature ventricular contraction，pvc)，st段降低(st-segment depression，std)，st段抬升(st-segment elevated，ste)。
51.在操作s202，利用源域数据集训练初始睡眠分期模型，得到预训练睡眠分期模型。
52.根据本公开的实施例，源域数据集是来自cpsc2018数据库的心律失常数据，包括九种类型的心律失常数据，并且该心律失常数据包含足够大的样本，能够将初始睡眠分期模型训练训练为能够准确分类的预训练睡眠分期模型。
53.在操作s203，利用目标域数据集训练预训练睡眠分期模型，得到用于对睡眠数据进行分类的睡眠分期模型。
54.根据本公开的实施例，预训练睡眠分期模型的输入为心律失常数据，能够实现对心律失常数据的分类。而目标域数据集包括单导联心电数据和呼吸数据，目标域数据和源域数据都为一维时序生理信号，并且基于目标域数据集的睡眠分期模型也是分类模型，因此可以利用目标域数据集进行迁移学习。将预训练睡眠分期模型迁移至公开的小样本睡眠数据集上进行调整、训练，得到能够基于单导联心电数据和呼吸数据进行睡眠分期的判断的睡眠分期模型。
55.目标域数据是来自多导睡眠数据库(slpdb)的数据，slpdb数据库中的数据是国际公认的记录睡眠期间多种生理信号的数据。slpdb数据库中包含有16个测试对象(共18条记录)，数据库中所有受测者都是男性，平均年龄为43岁，平均体重为119公斤。slpdb数据库中的所有数据都包含心电信号、侵入式血压信号、脑电信号和呼吸信号等，同时含有专家标注
的30s睡眠阶段和呼吸暂停事件，整个睡眠过程中包含6个睡眠阶段(wake、rem、s1、s2、s3、s4)，该数据集的采样率为250hz。目标域数据是从slpdb数据库中选择的单导联心电数据和呼吸数据。
56.本公开通过利用心律失常数据训练得到预训练睡眠分期模型，通过迁移学习，利用单导联心电和呼吸阻抗数据训练预训练睡眠分期模型，得到可用于对睡眠数据进行分类的睡眠分期模型。本公开通过迁移学习的方法，得到了可靠的睡眠分期模型，实现对睡眠分期的自动化分析。本公开的睡眠分期模型将单导联心电和呼吸阻抗样本数据作为输入，能够输出可靠、有效的睡眠分期结果。
57.图3示意性示出了根据本公开实施例的睡眠分期模型迁移学习的示意图。
58.如图3所示，该方法包括操作s301～s308。
59.在操作s301中，将源域数据进行预处理，得到源域数据集。
60.在操作s302中，将源域数据输入神经网络的输入层，通过源域数据对初始睡眠分期模型进行训练。
61.在操作s303中，将源域数据集输入初始睡眠分期模型后，初始睡眠分期模型能够输出分类结果。
62.在操作s304中，输出层输出初始睡眠分期模型的分类结果，根据输出层输出的分类结果调整初始睡眠分期模型的参数，再将下一组源域数据输入初始睡眠分期模型，直到将初始睡眠分期模型训练好，得到预训练睡眠分期模型。
63.在操作s305中，在获得目标域数据后，通过迁移学习，将目标域数据作为预训练睡眠分期模型的输入。
64.在操作s306中，将目标域数据输入神经网络的输入层，通过目标域数据对预训练睡眠分期模型进行训练。
65.在操作s307中，在将目标域数据集输入预训练睡眠分期模型之前，需要先对预训练睡眠分期模型进行调整。
66.根据本公开的实施例，源域数据包括九种类型的数据，目标域数据包括六种类型的数据，在将目标域数据集输入预训练睡眠分期模型之前，需要将预训练睡眠分期模型的输出层进行替换，将九类别输出修改为六类别输出。
67.在操作s308中，输出层输出预训练睡眠分期模型的分类结果，经过迁移学习的预训练睡眠分期模型仍然为可调参数的深度学习模型。根据输出层输出的分类结果调整预训练睡眠分期模型的参数，再将下一组目标域数据输入预训练睡眠分期模型，直到将预训练睡眠分期模型训练好，得到睡眠分期模型。
68.图4示意性示出了根据本公开实施例的得到预训练睡眠分期模型的流程图。
69.如图4所示，该方法包括操作s401～s404。
70.在操作s401，将训练样本集输入多个初始子模型，得到多个子分类结果。
71.根据本公开的实施例，初始睡眠分期模型包括多个初始子模型，例如，可以是五个初始子模型。利用源域数据集对多个初始子模型采取交叉验证法进行预训练，得到多个预训练子模型。预训练睡眠分期模型包括多个预训练子模型。
72.根据本公开的实施例，源域数据经过预处理后得到源域数据集，源域数据集中的数据可能包括未患病片段，但是该数据对应的标签却保留患病的标签，可能会产生一部分
噪声的数据。噪声数据的存在会影响睡眠分期模型的精度，可以通过迭代训练的方法来提高睡眠分期模型的精度。
73.根据本公开的实施例，源域数据包括多个单导联的心电数据，以两个单导联的心电数据为一个数据组，构成训练样本集，训练样本集包括多个数据组。将训练样本集输入初始睡眠分期模型，以学习率为0.01，优化器为adam训练50轮，每轮的batch大小为64，损失函数为交叉熵函数，采用交叉验证法训练得到多个初始子模型。多个初始子模型对应输出多个子分类结果。
74.根据本公开的具体实施例，输入初始睡眠分期模型的源域数据样本为x，初始睡眠分期模型包括五个初始子模型。五个初始子模型输出的分类结果分别为p1、p2、p3、p4和p5。分类概率p满足公式：
75.p＝f(θ,x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
76.p＝{y:y∈[0,1]c,1
t
y＝1}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0077]
f为初始睡眠分期模型函数,θ为初始睡眠分期模型参数。
[0078]
在操作s402，根据多个子分类结果，确定预测类别。
[0079]
根据本公开的实施例，初始睡眠分期模型包括五个初始子模型，五个初始子模型输出五个子分类结果。每个输入样本x都有对应的标签y。根据上述五个子分类结果，确定出预测类别。
[0080]
根据本公开具体的实施例，五个子分类结果为分类概率时，当输出五个子分类结果后，根据五个子分类结果确定平均输出概率p，平均输出概率p满足：
[0081]
p＝(p1 p2 p3 p4 p5)/5
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0082]
根据平均输出概率p，确定出与平均输出概率p最接近的子分类概率。当子分类结果p1最接近平均输出概率p时，子分类结果p1预测的类别y1为预测类别。
[0083]
在操作s403，基于预测类别，确定与预测类别对应的样本，得到优化训练样本集。
[0084]
根据本公开的实施例，确定预测类别后，将预测类别的样本对应的标签类别与预测类别进行对比，当预测类别与标签类别相同时，挑出该样本，并记录样本的序列位置。将所有满足预测类别与标签类别相同的样本筛选出来，得到样本的序列位置集合m，通过序列位置集合m在源域数据集中进行筛选，得到优化训练样本集。
[0085]
根据本公开的具体实施例，例如，确定y1为预测类别后，找到y1对应的样本x1，确定x1对应的标签类别y。将标签类别y与预测类别y1进行对比，当预测类别与标签类别相同时，挑出该样本并记录样本的序列位置，该样本对应的标签类别为当完成所有样本x的输出后，得到序列位置集合m，m满足：
[0086]
m＝{m:m＝j if argmaxjpj＝＝argmaxjyj,j＝1,
…
,n}
ꢀꢀꢀꢀꢀ
(4)
[0087][0088]
为优化样本，为优化样本对应的标签类别，根据优化样本得到优化训练样本集
[0089]
在操作s404，利用优化训练样本集训练初始睡眠分期模型，得到预训练睡眠分期模型。
[0090]
根据本公开的实施例，将优化训练样本集输入初始睡眠分期模型，调整初始睡眠分期模型的训练参数，得到预训练睡眠分期模型。例如，以初始睡眠分期模型的参数θ为初
始值，调整学习率为0.0001，优化损失函数l为交叉熵函数，利用优化训练样本集对初始睡眠分期模型继续进行训练，得到预训练睡眠分期模型。
[0091]
图5示意性示出了根据本公开实施例的得到睡眠分期模型的流程图。
[0092]
如图5所示，该方法包括操作s501～s404。
[0093]
在操作s501，将目标域数据集输入第一分类模块，输出第一特征数据。
[0094]
根据本公开的实施例，睡眠分期模型包括第一分类模块、第二分类模块和补充特征提取模块。将目标域数据集输入第一分类模块后，输出第一特征数据。由于睡眠分期模型是通过预训练睡眠分期模型获得的，而预训练睡眠分期模型包括多个预训练子模型，所以睡眠分期模型包括多个子分类模型。每个子分类模型能够输出对应的子特征数据，所以第一特征数据包括多个子特征数据。
[0095]
在操作s502，将目标域数据集输入补充特征提取模块，输出第二特征数据和第三特征数据。
[0096]
根据本公开的实施例，将目标域数据集输入补充特征提取模块后，补充特征提取模块会对单导联心电数据和呼吸数据进行特征提取，分别得到第二特征数据和第三特征数据。第二特征数据是对单导联心电数据进行特征提取后的数据，第三特征数据是对呼吸数据进行特征提取后的数据。
[0097]
根据本公开的实施例，补充特征提取模块对单导联心电数据进行特征提取包括：通过差分阈值法对单导联心电数据进行r波检测，得到rr间期，然后删除异常rr间期数据；再对正常rr间期数据进行重采样，经过标准化处理后，提取多维心率变异性时频域特征。r波检测为ecg信号的波峰检测。
[0098]
例如，通过差分阈值法对单导联心电数据进行r波检测，计算相邻r点的rr间期，再根据正常人的rr间期范围(300ms～2000ms)删除异常rr间期。由于rr间期序列分布不均匀，再对正常的rr间期数据进行重采样，采用三次样条插值对序列采样至固定频率。对重采样后的数据采取去直流和标准化操作，得到逐拍间期曲线。以30秒为窗口，根据逐拍间期曲线提取多维心率变异性时频域特征。需要注意的是，插值后的rr间期数据在进行频域特征提取前，需去除直流成分，否则会因直流分量过大而无法观察到其他频率的分量。所以，本公开采用z-score方法对rr间期数据进行标准化处理。提取的时域特征包括均值、标准差、中值、20分位数、80分位数、四分差、变异系数、均方根、心率、三角指数等，频域特征包括各频段能量值(ulf，vlf，lf，hf，tp)、各频段最大能量值、各频段能量所占百分比、标准化能量、能量比值等。第二特征数据还包括非线性分析数据，例如样本熵、心脏交感指数、心脏迷走神经指数、庞加莱散点图投影的标准偏差等。
[0099]
根据本公开的实施例，补充特征提取模块对呼吸数据进行特征提取包括：对呼吸数据做快速傅里叶变换，得到呼吸周期；根据呼吸周期得到滑动平滑曲线；根据滑动平滑曲线确定呼吸数据的波峰与波谷点，检测出呼吸周期、吸气时间、呼气时间、吸气/呼气时间比(i/e)以及呼吸幅度等呼吸数据的基本特征值。
[0100]
在操作s503，将第一特征数据、第二特征数据和第三特征数据输入第二分类模块，输出分类结果。
[0101]
根据本公开的实施例，将第一特征数据、第二特征数据和第三特征数据输入第二分类模块后，第二分类模块能够输出最终的分类结果。
[0102]
根据本公开的实施例，第二分类模块可以是支持向量机，核函数设置为径向基。
[0103]
在操作s504，根据分类结果调整预训练睡眠分期模型的网络参数，直至分类结果满足预设条件，将分类结果满足预设条件的预训练睡眠分期模型作为睡眠分期模型。
[0104]
根据本公开的实施例，以学习率为0.0001，优化器为adam训练50轮，每轮的batch大小为64，损失函数为交叉熵函数，采用交叉验证法，利用目标域数据集训练预训练睡眠分期模型，得到睡眠分期模型。在训练过程中，根据分类结果及时调整预训练睡眠分期模型的网络参数。
[0105]
图6示意性示出了根据本公开实施例的输出分类结果的流程图。
[0106]
如图6所示，该方法包括操作s601～s604。
[0107]
在操作s601，第一特征数据包括多个第一子特征数据，将多个第一子特征数据进行合并，得到第一输入特征数据。
[0108]
根据本公开的实施例，将目标域数据集输入第一分类模块后，输出多个第一子特征数据。例如当第一分类模块包括五个分类子模块时，输出五个第一子特征数据，第一子特征数据为分类概率p1、p2、p3、p4和p5。将多个第一子特征数据进行合并，得到第一输入特征数据。
[0109]
在操作s602，将第二特征数据和第三特征数据做降维处理，得到第二输入特征数据和第三输入特征数据。
[0110]
根据本公开的实施例，第二特征数据是对单导联心电数据进行特征提取后的数据，第三特征数据是对呼吸数据进行特征提取后的数据，第二特征数据和第三特征数据均包含多个维度的特征数据。对第二特征数据和第三特征数据进行降维处理后，提取主要特征数据。例如，利用主成分分析法将第二特征数据和第三特征数据降维至20维主要成分特征，得到第二输入特征数据和第三输入特征数据。
[0111]
在操作s603，将第一输入特征数据、第二输入特征数据和第三输入特征数据进行合并，得到总输入数据。
[0112]
在操作s604，将总输入数据输入第二分类模块，得到分类结果。
[0113]
图7示意性示出了根据本公开实施例的得到源域训练样本集的流程图。
[0114]
如图7所示，该方法包括操作s701～s703。
[0115]
在操作s701，对源域数据进行降采样，得到预设频率的源域数据。
[0116]
根据本公开的实施例，由于源域数据是从cpsc2018数据库获取的数据，源域数据的采样率为500hz。在进行迁移学习时，需要将目标域数据和源域数据的采样率统一，所以对源域数据进行降采样，得到预设频率的源域数据。
[0117]
在操作s702，对预设频率的源域数据进行随机截取或补零，得到数据长度一致的源域数据。
[0118]
根据本公开的实施例，由于源域数据中ecg信号的长度不一致，需要对源域数据进行处理，得到数据长度一致的源域数据。通过设定一个预设长度，对数据长度比预设长度长的数据进行随机截取，得到预设长度的数据；对数据长度比预设长度短的数据进行补零，得到预设长度的数据。例如，设定预设长度为30秒，30秒的数据长度不仅能够涵盖大部分的心律失常数据，而且与目标域数据的睡眠时相的判定周期一致。
[0119]
图8示意性示出了根据本公开实施例的数据处理的示意图。
[0120]
根据本公开的实施例，如图8所示，横坐标表示时间，纵坐标表示电压。图8(a)表示数据长度比预设长度短的数据，图8(c)表示在预设长度下的数据，对图8(a)的数据进行补零操作，得到图8(c)的数据。图8(b)表示数据长度比预设长度长的数据，图8(d)表示在预设长度下的数据，对图8(b)的数据进行随机截取，得到图8(d)的数据。
[0121]
在操作s703，对数据长度一致的源域数据进行上采样，得到样本数量均衡的源域训练样本集。
[0122]
根据本公开的实施例，源域数据包括九个类别的数据，但是不同类别的样本数量不相同，为了提高睡眠分期模型的精确度，需要对经过处理后的数据长度一致的源域数据进行上采样，得到样本数量均衡的源域训练样本集。
[0123]
图9示意性示出了根据本公开实施例的对源域数据进行上采样的流程图。
[0124]
如图9所示，该方法包括操作s901～s903。
[0125]
在操作s901，基于源域数据，确定源域数据中的基准类别。
[0126]
根据本公开的实施例，由于源域数据包括不同类别的数据，不同类别的样本数量不相同，存在样本不均衡的问题，需要根据源域数据，确定源域数据中的基准类别。例如，根据源域数据，将样本数最多的类别确定为基准类别。然后，将其他类别的样本数进行上采样。
[0127]
在操作s902，在基准类别的样本数为源域数据中第一类别的样本数的整数倍时，直接复制第一类别的样本，得到与基准类别的样本数相同的第一类样本。
[0128]
根据本公开的实施例，在基准类别的样本数为源域数据中第一类别的样本数的2倍及以上整数倍时，直接复制第一类别的样本，得到与基准类别的样本数相同的第一类样本。
[0129]
在操作s903，在基准类别的样本数不是源域数据中第二类别的样本数的整数倍时，在第二类别的样本中随机抽取样本，得到与基准类别的样本数相同的第二类样本。
[0130]
根据本公开的实施例，在基准类别的样本数不是源域数据中第二类别的样本数的整数倍时，也就是基准类别的样本数超出第二类别的样本数，但是差异量不超过第二类别的样本数，则在第二类别中随机抽取差异量的样本数，使第二类别的样本数等于基准类别的样本数。
[0131]
图10示意性示出了根据本公开实施例的添加噪声数据的示意图。
[0132]
根据本公开的实施例，如图10所示，横坐标表示时间，纵坐标表示电压。对源域数据的预处理还包括对源域数据进行上采样的同时，添加高斯白噪声。图10(a)表示没有增加高斯白噪声的数据，图10(b)表示增加高斯白噪声后的数据。对源域数据增加高斯白噪声能够增加数据的多样性，进而增加睡眠分期模型的鲁棒性。
[0133]
图11示意性示出了根据本公开实施例的得到初始睡眠分期模型的流程图。
[0134]
如图11所示，该方法包括操作s1101～s1103。
[0135]
在操作s1101，卷积神经网络模块用于处理目标域数据集，输出第一结构特征数据。
[0136]
根据本公开的实施例，初始睡眠分期模型包括卷积神经网络模块、双向门循环单元层和自注意力层。通过对初始睡眠分期模型进行训练，得到预训练睡眠分期模型，将预训练睡眠分期模型迁移到目标域数据集上后，经过训练得到睡眠分期模型。所以，睡眠分期模
型也包括卷积神经网络模块、双向门循环单元层和自注意力层。卷积神经网络模块包括卷积层、激活层和池化层。
[0137]
根据本公开的实施例，将目标域数据集输入卷积神经网络模块后，卷积神经网络模块提取出目标域数据集的空间特征，输出第一结构特征数据。
[0138]
在操作s1102，双向门循环单元层用于处理第一结构特征数据，输出第二结构特征数据。
[0139]
根据本公开的实施例，将从卷积神经网络模块输出的第一结构特征数据经过处理后，输入到双向门循环单元层，双向门循环单元层能够提取出与输入样本相关的位置特征，例如，双向门循环单元层能够提取当前输入样本的过去和未来的相关信息。双向门循环单元层提取特征后，输出第二结构特征数据。
[0140]
在操作s1103，自注意力层用于处理第二结构特征数据，输出第三结构特征数据。
[0141]
根据本公开的实施例，自注意力层对双向门循环单元层输出的第二结构特征数据做重要度打分，然后输出第三结构特征数据，第三结构特征数据经过处理后输出分类结果。
[0142]
根据本公开的实施例，自注意力层包括三个矩阵q(query)，k(key)，v(value)，从双向门循环单元层的输出中获取矩阵q、矩阵k和矩阵v。矩阵q与矩阵k点乘后，经过尺度标度dk的标记后，通过softmax操作将矩阵q与矩阵k的点乘结果归一化为概率分布；将上述概率分布与矩阵v点乘，得到权重求和的表示。上述操作满足公式：
[0143][0144]
图12示意性示出了根据本公开实施例的初始睡眠分期模型的结构示意图。
[0145]
如图12所示，该方法包括操作s1201～s12012。
[0146]
在操作s1201，数据输入。
[0147]
根据本公开的实施例，初始睡眠分期模型的数据输入为源域数据集。但是初始睡眠分期模型、预训练睡眠分期模型和睡眠分期模型的网络结构是相似的，所以睡眠分期模型、预训练睡眠分期模型的网络模型也满足上述结构。当模型结构为预训练睡眠分期模型或睡眠分期模型时，数据输入为单导联心电数据和呼吸数据。
[0148]
在操作s1202，卷积层。
[0149]
根据本公开的实施例，初始睡眠分期模型包括多个初始子模型，对应的卷积神经网络(cnn)包括多个卷积神经网络(cnn)模块。当初始睡眠分期模型包括五个初始子模型时，网络结构中包括五个cnn模块。每个cnn模块包括两个卷积层、两个激活层和一个最大池化层。卷积层包括大小为3
×
3，维度为12的卷积核。
[0150]
在操作s1203，leaky relu激活层。
[0151]
根据本公开的实施例，leaky relu激活层满足公式：
[0152]
y＝max(0,x) leak*min (0,x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0153]
其中，x为输入，y为输出，leak为激活常数。
[0154]
在操作s1204，卷积层。
[0155]
根据本公开的实施例，卷积层包括大小为3
×
3，维度为12的卷积核。
[0156]
在操作s1205，leaky relu激活层。
[0157]
根据本公开的实施例，leaky relu激活层满足公式(7)。
[0158]
在操作s1206，最大池化层。
[0159]
根据本公开的实施例，最大池化层用于减小cnn模块提取特征的尺度，防止cnn模块产生过拟合。
[0160]
在操作s1207，dropout层。
[0161]
根据本公开的实施例，初始睡眠分期模型还包括dropout层，将cnn模块输出的第一结构特征数据输入dropout层。dropout层采用伯努利函数随机生成一个概率为0或1的向量，能够明显减少过拟合现象。
[0162]
在操作s1208，双向gru层。
[0163]
根据本公开的实施例，双向gru层即为双向门循环单元层(gate recurrent unit)，用于提高训练效率，具体操作如图11的操作s1102。
[0164]
在操作s1209，自注意力层。
[0165]
根据本公开的实施例，自注意力层用于对双向gru层的输出做重要度打分，具体操作如图11的操作s1103。
[0166]
在操作s12010，bn层。
[0167]
根据本公开的实施例，初始睡眠分期模型还包括batch normalization层(bn层)，通过bn层将自注意力层输出的数据正则化，加快网络的训练速度和收敛速度，在防止梯度爆炸和梯度消失的同时，防止过拟合现象的产生。bn层将输出结果展开后输入全连接层。
[0168]
在操作s12011，全连接层。
[0169]
根据本公开的实施例，全连接层与输出层相连，用于将bn层输出的结果经过处理后输入输出层。
[0170]
在操作s12012，输出层。
[0171]
根据本公开的实施例，输出层用于输出类别概率分布。
[0172]
图13示意性示出了根据本公开实施例的睡眠分期方法的流程图。
[0173]
如图13所示，该方法包括操作s1301～s1302。
[0174]
在操作s1201，获取单导联心电数据和呼吸数据。
[0175]
根据本公开的实施例，获得的单导联心电数据和呼吸数据可以是来自公开的数据库的数据，也可以是通过测量得到的数据。
[0176]
在操作s1202，将单导联心电数据和呼吸数据输入睡眠分期模型，输出分类结果。
[0177]
根据本公开的实施例，利用目标域数据进行迁移学习后，得到了睡眠分期模型，该睡眠分期模型能够用于对单导联心电数据和呼吸数据进行睡眠分期，输出分类结果。
[0178]
图14示意性示出了根据本公开实施例的睡眠分期模型的训练装置的结构框图。
[0179]
如图14所示，该实施例的睡眠分期模型的训练装置1400包括第一获取模块1401、第一确定模块1402和第二确定模块1403。
[0180]
第一获取模块1401，用于获取源域数据，对源域数据进行预处理，得到源域训练样本集，源域数据为心律失常数据。在一实施例中，第一获取模块1401可以用于执行图2描述的操作s201。
[0181]
第一确定模块1402，用于利用源域训练样本集训练初始睡眠分期模型，得到训练好的初始睡眠分期模型。在一实施例中，第一确定模块1402可以用于执行图2描述的操作s202。
[0182]
第二确定模块1403，用于利用目标域数据集训练预训练睡眠分期模型，得到用于对睡眠数据进行分类的睡眠分期模型。在一实施例中，第二确定模块1403可以用于执行图2描述的操作s203。
[0183]
根据本公开的实施例，第一确定模块1402还包括第一确定单元、第二确定单元、第三确定单元和第四确定单元。
[0184]
第一确定单元用于将训练样本集输入多个初始子模型，得到多个子分类结果。在一实施例中，第一确定单元可以用于执行图4描述的操作s401。
[0185]
第二确定单元用于根据多个子分类结果，确定预测类别。在一实施例中，第二确定单元可以用于执行图4描述的操作s402。
[0186]
第三确定单元用于基于预测类别，确定与预测类别对应的样本，得到优化训练样本集。在一实施例中，第三确定单元可以用于执行图4描述的操作s403。
[0187]
第四确定单元用于利用优化训练样本集训练初始睡眠分期模型，得到预训练睡眠分期模型。在一实施例中，第四确定单元可以用于执行图4描述的操作s404。
[0188]
根据本公开的实施例，第二确定模块1403还包括第一训练单元、第二训练单元、第三训练单元和第四训练单元。
[0189]
第一训练单元用于将目标域数据集输入第一分类模块，输出第一特征数据。在一实施例中，第一训练单元可以用于执行图5描述的操作s501。
[0190]
第二训练单元用于将目标域数据集输入补充特征提取模块，输出第二特征数据和第三特征数据。在一实施例中，第二训练单元可以用于执行图5描述的操作s502。
[0191]
第三训练单元用于将第一特征数据、第二特征数据和第三特征数据输入第二分类模块，输出分类结果。在一实施例中，第三训练单元可以用于执行图5描述的操作s503。
[0192]
第四训练单元用于根据分类结果调整预训练睡眠分期模型的网络参数，直至分类结果满足预设条件，将分类结果满足预设条件的预训练睡眠分期模型作为睡眠分期模型。在一实施例中，第四训练单元可以用于执行图5描述的操作s504。
[0193]
根据本公开的实施例，第三训练单元包括第一确定子单元、第二确定子单元、第三确定子单元和第四确定子单元。
[0194]
第一确定子单元用于将多个第一子特征数据进行合并，得到第一输入特征数据。在一实施例中，第一确定子单元可以用于执行图6描述的操作s601。
[0195]
第二确定子单元用于将第二特征数据和第三特征数据做降维处理，得到第二输入特征数据和第三输入特征数据。在一实施例中，第二确定子单元可以用于执行图6描述的操作s602。
[0196]
第三确定子单元用于将第一输入特征数据、第二输入特征数据和第三输入特征数据进行合并，得到总输入数据。在一实施例中，第三确定子单元可以用于执行图6描述的操作s603。
[0197]
第四确定子单元用于将总输入数据输入第二分类模块，得到分类结果。在一实施例中，第四确定子单元可以用于执行图6描述的操作s604。
[0198]
根据本公开的实施例，第一获取模块1401包括第一预处理单元、第二预处理单元和第三预处理单元。
[0199]
第一预处理单元用于对源域数据进行降采样，得到预设频率的源域数据。在一实
施例中，第一预处理单元可以用于执行图7描述的操作s701。
[0200]
第二预处理单元用于对预设频率的源域数据进行随机截取或补零，得到数据长度一致的源域数据。在一实施例中，第二预处理单元可以用于执行图7描述的操作s702。
[0201]
第三预处理单元用于对数据长度一致的源域数据进行上采样，得到样本数量均衡的源域训练样本集。在一实施例中，第三预处理单元可以用于执行图7描述的操作s703。
[0202]
根据本公开的实施例，第三预处理单元包括第一预处理子单元、第二预处理子单元和第三预处理子单元。
[0203]
第一预处理子单元用于基于源域数据，确定源域数据中的基准类别。在一实施例中，第一预处理子单元可以用于执行图9描述的操作s901。
[0204]
第二预处理子单元用于在基准类别的样本数为源域数据中第一类别的样本数的整数倍时，直接复制第一类别的样本，得到与基准类别的样本数相同的第一类样本。在一实施例中，第二预处理子单元可以用于执行图9描述的操作s902。
[0205]
第三预处理子单元用于在基准类别的样本数不是源域数据中第二类别的样本数的整数倍时，在第二类别的样本中随机抽取样本，得到与基准类别的样本数相同的第二类样本。在一实施例中，第三预处理子单元可以用于执行图9描述的操作s903。
[0206]
根据本公开的实施例，第一确定模块1402还包括第一操作单元、第二操作单元和第三操作单元。
[0207]
第一操作单元用于采用卷积神经网络模块处理目标域数据集，输出第一结构特征数据。在一实施例中，第一操作单元可以用于执行图11描述的操作s1101。
[0208]
第二操作单元用于采用双向门循环单元层处理第一结构特征数据，输出第二结构特征数据。在一实施例中，第二操作单元可以用于执行图11描述的操作s1102。
[0209]
第三操作单元用于采用自注意力层处理所述第二结构特征数据，输出第三结构特征数据。在一实施例中，第三操作单元可以用于执行图11描述的操作s1103。
[0210]
图15示意性示出了根据本公开实施例的睡眠分期装置的结构框图。
[0211]
如图15所示，该实施例的睡眠分期装置1500包括第二获取模块1501和分类模块1502。
[0212]
第二获取模块1501，用于获取单导联心电数据和呼吸数据。在一实施例中，第二获取模块1501可以用于执行图13描述的操作s1301。
[0213]
分类模块1502，用于将单导联心电数据和呼吸数据输入睡眠分期模型，输出分类结果。在一实施例中，分类模块1502可以用于执行图13描述的操作s1302。
[0214]
根据本公开的实施例，第一获取模块1401、第一确定模块1402、第二确定模块1403、第一确定单元、第二确定单元、第三确定单元、第四确定单元、第一训练单元、第二训练单元、第三训练单元、第四训练单元、第一确定子单元、第二确定子单元、第三确定子单元、第四确定子单元、第一预处理单元、第二预处理单元、第三预处理单元、第一预处理子单元、第二预处理子单元、第三预处理子单元、第一操作单元、第二操作单元、第三操作单元、第二获取模块1501和分类模块1502中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一获取模块1401、第一确定模块1402、第二确定模块1403、第一确定单元、第二确定单
元、第三确定单元、第四确定单元、第一训练单元、第二训练单元、第三训练单元、第四训练单元、第一确定子单元、第二确定子单元、第三确定子单元、第四确定子单元、第一预处理单元、第二预处理单元、第三预处理单元、第一预处理子单元、第二预处理子单元、第三预处理子单元、第一操作单元、第二操作单元、第三操作单元、第二获取模块1501和分类模块1502中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块1401、第一确定模块1402、第二确定模块1403、第一确定单元、第二确定单元、第三确定单元、第四确定单元、第一训练单元、第二训练单元、第三训练单元、第四训练单元、第一确定子单元、第二确定子单元、第三确定子单元、第四确定子单元、第一预处理单元、第二预处理单元、第三预处理单元、第一预处理子单元、第二预处理子单元、第三预处理子单元、第一操作单元、第二操作单元、第三操作单元、第二获取模块1501和分类模块1502中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
[0215]
图16示意性示出了根据本公开实施例的适于实现睡眠分期方法的电子设备的方框图。
[0216]
如图16所示，根据本公开实施例的电子设备1600包括处理器1601，其可以根据存储在只读存储器(rom)1602中的程序或者从存储部分1608加载到随机访问存储器(ram)1603中的程序而执行各种适当的动作和处理。处理器1601例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))等等。处理器1601还可以包括用于缓存用途的板载存储器。处理器1601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
[0217]
在ram 1603中，存储有电子设备1600操作所需的各种程序和数据。处理器1601、rom 1602以及ram 1603通过总线1604彼此相连。处理器1601通过执行rom 1602和/或ram 1603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 1602和ram 1603以外的一个或多个存储器中。处理器1601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
[0218]
根据本公开的实施例，电子设备1600还可以包括输入/输出(i/o)接口1605，输入/输出(i/o)接口1605也连接至总线1604。电子设备1600还可以包括连接至i/o接口1605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1607；包括硬盘等的存储部分1608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1609。通信部分1609经由诸如因特网的网络执行通信处理。驱动器1610也根据需要连接至i/o接口1605。可拆卸介质1611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1610上，以便于从其上读出的计算机程序根据需要被安装入存储部分1608。
[0219]
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被
执行时，实现根据本公开实施例的方法。
[0220]
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 1602和/或ram 1603和/或rom 1602和ram 1603以外的一个或多个存储器。
[0221]
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的物品推荐方法。
[0222]
在该计算机程序被处理器1601执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
[0223]
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1609被下载和安装，和/或从可拆卸介质1611被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
[0224]
在这样的实施例中，该计算机程序可以通过通信部分1609从网络上被下载和安装，和/或从可拆卸介质1611被安装。在该计算机程序被处理器1601执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
[0225]
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c ，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0226]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组
合来实现。
[0227]
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
[0228]
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。