音频处理的方法、装置、设备、介质及产品与流程

1.本公开涉及数据处理技术领域，尤其涉及语音技术、信息流技术领域。


背景技术：

2.随着技术的发展进步，电子设备在用户的生活中得到广泛的应用，用户可以通过电子设备进行视频或者语音的交流。例如，用户可以使用电子设备在线进行语音通话、多人会议、直播互动等场景，麦克风等声音采集设备采集说话人的声音、现场的声音，将采集到的声音信号进行传输，发送至播放装置进行播放。
3.由于音频在系统设备之间的传输产生，声音信号会产生延迟，此外，对采集的音频信号需经过编码传输、混音合成等处理，其过程繁琐，导致音频播放产生延时。


技术实现要素：

4.本公开提供了一种用于音频处理的方法、装置、设备、介质及产品。
5.根据本公开的一方面，提供了一种音频处理方法，包括：按照第一时间周期，周期性获取音频数据；按照第二时间周期，将获取到的音频数据进行音频组装，得到组装音频数据，所述第二时间周期为所述第一时间周期的整数倍；对所述组装音频数据，进行混音处理；向音频播放设备发送混音处理后的音频数据。
6.根据本公开的另一方面，提供了一种音频处理装置，包括：获取模块，用于按照第一时间周期，周期性获取音频数据；组装模块，用于按照第二时间周期，将获取到的音频数据进行音频组装，得到组装音频数据，所述第二时间周期为所述第一时间周期的整数倍；处理模块，用于对所述组装音频数据，进行混音处理；发送模块，用于向音频播放设备发送混音处理后的音频数据。
7.根据本公开的又一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一项所述的音频处理方法。
8.根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开中任一项所述的音频处理方法。
9.根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开中任一项所述的音频处理方法。
10.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
11.附图用于更好地理解本方案，不构成对本公开的限定。其中：
12.图1是根据本公开的音频处理方法的流程示意图；
13.图2是根据本公开的将获取到的音频帧进行音频组装，得到组装音频数据的方法的流程示意图；
14.图3是根据本公开的向音频播放设备发送混音处理后的音频数据的方法的流程示意图；
15.图4是根据本公开的音频处理方法的流程示意图；
16.图5是根据本公开的获取音频数据的方法的流程示意图；
17.图6是根据本公开的采集温度的装置的框图；
18.图7是根据本公开的采集温度的装置的框图；
19.图8是用来实现本公开实施例的采集温度方法的电子设备的框图。
具体实施方式
20.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
21.随着科技的进步，虚拟现实(virtual reality，vr)逐渐进入人们的生活，vr技术，即将现实与虚拟相互结合，通过计算机技术模拟出来的现实中的世界，利用计算机生成一种模拟环境，创建体验虚拟世界的计算机仿真系统，使用户沉浸于虚拟环境中。vr技术利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合，转化为能够让人们感受到的现象。可以是现实中真实存在的物体，也可以是肉眼不可见的物质、通过三维模型表现出来。
22.通过vr技术，用户可以在虚拟现实世界体验到最真实的感受，得到身临其境的感觉，真正实现了人机交互，用户在操作过程中，可以随意操作并且得到环境最真实的反馈，受到了越来越多用户的认可。
23.vr技术中，为了带给用户听觉体验中逼真、具有空间感的沉浸式感受，需要进行大量用户实时声音的还原，拟真，使用户通过耳机等，体验到声临其境的效果。
24.鉴于此，本公开实施例提供了一种音频处理方法，能够节省声音混合处理的时间，减少由混音产生的延迟。
25.图1是根据本公开的音频处理方法的流程示意图。如图1所示，音频处理方法包括以下步骤。
26.在步骤s101中，按照第一时间周期，周期性获取音频数据。
27.在本公开实施例中，对采集到的音频进行混音处理，并将处理后的音频进行播放，以第一时间周期进行音频数据的获取。采集的音频可以是来自不同的声源，例如，人声、环境音等，声源的位置也可以不同。每间隔第一时间周期的时长，进行一次音频数据的获取，可以理解地，获取到的音频数据以帧为单位。第一时间周期可以是根据需求确定。例如，第一时间周期为20ms时，则在0时刻、20ms时刻、40ms时刻，
……
等时刻进行音频数据的获取。
28.在步骤s102中，按照第二时间周期，将获取到的音频数据进行音频组装，得到组装音频数据，第二时间周期为第一时间周期的整数倍。
29.对于步骤s101中获取到的音频数据进行组装，得到组装音频数据，音频数据以第
一时间周期为周期进行获取，并按照第二时间周期进行组装，第二时间周期为大于第一时间周期的周期，且为第一时间周期的整数倍。仍以第一时间周期为20ms为例，则第二周期可以为40ms、60ms、80ms 等。可以理解地，经过对音频数据的组装，得到的单位音频数据的长度大于接收到的音频数据的长度。
30.在本公开实施例中，还包括音频数据完整性校验，例如，通过音频数据的时间长度等信息校验其是否完整，确保用于组装的音频数据是完整的音频数据。
31.在步骤s103中，对组装音频数据，进行混音处理。
32.在步骤s104中，向音频播放设备发送混音处理后的音频数据。
33.将组装音频数据，进行混音、叠加等处理，并且将混音处理得到的音频数据想音频播放设备进行发送，以在音频播放设备处进行音频数据的播放。
34.综上，根据本公开的音频处理方法，将以第一时间周期进行周期性获取得到的音频数据，进行组装，得到第一时间周期整数倍的组装音频数据，并对组装后的音频数据进行混音处理，能够减少进行混音处理的处理次数，从而节省音频处理时间，提高处理效率，进而减少音频播放的延迟。
35.在本公开示例性的实施方式中，周期性获取的音频数据中，包括有至少一个音频数据流，不同的音频数据流由不同的声源产生，音频数据流具有音频流标识(id)，用于区分不同的音频流，且音频流id是唯一的。音频数据流还包括时间戳，时间戳用于表征该音频流对应的发声时间，可以通过时间戳，确定该音频流对应的声音发出的时间顺序。
36.图2是根据本公开的将获取到的音频帧进行音频组装，得到组装音频数据的方法的流程示意图。如图2所示，该方法包括以下步骤。
37.在步骤s201中，基于第二时间周期，确定进行音频组装的音频数据数量。
38.在步骤s202中，基于音频数据数量，依次在当前获取到的音频数据中，确定与当前时间对应的时间戳，以及与时间戳对应的音频数据流，得到第一时间戳，以及与第一时间戳对应的第一音频数据流。
39.在步骤s203中，将第一音频数据流，按照第一时间戳的先后顺序，依次组装得到组装音频数据。
40.在本公开实施例中，对于获取的音频数据，按照第二时间周期，将获取到的音频数据进行音频组装，进行组装的音频数据的数量由第二时间周期确定。将第二时间周期为第一时间周期的倍数，即第二时间周期与第一时间周期的比值，确定为进行音频组装的音频数据数量。例如，按照20ms 的周期进行周期性音频数据的获取，按照60ms的时间周期将获取到三个 20ms的音频数据进行音频组装。
41.在本公开示例性的实施方式中，按照20ms的周期进行音频数据的获取，将20ms的双通道48k采样率的音频数据，组装成60ms的双通道48k 采用率音频数据。
42.在当前获取到的音频数据中，确定与当前时间对应的时间戳，以及与时间戳对应的音频数据流。上述的过程，具体可以为：在第一个第一时间周期内获取到的音频数据中，确定与第一个第一时间周期对应的第一时间戳，并确定与第一时间戳对应的第一音频数据流；在第二个第一时间周期内获取到的音频数据中，获取与第二个第一时间周期对应的第一时间戳，并确定与第一时间戳对应的第一音频数据流，并以此类推，进行音频数据数量对应的第一音频数据流的获取。例如，在0时刻获取到的音频数据中，确定与当前时间对应的、
第一时间戳为0时刻的第一音频数据流，第一音频数据流可以包括至少一个音频流id的音频数据流。以及，在20ms时刻获取到的音频数据中，确定对应时间戳为20ms时刻的第一音频数据流，等等。通过上述步骤，得到与音频数据数量相等数量的第一时间戳，以及分别与第一时间戳对应的多个第一音频数据流。
43.按照第一时间戳的先后顺序，将得到的多个第一音频数据流，依次组装得到组装音频数据。例如，按照20ms的周期进行周期性音频数据的获取，按照60ms的时间周期将获取到三个20ms的音频数据进行音频组装。依次在第0时刻、20ms时刻以及40ms时刻获取到的音频数据中，分别确定0时刻对应的时间戳为0时刻的第一音频数据流，时间戳为20时刻的第一音频数据流以及时间戳为40时刻的第一音频数据流，其中，每个时间戳对应的第一音频数据流中，并对不同的数据流id对应的音频数据流进行区分。按照0时刻、20时刻、40时刻的顺序进行组装，得到长度为60ms 的音频数据。
44.综上，根据本公开的音频处理方法，将以第一时间周期进行周期性获取得到的音频数据，按照音频数据中音频数据流的时间戳先后顺序，并区分不同的音频数据流标识进行组装，得到第二时间周期的组装音频数据，在实现音频数据组装的同时，确保了不同音频数据流的发声的先后顺序，为进行音频数据的混音处理提供保证。
45.图3是根据本公开的向音频播放设备发送混音处理后的音频数据的方法的流程示意图。如图3所示，该方法包括以下步骤。
46.在步骤s301中，将混音处理后的音频数据按照第一时间周期进行拆分。
47.在步骤s302中，向音频播放设备发送拆分后的音频数据。
48.在本公开实施例中，按照第一时间周期，周期性获取音频数据，并按照第二时间周期，将获取到的音频数据进行音频组装，得到组装音频数据，对组装音频数据，进行混音处理，将混音处理后的音频数据向音频播放设备发送，以进行播放。可以理解地，混音处理得到的音频数据与组装音频数据的长度相同，为了便于传输，按照第一时间周期对混音处理后的音频数据进行拆分，向音频播放设备发送拆分后的音频数据。例如，按照20ms 的周期进行周期性音频数据的获取，按照60ms的时间周期将获取到三个 20ms的音频数据进行音频组装。对组装得到的60ms的音频数据，进行混音处理，处理后仍得到60ms的音频数据。将处理后的音频数据进行传输后，将其拆分为20ms的音频数据进行发送，即以20ms为发送周期，每 20ms进行音频数据的发送。可以理解地，对音频进行拆分时，可以基于音频数据中时间戳的先后顺序，依次进行拆分。
49.综上，在本公开的音频处理方法中，对音频数据进行组装，得到组装后的音频数据，对组装音频数据进行混音处理，并对混音处理后的音频拆分，发送拆分后的音频数据，能够进一步提高混音处理后的音频的传输速度，确保传输质量，从而进一步减少延迟现象。
50.图4是根据本公开的音频处理方法的流程示意图。如图4所示，音频处理方法包括以下步骤。
51.在步骤s401中，按照第一时间周期，周期性获取音频数据。
52.在本公开实施例中，以第一时间周期进行音频数据的周期性的获取。
53.在步骤s402中，确定待接收音频数据队列中包括的待接收音频数据的数量。
54.在本公开实施例中，获取并组装音频数据的过程、对组装音频数据进行混音的过程，以及发送混音处理后的音频数据的过程，分别对应独立的线程，可以通过流水线结构实
现，进一步提高了处理效率。
55.在本公开示例性的实施方式中，可以是对获取并组装音频数据的过程、组装音频数据进行混音的过程，以及发送混音处理后的音频数据的过程的处理时间周期控制为预设时间，当前流水线阶段处理时间超过预设时间时，进行调度，压缩相邻后续处理阶段的处理时间，进一步实现了处理时间的控制。
56.在步骤s403中，响应于音频数据队列中待接收音频数据数量超出预设数量，从音频数据队列中删除预设数量的待接收音频数据。
57.在本公开示例性的实施方式中，音频数据以数据队列形式进行传输，即，在队列中获取音频数据，对音频数据进行组装，将组装音频数据推送至混音队列，将从混音队列中接收到的组装音频数据进行混音处理，将处理好的音频数据发送至发送队列进行发送，将发送队列中的音频数据进行拆分，并发送拆分后的音频数据。
58.在获取音频数据时，由于对获取并组装音频数据的过程，或者组装音频数据进行混音的过程，或者发送混音处理后的音频数据的过程，未能在预设时间内完成该过程的及时处理，造成数据队列中待接收音频数据数量的增加。音频数据队列中待接收音频数据数量超出预设数量时，会造成音频数据队列的阻塞，从音频数据队列中将预设数量的待接收音频数据进行删除，即清空预设数量的待接收音频数据。例如，按照20ms的周期进行周期性音频数据的获取，预设数量设定为5，即音频数据队列中待接收音频数据数量大于5，即对应的待接收音频数据大于5个20ms数据时，从音频数据队列中对应删除100ms的待接收音频数据。
59.在步骤s404中，按照第二时间周期，将获取到的音频数据进行音频组装，得到组装音频数据，第二时间周期为第一时间周期的整数倍。
60.在步骤s405中，对组装音频数据，进行混音处理。
61.在步骤s406中，向音频播放设备发送混音处理后的音频数据。
62.对于获取到的音频数据进行组装，按照第二时间周期进行组装，得到组装音频数据。组装后的组装音频数据长度大于获取的音频数据。将组装音频数据，进行混音、叠加等处理，并且将混音处理得到的音频数据想音频播放设备进行发送，以在音频播放设备处进行音频数据的播放。
63.综上，根据本公开的音频处理方法，将以第一时间周期进行周期性获取得到的音频数据，进行组装，并对组装后的音频数据进行混音处理，音频数据队列中待接收音频数据数量超出预设数量，从音频数据队列中删除预设数量的待接收音频数据，能够在确保音频处理质量的同时，节省音频处理时间，提高处理效率，进而减少音频播放的延迟。
64.图5是根据本公开的获取音频数据的方法的流程示意图。如图5所示，该方法包括以下步骤。
65.在步骤s501中，基于卡夫卡消息系统，确定音频数据在远程字典服务中的存储位置。
66.在步骤s502中，基于存储位置，从远程字典服务中获取音频数据。
67.在本公开实施例中，获取音频数据，可以通过卡夫卡(kafka)消息系统与远程字典服务(remote dictionary server，redis)存储数据库配合实现。kafka是开源流处理平台，为高吞吐量的分布式发布订阅消息系统，通过并行加载机制统一线上和离线的消息处理，
通过集群来提供实时消息。 kafka具有高性能、持久化、多副本备份和横向扩展能力。redis存储数据库，用于缓存、事件发布订阅、高速队列等场景，周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件。获取音频数据，基于kafka 消息系统的推送消息，该推送消息包括音频数据在redis存储数据库中的存储信息。存储消息中包括在音频数据数据库中的存储位置、对应的音频数据的时间戳信息等。基于推送消息中包括的音频数据的存储位置，从 redis存储数据库中获取音频数据，以进行后续的混音处理等。
68.综上，根据本公开的音频处理方法，采用kafka和redis实现音频数据的获取，简化了系统架构，保证音频数据缓存的协调同步、进一步提高了数据获取速度，提升执行效率。
69.在本公开示例性的实施方式中，本公开的音频处理方法应用于vr场景中的音频处理，该场景下同一空间内的多人交互，实时体验来自不同方位、不同距离的声音主体的音效。获取的音频数据来源于在线的多人音频数据，进行混音处理，将混音处理后的音频数据发送给用户，用户通过个人电脑、手机、可穿戴设备等，体验空间中多人发生的声临其境的沉浸式听觉效果。虚拟空间中发出声音的多人，与当前用户的虚拟形象距离不同，当声音的声源与当前用户较远时，多人的声音需要进行混音处理，并发送给用户实现逼真的场景下的听觉效果。本公开的音频处理方法能够有效减少用户接收到音频的延迟。
70.获取并组装音频数据的过程、对组装音频数据进行混音的过程，以及发送混音处理后的音频数据的过程，分别对应独立的线程，通过流水线结构实现，进一步提高了处理效率。音频数据在上述过程中，以队列形式进行传输，相邻过程的音频数据队列中，待接收音频数据数量超出预设数量，从音频数据队列中删除预设数量的待接收音频数据，减少数据队列的阻塞，以减少声音的延迟。
71.按照第一时间周期，周期性获取音频数据，音频数据为在线实时获取的来自于多人的音频数据。可以对获取的音频数据的完整性进行校验，使用完整的音频数据进行组装，基于大于第一时间周期的第二时间周期，确定进行音频组装的音频数据数量，并基于音频数据数量，依次在当前获取到的音频数据中，确定与当前时间对应的时间戳，以及与时间戳对应的音频数据流，得到第一时间戳，以及与第一时间戳对应的第一音频数据流，按照第一时间戳的先后顺序，将第一音频数据流，依次组装得到对应于第二时间周期的组装音频数据。通过组装音频，减少混音处理中，混音处理算法的调用次数，从而减少音频处理时间，减低延迟。
72.在本公开示例性的实施方式中，对组装音频数据进行混音的过程，将从混音队列中接收到的组装音频数据进行混音处理，将处理好的音频数据发送至发送队列进行发送。发送混音处理后的音频数据的过程，将发送队列中的音频数据进行拆分。可以是将基于实时音视频服务(real-timecommunication，rtc)进行拆分后音频数据的发送，rtc提供稳定高质量的实时音视频服务，实现实时音视频应用，进一步减少音频通信延迟。
73.综上，根据本公开的音频处理方法，在vr场景下，将以第一时间周期进行周期性获取得到的音频数据，进行组装，得到第二时间周期的组装音频数据，并对组装后的音频数据进行混音处理，能够减少进行混音处理的处理次数，从而节省音频处理时间，提高处理效率，进而减少音频播放的延迟。
74.基于相同的构思，本公开实施例还提供一种音频处理装置。
75.可以理解的是，本公开实施例提供的装置为了实现上述功能，其包含了执行各个
功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
76.图6是根据本公开的音频处理的装置的框图。
77.如图6所示，本公开实施例的音频处理的装置600，包括：获取模块 601、组装模块602、处理模块603和发送模块604。
78.获取模块601，用于按照第一时间周期，周期性获取音频数据；
79.组装模块602，用于按照第二时间周期，将获取到的音频数据进行音频组装，得到组装音频数据，第二时间周期为第一时间周期的整数倍；
80.处理模块603，用于对组装音频数据，进行混音处理；
81.发送模块604，用于向音频播放设备发送混音处理后的音频数据。
82.在本公开示例性的实施方式中，获取的音频数据中包括有至少一个音频数据流，且至少一个音频数据流具有流标识以及时间戳。
83.组装模块602还用于：基于第二时间周期，确定进行音频组装的音频数据数量；基于音频数据数量，依次在当前获取到的音频数据中，确定与当前时间对应的时间戳，以及与时间戳对应的音频数据流，得到第一时间戳，以及与第一时间戳对应的第一音频数据流，其中，第一时间戳的数量为音频数据数量；将第一音频数据流，按照第一时间戳的先后顺序，依次组装得到组装音频数据。
84.在本公开示例性的实施方式中，发送模块604还用于：将混音处理后的音频数据按照第一时间周期进行拆分；向音频播放设备发送拆分后的音频数据。
85.图7是根据本公开的音频处理的装置的框图。如图7所示，本公开实施例的音频处理的装置600，还包括：确定模块605。
86.确定模块605，用于确定待接收音频数据队列中包括的待接收音频数据的数量；响应于音频数据队列中待接收音频数据数量超出预设数量，从音频数据队列中删除预设数量的待接收音频数据。
87.在本公开示例性的实施方式中，获取模块601还用于：基于卡夫卡消息系统，确定音频数据在远程字典服务中的存储位置；基于存储位置，从远程字典服务中获取音频数据。
88.综上，根据本公开的音频处理方法，将以第一时间周期进行周期性获取得到的音频数据，进行组装，得到第一时间周期整数倍的组装音频数据，并对组装后的音频数据进行混音处理，能够减少进行混音处理的处理次数，从而节省音频处理时间，提高处理效率，进而减少音频播放的延迟。
89.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
90.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
91.图8示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字
助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
92.如图8所示，设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在 ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元 701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o) 接口705也连接至总线704。
93.设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
94.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如音频处理的方法。例如，在一些实施例中，音频处理的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702 和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的音频处理的方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行音频处理的方法。
95.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/ 或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
96.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
97.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电
子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
98.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。
99.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
100.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
101.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
102.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。