音视频功能的处理方法和装置、存储介质及处理器与流程

1.本技术涉及计算机科技领域，具体而言，涉及一种音视频功能的处理方法和装置、存储介质及处理器。


背景技术：

2.ui架构是用于构建用户界面，例如，flutter。flutter是最新的跨平台开发技术，可以横跨android、ios、macos、windows、linux等多个系统，还可以打包成web程序运行在浏览器上。ui架构采用了更为彻底的跨平台方案，即自己实现了一套ui框架，然后直接在gpu上渲染ui页面。ui架构作为一个跨端应用开发框架，在统一各端功能逻辑和界面表现、提升开发效率上有非常大的优势。但ui架构本身更偏向于构建应用程序上层功能，对于开发更偏底层的音视频上不那么高效。
3.针对相关技术中在ui架构上偏向于构建应用程序上层功能，导致开发偏底层的音视频功能的效率比较低问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本技术实施例提供了一种音视频功能的处理方法和装置、存储介质及处理器，以至少解决相关技术中在ui架构上偏向于构建应用程序上层功能，导致开发偏底层的音视频功能的效率比较低的技术问题。
5.根据本技术实施例的一个方面，提供了一种音视频功能的处理方法，包括：将每个音视频功能原子化为对应的目标元能力节点，并在ui架构上设置所述目标元能力节点对应的ui架构音视频元能力节点和在原生底层上设置所述目标元能力节点对应的原生底层音视频元能力节点；依据目标音视频功能对所述ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图，其中，所述ui架构层音视频管线拓扑图用于与所述原生底层之间进行传输数据；依据所述ui架构层音视频管线拓扑图，连接所述原生底层音视频元能力节点，得到原生底层音视频管线拓扑图；依据所述原生底层音视频管线拓扑图实现所述目标音视频功能。
6.进一步地，依据目标音视频功能对所述ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图包括：依据所述目标音视频功能，确定待连接的ui架构音视频元能力节点；确定所述待连接的ui架构音视频元能力节点的节点类型和所述待连接的ui架构音视频元能力节点之间传输的数据的类型，其中，所述节点类型为以下之一：生产型、消费型和生产消费型，所述数据的类型为以下之一：视频流数据类型和音频流数据类型；依据所述节点类型和所述数据的类型，对所述待连接的ui架构音视频元能力节点进行连接，得到所述ui架构层音视频管线拓扑图。
7.进一步地，依据所述节点类型和所述数据的类型，对所述待连接的ui架构音视频元能力节点进行连接，得到所述ui架构层音视频管线拓扑图包括：判断所述节点类型是否符合第一预设要求；若所述节点类型符合第一预设要求，则依据所述数据的类型，对所述待
连接的ui架构音视频元能力节点进行连接，得到所述ui架构层音视频管线拓扑图。
8.进一步地，在依据目标音视频功能对所述ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图之后，所述方法还包括：依据第二预设要求，对所述ui架构层音视频管线拓扑图进行核查，得到核查结果；若所述核查结果为通过，则将所述ui架构层音视频管线拓扑图传输至所述原生底层。
9.进一步地，在依据所述ui架构层音视频管线拓扑图，连接所述原生底层音视频元能力节点，得到原生底层音视频管线拓扑图之前，所述方法还包括：构建所述ui架构音视频元能力节点与所述原生底层音视频元能力节点的映射关系；依据所述映射关系，通过所述ui架构音视频元能力节点调用所述原生底层音视频元能力节点实现所述目标音视频功能。
10.进一步地，依据所述ui架构层音视频管线拓扑图，连接所述原生底层音视频元能力节点，得到原生底层音视频管线拓扑图包括：依据所述原生底层音视频元能力节点的端口，确定所述原生底层音视频元能力节点的节点类型；依据所述ui架构层音视频管线拓扑图和所述节点类型，判断所述原生底层音视频元能力节点是否符合第三预设要求；若所述原生底层音视频元能力节点符合所述第三预设要求，则通过所述端口对所述原生底层音视频元能力节点进行连接，得到所述原生底层音视频管线拓扑图。
11.进一步地，所述方法还包括：若所述原生底层音视频元能力节点不符合所述第三预设要求，则发送报错信号至所述ui架构。
12.进一步地，依据所述原生底层音视频管线拓扑图实现所述目标音视频功能包括：通过所述ui架构设置所述原生底层的应用状态，其中，所述应用状态为以下之一：启动状态，运行状态，停止状态和销毁状态；在所述原生底层的应用状态为启动状态时，依据所述原生底层音视频管线拓扑图实现所述目标音视频功能。
13.根据本技术实施例的另一方面，还提供了一种音视频功能的处理装置，包括：设置单元，用于将每个音视频功能原子化为对应的目标元能力节点，并在ui架构上设置所述目标元能力节点对应的ui架构音视频元能力节点和在原生底层上设置所述目标元能力节点对应的原生底层音视频元能力节点；第一连接单元，用于依据目标音视频功能对所述ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图，其中，所述ui架构层音视频管线拓扑图用于与所述原生底层之间进行传输数据；第二连接单元，用于依据所述ui架构层音视频管线拓扑图，连接所述原生底层音视频元能力节点，得到原生底层音视频管线拓扑图；实现单元，用于依据所述原生底层音视频管线拓扑图实现所述目标音视频功能。
14.进一步地，所述第一连接单元包括：第一确定子单元，用于依据所述目标音视频功能，确定待连接的ui架构音视频元能力节点；第二确定子单元，用于确定所述待连接的ui架构音视频元能力节点的节点类型和所述待连接的ui架构音视频元能力节点之间传输的数据的类型，其中，所述节点类型为以下之一：生产型、消费型和生产消费型，所述数据的类型为以下之一：视频流数据类型和音频流数据类型；第一连接子单元，用于依据所述节点类型和所述数据的类型，对所述待连接的ui架构音视频元能力节点进行连接，得到所述ui架构层音视频管线拓扑图。
15.进一步地，所述连接子单元包括：判断模块，用于判断所述节点类型是否符合第一预设要求；连接模块，用于若所述节点类型符合第一预设要求，则依据所述数据的类型，对所述待连接的ui架构音视频元能力节点进行连接，得到所述ui架构层音视频管线拓扑图。
16.进一步地，所述装置还包括：核查单元，用于在依据目标音视频功能对所述ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图之后，依据第二预设要求，对所述ui架构层音视频管线拓扑图进行核查，得到核查结果；传输单元，用于若所述核查结果为通过，则将所述ui架构层音视频管线拓扑图传输至所述原生底层。
17.进一步地，所述装置还包括：构建单元，用于在依据所述ui架构层音视频管线拓扑图，连接所述原生底层音视频元能力节点，得到原生底层音视频管线拓扑图之前，构建所述ui架构音视频元能力节点与所述原生底层音视频元能力节点的映射关系；调用单元，用于依据所述映射关系，通过所述ui架构音视频元能力节点调用所述原生底层音视频元能力节点实现所述目标音视频功能。
18.进一步地，所述第二连接单元包括：第三确定子单元，用于依据所述原生底层音视频元能力节点的端口，确定所述原生底层音视频元能力节点的节点类型；判断子单元，用于依据所述ui架构层音视频管线拓扑图和所述节点类型，判断所述原生底层音视频元能力节点是否符合第三预设要求；第二连接子单元，用于若所述原生底层音视频元能力节点符合所述第三预设要求，则通过所述端口对所述原生底层音视频元能力节点进行连接，得到所述原生底层音视频管线拓扑图。
19.进一步地，所述装置还包括：发送单元，用于若所述原生底层音视频元能力节点不符合所述第三预设要求，则发送报错信号至所述ui架构。
20.进一步地，所述实现单元包括：设置子单元，用于通过所述ui架构设置所述原生底层的应用状态，其中，所述应用状态为以下之一：启动状态，运行状态，停止状态和销毁状态；实现子单元，用于在所述原生底层的应用状态为启动状态时，依据所述原生底层音视频管线拓扑图实现所述目标音视频功能。
21.根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述存储介质存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的音视频能力的处理方法。
22.根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述的音视频能力的处理方法。
23.在本技术实施例中，采用将每个音视频功能原子化为对应的目标元能力节点，并在ui架构上设置目标元能力节点对应的ui架构音视频元能力节点和在原生底层上设置目标元能力节点对应的原生底层音视频元能力节点；依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图，其中，ui架构层音视频管线拓扑图用于与原生底层之间传输数据；依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图；依据原生底层音视频管线拓扑图实现目标音视频功能，解决了相关技术中在ui架构上偏向于构建应用程序上层功能，导致开发偏底层的音视频功能的效率比较低的技术问题。通过将每个音视频功能原子化为目标元能力节点，在ui架构上设置目标元能力节点对应的ui架构音视频元能力节点和在原生底层上设置目标元能力节点对应的原生底层音视频元能力节点，然后根据实际的音视频功能需求构建ui架构层音视频管线拓扑图和原生底层音视频管线拓扑图，就可以实现在ui架构开发更偏底层的音视频功能，进而实现了提高开发音视频的效率。
附图说明
24.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
25.图1是根据本发明实施例一提供的计算机终端的硬件结构框图；
26.图2是根据本发明实施例一提供的音视频功能的处理方法的流程图；
27.图3是根据本发明实施例一提供的音视频管线拓扑图的示意图；
28.图4是根据本发明实施例二提供的音视频功能的处理装置的示意图；
29.图5是根据本发明实施例二提供的音视频功能的处理系统的示意图；
30.图6是根据本发明实施例三提供的计算机终端的示意图。
具体实施方式
31.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
32.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
33.实施例1
34.根据本技术实施例，还提供了一种音视频功能的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
35.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现音视频功能的处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，
……
，102n来示出)处理器(处理器可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
36.应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可
以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
37.存储器104可用于存储应用软件的软件程序以及模块，如本技术实施例中的音视频功能的处理方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的音视频功能的处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
38.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
39.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
40.在上述运行环境下，本技术提供了如图2所示的音视频功能的处理方法。图2是根据本技术实施例一的音视频功能的处理方法的流程图。
41.步骤s201，将每个音视频功能原子化为对应的目标元能力节点，并在ui架构上设置目标元能力节点对应的ui架构音视频元能力节点和在原生底层上设置目标元能力节点对应的原生底层音视频元能力节点。
42.具体地，可以采用flutter或者其他具有类似功能的架构作为ui架构。首先将每一个音视频能力原子化为对应的目标元能力节点，这里的原子化是指将音视频能力设置为不用借助其他功能的最小的独立功能，可以用node代表目标元能力节点。例如，摄像头对应的最小的独立能力就是持续获取一帧画面的能力。然后在ui架构设置目标元能力节点对应的ui架构音视频元能力节点(ui架构node)，以及在原生底层上设置目标元能力节点对应的原生底层音视频元能力节点(native node)。ui架构node和native node之间是一一对应的。ui架构node作为操作对象，控制具有实际实现能力的native node。
43.步骤s202，依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图，其中，ui架构层音视频管线拓扑图用于与原生底层之间传输数据。
44.具体地，开发者可以根据不同的应用场景，实现不同的音视频功能。根据实际需要的音视频功能(即上述的目标音视频功能)对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图。例如，要实现拍照的功能，那么可以将camera对应的ui架构node与phototaker对应的ui架构node连接起来，得到ui架构层音视频管线拓扑图。ui架构层音视频管线拓扑图用于整体状态控制、节点之间的数据传输以及和原生底层数据传输等工作。
45.步骤s203，依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图。
46.具体地，原生底层音视频元能力节点是具有实际实现能力的节点，所以根据上述得到的ui架构层音视频管线拓扑图，将原生底层音视频元能力节点连接起来，得到原生底层音视频管线拓扑图，就能够实现由ui架构层进行逻辑控制的音视频功能。
47.步骤s204，依据原生底层音视频管线拓扑图实现目标音视频功能。
48.综上，通过将每个音视频功能原子化为目标元能力节点，在ui架构上设置目标元能力节点对应的ui架构音视频元能力节点和在原生底层上设置目标元能力节点对应的原生底层音视频元能力节点，然后根据实际的音视频功能需求构建ui架构层音视频管线拓扑图和原生底层音视频管线拓扑图，就可以实现在ui架构开发更偏底层的音视频功能，并且原子化后的音视频功能支持在不同的场景复用，改变了以往的音视频开发的方式，因此提升了在ui架构开发音视频的效率和体验。
49.可选地，在本发明实施例一提供的音视频能力的处理方法中，依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图包括：依据目标音视频功能，确定待连接的ui架构音视频元能力节点；确定待连接的ui架构音视频元能力节点的节点类型和待连接的ui架构音视频元能力节点之间传输的数据的类型，其中，节点类型为以下之一：生产型、消费型和生产消费型，数据的类型为以下之一：视频流数据类型和音频流数据类型；依据节点类型和数据的类型，对待连接的ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图。
50.具体地，设置节点的类型，节点类型分为生产型、消费型和生产消费型。例如摄像头属于生产型，即通过摄像头持续获取一帧画面。拍照属于消费性，即通过拍照将一帧画面保存下来。同时节点之间的数据传输也分为以下两种视频流数据类型和音频流数据类型，传输的数据是音频流还是视频流。不同的节点支持的数据的类型是不同的，例如摄像头支持视频流传输，而麦克风则支持音频流传输。根据要实现的音视频功能，确定需要连接的ui架构音视频元能力节点，然后确定节点类型和数据的类型，根据上述的节点类型和数据的类型对需要连接的ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图。通过上述步骤，确保得到的ui架构层音视频管线拓扑图能够实现对应的音视频功能，可以更好地发挥ui架构的优势。
51.可选地，在本发明实施例一提供的音视频能力的处理方法中，依据节点类型和数据的类型，对待连接的ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图包括：判断节点类型是否符合第一预设要求；若节点类型符合第一预设要求，则依据数据的类型，对待连接的ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图。
52.具体地，对于节点之间的连接，只有具有生产能力的节点与具有消费能力节点连接才能实现数据流的传输(即上述的第一预设要求)，所以要判断节点类型是否符合要求。节点的类型符合第一预设要求后，再根据数据的类型进行相应的连接。通过上述步骤进一步确保ui架构层音视频管线拓扑图的准确性。
53.可选地，在本发明实施例一提供的音视频能力的处理方法中，在依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图之后，该方法还包括：依据第二预设要求，对ui架构层音视频管线拓扑图进行核查，得到核查结果；若核查结果为通过，则将ui架构层音视频管线拓扑图传输至原生底层。
54.具体地，在得到ui架构层音视频管线拓扑图之后，对ui架构层音视频管线拓扑图
进行核查，例如，节点类型和数据的类型是否满足要求，以及ui架构层音视频管线拓扑图是否不存在环路现象等。在核查通过后，再将ui架构层音视频管线拓扑图传输到原生底层。上述步骤，保证了ui架构层音视频管线拓扑图连接的准确性，避免出现由于ui架构层音视频管线拓扑图的连接问题导致相应的音视频功能不能成功实现的问题。
55.可选地，在本发明实施例一提供的音视频能力的处理方法中，在依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图之前，该方法还包括：构建ui架构音视频元能力节点与原生底层音视频元能力节点的映射关系；依据映射关系，通过ui架构音视频元能力节点调用原生底层音视频元能力节点实现目标音视频功能。
56.具体地，由于是通过ui架构音视频元能力节点作为操作对象，来控制具有实际实现能力的native点，所以需要建立ui架构音视频元能力节点与native节点(即上述的原生底层音视频元能力节点)之间的映射关系，保证ui架构音视频元能力节点与native节点之间的一一对应关系，进而实现通过ui架构音视频元能力节点调用native节点实现音视频功能。通过上述步骤，在ui架构侧通过控制ui架构音视频元能力节点，就可以实现相应的音视频功能，提高了音视频功能开发的效率。
57.可选地，在本发明实施例一提供的音视频能力的处理方法中，依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图包括：依据原生底层音视频元能力节点的端口，确定原生底层音视频元能力节点的节点类型；依据ui架构层音视频管线拓扑图和节点类型，判断原生底层音视频元能力节点是否符合第三预设要求；若原生底层音视频元能力节点符合第三预设要求，则通过端口对原生底层音视频元能力节点进行连接，得到原生底层音视频管线拓扑图。
58.具体地，在得到ui架构层音视频管线拓扑图之后，在原生底层会对ui架构层音视频管线拓扑图进一步地检查，保证准确性。同样在对原生底层音视频元能力节点进行连接时，仍然需要对原生底层音视频元能力节点的节点类型和传输的数据的类型进行确认(即上述的第三预设要求)。原生底层音视频元能力节点具有对外的端口，通过该端口就可以确定该原生底层音视频元能力节点的节点类型。例如，source port代表生产型，sink port代表消费型。当符合上述的第三预设要求时，再将对应的原生底层音视频元能力节点连接起来，得到原生底层音视频元能力节点。通过上述步骤，保证了原生底层音视频管线拓扑图的准确性，确保在ui架构侧通过控制ui架构音视频元能力节点，就可以实现相应的音视频功能。
59.可选地，在本发明实施例一提供的音视频能力的处理方法中，该方法还包括：若原生底层音视频元能力节点不符合第三预设要求，则发送报错信号至ui架构。
60.具体地，当不符合第三预设要求时，原生底层会发送报错信号至ui架构，便于提醒开发人员尽快处理问题。
61.可选地，在本发明实施例一提供的音视频能力的处理方法中，依据原生底层音视频管线拓扑图实现目标音视频功能包括：通过ui架构设置原生底层的应用状态，其中，应用状态为以下之一：启动状态，运行状态，停止状态和销毁状态；在原生底层的应用状态为启动状态时，依据原生底层音视频管线拓扑图实现目标音视频功能。
62.具体地，在得到对应的原生底层音视频管线拓扑图之后，可以在ui架构侧设置原
生底层的应用状态，当处于启动状态时，就可以通过操作ui架构音视频元能力节点，控制具有实际实现能力的native节点实现音视频功能。将流式音视频开发思想与ui架构跨端开发技术相结合，提升了ui架构上音视频的开发体验；赋予ui架构更多音视频逻辑控制能力，可以更好发挥ui架构跨端优势；音视频能力原子化，支持多场景复用，大大提高了ui架构音视频开发效率。
63.综上，在本发明实施例一提供的音视频能力的处理方法中，将每个音视频功能原子化为对应的目标元能力节点，并在ui架构上设置目标元能力节点对应的ui架构音视频元能力节点和在原生底层上设置目标元能力节点对应的原生底层音视频元能力节点；依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图，其中，ui架构层音视频管线拓扑图用于与原生底层之间传输数据；依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图；依据原生底层音视频管线拓扑图实现目标音视频功能，解决了相关技术中在ui架构上偏向于构建应用程序上层功能，导致开发偏底层的音视频功能的效率比较低的技术问题。通过将每个音视频功能原子化为目标元能力节点，在ui架构上设置目标元能力节点对应的ui架构音视频元能力节点和在原生底层上设置目标元能力节点对应的原生底层音视频元能力节点，然后根据实际的音视频功能需求构建ui架构层音视频管线拓扑图和原生底层音视频管线拓扑图，就可以实现在ui架构开发更偏底层的音视频功能，进而实现了提高开发音视频的效率。
64.如图3所示，为根据本发明实施一提供的节点拓扑图，将camera(相机)、microphone(麦克风)、renderer(渲染)、previewer(预览)、phototaker(拍照)、videorecorder(视频录制)这几个音视频能力原子化node，然后在ui架构和natve按有向图顺序链接这几个node得到拓扑图，就可以实现拥有拍照、视频录制和滤镜画面渲染等能力的拍摄功能。
65.通过本技术实施例，将一些特定音视频能力进行原子化为目标元能力节点，在原生底层设置该节点的对应节点(即上述的原生底层音视频元能力节点)，在ui架构层设置与原生底层节点对应的功能映射节点(即上述的ui架构音视频元能力节点)；根据需要的音视频功能，对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图；同时ui架构层管线拓扑图会与原生底层进行通信传输数据；根据ui架构层音视频管线拓扑图，构建原生底层音视频管线拓扑图；通过原生底层管线拓扑图实现所述目标音视频功能，并原生底层管线拓扑图由ui架构音视频元能力节点和ui架构层音视频管线拓扑图进行操作和控制。通过本技术可以实现在ui架构开发更偏底层的音视频功能，通过操作ui架构音视频元能力节点，就能够控制具有实际实现能力的原生底层音视频元能力节点实现对应的音视频功能。
66.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
67.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多
情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例的方法。
68.实施例2
69.根据本技术实施例，还提供了一种用于实施上述音视频功能的处理的音视频功能的处理装置，如图4所示，该装置包括：
70.设置单元401，用于将每个音视频功能原子化为对应的目标元能力节点，并在ui架构上设置目标元能力节点对应的ui架构音视频元能力节点和在原生底层上设置目标元能力节点对应的原生底层音视频元能力节点。
71.第一连接单元402，用于依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图，其中，ui架构层音视频管线拓扑图用于与原生底层之间传输数据。
72.第二连接单元403，用于依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图。
73.实现单元404，用于依据原生底层音视频管线拓扑图实现目标音视频功能。
74.本发明实施例二提供的音视频能力的处理装置，通过设置单元401将每个音视频功能原子化为对应的目标元能力节点，并在ui架构上设置目标元能力节点对应的ui架构音视频元能力节点和在原生底层上设置目标元能力节点对应的原生底层音视频元能力节点；第一连接单元402依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图，其中，ui架构层音视频管线拓扑图用于与原生底层之间传输数据；第二连接单元403依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图；实现单元404依据原生底层音视频管线拓扑图实现目标音视频功能，解决了相关技术中在ui架构上偏向于构建应用程序上层功能，导致开发偏底层的音视频功能的效率比较低的技术问题。通过将每个音视频功能原子化为目标元能力节点，在ui架构上设置目标元能力节点对应的ui架构音视频元能力节点和在原生底层上设置目标元能力节点对应的原生底层音视频元能力节点，然后根据实际的音视频功能需求构建ui架构层音视频管线拓扑图和原生底层音视频管线拓扑图，就可以实现在ui架构开发更偏底层的音视频功能，进而实现了提高开发音视频的效率。
75.可选地，在本发明实施例二提供的音视频能力的处理装置中，第一连接单元402包括：第一确定子单元，用于依据目标音视频功能，确定待连接的ui架构音视频元能力节点；第二确定子单元，用于确定待连接的ui架构音视频元能力节点的节点类型和待连接的ui架构音视频元能力节点之间传输的数据的类型，其中，节点类型为以下之一：生产型、消费型和生产消费型，数据的类型为以下之一：视频流数据类型和音频流数据类型；一连接子单元，用于依据节点类型和数据的类型，对待连接的ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图。
76.可选地，在本发明实施例二提供的音视频能力的处理装置中，连接子单元包括：判断模块，用于判断节点类型是否符合第一预设要求；连接模块，用于若节点类型符合第一预设要求，则依据数据的类型，对待连接的ui架构音视频元能力节点进行连接，得到ui架构层
音视频管线拓扑图。
77.可选地，在本发明实施例二提供的音视频能力的处理装置中，该装置还包括：核查单元，用于在依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图之后，依据第二预设要求，对ui架构层音视频管线拓扑图进行核查，得到核查结果；传输单元，用于若核查结果为通过，则将ui架构层音视频管线拓扑图传输至原生底层。
78.可选地，在本发明实施例二提供的音视频能力的处理装置中，该装置还包括：构建单元，用于在依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图之前，构建ui架构音视频元能力节点与原生底层音视频元能力节点的映射关系；调用单元，用于依据映射关系，通过ui架构音视频元能力节点调用原生底层音视频元能力节点实现目标音视频功能。
79.可选地，在本发明实施例二提供的音视频能力的处理装置中，第二连接单元303包括：第三确定子单元，用于依据原生底层音视频元能力节点的端口，确定原生底层音视频元能力节点的节点类型；判断子单元，用于依据ui架构层音视频管线拓扑图和节点类型，判断原生底层音视频元能力节点是否符合第三预设要求；第二连接子单元，用于若原生底层音视频元能力节点符合第三预设要求，则通过端口对原生底层音视频元能力节点进行连接，得到原生底层音视频管线拓扑图。
80.可选地，在本发明实施例二提供的音视频能力的处理装置中，该装置还包括：发送单元，用于若原生底层音视频元能力节点不符合第三预设要求，则发送报错信号至ui架构。
81.可选地，在本发明实施例二提供的音视频能力的处理装置中，实现单元404包括：设置子单元，用于通过ui架构设置原生底层的应用状态，其中，应用状态为以下之一：启动状态，运行状态，停止状态和销毁状态；实现子单元，用于在原生底层的应用状态为启动状态时，依据原生底层音视频管线拓扑图实现目标音视频功能。
82.此处需要说明的是，上述设置单元401，第一连接单元402，第二连接单元403和实现单元304对应于实施例1中的步骤s201至步骤s204，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
83.如图5所示，为根据发明实施例二提供的音视频功能的处理系统，该系统包括ui架构，native和pipeline。pipeline为音视频处理管线，用于传输数据信息；graph表征拓扑图；message channel消息通道，用于ui架构与native通信。sample buffer管线中流通的数据帧；原子化的音视频功能称之为node。node在ui架构侧和底层native一一对应，ui架构侧的node作为操作对象，控制具有实际实现能力的native node，两者之间通过pipeline内部的message channel消息通道进行通信。开发者在ui架构侧通过创建、链接和控制node，就可以快速地实现相应的音视频功能。已经实现的音视频功能的node支持在不同场景复用，改变了以往的音视频开发方式，因此可以提升了ui架构开发音视频的效率和体验。
84.需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
85.实施例3
86.本技术的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中
的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
87.可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
88.在本实施例中，上述计算机终端可以执行音视频功能的处理方法中以下步骤的程序代码：将每个音视频功能原子化为对应的目标元能力节点，并在ui架构上设置目标元能力节点对应的ui架构音视频元能力节点和在原生底层上设置目标元能力节点对应的原生底层音视频元能力节点；依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图，其中，ui架构层音视频管线拓扑图用于与原生底层之间传输数据；依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图；依据原生底层音视频管线拓扑图实现目标音视频功能。
89.上述计算机终端还可以执行音视频功能的处理方法中以下步骤的程序代码：依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图包括：依据目标音视频功能，确定待连接的ui架构音视频元能力节点；确定待连接的ui架构音视频元能力节点的节点类型和待连接的ui架构音视频元能力节点之间传输的数据的类型，其中，节点类型为以下之一：生产型、消费型和生产消费型，数据的类型为以下之一：视频流数据类型和音频流数据类型；依据节点类型和数据的类型，对待连接的ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图。
90.上述计算机终端还可以执行音视频功能的处理方法中以下步骤的程序代码：依据节点类型和数据的类型，对待连接的ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图包括：判断节点类型是否符合第一预设要求；若节点类型符合第一预设要求，则依据数据的类型，对待连接的ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图。
91.上述计算机终端还可以执行音视频功能的处理方法中以下步骤的程序代码：在依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图之后，依据第二预设要求，对ui架构层音视频管线拓扑图进行核查，得到核查结果；若核查结果为通过，则将ui架构层音视频管线拓扑图传输至原生底层。
92.上述计算机终端还可以执行音视频功能的处理方法中以下步骤的程序代码：在依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图之前，构建ui架构音视频元能力节点与原生底层音视频元能力节点的映射关系；依据映射关系，通过ui架构音视频元能力节点调用原生底层音视频元能力节点实现目标音视频功能。
93.上述计算机终端还可以执行音视频功能的处理方法中以下步骤的程序代码：依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图包括：依据原生底层音视频元能力节点的端口，确定原生底层音视频元能力节点的节点类型；依据ui架构层音视频管线拓扑图和节点类型，判断原生底层音视频元能力节点是否符合第三预设要求；若原生底层音视频元能力节点符合第三预设要求，则通过端口对原生底层音视频元能力节点进行连接，得到原生底层音视频管线拓扑图。
94.上述计算机终端还可以执行音视频功能的处理方法中以下步骤的程序代码：若原
生底层音视频元能力节点不符合第三预设要求，则发送报错信号至ui架构。
95.上述计算机终端还可以执行音视频功能的处理方法中以下步骤的程序代码：依据原生底层音视频管线拓扑图实现目标音视频功能包括：通过ui架构设置原生底层的应用状态，其中，应用状态为以下之一：启动状态，运行状态，停止状态和销毁状态；在原生底层的应用状态为启动状态时，依据原生底层音视频管线拓扑图实现目标音视频功能。
96.图6是根据本技术实施例的一种计算机终端的结构框图。如图6所示，该计算机终端10可以包括：一个或多个(图6中仅示出一个)处理器、存储器。
97.其中，存储器可用于存储软件程序以及模块，如本技术实施例中的音视频功能的处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的音视频功能的处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
98.处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：将每个音视频功能原子化为对应的目标元能力节点，并在ui架构上设置目标元能力节点对应的ui架构音视频元能力节点和在原生底层上设置目标元能力节点对应的原生底层音视频元能力节点；依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图，其中，ui架构层音视频管线拓扑图用于与原生底层之间传输数据；依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图；依据原生底层音视频管线拓扑图实现目标音视频功能。
99.可选的，上述处理器还可以执行如下步骤的程序代码：依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图包括：依据目标音视频功能，确定待连接的ui架构音视频元能力节点；确定待连接的ui架构音视频元能力节点的节点类型和待连接的ui架构音视频元能力节点之间传输的数据的类型，其中，节点类型为以下之一：生产型、消费型和生产消费型，数据的类型为以下之一：视频流数据类型和音频流数据类型；依据节点类型和数据的类型，对待连接的ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图。
100.可选的，上述处理器还可以执行如下步骤的程序代码：依据节点类型和数据的类型，对待连接的ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图包括：判断节点类型是否符合第一预设要求；若节点类型符合第一预设要求，则依据数据的类型，对待连接的ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图。
101.可选的，上述处理器还可以执行如下步骤的程序代码：在依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图之后，方法还包括：依据第二预设要求，对ui架构层音视频管线拓扑图进行核查，得到核查结果；若核查结果为通过，则将ui架构层音视频管线拓扑图传输至原生底层。
102.可选的，上述处理器还可以执行如下步骤的程序代码：在依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图之前，方法还包括：构建ui架构音视频元能力节点与原生底层音视频元能力节点的映射关系；依据映射
关系，通过ui架构音视频元能力节点调用原生底层音视频元能力节点实现目标音视频功能。
103.可选的，上述处理器还可以执行如下步骤的程序代码：依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图包括：依据原生底层音视频元能力节点的端口，确定原生底层音视频元能力节点的节点类型；依据ui架构层音视频管线拓扑图和节点类型，判断原生底层音视频元能力节点是否符合第三预设要求；若原生底层音视频元能力节点符合第三预设要求，则通过端口对原生底层音视频元能力节点进行连接，得到原生底层音视频管线拓扑图。
104.可选的，上述处理器还可以执行如下步骤的程序代码：若原生底层音视频元能力节点不符合第三预设要求，则发送报错信号至ui架构。
105.可选的，上述处理器还可以执行如下步骤的程序代码：依据原生底层音视频管线拓扑图实现目标音视频功能包括：通过ui架构设置原生底层的应用状态，其中，应用状态为以下之一：启动状态，运行状态，停止状态和销毁状态；在原生底层的应用状态为启动状态时，依据原生底层音视频管线拓扑图实现目标音视频功能。
106.本领域普通技术人员可以理解，图6所示的结构仅为示意，计算机终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图6其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图6中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图6所示不同的配置。
107.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
108.实施例4
109.本技术的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的音视频功能的处理方法所执行的程序代码。
110.可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
111.可选地，在本实施例中，上述存储介质被设置为存储用于执行以下步骤的程序代码：将每个音视频功能原子化为对应的目标元能力节点，并在ui架构上设置目标元能力节点对应的ui架构音视频元能力节点和在原生底层上设置目标元能力节点对应的原生底层音视频元能力节点；依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图，其中，ui架构层音视频管线拓扑图用于与原生底层之间传输数据；依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图；依据原生底层音视频管线拓扑图实现目标音视频功能。
112.上述存储介质还被设置为存储用于执行以下步骤的程序代码：依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图包括：依据目标音视频功能，确定待连接的ui架构音视频元能力节点；确定待连接的ui架构音视频元能力节点的节点类型和待连接的ui架构音视频元能力节点之间传输的数据的类型，其中，节点
类型为以下之一：生产型、消费型和生产消费型，数据的类型为以下之一：视频流数据类型和音频流数据类型；依据节点类型和数据的类型，对待连接的ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图。
113.上述存储介质还被设置为存储用于执行以下步骤的程序代码：依据节点类型和数据的类型，对待连接的ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图包括：判断节点类型是否符合第一预设要求；若节点类型符合第一预设要求，则依据数据的类型，对待连接的ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图。
114.上述存储介质还被设置为存储用于执行以下步骤的程序代码：在依据目标音视频功能对ui架构音视频元能力节点进行连接，得到ui架构层音视频管线拓扑图之后，依据第二预设要求，对ui架构层音视频管线拓扑图进行核查，得到核查结果；若核查结果为通过，则将ui架构层音视频管线拓扑图传输至原生底层。
115.上述存储介质还被设置为存储用于执行以下步骤的程序代码：在依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图之前，构建ui架构音视频元能力节点与原生底层音视频元能力节点的映射关系；依据映射关系，通过ui架构音视频元能力节点调用原生底层音视频元能力节点实现目标音视频功能。
116.上述存储介质还被设置为存储用于执行以下步骤的程序代码：依据ui架构层音视频管线拓扑图，连接原生底层音视频元能力节点，得到原生底层音视频管线拓扑图包括：依据原生底层音视频元能力节点的端口，确定原生底层音视频元能力节点的节点类型；依据ui架构层音视频管线拓扑图和节点类型，判断原生底层音视频元能力节点是否符合第三预设要求；若原生底层音视频元能力节点符合第三预设要求，则通过端口对原生底层音视频元能力节点进行连接，得到原生底层音视频管线拓扑图。
117.上述存储介质还被设置为存储用于执行以下步骤的程序代码：若原生底层音视频元能力节点不符合第三预设要求，则发送报错信号至ui架构。
118.上述存储介质还被设置为存储用于执行以下步骤的程序代码：依据原生底层音视频管线拓扑图实现目标音视频功能包括：通过ui架构设置原生底层的应用状态，其中，应用状态为以下之一：启动状态，运行状态，停止状态和销毁状态；在原生底层的应用状态为启动状态时，依据原生底层音视频管线拓扑图实现目标音视频功能。
119.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
120.在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
121.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
122.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
123.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
124.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
125.以上仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。