一种云手机应用远程摄像头的方法、系统和设备与流程

1.本发明涉及计算机技术领域，特别涉及一种云手机应用远程摄像头的方法、系统和设备。


背景技术：

2.云手机(cloud phone)是指一种搭建在云服务器上的虚拟手机，其本质是将云计算技术运用于网络手机服务，通过云服务器实现云服务的智能手机。这类手机凭借自带的系统以及厂商架设的网络手机可以通过网络实现众多的功能。其可以在云端运行android、ios等操作系统和应用，云手机以音视频流的形式给各种用户提供交互控制，让用户可以从android、ios、浏览器程序等各种客户端进行操作。


技术实现要素：

3.随着互联网技术的日新月异，尤其是5g技术的发展，云手机也随之蓬勃发展起来，不过目前云手机上主要是从云服务器上下发音视频为主，场景相对简单。鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种云手机应用远程摄像头的方法、系统和设备。
4.第一方面，本发明实施例提供了一种云手机应用远程摄像头的方法，该方法可以包括：
5.当监测到云手机上的应用程序对摄像头的访问事件，将所述访问事件对应的拍摄多媒体数据的指令以及所述多媒体数据相关的配置参数信息发送给客户端；
6.接收所述客户端返回的多媒体数据，并传送给所述应用程序以显示；
7.所述多媒体数据包括：图像数据和/或视频数据。
8.可选的，所述配置参数信息包括下述参数的至少一项：预览尺寸、拍照尺寸、拍照分辨率、预览流码率模式、预览流码率、预览流帧率、预览流工作帧率和关键帧间隔时间。
9.可选的，所述接收所述客户端返回的多媒体数据，并传送给所述应用程序以显示，可以包括：
10.接收所述客户端返回的多媒体数据；
11.对所述多媒体数据进行解码，并将解码后的多媒体数据发送给摄像头服务模块；
12.所述摄像头服务模块通过摄像头接口或摄像头管理接口将解码后的多媒体数据传送给所述应用程序以显示。
13.可选的，所述摄像头接口和所述摄像头管理接口采用cameraclient接口。
14.第二方面，本发明实施例提供了另一种云手机应用远程摄像头的方法，可以包括：
15.接收网络侧的云手机发送的拍摄多媒体数据的指令以及所拍摄的多媒体数据相关的配置参数信息；
16.获取摄像头拍摄的多媒体数据并按照所述配置参数信息进行处理，并将处理后的多媒体数据返回给所述云手机。
17.可选的，该方法还可以包括：接收网络侧的云手机发送的访问事件对应的开启摄像头的指令；
18.获取摄像头拍摄的预览视频流数据，并按照所述配置参数信息中包括的预览尺寸、预览流帧率、预览流工作帧率和/或关键帧间隔时间进行处理；
19.将处理后的预览视频流数据按照所述配置参数信息中包括的预览流码率模式、预览流码率、预览流帧率、预览流工作帧率和/或关键帧间隔时间返回给所述云手机。
20.可选的，所述拍摄多媒体数据的指令为拍摄图像指令；
21.相应的，所述获取摄像头拍摄的多媒体数据并按照所述配置参数信息进行处理，并将处理后的多媒体数据返回给所述云手机，包括：
22.获取摄像头拍摄的图像数据，并按照所述配置参数信息中包括的拍照尺寸和/或拍照分辨率进行处理；
23.将处理后的图像数据，按照网络带宽适配的码率和/或帧率返回给所述云手机。
24.可选的，所述拍摄多媒体数据的指令为拍摄视频数据指令；
25.相应的，所述获取摄像头拍摄的多媒体数据并按照所述配置参数信息进行处理，并将处理后的多媒体数据返回给所述云手机，包括：
26.获取摄像头拍摄的视频数据，并按照所述配置参数信息中包括的拍照尺寸、拍照分辨率和/或关键帧间隔时间进行处理；
27.将处理后的视频数据，按照网络带宽适配的码率和/或帧率返回给所述云手机。
28.第三方面，本发明实施例提供了一种云手机，可以包括：控制模块和第一接收模块；
29.所述控制模块，用于当监测到云手机上的应用程序对摄像头的访问事件，将所述访问事件对应的拍摄多媒体数据的指令以及所述多媒体数据相关的配置参数信息发送给客户端；
30.所述第一接收模块，用于接收所述客户端返回的多媒体数据，并传送给所述应用程序以显示；
31.所述多媒体数据包括：图像数据和/或视频数据。
32.第四方面，本发明实施例提供了一种客户端，可以包括：第二接收模块、处理模块和发送模块；
33.所述第二接收模块，用于接收网络侧的云手机发送的拍摄多媒体数据的指令以及所拍摄的多媒体数据相关的配置参数信息；
34.所述处理模块，用于对获取的摄像头拍摄的多媒体数据按照所述配置参数信息进行处理；
35.所述发送模块，用于将处理后的多媒体数据返回给所述云手机。
36.第五方面，本发明实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的云手机应用远程摄像头的方法或如第二方面所述的云手机应用远程摄像头的方法。
37.第六方面，本发明实施例中提供了一种云计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的至少一个如第三方面所述的云手机，所述处理器执行所述云手机中的程序时实现如第一方面所述的云手机应用远程摄像头的方法。
38.第七方面，本发明实施例中提供了一种云手机系统，可以包括：至少一个如第四方面所述的客户端，以及至少一个如第六方面所述的云计算机设备；
39.所述云计算机设备中的云手机与所述客户端网络连接。
40.本发明实施例提供的上述技术方案的有益效果至少包括：
41.本发明实施例中公开了一种云手机应用远程摄像头的方法、系统和设备。所述方法包括：当监测到云手机上的应用程序对摄像头的访问事件，将访问事件对应的拍摄多媒体数据的指令以及多媒体数据相关的配置参数信息发送给客户端。接收客户端返回的多媒体数据，并传送给应用程序以显示。本发明实施例中的云手机上应用程序显示的数据为在客户端处理好的多媒体数据，即进行了图像优化或者图像格式的处理，图像处理应用了客户端自身的功能，节约了云手机再次处理时对资源的占用。整体而言，相对于现有技术资源分配更加均衡，同时也实现了云手机应用远程客户端上的摄像头，增加了云手机的应用场景，丰富了云手机的功能。
42.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
43.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
44.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
45.图1为本发明实施例中提供的云手机应用远程摄像头的方法的流程图之一；
46.图2为本发明实施例中提供的云手机应用远程摄像头的方法的流程图之二；
47.图3为本发明实施例中提供的步骤s13的实现流程图；
48.图4为本发明实施例中提供的云手机和客户端的架构示意图；
49.图5为本发明实施例中提供的现有技术中的云手机应用远程摄像头的架构图；
50.图6为本发明实施例中提供的云手机系统的结构示意图。
具体实施方式
51.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
52.本发明实施例中提供了一种云手机应用远程摄像头的方法，该方法应用于云手机，参照图1和图2所示，该方法可以包括以下步骤：
53.步骤s11、监测云手机上的应用程序对摄像头的访问事件。
54.步骤s12、当监测到云手机上的应用程序对摄像头的访问事件，将访问事件对应的拍摄多媒体数据的指令以及多媒体数据相关的配置参数信息发送给客户端。其中，多媒体数据包括：图像数据和/或视频数据。
55.步骤s13、接收客户端返回的多媒体数据，并传送给应用程序以显示。
56.本发明实施例中提供的上述云手机应用远程摄像头的方法，通过监测到云手机上的应用程序对摄像头的访问事件，进而将访问事件对应的拍摄多媒体数据的指令以及多媒体数据相关的配置参数信息发送给客户端，客户端采集多媒体数据并根据配置参数信息进行处理之后返回给云手机，云手机再传送给应用程序以显示。本发明实施例中的云手机上应用程序显示的数据为在客户端处理好的多媒体数据，即进行了图像优化或者图像格式的处理，图像处理应用了客户端自身的功能，节约了云手机再次处理时对资源的占用。整体而言，相对于现有技术资源分配更加均衡，同时也实现了云手机应用远程客户端上的摄像头，增加了云手机的应用场景，丰富了云手机的功能。
57.在一个可选的实施例中，上述应用程序需求的多媒体数据的配置参数信息，以及云手机与客户端之间传输该多媒体数据所需的配置参数信息，具体的，上述配置参数信息包括：下述参数的至少一项：预览尺寸、拍照尺寸、拍照分辨率、预览流码率模式、预览流码率、预览流帧率、预览流工作帧率和关键帧间隔时间。
58.需要说明的是，本发明实施例中，并不是限定于云手机上应用程序开启摄像头整体过程，也涵盖了在使用摄像头过程中发送给客户端拍摄多媒体数据的指令以及多媒体数据相关的配置参数信息。换言之，客户端上的摄像头也可以在开启状态下接收上述指令和配置参数信息，但是在此之前并没有正式进行拍摄，因此配置参数信息包括了大量的预览状态的参数信息。
59.在另一个可选的实施例中，参照图3和图4所示，上述步骤s13实现的具体方式可以包括以下步骤：
60.步骤s131、接收客户端返回的多媒体数据。
61.本发明实施例中通过设置于云手机上的第一接收模块接收客户端返回的多媒体数据。
62.步骤s132、对多媒体数据进行解码，并将解码后的多媒体数据发送给摄像头服务模块。
63.需要说明的是，本发明实施例中客户端采集的多媒体数据，在进行处理后，会对处理后的数据进行编码，然后通过网络传输到云手机上，之所以要编码是为了大幅度降低传输的数据量，本发明实施例中可以采用h264、h265编码，但是本发明实施例对具体的编解码方式不作具体限定。因此，本步骤中需要与编码对应的解码方式对返回的多媒体数据进行解码，然后才执行步骤s133。
64.步骤s133、摄像头服务模块通过摄像头接口或摄像头管理接口将解码后的多媒体数据传送给应用程序以显示。
65.结合图4所示，本发明实施例中的上述解码后的且处理后的多媒体数据通过camera或者cameramanager接口直接传送给应用程序以显示。在此需要说明的是，本发明实施例中摄像头服务层屏蔽对摄像头硬件抽象层的访问，整体架构与现有技术中存在着本质的差异。
66.还需要说明的是，上述camera或者cameramanager接口是两个不同的传送路径，即可以通过设置于云手机上的虚拟camera模块，也可以通过设置于云手机上的cameramanager模块将多媒体数据传送给app以显示。
67.结合图5所示，现有技术中的cameraservice(虚拟camera模块)在接收到云手机客
户端返回的多媒体数据后，由于该多媒体数据只是通过客户端摄像头采集的，其并不能够直接提供给云手机上的app使用，需要在camera驱动层进行图像优化，然后在经过camera hal层、cameraservice、camera api传送给app以显示，此种云手机应用远程摄像头的方案数据优化部分是完全在云手机端的，这样占用了云手机大量的资源，负载较大，不利于云手机上多个应用程序运行。而本发明通过在客户端将app所需要的多媒体数据进行图像优化处理，即应用了现有客户端自身的处理功能，无需再次在云手机端进行处理过程即可直接提供给app应用，节约了云手机的运行资源，且无需安装camera驱动层，对云手机的整体架构进行了改进，更利于设备之间多媒体数据的传输和远程调用摄像头等。
68.进一步的，本发明实施例中的上述架构，增加了控制模块和第一接收模块，通过使用控制模块和第一接收模块对cameraservice层进行修改，并不对上层app的架构进行调整，实现方式相比于搭建camera hal层以及camera驱动层更加简易，获得的效果更优。
69.本发明的发明构思是在云手机的基本架构(例如android系统)中，在framework框架层提供一个虚拟摄像头模块(cameraservice)，当上层app调用相机相关的api(包括camera api v1/v2)，虚拟摄像头模块被触发，并下发访问事件对应的拍摄多媒体数据的指令以及多媒体数据相关的配置参数信息，然后客户端接收指令并按照配置参数信息对多媒体数据进行处理，处理完后返回给云手机以供app直接使用。
70.在另一个可选的实施例中，参照图5所示，现有技术中cameraservice通过camera api(v1、v2)的不同版本的接口将多媒体数据传送给app以展示，本发明的发明人发现，使用不同版本的接口不利于对产品的维护，因此，本发明实施例中的摄像头接口和摄像头管理接口采用cameraclient接口。这样使用统一的接口，就代码层面而言，节约了修改代码时间，易于产品维护。
71.基于同一发明构思，本发明实施例中还提供了另一种云手机应用远程摄像头的方法，该方法应用于客户端，参照图1所示，该方法可以包括以下步骤：
72.步骤s21、接收网络侧的云手机发送的拍摄多媒体数据的指令以及所拍摄的多媒体数据相关的配置参数信息。该步骤接收云手机发送来的数据，并依据该数据中的指令采集多媒体数据。
73.步骤s22、获取摄像头拍摄的多媒体数据并按照配置参数信息进行处理。
74.本步骤是对拍摄的多媒体数据按照应用程序所需的要求或者格式进行处理，即利用了客户端已有的处理功能，得到能够适配云手机上的应用程序所需要的多媒体数据。
75.步骤s23、将处理后的多媒体数据返回给云手机。
76.在一个可选的实施例中，上述步骤s21～步骤s23的实现具体可以分为以下两种方式：
77.《方式1》
78.当步骤s21中接收到的拍摄多媒体数据的指令为拍摄图像指令时，相应的，获取摄像头拍摄的图像数据，并按照配置参数信息中包括的拍照尺寸和/或拍照分辨率进行处理；将处理后的图像数据，按照网络带宽适配的码率和/或帧率返回给云手机。
79.本发明实施例中当云手机中的app上需求一个拍照(takepicture)调用，虚拟摄像头模块通知takepicture命令到云手机客户端，云手机客户端完成拍照(根据摄像头能力自动调整照片尺寸)，再把照片发给云手机的虚拟摄像头模块，后者将照片文件直接发给app
完成拍照。
80.《方式2》
81.当步骤s21中接收到的拍摄多媒体数据的指令为拍摄视频数据指令时，相应的，获取摄像头拍摄的视频数据，并按照配置参数信息中包括的拍照尺寸、拍照分辨率和/或关键帧间隔时间进行处理；将处理后的视频数据，按照网络带宽适配的码率和/或帧率返回给云手机。该方式与上述拍摄照片的方案类似，在此不再赘述。
82.在此需要说明的是，本发明实施例中的云手机使用客户端摄像头进行多媒体数据采集时，即拍摄图像数据(照片)或者视频数据时，传输的过程是根据云手机与客户端之间的网络传输协议进行数据传输的，即传输过程中会根据网络带宽适配的码率和/或帧率将拍摄的多媒体数据返回给云手机。
83.在另一个可选的实施例中，参照图2所示，图中描述了云手机中的应用程序从开启摄像头到完成使用摄像头拍摄的多媒体数据的完整方案。具体包括如下步骤：
84.步骤s31、接收网络侧的云手机发送的访问事件对应的开启摄像头的指令。
85.步骤s32、获取摄像头拍摄的预览视频流数据，并按照配置参数信息中包括的预览尺寸、预览流帧率、预览流工作帧率和/或关键帧间隔时间进行处理。
86.步骤s33、将处理后的预览视频流数据按照配置参数信息中包括的预览流码率模式、预览流码率、预览流帧率、预览流工作帧率和/或关键帧间隔时间返回给云手机。
87.上述步骤s31～步骤s33是预览流程，即云手机上的app调用客户端的摄像头时，会发出调用指令，此时客户端接收到网络侧的云手机发出的访问事件对应的开启摄像头的指令，并没有接收到takepicture等指令时，摄像头处于开启状态，该状态下也采集多媒体数据，在预览模式下将采集的多媒体数据返回给云手机。预览模式下，客户端获取摄像头拍摄的预览视频流数据，并按照配置参数信息中包括的预览尺寸、预览流帧率、预览流工作帧率和/或关键帧间隔时间进行处理；最终将处理后的预览视频流数据按照配置参数信息中包括的预览流码率模式、预览流码率、预览流帧率、预览流工作帧率和/或关键帧间隔时间返回给云手机，以实现在云手机端预览视频流数据。
88.步骤s34、接收网络侧的云手机发送的拍摄多媒体数据的指令。
89.步骤s35、获取摄像头拍摄的多媒体数据并按照配置参数信息进行处理，并将处理后的多媒体数据返回给云手机。
90.上述步骤s34～步骤s35是拍摄多媒体数据的流程，该流程的具体实现方式可以参照步骤s21～步骤s23的有关描述，本发明实施例中在此不再赘述。
91.基于同一发明构思，本发明实施例中还提供了一种云手机，参照图4所示，该云手机可以包括：控制模块11和第一接收模块12；其工作原理如下：
92.控制模块11用于当监测到云手机上的应用程序对摄像头的访问事件，将访问事件对应的拍摄多媒体数据的指令以及多媒体数据相关的配置参数信息发送给客户端；多媒体数据包括：图像数据和/或视频数据。
93.第一接收模块12用于接收客户端返回的多媒体数据，并传送给应用程序以显示。
94.在一个可选的实施例中，上述控制模块11发送的多媒体数据相关的配置参数信息可以包括下述参数的至少一项：预览尺寸、拍照尺寸、拍照分辨率、预览流码率模式、预览流码率、预览流帧率、预览流工作帧率和关键帧间隔时间。
95.在另一个可选的实施例中，上述第一接收模块12接收所述客户端返回的多媒体数据；再对所述多媒体数据进行解码，并将解码后的多媒体数据发送给摄像头服务模块；然后所述摄像头服务模块直接通过摄像头接口或摄像头管理接口将解码后的多媒体数据传送给所述应用程序以显示。
96.基于同一发明构思，本发明实施例中还提供了一种客户端，参照图4所示，该客户端可以包括：第二接收模块21、处理模块22和发送模块23；其工作原理如下：
97.第二接收模块21用于接收网络侧的云手机发送的拍摄多媒体数据的指令以及所拍摄的多媒体数据相关的配置参数信息；处理模块22用于对获取的摄像头拍摄的多媒体数据按照配置参数信息进行处理；发送模块23用于将处理后的多媒体数据返回给云手机。
98.在另一可选的实施例中，上述第二接收模块21还用于接收网络侧的云手机发送的访问事件对应的开启摄像头的指令；相应的，处理模块22用于对获取摄像头拍摄的预览视频流数据，并按照所述配置参数信息中包括的预览尺寸、预览流帧率、预览流工作帧率和/或关键帧间隔时间进行处理；发送模块23用于将处理后的预览视频流数据按照所述配置参数信息中包括的预览流码率模式、预览流码率、预览流帧率、预览流工作帧率和/或关键帧间隔时间返回给所述云手机。
99.在另一个可选的实施例中，当第二接收模块21接收到的拍摄多媒体数据的指令为拍摄图像指令；相应的，处理模块22用于获取摄像头拍摄的图像数据，并按照所述配置参数信息中包括的拍照尺寸和/或拍照分辨率进行处理；发送模块23将处理后的图像数据，按照网络带宽适配的码率和/或帧率返回给所述云手机。
100.在另一个可选的实施例中，当第二接收模块21接收到的拍摄多媒体数据的指令为拍摄视频数据指令；相应的，处理模块22用于获取摄像头拍摄的视频数据，并按照所述配置参数信息中包括的拍照尺寸、拍照分辨率和/或关键帧间隔时间进行处理；发送模块23将处理后的视频数据，按照网络带宽适配的码率和/或帧率返回给所述云手机。
101.基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述云手机应用远程摄像头的方法。
102.基于同一发明构思，本发明实施例中还提供了一种云计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的至少一个云手机，所述处理器执行所述云手机中的程序时实现上述云手机应用远程摄像头的方法。
103.基于同一发明构思，本发明实施例中还提供了一种云手机系统，参照图6所示，该系统可以包括：至少一个上述客户端，以及至少一个上述云计算机设备；所述云计算机设备中的云手机与所述客户端网络连接。
104.在此需要说明的是，该图6中的云计算机设备中的虚拟手机即为云手机。
105.在此需要说明的是，由于这些客户端、介质、系统和相关设备所解决问题的原理与前述云手机应用远程摄像头的方法相似，因此该客户端、介质、系统和相关设备的实施可以参见前述方法的实施，重复之处不再赘述。
106.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形
式。
107.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
108.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
109.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
110.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。