协处理芯片及电子设备的制作方法

1.本技术涉及电子技术领域，特别涉及一种协处理芯片及电子设备。


背景技术：

2.随着电子技术的发展，各式各样的电子设备已成为用户生活工作中不可或缺的工具，电子设备能够支持的功能也越来越多。例如，用户可以通过电子设备实现通话功能、网购功能、导航功能、游戏功能等。
3.然而，电子设备支持的功能越来越多的同时，电子设备的功耗也越来越高。如何降低电子设备的功耗，延长电子设备的续航时间，成为当前亟待解决的问题。


技术实现要素：

4.本技术实施例提供一种协处理芯片及电子设备，可以降低电子设备的功耗。
5.本技术实施例提供一种协处理芯片，包括：
6.第一图像数据处理器；
7.第二图像数据处理器，所述第二图像数据处理器的图像处理精度大于所述第一图像数据处理器的图像处理精度，所述第二图像数据处理器的运行功耗大于所述第一图像数据处理器的运行功耗；其中
8.所述第一图像数据处理器、所述第二图像数据处理器中的至少一个用于对接收到的图像数据进行处理。
9.本技术实施例还提供一种电子设备，包括：
10.第一图像传感器，用于采集图像数据；
11.第二图像传感器，用于采集图像数据；
12.协处理芯片，包括上述协处理芯片，所述协处理芯片的第一图像数据处理器、第二图像数据处理器中的至少一个用于对所述第一图像传感器、所述第二图像传感器采集到的图像数据进行处理。
13.本技术实施例提供的协处理芯片中，第一图像数据处理器、第二图像数据处理器中的至少一个用于对接收到的图像数据进行处理，并且第二图像数据处理器的运行功耗大于第一图像数据处理器的运行功耗，因此运行功耗较大的第二图像数据处理器无需一直处于工作状态，可以由第一图像数据处理器对图像处理精度较低的图像数据进行处理，由第二图像数据处理器对图像处理精度较高的图像数据进行处理，因此既可以满足图像数据处理需求，又可以降低协处理芯片的功耗，从而实现降低电子设备的功耗。
附图说明
14.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附
图。
15.图1为本技术实施例提供的电子设备的第一种结构示意图。
16.图2为本技术实施例提供的协处理芯片的第一种结构示意图。
17.图3为本技术实施例提供的协处理芯片的第二种结构示意图。
18.图4为本技术实施例提供的协处理芯片的第三种结构示意图。
19.图5为本技术实施例提供的协处理芯片的第四种结构示意图。
20.图6为本技术实施例提供的协处理芯片的第五种结构示意图。
21.图7为本技术实施例提供的协处理芯片中第一图像数据处理器与第二图像数据处理器的交互示意图。
22.图8为本技术实施例提供的电子设备的第二种结构示意图。
具体实施方式
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
24.本技术实施例提供一种电子设备。所述电子设备可以是智能手机、平板电脑等设备，还可以是游戏设备、ar(augmented reality，增强现实)设备、数据存储装置、音频播放装置、视频播放装置、笔记本电脑、桌面计算设备等，还可以是诸如电子头盔、电子眼镜、电子衣物等可穿戴式电子设备。
25.参考图1，图1为本技术实施例提供的电子设备100的第一种结构示意图。
26.其中，电子设备100包括主处理芯片10、协处理芯片20、外围组件30。所述主处理芯片10与所述外围组件30电连接，所述协处理芯片20与所述主处理芯片10、所述外围组件30均电连接。可以理解的，电连接可以是直接连接以实现电信号的传递，也可以是间接连接，例如通过开关等其它电子器件间接连接以实现电信号的传递。
27.所述主处理芯片10可以作为电子设备100的主控soc(system on chip，系统级芯片)。所述主处理芯片10上可以集成有处理器和存储器，诸如第一处理器和第一存储器，其中第一处理器可以进行数据处理，第一存储器可以存储数据，例如存储第一操作系统和应用程序。主处理芯片10可运行第一操作系统及第一存储器中存储的应用程序。此外，所述主处理芯片10还可以对所述协处理芯片20的运行进行控制。
28.所述协处理芯片20为一个低功耗的soc。所述协处理芯片20的运行功耗小于所述主处理芯片10的运行功耗。所述协处理芯片20上也可以集成有处理器和存储器，诸如第二处理器和第二存储器，其中第二处理器可以进行数据处理，第二存储器可以存储数据，例如存储第二操作系统和应用程序。协处理芯片20可运行第二操作系统及第二存储器中存储的应用程序。
29.所述外围组件30为电子设备100中的功能组件，所述外围组件30可以用于实现电子设备100的各种功能。例如，所述外围组件30可以包括显示屏、摄像头、触控电路、蓝牙设备、红外设备等。
30.其中，所述主处理芯片10、所述协处理芯片20都可以用于根据用户操作对所述外
围组件30进行控制。例如，所述主处理芯片10、所述协处理芯片20可以用于根据用户操作控制显示屏解锁、控制显示屏显示信息、控制摄像头开启、控制蓝牙设备开启、控制红外设备开启等。
31.在本技术的描述中，需要理解的是，诸如“第一”、“第二”等术语仅用于区分类似的对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
32.参考图2，图2为本技术实施例提供的协处理芯片20的第一种结构示意图。
33.协处理芯片20包括图像数据处理模块21。所述图像数据处理模块21用于进行图像处理。例如所述图像数据处理模块21可以接收外部输入的图像数据，并对图像数据进行分析，从而进行图像识别。随后，所述协处理芯片20可以根据图像识别结果对所述外围组件30进行控制。
34.其中，所述图像数据处理模块21包括第一图像数据处理器211和第二图像数据处理器212。所述第一图像数据处理器211可以为cif(摄像处理接口，camera interface)。所述第二图像数据处理器212可以为isp(图像信号处理器，image signal processor)。
35.所述协处理芯片20可以接收外部输入的图像数据，例如接收所述电子设备100的图像传感器采集到的图像数据。所述第一图像数据处理器211、所述第二图像数据处理器212中的至少一个用于对接收到的图像数据进行处理。例如，可以由所述第一图像数据处理器211对接收到的图像数据进行处理；也可以由所述第二图像数据处理器212对接收到的图像数据进行处理；或者，也可以由所述第一图像数据处理器211对接收到的图像数据中的一部分数据进行处理，并由所述第二图像数据处理器212对接收到的图像数据中的另一部分数据进行处理。
36.可以理解的，所述第一图像数据处理器211在对图像数据进行处理时，所述第二图像数据处理器212可以进入休眠状态，以节省所述协处理芯片20的运行功耗。同样的，所述第二图像数据处理器212在对图像数据进行处理时，所述第一图像数据处理器211可以进入休眠状态，以节省所述协处理芯片20的运行功耗。
37.其中，所述第二图像数据处理器212的图像处理精度大于所述第一图像数据处理器211的图像处理精度。例如，所述第二图像数据处理器212可以用于处理分辨率较高的图像数据，而所述第一图像数据处理器211只能用于处理分辨率较低的图像数据。另一方面，所述第二图像数据处理器212的运行功耗大于所述第一图像数据处理器211的运行功耗。因此，所述第二图像数据处理器212持续运行时所述协处理芯片20的功耗高于所述第一图像数据处理器211持续运行时的功耗。
38.可以理解的，由于所述第二图像数据处理器212的运行功耗大于所述第一图像数据处理器211的运行功耗，因此所述第二图像数据处理器212的数据处理能力大于所述第一图像数据处理器211的数据处理能力，也即所述第二图像数据处理器212的运算速度大于所述第一图像数据处理器211的运算速度。例如，所述第二图像数据处理器212可以每秒进行10亿次运算，所述第一图像数据处理器211可以每秒进行2亿次运算。
39.在一些实施例中，所述第一图像数据处理器211用于对接收到的图像数据进行处理，以进行用户手势识别或者人脸特征点检测。所述第二图像数据处理器212用于对接收到的图像数据进行处理，以进行人脸识别。
40.例如，当电子设备100需要识别用户的手势，以控制显示屏、摄像头等外围组件执
行相应功能时，电子设备100可以采集用户手势对应的图像数据，随后将采集到的用户手势图像数据发送到所述协处理芯片20，由所述协处理芯片20的第一图像数据处理器211对用户手势图像数据进行分析，以进行用户手势识别。在用户手势识别成功后，电子设备100即可控制显示屏、摄像头等外围组件执行相应功能。
41.再例如，当电子设备100需要进行人脸识别时，可以首先判断是否检测到人脸，此时需要进行人脸特征点检测。电子设备100可以采集用户人脸特征点对应的图像数据，例如采集脸部轮廓、嘴巴、鼻子、眼睛等特征点对应的图像数据，随后将采集到的人脸特征点图像数据发送到所述协处理芯片20，由所述协处理芯片20的第一图像数据处理器211对人脸特征点图像数据进行分析，以进行人脸特征点检测。在成功检测到人脸特征点后，所述第一图像数据处理器211唤醒第二图像数据处理器212，由所述第二图像数据处理器212继续进行下一步的人脸识别。在人脸特征点检测失败后，所述第一图像数据处理器211可以不唤醒所述第二图像数据处理器212。
42.在进行下一步的人脸识别时，电子设备100可以采集用户人脸的全部图像数据，随后将采集到的人脸图像数据发送到所述协处理芯片20，所述协处理芯片20的第二图像数据处理器212在被唤醒后，对人脸图像数据进行分析，以进行人脸识别。在人脸识别成功后，电子设备100即可控制显示屏、摄像头等外围组件执行相应功能。
43.其中，所述第一图像数据处理器211在进行人脸特征点检测时，所述第二图像数据处理器212进入休眠状态；所述第二图像数据处理器212在被唤醒后进行人脸识别时，所述第一图像数据处理器211进入休眠状态。从而，可以降低协处理芯片20的功耗，以实现降低电子设备100的功耗。
44.可以理解的，电子设备100在进行人脸识别时，先通过第一图像数据处理器211进行人脸特征点检测，在人脸特征点检测成功后再唤醒第二图像数据处理器212进行人脸识别，而在人脸特征点检测失败后可以不唤醒第二图像数据处理器212。由于所述第一图像数据处理器211的运行功耗小于所述第二图像数据处理器212的运行功耗，因此运行功耗较大的第二图像数据处理器212无需一直处于工作状态，而是在人脸特征点检测成功也即确实需要进行人脸识别时，所述第二图像数据处理器212才唤醒进行人脸识别，因此也可以降低协处理芯片20的功耗，从而实现降低电子设备100的功耗。
45.还可以理解的，在进行用户手势识别和人脸特征点检测时，由于采集到的用户手势图像数据、人脸特征点图像数据的精度较低，所需的图像处理精度也较低，因此可以通过图像处理精度较低的第一图像数据处理器211进行处理，在实现图像数据处理功能的同时可以降低协处理芯片20的功耗，从而降低电子设备100的功耗。在进行人脸识别时，由于采集到的人脸图像数据精度较高，所需的图像处理精度也较高，因此需要通过第二图像数据处理器212进行处理，以保证图像数据处理需求。
46.可以理解的，在其他一些实施例中，电子设备100在进行人脸识别时，也可以不进行人脸特征点检测，而是直接由协处理芯片20的第二图像数据处理器212对采集到的人脸图像数据进行处理，从而进行人脸识别。
47.在一些实施例中，参考图3和图4，图3为本技术实施例提供的协处理芯片20的第二种结构示意图，图4为本技术实施例提供的协处理芯片20的第三种结构示意图。
48.其中，协处理芯片20还包括控制模块22、通信接口模块23、寄存器模块24、音频数
据检测模块25、常开模块26、音频数据处理模块27、存储模块28以及通信总线29。
49.控制模块22诸如mcu(micro control unit，微控制单元)，用于对整个协处理芯片20进行控制以及进行数据运算，例如在协处理芯片20开始工作时对协处理芯片20进行初始化，以及在协处理芯片20工作时进行数据运算等。其中，mcu可以理解为协处理芯片20的控制核。mcu的处理频率可以达到300mhz，可以用于控制与逻辑处理。
50.通信接口模块23用于与主处理芯片10进行通信。其中，通信接口模块23可以包括spislv接口和i2cslv接口，spislv接口和i2cslv接口都可以用于与主处理芯片10进行通信。
51.寄存器模块24用于存储协处理芯片20的配置信息。所述配置信息用于在协处理芯片20进行初始化时，由mcu读取这些配置信息，并由mcu根据这些配置信息对协处理芯片20进行初始化。其中，所述配置信息例如可以包括pwm、dsi host slv、spislv、i2c mst0
…
n、uart0
…
n、rom、vop slv、wdt0、timer、spi mst、mailbox0
…
n等端口或模块的配置信息。
52.音频数据检测模块25用于进行音频数据的采集和音量大小的判断。其中，音频数据检测模块25包括codec adc和vad，codec adc与vad电连接。codec adc用于进行音频数据采样。vad用于对采样后的音频数据进行音量大小的判断，当音量大小未达到预设音量大小时，则认为采样后的音频数据是无效的音频数据，随后丢弃采样后的音频数据；当音量大小达到预设音量大小时，则认为采样后的音频数据为有效的音频数据，随后可以存储采集到的音频数据。
53.常开模块26始终处于上电工作状态，无论协处理芯片20处于工作状态或者休眠状态，常开模块26一直处于上电工作状态，也即常开模块26不会断电。其中，常开模块26包括图像数据传输通路261、切换开关262、时钟供给子模块263、控制子模块264以及存储子模块265。
54.其中，图像数据传输通路261诸如为mipi dphy tx，切换开关262诸如为mipi switch。mipi dphy tx与mipi switch电连接，mipi switch用于与显示屏电连接。协处理芯片20在控制显示屏显示信息时，产生的待显示图像数据经由mipi dphy tx发送到mipi switch，再由mipi switch发送到显示屏进行显示。其中，mipi dphy tx可以支持2.5gbps的数据传输速率。
55.需要说明的是，mipi switch还与主处理芯片10电连接。主处理芯片10在控制显示屏显示信息时，产生的待显示图像数据也可以发送到mipi switch，再由mipi switch发送到显示屏进行显示。
56.其中，mipi switch还与mcu电连接，由mcu对mipi switch进行控制。当需要由主处理芯片10控制显示屏显示信息时，mcu控制mipi switch切换为与主处理芯片10接通，从而主处理芯片10产生的待显示图像数据可以通过mipi switch发送到显示屏进行显示。当需要由协处理芯片20控制显示屏显示信息时，mcu控制mipi switch切换为与mipi dphy tx接通，从而协处理芯片20产生的待显示图像数据可以通过mipi switch发送到显示屏进行显示。
57.时钟供给子模块263诸如为pll*3。其中，pll*3用于为协处理芯片20提供时钟信号。
58.控制子模块264也可以用于对协处理芯片20进行控制。需要说明的是，控制子模块
264对协处理芯片20的控制功能与mcu对协处理芯片20的控制功能不同。其中，控制子模块264可以包括多个控制端口和通信端口，例如pmu、cru、grf、gpio0
…
n、intc0
…
n等多个端口。其中，pmu端口用于进行电源管理，cru端口用于进行时钟控制，grf端口用于进行寄存器控制，gpio0
…
n、intc0
…
n等端口用于进行通信。
59.存储子模块265诸如为memory。memory可以用于存储音频数据检测模块25检测到的音频数据，也可以用于存储其它数据，例如待显示图像数据。
60.音频数据处理模块27用于进行音频数据处理。其中，音频数据处理模块27可以包括dsp和wdt1。dsp用于对音频数据进行关键字提取，提取出的关键字可以用于对协处理芯片20进行控制，以实现用户对协处理芯片20的语音控制。此外，在一种可能的实施方式中，还可以通过dsp进行声纹识别，从而通过dsp的声纹识别对用户的语音控制进行鉴权。其中，dsp的处理频率可以达到400mhz，可以更加高效地处理语音算法。由此，协处理芯片20即可对采样后的音频数据进行三次处理，也即第一次处理由vad进行音量判断，第二次处理由dsp进行关键字提取，第三次处理由dsp进行声纹识别。此外，wdt1可以用于进行通信或者对dsp进行配置。
61.需要说明的是，通常的电子设备中，memory与dsp设置在同一个模块中，也即memory通常设置在音频处理模块中，memory只用于存储音频数据，而不能用于存储其它的数据。而本技术的协处理芯片20中，将memory从音频数据处理模块27中独立出来，将memory设置在常开模块26中，memory不仅可以用于存储音频数据，还可以用于存储其它数据，从而可以实现memory的共享，提高memory的利用率。
62.存储模块28诸如为share memory。share memory可以用于存储数据，例如存储音频数据或者图像数据。其中，share memory可以配置为1.5mb的存储容量。
63.通信总线29诸如为noc。其中，cif、isp、mcu、spislv、i2cslv、寄存器模块24、vad、mipi dphy tx、memory、dsp、share memory都可以与noc电连接，以实现彼此之间的通信。
64.在一些实施例中，参考图5，图5为本技术实施例提供的协处理芯片20的第四种结构示意图。
65.所述协处理芯片20还包括第一图像数据接口213和第二图像数据接口214。所述第一图像数据接口213可以为dvp(digital video interface，数字视频处理接口)，所述第二图像数据接口214可以为mipi(mobile industry processor interface，移动产业处理器接口)。所述第一图像数据接口213、所述第二图像数据接口214可以设置在所述图像数据处理模块21中。所述第一图像数据接口213、所述第二图像数据接口214都可以用于接收外部输入的图像数据。
66.需要说明的是，所述第一图像数据接口213、所述第二图像数据接口214支持传输的图像数据格式可以是不同的。例如，所述第一图像数据接口213可以支持外部输入raw格式的图像数据，所述第二图像数据接口214可以支持外部输入yuv格式的图像数据。
67.其中，所述第一图像数据接口213与所述第一图像数据处理器211电连接。所述第一图像数据处理器211，例如cif，可以支持对raw格式的图像数据进行处理，因此所述第一图像数据处理器211可以用于对所述第一图像数据接口213接收到的图像数据进行处理。
68.所述第二图像数据接口214与所述第二图像数据处理器212电连接。所述第二图像数据处理器212，例如isp，可以支持对yuv格式的图像数据进行处理，因此所述第二图像数
据处理器212可以用于对所述第二图像数据接口214接收到的图像数据进行处理。
69.在一些实施例中，参考图6，图6为本技术实施例提供的协处理芯片20的第五种结构示意图。
70.所述协处理芯片20还包括开关模块215。所述开关模块215可以为mux。所述开关模块215可以设置在所述图像数据处理模块21中。
71.其中，所述第一图像数据接口213通过所述开关模块215与所述第一图像数据处理器211电连接，所述第二图像数据接口214通过所述开关模块215与所述第二图像数据处理器212电连接。所述开关模块215可以接通所述第一图像数据接口213与所述第一图像数据处理器211，从而所述第一图像数据处理器211可以对所述第一图像数据接口213接收的图像数据进行处理。所述开关模块215也可以接通所述第二图像数据接口214与所述第二图像数据处理器212，从而所述第二图像数据处理器212可以对所述第二图像数据接口214接收的图像数据进行处理。例如，所述开关模块215可以包括两个单刀单掷开关。
72.在一些实施例中，所述第一图像数据处理器211，例如cif，可以同时支持对raw格式的图像数据和yuv格式的图像数据进行处理。所述第二图像数据处理器212，例如isp，也可以同时支持对raw格式的图像数据和yuv格式的图像数据进行处理。
73.其中，所述第一图像数据接口213还通过所述开关模块215与所述第二图像数据处理器212电连接，所述第二图像数据接口214还通过所述开关模块215与所述第一图像数据处理器211电连接。所述开关模块215可以接通所述第一图像数据接口213与所述第二图像数据处理器212，从而所述第二图像数据处理器212还可以用于对所述第一图像数据接口213接收到的图像数据进行处理。所述开关模块215还可以接通所述第二图像数据接口214与所述第一图像数据处理器211，从而所述第一图像数据处理器211还可以用于对所述第二图像数据接口214接收到的图像数据进行处理。例如，所述开关模块215可以包括双刀双掷开关。
74.可以理解的，所述协处理芯片20的控制模块22，例如mcu，可以与所述开关模块215电连接，以实现所述控制模块22对所述开关模块215的控制。例如，所述控制模块22可以通过通信总线29与所述开关模块215电连接，或者所述控制模块22也可以单独与所述开关模块215电连接。
75.所述控制模块22可以用于：控制所述开关模块215接通所述第一图像数据接口213与所述第一图像数据处理器211；或者控制所述开关模块215接通所述第二图像数据接口214与所述第二图像数据处理器212；或者控制所述开关模块215接通所述第一图像数据接口213与所述第一图像数据处理器211、所述第二图像数据处理器212中的一个，并接通所述第二图像数据接口214与所述第一图像数据处理器211、所述第二图像数据处理器212中的另一个。例如，所述控制模块22可以用于控制所述开关模块215接通所述第一图像数据接口213与所述第二图像数据处理器212，并接通所述第二图像数据接口214与所述第一图像数据处理器211。
76.参考图7，图7为本技术实施例提供的协处理芯片20中第一图像数据处理器与第二图像数据处理器的交互示意图。
77.其中，电子设备100在进行人脸识别时，所述控制模块22可以首先控制所述开关模块215接通所述第一图像数据接口213与所述第一图像数据处理器211。所述第一图像数据
处理器211根据所述第一图像数据接口213接收到的图像数据进行人脸特征点检测。在成功检测到人脸特征点后，所述第一图像数据处理器211唤醒所述第二图像数据处理器212，例如通过通信总线29向所述第二图像数据处理器212发送唤醒信号。随后，所述第二图像数据处理器212唤醒。所述控制模块22可以控制所述开关模块215接通所述第二图像数据接口214与所述第二图像数据处理器212。所述第二图像数据处理器212根据所述第二图像数据接口214接收到的图像数据进行人脸识别。
78.参考图8，图8为本技术实施例提供的电子设备100的第二种结构示意图。
79.电子设备100还包括第一图像传感器41和第二图像传感器42。所述第一图像传感器41可以为dvp sensor，用于采集图像数据并产生dvp所支持的raw格式的图像数据。所述第二图像传感器42可以为mipi sensor，用于采集图像数据并产生mipi所支持的yuv格式的图像数据。所述协处理芯片20的第一图像数据处理器211、第二图像数据处理器212中的至少一个用于对所述第一图像传感器41、所述第二图像传感器42采集到的图像数据进行处理。
80.其中，所述第一图像传感器41与所述第一图像数据接口213电连接。所述第一图像传感器41产生的图像数据可以通过所述第一图像数据接口213发送到所述第一图像数据处理器211或所述第二图像数据处理器212进行处理。
81.所述第二图像传感器42与所述第二图像数据接口214电连接。所述第二图像传感器42产生的图像数据可以通过所述第二图像数据接口214发送到所述第一图像数据处理器211或所述第二图像数据处理器212进行处理。
82.例如，所述第一图像传感器41采集到的人脸特征点图像数据可以发送到所述第一图像数据处理器211进行处理，以进行人脸特征点识别；所述第二图像传感器42采集到的人脸图像数据可以发送到所述第二图像数据处理器212进行处理，以进行人脸识别。
83.本技术实施例提供的协处理芯片20中，第一图像数据处理器211、第二图像数据处理器212中的至少一个用于对接收到的图像数据进行处理，并且第二图像数据处理器212的运行功耗大于第一图像数据处理器211的运行功耗，因此运行功耗较大的第二图像数据处理器212无需一直处于工作状态，可以由第一图像数据处理器211对图像处理精度较低的图像数据进行处理，由第二图像数据处理器212对图像处理精度较高的图像数据进行处理，因此既可以满足图像数据处理需求，又可以降低协处理芯片20的功耗，从而实现降低电子设备100的功耗。
84.以上对本技术实施例提供的协处理芯片及电子设备进行了详细介绍。本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术。同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。