图像纹理增强方法、装置、设备及计算机可读存储介质与流程

1.本发明涉及图像处理技术，具体涉及一种图像纹理增强方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.拍照是手机中广泛使用的功能。随着技术的不断发展，对于手机相机成像时其中的一些特定区域的纹理细节(皮肤、头发、衣物等)的清晰呈现有着越来越高的要求。
3.ignatov,andrey等(ignatov,andrey，et al."dslr-quality photos on mobile devices with deep convolutional networks."proceedings of the ieee international conference on computer vision.2017.)提出了基于cnn的深度学习方法在可见光范围内进行全场景纹理细节增强，然而该方案严重依赖于数据，而训练数据为全场景图像，不同区域的纹理细节差异较大，导致网络无法充分学习不同区域的纹理特征，提升效果不理想。此外，训练数据为可见光频段内的rgb三通道图像，所提供的细节信息有限。
4.lai,chao等(lai,chao,et al."image super-resolution based on segmentation and classification with sparsity."2016 2nd ieee international conference on computer and communications(iccc).ieee,2016)提出了首先对不同物体的区域进行分割，进而对分割后的特定区域进行纹理细节提升。然而，传统的分割方法是基于聚类/svm等进行分割，一方面，其只可对rgb域中相同颜色的区域进行分割，无法区分不同物体与材料；另一方面，基于深度学习的方法严重依赖大量人工像素级标注的数据，标注与计算均较为耗时，且同样较难区分同一物体中的不同材质、同颜色不同物体。


技术实现要素：

5.有鉴于此，本发明提供一种基于高光谱的图像纹理增强方法、增强装置、电子设备、及计算机可读存储介质，该高光谱的图像纹理增强方法能够利用高光谱图像画分出指定材质(例如皮肤、毛发、衣物等)区域，并对该指定材质区域在高光谱图像中进行纹理增强处理，从而有效解决不同材质区域纹理特征不同，而传统的深度学习方法无法充分学习纹理增强的映射关系导致的纹理细节信息不理想的问题，能够对于指定区域获取较好的纹理细节增强效果，提升照片成像质量。
6.以下从多个方面介绍本技术，以下多个方面的实施方式和有益效果可互相参考。
7.第一方面，本技术提供一种基于高光谱的图像纹理增强方法，用于终端设备，该方法包括：通过所述终端设备的可见光传感器获取拍摄对象的可见光图像，通过所述终端设备的高光谱传感器获取所述拍摄对象的高光谱图像，其中，所述可见光图像与所述高光谱图像通过同一次曝光得到；对于所述高光谱图像进行纹理增强处理，得到纹理增强高光谱图像；将所述纹理增强高光谱图像与所述可见光图像进行融合，得到纹理增强图像。
8.根据本技术的实施例方式，利用终端设备(例如，利用手机或ipad等移动终端设备)拍照时，分别通过该终端设备中的可见光传感器和高光谱传感器通过一次曝光同时获
取可见光图像和高光谱图像，此后，利用高光谱图像进行纹理增强处理，此后将纹理增强高光谱图像和可见光图像进行融合，则能够得到最终的纹理增强图像。相比于可见光图像而言，高光谱图像能够获得更多的纹理细节。该方法解决了不同区域纹理特征不同，传统深度学习方法无法充分学习纹理增强的映射关系而导致的成像纹理细节不理想的问题。
9.在上述第一方面的一种可能的实现中，所述对于所述高光谱图像进行纹理增强处理包括：对于所述高光谱图像，提取纹理特征；对于所述高光谱图像，根据光谱信息进行材质分割以划分成多个区域；通过分类网络模型对于需要进行纹理增强区域的高光谱图像基于其光谱信息进行标定，得到掩膜；基于所述掩膜与所述纹理特征对所述需要进行纹理增强区域进行纹理细节增强处理，得到所述纹理增强高光谱图像。也就是说，首先，对于高光谱图像，提取其纹理特征，构成纹理特征图像；同时，对于高光谱图像，基于其光谱信息进行材质分割以分割成多个区域，每个区域内为相同/相近似的材质，而不同区域之间材质不同，此后，对于不同区域通过分类网络模型对于需要进行纹理增强区域进行标定得到掩膜；最后，基于掩膜以及从高光谱图像中提取的纹理特征，进行纹理细节增强处理。
10.进一步地，对于所述高光谱图像，可以通过核主成分分析法提取所述纹理特征。也就是说，对于高光谱图像，通过核主成分分析算法提取其纹理特征，得到纹理特征图像。
11.在上述第一方面的一种可能的实现中，所述需要进行纹理增强区域包括毛发区域、皮肤区域、金属区域、树脂/玻璃区域、纤维区域中的一个或多个。当然，上述给出的只是示例，并非用于限制本发明的范围。在用于通过手机拍摄人像照片的场景下对于成像图像进行纹理增强处理时，可以针对指定区域(又是需要进行纹理增强区域)而非全图进行纹理增强处理。
12.在上述第一方面的一种可能的实现中，所述分类网络模型通过如下方法形成：获取与拍摄对象的不同区域相对应的多个不同材质的样本；对于每个样本，获取其光谱信息及对应的标定信息；基于所述样本，采用卷积神经网络进行训练，得到所述分类网络模型。也就是说，以人像为拍摄对象为例，进行如下训练以生成所述分类网络模型:首先，获取多个不同肤色等样本、不同颜色头发/发质样本、不同材质的眼镜样本、不同材质布料样本等；对于每个样本，对其进行标定，并获取其光谱信息；基于所述样本，采用卷积神经网络对目标函数进行训练，得到分类网络模型。其中，对应于不同的拍摄对象，可以采用不同的样本，得到不同的分类网络模型。
13.在上述第一方面的一种可能的实现中，基于所述掩膜与所述纹理特征对所述需要进行纹理增强区域进行所述纹理细节增强处理包括：对于所述需要进行纹理增强区域，将所述掩膜与所述纹理特征进行组合，并输入纹理增强网络(例如卷积神经网络)进行融合以实现所述纹理细节增强处理。也就是说，在对于需要进行纹理增强区域(例如人脸部分等)，将经过上述分类网络模型标定得到的所述掩膜与所述纹理特征相乘，由此可以得到纹理增强高光谱图像。
14.在上述第一方面的另一种可能的实现中，对于所述高光谱图像进行增强处理包括：基于所述高光谱图像，获得各通道图像；基于各通道图像通过超分辨率网络进行超分辨率处理，得到各通道的高分辨率图像；将各通道的高分辨率图像进行融合，得到所述纹理增强高光谱图像，所述纹理增强高光谱图像为高分辨率多通道高光谱图像。与上述实现方式不同，在本实现方式中，不对高光谱图像基于光谱信息进行材质分割，而是全图像进入超分
辨率网络，实现低分辨率图像的纹理增强。
15.在上述第一方面的一种可能的实现中，所述超分辨率网络包括特征提取模块、上采样模块、以及卷积层，所述基于各通道图像通过超分辨率网络进行超分辨率处理包括：对于各通道图像通过特征提取模块提取纹理特征，得到各通道的纹理特征图像；基于各通道的所述纹理特征图像，通过上采样模块提高空间分辨率；将所述上采样模块输出的纹理特征图像通过所述卷积层进行重建。也就是说，对于各通道图像，通过超分辨网路中的特征提取模块提取纹理特征，从而得到各通道的纹理特征图像；此后，将各通道的纹理特征图像输入上采样模块中来提高空间分辨率；最后，将上采样模块输出的分辨率得到提高的纹理特征图像，通过卷积层进行重建，由此，可以复原成可读的各通道的高分辨率图像。根据本技术的上述实现方式中，基于高光谱图像的各通道图像进行高分辨率处理，相比于直接利用可见光图像进行超分辨率处理而言，通过高光谱图像的多达几十个通道的通道图像，能够获取更多的细节，纹理增强效果更好。
16.在上述第一方面的一种可能的实现中，所述特征提取模块包括残差块、密集块、集团块、残差集团块中的任一种。当然，所述特征提取模块不受上述限制，其可以是任意一种能够进行特征提取的模块。
17.在上述第一方面的一种可能的实现中，所述上采样模块包括:内插上采样、反卷积上采样、子像素卷积上采样、集团上采样中的任一种。当然，所述上采样模块可以不限于此。采用合适的上采样模块可以进一步改善图像重建性能。通过上采样模块，对于输入的各通道的纹理特征图像，能够提高其空间分辨率。
18.在上述第一方面的一种可能的实现中，所述卷积层中，利用光谱相似度为预定阈值范围内的像元构建光谱约束项。也就是说，在将各通道的高分辨率特征图像通过卷积层恢复得到高分辨率的时候，利用光谱相似度为预定阈值范围内的像元构建光谱约束项，由此，能够提高重建图像光谱的准确性。
19.第二方面，本技术提供一种图像纹理增强装置，用于终端设备，包括：图像采集模块，用于获取拍摄对象的可见光图像与高光谱图像，其中，所述可见光图像与所述高光谱图像通过同一次曝光得到；增强模块，用于对所述高光谱图像进行增强处理，得到增强的高光谱图像；融合模块，用于将增强的高光谱图像与所述可见光图像进行融合，得到纹理增强图像。
20.在上述第二方面的一种可能的实现中，所述增强模块可以包括：
21.纹理特征提取模块，用于对所述高光谱图像，提取纹理特征；
22.分割模块，用于对所述高光谱图像，根据光谱信息进行材质分割以划分成多个区域；
23.分类网络模块，用于对于需要进行纹理增强区域的高光谱图像基于其光谱信息进行标定，得到掩膜；
24.纹理细节处理模块，用于基于所述掩膜与所述纹理特征对所述需要进行纹理增强区域进行纹理细节增强处理，得到所述纹理增强高光谱图像。
25.在上述第二方面的一种可能的实现中，所述纹理特征提取模块用于通过核主成分分析法提取所述纹理特征。
26.在上述第二方面的一种可能的实现中，所述需要进行纹理增强区域包括毛发区
域、皮肤区域、金属区域、树脂/玻璃区域、纤维区域中的一个或多个。
27.在上述第二方面的一种可能的实现中，所述分类网络模块通过如下方法形成：
28.获取与拍摄对象的不同区域相对应的多个不同材质的样本；
29.对于每个样本，获取其光谱信息及对应的标定信息；
30.基于所述样本，采用卷积神经网络进行训练，得到所述分类网络模块。
31.在上述第二方面的一种可能的实现中，所述纹理细节处理模块包括：
32.组合模块，用于将所述掩膜与所述纹理特征进行组合；
33.纹理增强子模块，用于对来自所述组合模块的输入进行融合以实现所述纹理细节增强处理，由此得到高光谱纹理增强图像。
34.在上述第二方面的另一种可能的实现中，所述增强模块包括：
35.通道图像获取模块，用于基于所述高光谱图像，获得各通道图像；
36.超分辨率网络模块，用于基于各通道图像进行超分辨率处理，得到各通道的高分辨率图像；
37.重建模块，用于将各通道的高分辨率图像进行融合，得到所述纹理增强高光谱图像，所述纹理增强高光谱图像为高分辨率多通道高光谱图像。
38.在上述第二方面的一种可能的实现中，所述超分辨率网络模块包括：特征提取模块、上采样模块、以及卷积层，
39.所述特征提取模块用于对于各通道图像提取纹理特征，得到各通道的纹理特征图像；
40.所述上采用模块用于基于各通道的所述纹理特征图像，提高空间分辨率；
41.卷积层用于将所述上采样模块输出的纹理特征图像进行重建。
42.在上述第二方面的一种可能的实现中，所述特征提取模块包括残差块、密集块、集团块、残差集团块中的任一种。
43.在上述第二方面的一种可能的实现中，所述上采样模块包括:内插上采样、反卷积上采样、子像素卷积上采样、集团上采样中的任一种。
44.在上述第二方面的一种可能的实现中，所述卷积层中，利用光谱相似度为预定阈值范围内的像元构建光谱约束项。
45.第三方面，本技术提供一种电子设备，包括：一个或多个处理器；一个或多个存储器，其中存储了计算机可读代码，所述计算机可读代码当由所述一个或多个处理器运行时，使得所述处理器执行上述本技术第一方面的任一种可能的实现的图像纹理增强方法。
46.第四方面，本技术提供一种计算机可读存储介质，其中存储了计算机可读代码，所述计算机可读代码当由一个或多个处理器运行时，使得所述处理器执行上述本技术第一方面的任一种可能的实现的图像纹理增强方法。
附图说明
47.图1是根据本技术一个实施例提供的图像纹理增强处理的应用场景图；
48.图2是根据本技术一个实施例提供的电子设备的结构示意图；
49.图3是根据本技术一个实施例提供的电子设备的软件结构框图；
50.图4是根据本技术一个实施例提供的图像纹理增强方法的流程示意图；
51.图5是根据本技术一个具体实施例提供的图像纹理增强方法中对于高光谱图像进行纹理增强处理的流程示意图；
52.图6是根据本技术一个实施例提供的图像纹理增强方法的另一个流程示意图；
53.图7是图6所示实施例的图像纹理增强方法中各步骤处理后的图像,其中，(a)为可见光图像，(b)为高光谱图像，(c)为纹理特征图像，(d)为纹理增强高光谱图像，(e)为最终的纹理增强图像；
54.图8是根据本技术另一个具体实施例提供的图像纹理增强方法中对于高光谱图像进行纹理增强处理的流程示意图；
55.图9是根据图8所示的图像纹理增强方法中超分辨率处理的流程示意图；
56.图10是根据本技术的一个实施例提供的图像纹理增强装置的框图；
57.图11是用于根据图5实施例提供的图像纹理增强方法的增强模块的框图；
58.图12是用于根据图8实施例提供的图像纹理增强方法的增强模块的框图；
59.图13是根据本技术一些实施例的一种设备的框图；
60.图14是根据本技术一些实施例的一种片上系统(soc)的框图。
具体实施方式
61.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
62.可以理解的是，如本文所使用的，术语“模块
””
可以指代或者包括专用集成电路(asic)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用、或群组)和/或存储器、组合逻辑电路、和/或提供所描述的功能的其他适当硬件组件，或者可以作为这些硬件组件的一部分。
63.可以理解的是，在本技术各实施例中，处理器可以是微处理器、数字信号处理器、微控制器等，和/或其任何组合。根据另一个方面，所述处理器可以是单核处理器，多核处理器等，和/或其任何组合。
64.下面，参考附图对本技术的实施例进行进一步详细说明。
65.图1是根据本技术一个实施例的图像纹理增强处理方法的应用场景图。图1示出了利用终端设备(图1示出了该终端设备为手机的情况)进行自拍或者对拍摄对象进行拍摄的场景。在此情况下，该手机在按下快门时(或触发拍摄键时)，通过手机中的可见光传感器与高光谱传感器同时获得可见光图像和高光谱图像，此后手机利用其中的高光谱图像进行纹理增强处理，并将纹理增强处理后得到的纹理增强高光谱图像与可见光图像进行融合，最终输出纹理增强图像。也就是说，该手机在触发拍摄功能后，经过手机中的处理器调用本技术的图像增强处理方法进行处理，最终输出纹理增强图像。
66.图2示出了根据本技术一些实施例的电子设备100的结构示意图。
67.电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器
170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
68.可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
69.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
70.处理器110可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
71.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
72.在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
73.i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k，充电器，闪光灯，摄像头193等。例如：处理器110可以通过i2c接口耦合触摸传感器180k，使处理器110与触摸传感器180k通过i2c总线接口通信，实现电子设备100的触摸功能。
74.i2s接口可以用于音频通信。在一些实施例中，处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
75.pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中，音频模块170
也可以通过pcm接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
76.uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过uart接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
77.mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serial interface，dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现电子设备100的显示功能。
78.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
79.可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本技术另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
80.usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如ar设备等。
81.充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
82.电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
83.电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
84.天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
91.电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
92.isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
93.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。
94.数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
95.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
96.npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
97.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
98.内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。
99.根据本技术的一些实施例，内部存储器121内存储有指令(换言之，计算机可读代码)，处理器110读取内部存储器121中存储的所述指令时，执行根据本技术的图像增强处理
方法。具体可以参考下述实施例的图像增强处理方法。
100.电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
101.音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
102.扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐，或收听免提通话。
103.受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
104.麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中，电子设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
105.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
106.压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180a检测所述触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
107.陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
108.气压传感器180c用于测量气压。在一些实施例中，电子设备100通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。
109.磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮
套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
110.加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
111.距离传感器180f，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180f测距以实现快速对焦。
112.接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
113.环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备100是否在口袋里，以防误触。
114.指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
115.温度传感器180j用于检测温度。在一些实施例中，电子设备100利用温度传感器180j检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，电子设备100执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。
116.触摸传感器180k，也称“触控器件”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
117.骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180m也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息，实现心率检测功能。
118.按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信
号输入。
119.马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
120.指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
121.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口195可以支持nano sim卡，micro sim卡，sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用esim，即：嵌入式sim卡。esim卡可以嵌在电子设备100中，不能和电子设备100分离。
122.下面，结合图4-图12描述根据本技术实施例的图像增强处理方法和图像增强处理装置。
123.图4示出了根据本技术一个实施例提供的图像纹理增强方法的流程示意图。图10示出了根据本技术一个实施例提供的图像纹理增强装置的框图。
124.如图10所示，根据本技术实施例提供的图像纹理增强装置1000，包括图像采集模块400，增强模块500，以及融合模块600。
125.如图4所示，根据本技术实施例的图像纹理增强方法包括：
126.步骤s100，通过所述终端设备的可见光传感器获取拍摄对象的可见光图像，通过所述终端设备的高光谱传感器获取所述拍摄对象的高光谱图像，其中，所述可见光图像与所述高光谱图像通过同一次曝光得到。
127.也就是说，利用终端设备(例如，利用手机或ipad等移动终端设备)拍照时，分别通过该终端设备中的可见光传感器和高光谱传感器通过一次曝光同时获取可见光图像和高光谱图像。
128.参考图10，也就是说，根据本技术实施例的图像纹理增强方法，通过图像纹理增强装置1000中的图像采集模块400，通过终端设备的可见光传感器和高光谱传感器，获取拍摄对象的可见光图像与高光谱图像，其中，所述可见光图像与所述高光谱图像通过同一次曝光得到。
129.其中，如图7所示，可见光图像是rgb三通道图像，而高光谱图像是具有高达几十个通道的多通道图像。也就是说，高光谱图像通过其光谱信息等提供了更多的纹理细节信息。例如，对于同样呈现为黑色的头发和衣服，在可见光的情况下则较难区分其中的纹理细节，而高光谱图像可以利用其不同的光谱信息将其进行区分，从而能够获得更多的纹理细节。此外，例如，相比于可见光的rgb三通道而言，高光谱图像具有高达几十个通道，利用多通道图像可以通过提取多通道图像纹理特征，利用各通道纹理特征图像的结构自相似性能够提升图像的空间分辨率，且能够获得比可见光的三通道图像更多的纹理细节。
130.步骤s200，对于所述高光谱图像进行纹理增强处理，得到纹理增强高光谱图像。
131.也就是说，在获得可见光图像和高光谱图像之后，首先利用高光谱图像进行纹理增强处理。
132.参考图10，也就是说，通过图像纹理增强装置1000中的增强模块500，对于高光谱图像进行增强处理。
133.关于具体的纹理增强处理过程，后续通过2个不同的实施例以及附图进行说明。
134.步骤s300，将所述纹理增强高光谱图像与所述可见光图像进行融合，得到纹理增强图像。
135.也就是说，在获得纹理增强高光谱图像之后，将其与可见光图像进行融合，得到最终的纹理增强图像。
136.参考图10，也就是说，通过图像纹理增强装置1000中的融合模块600，将纹理增强高光谱图像与可见光图像进行融合，得到最终的纹理增强图像。作为具体的融合手段，例如，可以将可见光图像与纹理增强高光谱图像输入至卷积层中进行融合，得到最终的纹理增强图像。
137.下面，对于增强模块500、以及纹理增强处理步骤的细节，分别结合两个具体实施例进行详细说明。
138.实施例1
139.图5示出了根据本技术一个具体实施例提供的图像纹理增强方法中对于高光谱图像进行纹理增强处理的流程示意图，图11示出了用于根据图5实施例的图像纹理增强方法中的增强模块的框图。
140.如图11所示，该增强模块500a中，包括纹理特征提取模块501a，分割模块502a，分类网络模块503a，以及纹理细节处理模块504a。
141.如图5所示，该实施例提供的图像纹理增强方法中对于高光谱图像进行纹理增强处理包括如下步骤：
142.步骤s201a，对于所述高光谱图像，提取纹理特征。由此，得到纹理特征图像。
143.也就是说，通过纹理特征提取模块501a，对所述高光谱图像提取其纹理特征，输出纹理特征图像。
144.关于纹理特征的提取方法，可以使用多种方法，例如主成分分析法(pca)、核主成分分析法(kpca)、基于tamura纹理特征的提取方法等。其中，核主成分分析法，通过设计合适的核函数，将数据输入空间转换为特征空间，再进行特征变换，由此可以保留像素件的非相关性，提高图像的可解释性，突出不同材料的纹理信息。
145.步骤s202a，对于所述高光谱图像，根据光谱信息进行材质分割以划分出多个区域。
146.也就是说，对于高光谱图像，通过分割模块502a进行分区处理。根据高光谱图像的光谱信息能够确定出不同的材质信息，因此，利用其光谱信息可以进行分区，区划出不同区域，每个区域内为相同/相近似的材质，而不同区域之间材质不同。
147.在此基础上可以对于需要进行纹理增强区域进行纹理增强处理。以人像拍摄为例，例如，可以将所述需要进行纹理增强区域想定为毛发区域、皮肤区域、金属区域、树脂/玻璃区域、纤维区域中的一个或多个。当然，上述给出的只是示例，并非用于限制本发明的
范围。在用于通过手机拍摄人像照片的场景下对于成像图像进行纹理增强处理时，可以针对指定的区域而非全图进行纹理增强处理，例如，对于毛发区域(对应头发、眉毛等区域)、皮肤区域(对应人脸等区域)、金属区域(例如可以对应眼镜、金属饰物等)、树脂/玻璃区域(对应眼镜片区域)、纤维区域(对应衣服、帽子、围巾等区域)进行纹理细节增强，也就是说对于人脸/身体部分进行纹理增强，对于此外的背景区域则可以不用进行增强处理。在用于通过手机等进行静物拍摄的场景下对于成像图像进行纹理增强处理时，例如，可以针对指定的区域，例如植物区域(用于拍摄植物、鲜花等)、肉类、鱼类、陶瓷器类(对于餐桌上的食物进行拍摄时)等等区域进行纹理细节增强处理，而对于此外的背景区域则不进行处理。
148.步骤s203a，通过分类网络模型对于需要进行纹理增强区域的高光谱图像基于其光谱信息进行标定，得到掩膜。
149.也就是说，在上述步骤s202a进行分区处理之后，通过分类网络模型对于其中的需要进行纹理增强区域的高光谱图像基于其光谱信息进行标定，得到掩膜。
150.也就是说，通过分类网络模块503a对于其中的需要进行纹理增强区域的高光谱图像基于其光谱信息进行标定，得到掩膜。
151.具体地，所述分类网络模型可以通过如下方法训练形成：
152.首先，获取与拍摄对象的不同区域相对应的多个不同材质的样本；
153.接着，对于每个样本，获取其光谱信息及对应的标定信息；
154.然后，基于所述样本，采用卷积神经网络进行训练，得到所述分类网络模型。
155.也就是说，以人像为拍摄对象为例，进行如下训练以生成所述分类网络模型:首先，获取多个不同肤色等样本、不同颜色头发/发质样本、不同材质的眼镜样本、不同材质布料样本等；对于每个样本，对其进行标定，并获取其光谱信息；基于所述样本，采用卷积神经网络对目标函数进行训练，得到分类网络模型。其中，对应于不同的拍摄对象，可以采用不同的样本，得到不同的分类网络模型。需要注意的是，对于需要增强的对象、区域不同，样本也不同。
156.步骤s204a，基于所述掩膜与所述纹理特征对所述需要进行纹理增强区域进行纹理细节增强处理，得到所述纹理增强高光谱图像。
157.也就是说，在获得掩膜和纹理特征图像之后，基于此对所述需要进行纹理增强区域进行纹理细节增强处理，得到所述纹理增强高光谱图像。换言之，通过纹理细节处理模块504a，基于所述掩膜和纹理特征图像进行对所述需要进行纹理增强区域进行纹理细节增强处理。
158.具体而言，首先，对于所述需要进行纹理增强处理区域，通过组合模块5041a将所述掩膜与所述纹理特征进行组合，此后输入纹理增强子模块5042a进行融合，由此实现所述纹理细节增强处理。
159.下面结合图6和图7对于通过上述给出的增强处理的具体方法的整个流程进行进一步详细说明。
160.图6示出了根据本技术一个实施例提供的图像纹理增强方法的另一个流程示意图，图7示出了根据图6所示实施例的图像纹理增强方法中各步骤处理后的图像,其中，(a)为可见光图像，(b)为高光谱图像，(c)为纹理特征图像，(d)为纹理增强高光谱图像，(e)为最终的纹理增强图像。
161.也就是说，首先，通过手机中的可见光传感器获得可见光图像(a)(三通道图像)，并通过手机中的高光谱传感器获得高光谱图像(b)(多通道图像)。
162.此后，对于高光谱图像(b)提取其纹理特征，得到纹理特征图像(c)。
163.同时，对于高光谱图像(b)，利用光谱信息进行材质分区，并通过分类网络进行标定，得到掩膜。
164.此后，将上述掩膜与纹理特征图像进行组合，也就是进行相乘，并将相乘结果作为输入，通过纹理增强网络进行融合，以对其中的纹理细节进行增强处理，将纹理特征图像还原为纹理增强高光谱图像(d)。
165.最后，将可见光图像(a)和纹理增强高光谱图像进行融合得到最终的纹理增强图像(e)。
166.实施例2
167.图8示出了根据本技术另一个具体实施例提供的图像纹理增强方法中对于高光谱图像进行纹理增强处理的流程示意图，图12示出了图12是用于根据图8实施例提供的图像纹理增强方法的增强模块的框图。
168.与实施例1不同的是，本实施例中，不对高光谱图像进行分割处理，而是全图像进入超分辨率网络进行处理，得到高分辨率图片。
169.具体地，如图12所示，该增强模块500b中包括：通道图像获取模块501b，超分辨率网络模块502b，以及重建模块503b。更具体地，其中超分辨率网络模块502b又可以包括特征提取模块5021b、上采样模块5022b、以及卷积层5023b。
170.如图8所示，在该实施例中，对于高光谱图像的纹理增强处理包括：
171.步骤s201b，基于所述高光谱图像，获得各通道图像。
172.也就是说，对于高光谱图像，通过通道图像获取模块501b，按照通道不同进行划分，获得各通道图像。
173.步骤s202b，基于各通道图像通过超分辨率网络进行超分辨率处理，得到各通道的高分辨率图像。
174.接着，基于各通道图像，通过超分辨率网络模块502b进行超分辨率处理，得到各通道的高分辨率图像。
175.更具体而言，超分辨率网络模块502b又可以包括特征提取模块5021b、
176.上采样模块5022b、以及卷积层5023b。如图9所示，超分辨率处理(也就是步骤s202b)可以包括：
177.步骤s202b-1，对于各通道图像，通过特征提取模块5021b提取纹理特征，得到各通道的纹理特征图像。
178.其中，作为特征提取模块5021b，可以为残差块、密集块、集团块、残差集团块中的任一种。当然，所述特征提取模块不受上述限制，其可以是任意一种能够进行特征提取的模块。其中，集团块的前向传播包含两个阶段，第一阶段的传播与密集块的传播相同，第二阶段则进一步提炼特征，因此，与密集块相比，集团块能够更容易地传播层之间的信息，在此基础上，在集团块中添加残差连接，能够更好地传播更多的信息。
179.步骤s202b-2，基于各通道的所述纹理特征图像，通过上采样模块5022b提高空间分辨率。
180.其中，最为上采样模块5022b，可以为内插上采样、反卷积上采样、子像素卷积上采样、集团上采样中的任一种。当然，所述上采样模块可以不限于此。采用合适的上采样模块可以进一步改善图像重建性能。通过上采样模块5022b，对于输入的各通道的纹理特征图像，能够提高其空间分辨率。具体而言，利用各通道的纹理特征图像的结构自相似性来提升图像的空间分辨率。其中，集团上采样，通过例如逆离散小波变换来改变各通道特征图像的分辨率，得到各通道的高分辨率特征图像，不仅如此，集团上采样，利用结构自相似性，可以采用系数相互学习的方法得到更精细的细节部分。
181.步骤s202b-3，将所述上采样模块5022b输出的纹理特征图像(分辨率得到提高后的纹理特征图像)通过卷积层5023b进行重建，将纹理特征图像恢复为各通道的高分辨率图像。
182.也就是说，在将各通道的高分辨率特征图像通过卷积层恢复得到高分辨率的时候，利用光谱相似度为预定阈值范围内的像元构建光谱约束项，由此，能够提高重建图像光谱的准确性。
183.步骤s203b，将各通道的高分辨率图像进行融合，得到所述纹理增强高光谱图像，所述纹理增强高光谱图像为高分辨率多通道高光谱图像。
184.也就是说，在获得各通道的高分辨率图像之后，进行融合，得到高分辨率多通道高光谱图像。
185.此外，本技术还提供过一种计算机程序产品，在运行该计算机程序时，能够实现上述实施例的图像纹理增强方法。
186.进一步，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，在运行该计算机程序时，能够实现上述实施例的图像纹理增强方法。
187.下面，参考图13对本技术的一个实施例的设备1200进行说明。图13所示为根据本技术的一个实施例的设备1200的框图。设备1200可以包括耦合到控制器中枢1203的一个或多个处理器1201。对于至少一个实施例，控制器中枢1203经由诸如前端总线(front side bus，fsb)之类的多分支总线、诸如快速通道互连(quick path interconnect，qpi)之类的点对点接口、或者类似的连接1206与处理器1201进行通信。处理器1201执行控制一般类型的数据处理操作的指令。在一实施例中，控制器中枢1203包括，但不局限于，图形存储器控制器中枢(graphics memory controller hub，gmch)(未示出)和输入/输出中枢(input output hub，ioh)(其可以在分开的芯片上)(未示出)，其中gmch包括存储器和图形控制器并与ioh耦合。
188.设备1200还可包括耦合到控制器中枢1203的协处理器1202和存储器1204。或者，存储器和gmch中的一个或两者可以被集成在处理器内(如本技术中所描述的)，存储器1204和协处理器1202直接耦合到处理器1201以及控制器中枢1203，控制器中枢1203与ioh处于单个芯片中。存储器1204可以是例如动态随机存取存储器(dynamic random access memory，dram)、相变存储器(phase change memory，pcm)或这两者的组合。在一个实施例中，协处理器1202是专用处理器，诸如例如高吞吐量mic处理器(many integerated core，mic)、网络或通信处理器、压缩引擎、图形处理器、通用图形处理器(general purpose computing on gpu，gpgpu)、或嵌入式处理器等等。协处理器1202的任选性质用虚线表示在图13中。
189.存储器1204作为计算机可读存储介质，可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性计算机可读介质。例如，存储器1204可以包括闪存等任何合适的非易失性存储器和/或任何合适的非易失性存储设备，例如一个或多个硬盘驱动器(hard-diskdrive，hdd(s))，一个或多个光盘(compact disc，cd)驱动器，和/或一个或多个数字通用光盘(digital versatile disc，dvd)驱动器。
190.在一个实施例中，设备1200可以进一步包括网络接口(network interface controller，nic)1206。网络接口1206可以包括收发器，用于为设备1200提供无线电接口，进而与任何其他合适的设备(如前端模块，天线等)进行通信。在各种实施例中，网络接口1206可以与设备1200的其他组件集成。网络接口1206可以实现上述实施例中的通信单元的功能。
191.设备1200可以进一步包括输入/输出(input/output，i/o)设备1205。i/o 1205可以包括：用户界面，该设计使得用户能够与设备1200进行交互；外围组件接口的设计使得外围组件也能够与设备1200交互；和/或传感器设计用于确定与设备1200相关的环境条件和/或位置信息。
192.值得注意的是，图9仅是示例性的。即虽然图13中示出了设备1200包括处理器1201、控制器中枢1203、存储器1204等多个器件，但是，在实际的应用中，使用本技术各方法的设备，可以仅包括设备1200各器件中的一部分器件，例如，可以仅包含处理器1201和nic1206。图13中可选器件的性质用虚线示出。
193.根据本技术的一些实施例，作为计算机可读存储介质的存储器1204上存储有指令，该指令在计算机上执行时使系统1200执行根据上述实施例中的图像纹理增强方法，具体可参照上述实施例的方法，在此不再赘述。
194.图14所示为根据本技术的一实施例的soc(system on chip，片上系统)1300的框图。在图14中，相似的部件具有同样的附图标记。另外，虚线框是更先进的soc的可选特征。在图14中，soc1300包括：互连单元1350，其被耦合至应用处理器1310；系统代理单元1380；总线控制器单元1390；集成存储器控制器单元1340；一组或一个或多个协处理器1320，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(static random access memory，sram)单元1330；直接存储器存取(dma)单元1360。在一个实施例中，协处理器1320包括专用处理器，诸如例如网络或通信处理器、压缩引擎、gpgpu、高吞吐量mic处理器、或嵌入式处理器等。
195.静态随机存取存储器(sram)单元1330中可以包括用于存储数据和/或指令的一个或多个计算机可读介质。计算机可读存储介质中可以存储有指令，具体而言，存储有该指令的暂时和永久副本。该指令可以包括：由处理器中的至少一个单元执行时使soc1300执行根据上述实施例中的计算方法，具体可参照上述实施例的方法，在此不再赘述。
196.本技术公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本技术的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
197.可将程序代码应用于输入指令，以执行本技术描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本技术的目的，处理系统包括
具有诸如例如数字信号处理器(digital signal processor，dsp)、微控制器、专用集成电路(application specific integrated circuit，asic)或微处理器之类的处理器的任何系统。
198.程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本技术中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
199.在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、光盘只读存储器(compact disc read only memory，cd-roms)、磁光盘、只读存储器(read only memory，rom)、随机存取存储器(ram)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、电可擦除可编程只读存储器(electrically erasable programmable read only memory，eeprom)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
200.在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明书附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
201.需要说明的是，本技术各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本技术所提出的技术问题的关键。此外，为了突出本技术的创新部分，本技术上述各设备实施例并没有将与解决本技术所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
202.需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
203.虽然通过参照本技术的某些优选实施例，已经对本技术进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本技术
的精神和范围。