基于内容的图像处理的制作方法

技术特征：
1.一种用于图像处理的装置，所述装置包括：内容图像处理电路，所述内容图像处理电路被配置为接收图像的亮度像素值和识别所述图像的片段中的内容类别的内容图，所述内容图像处理电路包括：内容因子电路，所述内容因子电路被配置为根据所述图像中的所识别的内容类别以及所述图像中的像素的纹理值或所述图像中的像素的色度值中的至少一者来确定与所述图像的像素相关联的内容因子，其中纹理值指示基于所述图像中的纹理与所述像素相关联的内容类别的可能性，并且其中色度值指示基于所述图像的颜色信息与所述像素相关联的内容类别的可能性；和内容修改电路，所述内容修改电路耦接到所述内容因子电路以接收所述内容因子并被配置为通过至少将所述内容因子应用于所述像素的亮度像素值的版本来生成所述像素的亮度像素值的锐化版本。2.根据权利要求1所述的装置，其中所述内容图由被配置为对所述图像的版本执行机器学习操作以生成所述内容图的神经处理器电路生成。3.根据权利要求1所述的装置，其中所述内容图相对于所述图像被缩小。4.根据权利要求3所述的装置，其中所述内容因子电路被配置为通过对所述内容图进行上采样来确定所述内容因子。5.根据权利要求4所述的装置，其中通过以下方式对所述内容图进行上采样：获得与所述内容图中的网格点相关联的内容因子，当所述内容图被放大以匹配所述图像的尺寸时，所述网格点环绕所述像素；以及内插所述内容因子以获得与所述像素相关联的所述内容因子。6.根据权利要求1所述的装置，其中所述内容因子根据可能性值来加权，所述可能性值基于所述图像中的所识别的内容类别、纹理值和色度值中的一者。7.根据权利要求1所述的装置，其中当所述图像被分割为第一信息和包括比第一分量的频率分量低的频率分量的第二信息时，所述亮度像素值包括在所述图像的所述第一信息中。8.根据权利要求1所述的装置，还包括耦接到所述内容图像处理电路的双向滤波器，所述双向滤波器被配置为生成所述亮度像素值的所述版本。9.根据权利要求1所述的装置，其中所述内容修改电路被配置为通过以下方式将所述内容因子应用于所述亮度像素值的所述版本：(i)响应于所述内容因子高于阈值而将所述内容因子乘以所述亮度像素值的所述版本，以及(ii)响应于所述内容因子低于所述阈值而基于所述内容因子混合所述亮度像素值的所述版本。10.根据权利要求1所述的装置，其中所述内容图是指示要应用于所述图像的对应于所述内容图中的网格点的像素的锐化量的热图。11.一种方法，所述方法包括：接收图像的亮度像素值；接收识别所述图像的片段中的内容类别的内容图；根据所述图像中的所识别的内容类别以及所述图像中的像素的纹理值或所述图像中的像素的色度值中的至少一者来确定与所述图像中的像素相关联的内容因子；其中纹理值指示基于所述图像中的纹理与所述像素相关联的内容类别的可能性，并且
其中色度值指示基于所述图像的颜色信息与所述像素相关联的内容类别的可能性；以及通过至少将所述内容因子应用于所述像素的亮度像素值的版本来生成所述像素的亮度像素值的锐化版本。12.根据权利要求11所述的方法，还包括由神经处理器电路生成所述内容图，其中所述神经处理器电路对所述图像的版本执行机器学习操作以生成所述内容图。13.根据权利要求11所述的方法，其中所述内容图相对于所述图像被缩小。14.根据权利要求13所述的方法，其中确定所述内容因子包括对所述内容图进行上采样。15.根据权利要求14所述的方法，其中对所述内容图进行上采样包括：获得与所述内容图中的网格点相关联的内容因子，当所述内容图被放大以匹配所述图像的尺寸时，所述网格点环绕所述像素；以及内插所述内容因子以获得与所述像素相关联的所述内容因子。16.一种电子设备，所述电子设备包括：神经处理器电路，所述神经处理器电路被配置为通过对图像执行机器学习算法来生成识别所述图像的片段中的内容类别的内容图；和内容图像处理电路，所述内容图像处理电路耦接到所述神经处理器电路，所述内容图像处理电路被配置为接收所述图像的亮度像素值和所述内容图，所述内容图像处理电路包括：内容因子电路，所述内容因子电路被配置为根据所述图像中的所识别的内容类别以及所述图像中的像素的纹理值或所述图像中的像素的色度值中的至少一者来确定与所述图像的像素相关联的内容因子，其中纹理值指示基于所述图像中的纹理与所述像素相关联的内容类别的可能性，并且其中色度值指示基于所述图像的颜色信息与所述像素相关联的内容类别的可能性；和内容修改电路，所述内容修改电路耦接到所述内容因子电路以接收所述内容因子并被配置为通过至少将所述内容因子应用于所述像素的亮度像素值的版本来生成所述像素的亮度像素值的锐化版本。17.根据权利要求16所述的电子设备，其中所述内容图相对于所述图像被缩小。18.根据权利要求16所述的电子设备，其中所述内容因子电路被配置为通过对所述内容图进行上采样来确定所述内容因子。19.根据权利要求18所述的电子设备，其中通过以下方式对所述内容图进行上采样：获得与所述内容图中的网格点相关联的内容因子，当所述内容图被放大以匹配所述图像的尺寸时，所述网格点环绕所述像素；以及内插所述内容因子以获得与所述像素相关联的所述内容因子。20.根据权利要求16所述的电子设备，还包括耦接到所述内容图像处理电路的双向滤波器，所述双向滤波器被配置为生成所述亮度像素值的所述版本。

技术总结
一些实施方案涉及基于图像中的内容不同地锐化该图像的片段。基于内容的锐化由接收图像的亮度值和内容图的内容图像处理电路来执行。该内容图识别该图像的片段中的内容类别。基于所识别的内容类别中的一者或多者，该电路确定与像素相关联的内容因子。该内容因子还可基于纹理和/或色度值。纹理值指示内容类别的可能性并且基于在该图像中检测到的边缘。色度值指示内容类别的可能性并且基于该图像的颜色信息。该电路接收该内容因子并将其应用于该像素的该亮度值的版本以生成该亮度值的锐化版本。版本。版本。


技术研发人员：静
受保护的技术使用者：苹果公司
技术研发日：2021.03.19
技术公布日：2022/12/1