护眼系统、护眼方法、电子设备及计算机可读存储介质与流程

1.本发明属于图像处理技术领域，特别是涉及一种护眼系统、护眼方法、电子设备及计算机可读存储介质。


背景技术：

2.电子产品已经深入到我们社会生活的各个领域，我们的生活、休闲、购物、娱乐和学习等活动中，电子产品都扮演着重要的角色。我们使用电子产品越来越频繁，使用电子的平均时间呈现上升趋势，近视的发病率也越来越高。
3.电子产品的电磁辐射、强光、刷新频率和屏幕材质等物理因素，如果我们长时间使用这类电子产品，都会引起我们的不适。
4.因此，如何提供一种护眼系统、护眼方法、电子设备及计算机可读存储介质，以解决现有电子产品引起的用眼不适等缺陷，实已成为本领域技术人员亟待解决的技术问题。


技术实现要素：

5.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种护眼系统、护眼方法、电子设备及计算机可读存储介质，用于解决现有电子产品引起的用眼不适的问题。
6.为实现上述目的及其他相关目的，本发明一方面提供一种护眼系统，包括：复合传感数据采集器，用于采集环境中的复合传感数据；显示器，用于显示多媒体内容中的图像数据；处理器，用于获取环境中的复合传感数据和多媒体内容中的图像数据，并对环境中的复合传感数据和多媒体内容中的图像数据进行规范化处理；通过规范化后的环境中的复合传感数据对规范化后的多媒体内容中的图像数据进行融合计算，以获取图像护眼指导参数；根据所述图像护眼指导参数，调整多媒体内容中的图像数据，使多媒体内容形成具有护眼效果的多媒体图像；其中，所述图像护眼指导参数与规范化后的环境中的复合传感数据和多媒体内容中的图像数据之间具有映射关系。
7.于本发明的一实施例中，所述复合传感数据采集器包括rgb传感器、深度传感器、光照传感器、距离传感器和/或红外传感器。
8.于本发明的一实施例中，待所述处理器形成具有护眼效果的多媒体图像后，根据所述复合传感数据采集器所采集的环境中的复合传感数据，调试所述显示器，使之显示所述具有护眼效果的多媒体内容。
9.于本发明的一实施例中，所述处理器对所述环境中的复合传感数据进行规范化处理包括对所述环境中的复合传感数据进行异常值过滤、缺失值插值修复、映射参数值域和/或调整参数权值；所述处理器对多媒体内容中的图像数据进行规范化处理包括对多媒体内容中的图像数据进行颜色格式转换、图像旋转、图像缩放和/或图像裁剪。
10.于本发明的一实施例中，所述处理器中设置有图像数据的学习引擎；所述处理器在通过规范化后的环境中的复合传感数据对规范化后的多媒体内容中的图像数据进行融合计算过程中，调用所述图像数据的学习引擎加载一护眼模型文件，根据所述护眼模型文
件，在所述护眼模型文件和规范化后的环境中的复合传感数据与规范化后的多媒体内容中的图像数据之间建立映射关系，以推理出所述图像护眼指导参数；其中，所述护眼模型文件是将通用训练护眼数据集通过卷积神经网络训练后获取的数据文件。
11.本发明另一方面提供一种护眼方法，包括：获取环境中的复合传感数据和多媒体内容中的图像数据，并对环境中的复合传感数据和多媒体内容中的图像数据进行规范化处理；通过规范化后的环境中的复合传感数据对规范化后的多媒体内容中的图像数据进行融合计算，以获取图像护眼指导参数；其中，所述图像护眼指导参数与规范化后的环境中的复合传感数据和多媒体内容中的图像数据之间具有映射关系；根据所述图像护眼指导参数，调整多媒体内容中的图像数据，使多媒体内容形成具有护眼效果的多媒体图像。
12.于本发明的一实施例中，对所述环境中的复合传感数据进行规范化处理的步骤包括：对所述环境中的复合传感数据进行异常值过滤、缺失值插值修复、映射参数值域和/或调整参数权值；对多媒体内容中的图像数据进行规范化处理的步骤包括：对多媒体内容中的图像数据进行颜色格式转换、图像旋转、图像缩放和/或图像裁剪。
13.于本发明的一实施例中，所述通过规范化后的环境中的复合传感数据对规范化后的多媒体内容中的图像数据进行融合计算，以获取图像护眼指导参数的步骤包括：调用预存图像数据的学习引擎加载一护眼模型文件，根据所述护眼模型文件，在所述护眼模型文件和规范化后的环境中的复合传感数据与规范化后的多媒体内容中的图像数据之间建立映射关系，以推理出所述图像护眼指导参数；其中，所述护眼模型文件是将通用训练护眼数据集通过卷积神经网络训练后获取的数据文件。
14.本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述护眼方法。
15.本发明最后一方面提供一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行所述数据护眼方法。
16.如上所述，本发明所述的护眼系统、方法、设备及计算机可读存储介质，具有以下有益效果：
17.本发明所述护眼系统、方法、设备及计算机可读存储介质充分利用电子产品自身的计算能力和传感器数据，利用融合计算及深度学习实现了护眼算法，改善了电子产品的护眼特性。
附图说明
18.图1显示为本发明的护眼系统于一实施例中的原理结构示意图。
19.图2显示为本发明的护眼方法于一实施例中的流程示意图。
20.图3显示为本发明的电子设备于一实施例中的原理结构示意图。
21.元件标号说明
[0022]1ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
护眼系统
[0023]
11
ꢀꢀꢀꢀꢀꢀꢀꢀ
复合传感数据采集器
[0024]
12
ꢀꢀꢀꢀꢀꢀꢀꢀ
显示器
[0025]
13
ꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
[0026]
131
ꢀꢀꢀꢀꢀꢀꢀ
融合计算模块
[0027]
132
ꢀꢀꢀꢀꢀꢀꢀ
显示指导模块
[0028]3ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
电子设备
[0029]
31
ꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
[0030]
32
ꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
[0031]
33
ꢀꢀꢀꢀꢀꢀꢀꢀ
收发器
[0032]
34
ꢀꢀꢀꢀꢀꢀꢀꢀ
通信接口
[0033]
35
ꢀꢀꢀꢀꢀꢀꢀꢀ
系统总线
[0034]
s21～s24
ꢀꢀ
步骤
具体实施方式
[0035]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0036]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0037]
实施例一
[0038]
本实施例提供一种护眼系统，包括：
[0039]
复合传感数据采集器，用于采集环境中的复合传感数据；
[0040]
显示器，用于采集多媒体内容中的图像数据；
[0041]
处理器，用于获取环境中的复合传感数据和多媒体内容中的图像数据，并对环境中的复合传感数据和多媒体内容中的图像数据进行规范化处理；通过规范化后的环境中的复合传感数据对规范化后的多媒体内容中的图像数据进行融合计算，以获取图像护眼指导参数；根据所述图像护眼指导参数，调整多媒体内容中的图像数据，使多媒体内容形成具有护眼效果的多媒体图像；其中。所述图像护眼指导参数与规范化后的环境中的复合传感数据和多媒体内容中的图像数据之间具有映射关系。
[0042]
以下将结合图示对本实施例所提供的护眼系统进行详细描述。本实施例所述护眼系统应用于电子产品中，例如，手机，平板电脑，笔记本电脑等具有显示屏幕的电子产品。请参阅图1，显示为护眼系统于一实施例中的原理结构示意图。如图1所示，所述护眼系统1包括复合传感数据采集器11、显示器12及处理器13。
[0043]
所述复合传感数据采集器11用于采集所述电子产品所处环境中的复合传感数据。所述复合传感数据包括环境中的色温和亮度等。
[0044]
于本实施例中，所述复合传感数据采集器11包括rgb传感器、深度传感器、光照传感器、距离传感器和/或红外传感器等。
[0045]
所述显示器12用于显示多媒体内容中的图像数据。所述多媒体内容包括课本、绘
本、视频、图像和界面等，该些多媒体内容对于显示器都是图像数据。
[0046]
与所述复合传感数据采集器11和所述显示器12连接的处理器13用于获取环境中的复合传感数据和多媒体内容中的图像数据，并对所述环境中的复合传感数据和多媒体内容中的图像数据进行规范化处理；通过规范化后的环境中的复合传感数据对规范化后的多媒体内容中的图像数据进行融合计算，以获取图像护眼指导参数；根据所述图像护眼指导参数，调整多媒体内容中的图像数据，使多媒体内容形成具有护眼效果的多媒体图像；其中。所述图像护眼指导参数与规范化后的环境中的复合传感数据和多媒体内容中的图像数据之间具有映射关系。如图1所示，所述处理器13包括融合计算模块131和显示指导模块132。
[0047]
由于复合传感数据采集器11采集到数据可能存在不稳定的情况，因此，需要对异常值进行处理。另外，对于每次采集到的新的复合传感数据和图像数据，为保证固定参数分布，以及加快后续数据优化效率，需要对参数进行规范化处理。另外，由于复合传感数据和图像数据作为不同的变量，可能存在不同数据范围和不同数据格式，故所述处理器13需要对二者分别进行规范化处理。
[0048]
具体地，所述融合计算模块131对所述环境中的复合传感数据进行规范化处理包括但不仅限于对所述环境中的复合传感数据进行异常值过滤、缺失值插值修复、映射参数值域和/或调整参数权值等处理。
[0049]
具体地，所述融合计算模块131对多媒体内容中的图像数据进行规范化处理包括但不仅限于对多媒体内容中的图像数据进行颜色格式转换、图像旋转、图像缩放和/或图像裁剪等处理。
[0050]
在本实施例中，所述融合计算模块131采用用于数据图像的机器学习方法、用于数据图像的深度学习方法、用于数据图像的专家系统方法等方法对规范化后的环境中的复合传感数据和规范化后的多媒体内容中的图像数据进行融合计算，以形成图像护眼指导参数。
[0051]
在不同色温和不同亮度下，对于不同内容的图像，通过心理学实验得到人对亮度、白平衡、饱和度、对比度等参数的主观感受，通过学习的方法，将色温、光照、图像内容等信息与人眼主观感受到的合适的白平衡、亮度、饱和度、对比度信息建立映射关系，以获取图像护眼指导参数。
[0052]
具体地，所述融合计算模块131在通过规范化后的环境中的复合传感数据对规范化后的多媒体内容中的图像数据进行融合计算过程中，调用所述图像数据的学习引擎加载一护眼模型文件，根据所述护眼模型文件，在所述护眼模型文件和规范化后的环境中的复合传感数据与规范化后的多媒体内容中的图像数据之间建立映射关系，以推理出所述图像护眼指导参数；其中，所述护眼模型文件是将通用训练护眼数据集通过卷积神经网络训练后获取的数据文件。于本实施例中年，所述图像护眼指导参数可以为图像处理提供先验知识，使处理结果能够模拟真实环境光下类纸的漫反射的效果。
[0053]
在本实施例中，通用训练护眼数据集的训练过程包括数据标定、模型定义、参数调优、数据训练，最终会得到针对特定数据的权重网络。
[0054]
于本实施例中，所述图像护眼指导参数包括但不限于不同环境光下显示屏的色温与亮度、人眼与屏幕的距离属性、不同显示内容所需要的颜色、亮度、对比度等参数。
[0055]
在本实施例中，在获取图像护眼指导参数后，所述显示指导模块132还用于根据所述图像护眼指导参数，调整多媒体内容中的图像数据，使多媒体内容形成具有护眼效果的多媒体图像。
[0056]
具体地，所述显示指导模块132根据图像护眼指导参数，调整多媒体内容中的亮度与图像护眼指导参数中的环境光亮度一致，调整多媒体内容中的色温与图像护眼指导参数中的环境光色温一致、调整多媒体内容中的对比度与图像护眼指导参数中的对比度一致及通过图像护眼指导参数计算不同颜色在特定环境下的色彩映射关系，将所述多媒体内容中的色彩通过该色映射关系进行调整等等。
[0057]
在本实施例中，上述对多媒体内容中的图像数据的调整可以通过但不限于机器学习、深度学习、无监督学习等人工智能算法和global tone mapping,local tone mapping等图像处理算法来实现。
[0058]
于实际应用中，仅仅调整数字图像的护眼效果是不够的，还需要配合调整显示器的显示亮度与色温等参数，以达到最佳的护眼效果。
[0059]
待形成具有护眼效果的多媒体图像后，所述处理器13根据所述复合传感数据采集器所采集的环境中的复合传感数据，调试所述显示器，使之显示所述具有护眼效果的多媒体内容。
[0060]
需要说明的是，上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0061]
上述模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，一个或多个微处理器(digital singnal processor，简称dsp)，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
[0062]
本实施例所述护眼系统充分利用电子产品自身的计算能力和传感器数据，利用融合计算及深度学习实现了护眼算法，改善了电子产品的护眼特性。
[0063]
实施例二
[0064]
本实施例提供一种护眼方法，包括：
[0065]
获取环境中的复合传感数据和多媒体内容中的图像数据，并对所述环境中的复合传感数据和多媒体内容中的图像数据进行规范化处理；
[0066]
通过规范化后的环境中的复合传感数据对规范化后的多媒体内容中的图像数据进行融合计算，以获取图像护眼指导参数；其中，所述图像护眼指导参数与规范化后的环境中的复合传感数据和多媒体内容中的图像数据之间具有映射关系；
[0067]
根据所述图像护眼指导参数，调整多媒体内容中的图像数据，使多媒体内容形成具有护眼效果的多媒体图像。
[0068]
以下将结合图示对本实施例所提供的护眼方法进行详细描述。请参阅图2，显示为护眼方法于一实施例中的流程示意图。如图2所示，所述护眼方法包括以下步骤：
[0069]
s21，获取环境中的复合传感数据和多媒体内容中的图像数据，并对所述环境中的复合传感数据和多媒体内容中的图像数据进行规范化处理。
[0070]
由于获取到数据可能存在不稳定的情况，因此，需要对异常值进行处理。另外，对于每次采集到的新的复合传感数据和图像数据，为保证固定参数分布，以及加快后续数据优化效率，需要对参数进行规范化处理。另外，由于复合传感数据和图像数据作为不同的变量，可能存在不同数据范围和不同数据格式，故本实施例需要对二者分别进行规范化处理。
[0071]
具体地，对所述环境中的复合传感数据进行规范化处理的步骤包括但不仅限于对所述环境中的复合传感数据进行异常值过滤、缺失值插值修复、映射参数值域和/或调整参数权值等处理。
[0072]
具体地，对多媒体内容中的图像数据进行规范化处理的步骤包括但不仅限于对多媒体内容中的图像数据进行颜色格式转换、图像旋转、图像缩放和/或图像裁剪等处理。
[0073]
s22，采用用于数据图像的机器学习方法、用于数据图像的深度学习方法、用于数据图像的专家系统方法等方法通过规范化后的环境中的复合传感数据对规范化后的多媒体内容中的图像数据进行融合计算，以获取图像护眼指导参数；其中，所述图像护眼指导参数与规范化后的环境中的复合传感数据和多媒体内容中的图像数据之间具有映射关系。
[0074]
在不同色温和不同亮度下，对于不同内容的图像，通过心理学实验得到人对亮度、白平衡、饱和度、对比度等参数的主观感受，通过学习的方法，将色温、光照、图像内容等信息与人眼主观感受到的合适的白平衡、亮度、饱和度、对比度信息建立映射关系，以获取图像护眼指导参数。
[0075]
具体地，所述通过规范化后的环境中的复合传感数据对规范化后的多媒体内容中的图像数据进行融合计算，以获取图像护眼指导参数的步骤包括：在通过规范化后的环境中的复合传感数据对规范化后的多媒体内容中的图像数据进行融合计算过程中，调用所述图像数据的学习引擎加载一护眼模型文件，根据所述护眼模型文件，在所述护眼模型文件和规范化后的环境中的复合传感数据与规范化后的多媒体内容中的图像数据之间建立映射关系，以推理出所述图像护眼指导参数；其中，所述护眼模型文件是将通用训练护眼数据集通过卷积神经网络训练后获取的数据文件。于本实施例中年，所述图像护眼指导参数可以为图像处理提供先验知识，使处理结果能够模拟真实环境光下类纸的漫反射的效果。
[0076]
在本实施例中，通用训练护眼数据集的训练过程包括数据标定、模型定义、参数调优、数据训练，最终会得到针对特定数据的权重网络。
[0077]
于本实施例中，所述图像护眼指导参数包括但不限于不同环境光下显示屏的色温与亮度、人眼与屏幕的距离属性、不同显示内容所需要的颜色、亮度、对比度等参数。
[0078]
s23，在获取图像护眼指导参数后，根据所述图像护眼指导参数，调整多媒体内容中的图像数据，使多媒体内容形成具有护眼效果的多媒体图像。
[0079]
所述s23具体包括：根据图像护眼指导参数，调整多媒体内容中的亮度与图像护眼指导参数中的环境光亮度一致，调整多媒体内容中的色温与图像护眼指导参数中的环境光色温一致、调整多媒体内容中的对比度与图像护眼指导参数中的对比度一致及通过图像护眼指导参数计算不同颜色在特定环境下的色彩映射关系，将所述多媒体内容中的色彩通过该色映射关系进行调整等等。
[0080]
在本实施例中，上述对多媒体内容中的图像数据的调整步骤可以通过但不限于机器学习、深度学习、无监督学习等人工智能算法和global tone mapping,local tone mapping等图像处理算法来实现。
[0081]
于实际应用中，仅仅调整数字图像的护眼效果是不够的，还需要配合调整显示器的显示亮度与色温等参数，以达到最佳的护眼效果。
[0082]
s24，待形成具有护眼效果的多媒体图像后，根据所采集的环境中的复合传感数据，调试显示参数，使之显示所述具有护眼效果的多媒体内容。
[0083]
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述护眼方法。
[0084]
本领域普通技术人员可以理解计算机可读存储介质为：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0085]
实施例三
[0086]
本实施例提供一种电子设备，请参阅图3，显示为电子设备于一实施例中的原理结构示意图。所述电子设备3包括：处理器31、存储器32、收发器33、通信接口34或/和系统总线35；存储器32和通信接口34通过系统总线35与处理器31和收发器33连接并完成相互间的通信，存储器32用于存储计算机程序，通信接口34用于和其他设备进行通信，处理器31和收发器33用于运行计算机程序，使电子设备3执行如实施例二所述护眼方法的各个步骤。
[0087]
上述提到的系统总线35可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该系统总线35可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0088]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，
简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0089]
上述的处理器也可以是多核异构处理器，多核异构处理器一般包含若干个应用处理器单元(application processor unit,apu)、神经处理单元(neural network processor unit,npu)、图像处理单元(graphic processor unit，gpu)和安全处理单元(secure processing unit,spu)等，多个不同架构的处理器能够异构互联，有机融合在单个异构处理器中，相互配合、相互协同和各司其职以满足日益多变的应用场景。
[0090]
本发明所述的护眼方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
[0091]
本发明还提供一种护眼系统，所述护眼系统可以实现本发明所述的护眼方法，但本发明所述的护眼方法的实现装置包括但不限于本实施例列举的护眼系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
[0092]
综上所述，本发明所述护眼系统、护眼方法、电子设备及计算机可读存储介质充分利用电子产品自身的计算能力和传感器数据，利用融合计算及深度学习实现了护眼算法，改善了电子产品的护眼特性。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0093]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。