图像处理方法、计算机存储介质以及近眼显示设备与流程

1.本公开涉及图像处理技术领域，尤其涉及一种近眼显示设备的图像处理方法、一种计算机存储介质以及一种近眼显示设备。


背景技术：

2.低视力是指患者视功能减退，且经过手术、药物等治疗及屈光矫正后的视力仍达不到患者需要的标准。因为视力和光感较差，低视力人群对图像对比度和饱和度要求比较高。图1示出了标准对数视力表在低视力人群眼中的视觉效果图，由于低视力人群的视觉缺陷导致其视觉模糊。很多生活场景中物体的边缘在低视力人群眼中也是模糊不清的，低视力人群在这些场景中生活很不方便，例如上下楼梯、室内行走时遇到桌椅边缘或门框等。图2示出了楼梯在低视力人群眼中的视觉效果图，由于楼梯间照度较低或者炫光导致低视力人群眼中的台阶边缘模糊。
3.助视器是通过视觉途径帮助低视力人群提高视觉能力的设备，可以改善低视力人群在生活场景中的视物模糊问题，以帮助患者参与社会活动及工作。对于上述问题，助视器领域主要有两种方案：第一种是提高全局对比度和锐度，这些场景中，通过助视器提高图像整体的对比度和锐度能一定程度缓解这种问题，但是效果不明显；第二种是采用边缘检测算法来突出显示物体边缘，一般是通过灰度图描边功能，加强物体边缘纹理。这种方案有效果，但是图像颜色信息丢失，只能显示灰度图，而且灰色的边缘在图像中显示不明显。
4.背景技术部分的内容仅仅是公开发明人所知晓的技术，并不当然代表本领域的现有技术。


技术实现要素：

5.有鉴于现有的一个或多个缺陷，本发明涉及一种近眼显示设备的图像处理方法，包括：
6.s11：采集原始彩色图像；
7.s12：对所述原始彩色图像进行灰度化处理，获取灰度图像；
8.s13：将所述灰度图像划分为第一区域和第二区域；
9.s14：分别对所述第一区域内的图像和第二区域内的图像进行边缘检测；
10.s15：根据边缘检测结果，绘制边缘线条。
11.根据本发明的一个方面，其中所述步骤s12还包括：对所述灰度图像进行平滑滤波处理。
12.根据本发明的一个方面，其中所述步骤s13包括：将所述灰度图像的中心区域作为所述第一区域，将所述中心区域之外的区域作为所述第二区域。
13.根据本发明的一个方面，所述图像处理方法还包括：根据用户指令，对所述第一区域的形状、大小和位置中的一项或多项进行调整。
14.根据本发明的一个方面，其中所述步骤s14包括：基于sobel算子、canny算子或
laplacian算子进行边缘检测。
15.根据本发明的一个方面，其中所述步骤s14包括：基于边缘检测算子获取检测结果，
16.将所述第一区域内的检测结果大于第一阈值的像素划分至第一边缘点集；和/或
17.将所述第二区域内的检测结果大于第二阈值的像素划分至第二边缘点集。
18.根据本发明的一个方面，其中所述步骤s15包括：根据所述第一边缘点集和/或第二边缘点集，绘制边缘线条。
19.根据本发明的一个方面，其中所述步骤s15包括：
20.根据所述第一边缘点集，按照第一参数绘制边缘线条；和/或
21.根据所述第二边缘点集，按照第二参数绘制边缘线条；
22.其中，所述第一参数和第二参数分别包括颜色和/或宽度。
23.根据本发明的一个方面，所述图像处理方法还包括：根据用户指令，对所述第一参数和第二参数进行调整。
24.根据本发明的一个方面，其中所述步骤s15包括：根据边缘检测结果，在所述原始彩色图像上绘制边缘线条。
25.根据本发明的一个方面，其中所述图像处理方法还包括：
26.s16：将所述边缘线条叠加到所述原始彩色图像中。
27.本发明还涉及一种计算机存储介质，包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如上所述的图像处理方法。
28.本发明还涉及一种近眼显示设备，包括：
29.图像采集单元，配置为采集原始彩色图像；和
30.图像处理单元，与所述图像采集单元耦接，配置为执行如上所述的图像处理方法，以获取描边的彩色图像。
31.根据本发明的一个方面，所述近眼显示设备为助视器。
32.本发明通过对获取的生活场景图像进一步处理，保留色彩的同时增强了边缘轮廓，有效改善低视力人群在生活场景中的视物模糊问题，进而提高独立完成日常生活动作的能力。
附图说明
33.构成本公开的一部分的附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
34.图1示出了标准对数视力表在低视力人群眼中的视觉效果图；
35.图2示出了楼梯在低视力人群眼中的视觉效果图；
36.图3示出了本发明一个实施例的近眼显示设备的图像处理方法流程图；
37.图4a示出了低视力人群周边视野残缺的示意图；
38.图4b示出了低视力人群中心视野残缺的示意图；
39.图5示出了本发明一个实施例的第一区域和第二区域图像处理效果对比图；
40.图6示出了本发明另一个实施例的第一区域和第二区域图像处理效果对比图；
41.图7示出了本发明一个实施例的图像处理效果示意图；
42.图8示出了本发明另一个实施例的图像处理效果示意图；
43.图9示出了本发明一个实施例的近眼显示设备模块示意图。
具体实施方式
44.在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
45.在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。
46.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
47.在本发明中，除非另有明确的规定和限定，第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。
48.下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
49.图3示出了本发明一个实施例的近眼显示设备100的图像处理方法10的流程图，结合图9，近眼显示设备100包括图像采集单元101和图像处理单元102，图像处理方法10包括：
50.在步骤s11，采集原始彩色图像。
51.图像采集单元101例如包括镜头和图像传感器。其中，镜头例如由多片透镜组成的光学部件，用于捕捉生活场景的图像，并将捕捉到的图像聚焦投射到图像传感器的感测区
域。图像传感器用于将感测的光学图像转换为原始彩色图像。图像传感器一般包括多个呈数组状分布于有效感测区域的像素单元，包含的像素单元越多，提供的画面分辨率越高。目前常用的图像传感器主要有ccd(charge coupled device，电荷耦合器件)和cmos(complementary metal oxide semiconductor，互补金属氧化半导体)两种。通过图像采集单元101，近眼显示设备100采集生活场景的原始彩色图像。
52.在步骤s12对所述原始彩色图像进行灰度化处理，获取灰度图像。
53.将图像进行灰度化处理是图像处理的预处理步骤，为之后的图像分割、特征提取等上层操作做准备。例如，将原始彩色图像转换为256级灰度的图像。图像灰度化处理可以采用如下方式：
54.1、分量法：将原始彩色图像中的三分量的亮度作为三个灰度图像的灰度值，根据应用需要选取一种灰度图像；
55.2、最大值法：将原始彩色图像中的三分量的亮度的最大值作为灰度图的灰度值；
56.3、平均值法：将原始彩色图像中的三分量的亮度求平均得到一个灰度值；
57.4、加权平均法：根据重要性及其它指标，将原始彩色图像中的三分量的亮度以不同的权重值进行加权平均得到一个灰度值。
58.以上介绍了图像灰度化处理的四种方式，此处仅为示例性说明，本发明不对图像灰度化处理的方式进行限定。
59.根据本发明的一个优选实施例，其中所述步骤s12还包括：对所述灰度图像进行平滑滤波处理。
60.在图像预处理任务中，进行平滑滤波可以降低图像噪声。例如在目标提取之前去除图像中的一些琐碎细节，以及桥接直线或曲线的缝隙等。可以采用如下方式进行平滑滤波处理：
61.1、均值滤波：将灰度图像的中心像素的邻域内的每个像素值用平均像素值替换，可以降低图像灰度的尖锐变化，进而降低随机噪声；
62.2、中值滤波：将灰度图像的中心像素的邻域内的每个像素值用中间像素值替换，可以避免均值滤波时特别大的孤立点导致的平均值波动问题；
63.3、高斯滤波：对不同位置的像素赋予不同的权重，将灰度图像的中心像素的邻域内的每个像素值用加权平均值替换。
64.以上介绍了对灰度图像进行平滑滤波处理的三种方式，此处仅为示例性说明，本发明不对平滑滤波处理的方式进行限定，可以根据实际需要进行选择，以在图像模糊度和噪声容忍度之间作平衡。
65.在步骤s13将所述灰度图像划分为第一区域和第二区域。
66.将灰度图像进行区域划分，有助于针对不同区域执行不同的处理方法，更有针对性，也有助于减少运算量，提高实时性。
67.根据本发明的一个优选实施例，其中所述步骤s13包括：将所述灰度图像的中心区域作为所述第一区域，将所述中心区域之外的区域作为所述第二区域。
68.人的视野是指当眼睛向前固视某一点时所能看到的空间范围。一般来说，注视点30
°
以内的空间范围为中心视野，注视点30
°
以外的空间范围为周边视野。例如，基于中心视野和周边视野的范围，定义灰度图像的中心区域为第一区域，中心区域之外的区域为第二
区域。
69.根据本发明的一个优选实施例，图像处理方法10还包括：根据用户指令，对所述第一区域的形状、大小和位置中的一项或多项进行调整。
70.图4a示出了低视力人群周边视野残缺的示意图，左侧的第一张图为场景图像，第二张图为低视力用户的周边视野残缺、中心视野呈圆形的示意图，第三张图为低视力用户的周边视野残缺、中心视野不规则且偏移的示意图。其中第一区域对应低视力用户的中心视野区域，第二区域对应低视力用户的周边视野区域。在对两个区域进行图像处理之前或之后，低视力用户根据视力情况调整第一区域的形状、大小或位置，然后发出指令，控制看不见的第二区域不进行图像处理或者不显示图像，以降低数据运算量、提高图像处理的实时性。
71.图4b示出了低视力人群中心视野残缺的示意图，低视力用户能大致看清周边视野的景象，但中心视野缺失。其中第一区域对应低视力用户的中心视野区域，第二区域对应低视力用户的周边视野区域。在对两个区域进行图像处理之前或之后，低视力用户根据视力情况调整第一区域的形状、大小或位置，然后发出指令，控制看不见的第一区域不进行图像处理或者不显示，以降低数据运算量、提高图像处理的实时性。
72.本发明提供定制化方案，根据用户指令，对第一区域的形状、大小和位置中的一项或多项进行调整，以适配低视力用户的视野范围。因为第二区域对应灰度图像上除第一区域以外的其它区域，因此对第一区域的调整相当于对第二区域进行调整。优选地，近眼显示设备100的图像处理单元102中内置多种形状和调整比例，以最大范围的适配图4a中第三张图示出的中心视野不规则以及图4b中心视野缺失的情况。
73.在步骤s14分别对所述第一区域内的图像和第二区域内的图像进行边缘检测。
74.在对灰度图像划分区域后，可以对不同区域执行不同的边缘检测。边缘检测相当于对图像的锐化处理，与平滑滤波处理相反，边缘检测的主要目的是突出灰度的过渡部分。因此，在区域划分前进行的平滑滤波处理与区域划分后的边缘检测需要综合考量。
75.根据本发明的一个优选实施例，其中所述步骤s14包括：基于sobel算子、canny算子或laplacian算子进行边缘检测。
76.常用的边缘检测算子可以分为：一阶微分算子roberts、sobel、prewitt，二阶微分算子laplacian，以及非微分边缘检测算子canny。
77.其中，sobel算子对噪声具有平滑作用，提供较为精确的边缘方向信息，sobel算子采用两个3
×
3的矩阵分别和原图作卷积，得到横向和纵向的梯度值，如果梯度值大于某一个阈值，则认为该点为边缘点。
78.laplacian算子是最简单的各项同性二阶微分算子，强调的是灰度图像中灰度的突变，将原图像与拉普拉斯变换后的图像叠加到一起，可以复原背景特性并保持拉普拉斯锐化处理的效果。
79.canny算子的边缘检测步骤分为：用高斯滤波器平滑图像、用一阶偏导的有限差分来计算梯度的幅值和方向、对梯度幅值进行非极大值抑制以及用双阈值算法检测和连接边缘。
80.以上介绍了边缘检测的几种常用的算子，此处仅为示例性说明，本发明不对边缘检测的算子进行限定。
81.根据本发明的一个优选实施例，其中所述步骤s14包括：基于边缘检测算子获取检测结果，
82.将所述第一区域内的检测结果大于第一阈值的像素划分至第一边缘点集；和/或
83.将所述第二区域内的检测结果大于第二阈值的像素划分至第二边缘点集。
84.可以根据用户定制，对不同区域进行不同处理，或者仅对其中一个区域进行处理，例如，残存视野范围如图4a所示，可以仅对第一区域进行处理；残存视野范围如图4b所示，可以仅对第二区域进行处理。
85.根据本发明的一个实施例，参考图9，近眼显示设备100还包括显示单元103，显示单元103中心的像素被认为是用户正在注视的像素。经过测试后，按照三三原则将原始彩色图像等分成相同面积的九个矩形区域，取中心区域为第一区域，则第一区域的检测结果的第一阈值为t1；其它区域为第二区域，则第二区域的检测结果的第二阈值为t2。基于第一阈值，将第一区域内的像素划分至第一边缘点集；基于第二阈值，将第二区域内的像素划分至第二边缘点集，以便于后续对不同边缘点集进行不同的描边处理。当第一阈值t1＜第二阈值t2时，第一区域的描边效果较明显；当第一阈值t1＞第二阈值t2时，第二区域的描边效果较明显。其中，灰度图像中的各像素的检测结果例如是采用sobel算子对原始彩色图像做横向和纵向卷积的梯度值。如果采用其他边缘检测算子，则第一阈值和第二阈值需要相应调整。
86.在步骤s15根据边缘检测结果，绘制边缘线条。
87.根据本发明的一个优选实施例，其中所述步骤s15包括：根据所述第一边缘点集和/或第二边缘点集，绘制边缘线条。
88.图5示出了本发明一个实施例的第一区域和第二区域图像处理效果对比图，原始彩色图像示出了落地窗前的栏杆，按照三三原则将原始彩色图像划分后取中心区域为第一区域，其余区域为第二区域。在执行本发明的步骤s11-s14之后，根据边缘检测结果，分别对第一区域的第一边缘点集和第二区域的第二边缘点集绘制边缘线条后，第一区域相对于第二区域的边缘更明显，既凸显了第一区域，又减少了第二区域的运算量，还优化了低视力用户的佩戴体验，视觉效果更佳。
89.根据本发明的一个优选实施例，其中所述步骤s15包括：
90.根据所述第一边缘点集，按照第一参数绘制边缘线条；和/或
91.根据所述第二边缘点集，按照第二参数绘制边缘线条；
92.其中，所述第一参数和第二参数分别包括颜色和/或宽度。
93.继续参考图5，根据第一参数对第一区域的第一边缘点集绘制绿色较宽的边缘线条，根据第二参数对第二区域的第二边缘点集绘制绿色较窄的线条，既增强了中心区域的效果，又减少了周边区域的运算量。根据本发明的一个优选实施例，图像处理方法10还包括：根据用户指令，对所述第一参数和第二参数进行调整。
94.图6示出了本发明另一个实施例的第一区域和第二区域图像处理效果对比图，原始彩色图像示出了落地窗前的栏杆，按照三三原则将原始彩色图像划分后取中心区域为第一区域，其余区域为第二区域。在执行本发明的步骤s11-s14之后，根据边缘检测结果，绘制边缘线条后，第二区域相对于第一区域的边缘更明显，凸显了第二区域，减少了第一区域的运算量，针对中心视野较差或缺失的低视力人群，佩戴体验更佳。
95.鉴于低视力用户对颜色敏感度不同，且为了提高警示性，边缘线条可适配多种颜色：黄色、绿色、黑色等。
96.图7示出了本发明一个实施例的图像处理效果示意图，根据用户指令对第一参数和第二参数调整后，第一区域的物体边缘呈现绿色较宽的线条，第二区域的物体边缘呈现绿色较窄的线条。
97.图8示出了本发明另一个实施例的图像处理效果示意图，根据用户指令对第一参数和第二参数调整后，第一区域的物体边缘呈现黄色较窄的线条，第二区域的物体边缘呈现绿色较宽的线条。
98.优选地，可以关闭第一或第二区域的显示，或者关闭第一或第二区域的边缘检测功能，以进一步减少运算量，增加图像处理的实时性。
99.根据本发明的一个优选实施例，其中所述步骤s15包括：根据边缘检测结果，在所述原始彩色图像上绘制边缘线条。
100.传统的灰度图描边功能只能显示灰度图，缺失了颜色信息。本发明在检测边缘后，在原始彩色图像上绘制边缘线条，提升低视力用户的佩戴体验。根据本发明的另一个实施例，边缘检测后，对于第一区域中的检测结果大于第一阈值的像素，绘制选定颜色到原始彩色图像；对于第一区域中的检测结果小于第一阈值的像素，则保持不变。这样即保留了原始彩色图像，同时又增加了边缘检测的警示线条，显著提升低视力用户的佩戴体验。
101.根据本发明的一个优选实施例，图像处理方法10还包括：
102.s16：将所述边缘线条叠加到所述原始彩色图像中。与直接在原始彩色图像绘制边缘线条的实施例不同之处在于：在确定边缘区域后，相当于在另一图层绘制线条，再将绘制线条的图层叠加到原始彩色图像上，采用不同的图像处理方式实现大致相同的效果。
103.综上所述，本发明通过对获取的生活场景图像进一步处理，保留色彩的同时增强了边缘轮廓，有效改善低视力人群在生活场景中的视物模糊问题，进而提高独立完成日常生活动作的能力。
104.本发明还涉及一种计算机存储介质，包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如上所述的图像处理方法10。
105.本发明还涉及一种近眼显示设备100，参考图9，包括：
106.图像采集单元101，配置为采集原始彩色图像；和
107.图像处理单元102，与所述图像采集单元101耦接，配置为执行如上所述的图像处理方10，以获取描边的彩色图像。
108.根据本发明的一个优选实施例，所述近眼显示设备100还包括显示单元103，与所述图像处理单元102耦接，配置为显示描边后的彩色图像。
109.根据本发明的一个优选实施例，所述近眼显示设备100为助视器。
110.本发明通过对获取的生活场景图像进一步处理，保留色彩的同时增强了边缘轮廓，有效改善低视力人群在生活场景中的视物模糊问题，进而提高独立完成日常生活动作的能力。
111.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。
凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。