一种三维图像特征设计方法、装置和电子设备与流程

1.本公开属于计算机视觉技术领域，具体涉及一种三维图像特征设计方法、装置和电子设备。


背景技术：

2.在计算机视觉领域，对目标图像的准确识别需要设计目标具有显著表示和区分能力的特征。和传统的二维图像相比较，三维图像提供的目标信息更为丰富具体，尤其是对目标的空间信息的表示。随着计算机、成像技术的发展，三维图像越来越频繁地出现在人们的生活当中。如医疗图像处理中的核磁共振图像(magnetic resonance imaging,mri)，计算机断层扫描(computed tomography,ct)以及三维扫描等。这些针对三维图像的处理不可避免地设计特征的设计和表示。因此，研究针对三维图像的特征设计方法具有重要的现实意义。
3.当前，针对三维图像的特征设计提取主要有以下方法。第一类方法是采用三维图像自身的结构特征，如点、面以及轴线等建立目标的特征。这一类特征的建立和目标图像的存储格式紧密联系。常见的三维图像格式， off，obj等包含目标点、面信息，为建立这一类特征提供了便利。这一类方法的主要缺点为特征的维数低，表示能力弱，特征的设计太过依赖文件格式。第二类为基于球谐函数(spherical harmonics)的方法。这一类方法将三维图像看成半径不同的球面，在此基础上将不同的球面映射到不同阶数的球谐函数上以此建立图像特征。这一类方法的具有较大的计算量，同时球谐函数的计算也具有一定的复杂度。


技术实现要素：

4.本公开的目的是提供一种基于混合连续正交多项式的三维图像特征设计方法、装置、存储介质和电子设备，用于解决通过现有的针对三维图像的特征设计提取方式提取的特征维数低，表示能力弱，特征的设计太过依赖文件格式以及具有较大的计算量和复杂度。
5.为了实现上述目的，本公开的第一方面，提供一种基于混合连续正交多项式的三维图像特征设计方法，包括：
6.对原始三维图像进行归一化处理，获取所述三维图像的图像函数；
7.计算所述三维图像的混合连续hlcms正交矩；其中，所述混合连续 hlcms正交矩是以多个正规化后的连续正交多项式的乘积为基函数的连续正交矩，用于所述三维图像的特征提取；
8.使用所述混合连续hlcms正交矩对所述三维图像进行特征提取。
9.进一步，所述对原始三维图像进行归一化处理，获取所述三维图像的图像函数，包括：
10.获取原始三维图像的图像坐标(x,y,z)；
11.根据变换关系，计算得出变换后的归一化图像坐标(x',y',z')；
12.根据所述归一化图像坐标确定所述三维图像的图像函数；
13.其中，所述三维图像表示为f(x,y,z)，其大小为m
×n×
o，即水平x轴方向为m个体素，y轴方向有n个体素，z轴方向有o个体素；所述变换关系可通过以下公式表示：
[0014][0015][0016][0017]
m,n以及o均为正整数。
[0018]
进一步，所述计算所述三维图像的混合连续hlcms正交矩，包括：
[0019]
确定所述三维图像正交矩基函数的第一个正交多项式，所述第一正交多项式为所述图像在x方向上的投影函数；
[0020]
确定所述三维图像正交矩基函数的第二个正交多项式，所述第二正交多项式为所述图像在y方向上的投影函数；
[0021]
确定所述三维图像正交矩基函数的第三个正交多项式，所述第三正交多项式为所述图像在z方向上的投影函数；
[0022]
其中，所述第一正交多项式、所述第二正交多项式和所述第三正交多项式分别为正规化后的hermite多项式、legendre多项式和chebyshev多项式中的一个。
[0023]
正规化后的hermite多项式通过以下公式进行确定：
[0024][0025]
其中，为第p阶hermite多项式，σ为尺度参数，也是高斯函数的标准差。
[0026]
正规化后的legendre多项式通过以下公式进行确定：
[0027][0028]
其中，lq(v)为第q阶legendre多项式。
[0029]
正规化后的chebyshev多项式通过以下公式进行确定：
[0030][0031]
其中，tr(κ)为第r阶第一类chebyshev多项式。
[0032]
所述计算所述三维图像的hlcms混合连续正交矩，还包括：
[0033]
将x方向的第一多项式、y方向的第二多项式和z方向的第三多项式进行点乘得到所述混合连续hlcms正交矩的基函数；
[0034][0035]
所述混合连续hlcms正交矩通过以下公式进行确定：
[0036][0037]
其中，f'(x',y',z')为原始三维图像坐标变换后对应的新的图像函数，且有：
[0038]
f'(x',y',z')＝f(x,y,z)；
[0039]
所述混合连续hlcms正交矩a
pqr
采用不同的阶数(p,q,r)确定。
[0040]
第二方面，提供一种基于混合连续正交多项式的三维图像特征提取装置，所述装置包括：
[0041]
获取模块，用于获取图像坐标的变换关系，根据原始三维图像的图像坐标计算依据所述变换关系变换后的归一化图像坐标，以及根据所述归一化图像坐标获取所述三维图像的图像矩阵；
[0042]
计算模块，计算所述三维图像的混合连续hlcms正交矩；其中，所述混合连续hlcms正交矩是以多个正规化后的连续正交多项式的乘积为基函数的连续正交矩，用于所述三维图像的特征提取。
[0043]
第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述方法的步骤。
[0044]
第四方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；
[0045]
处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面所述方法的步骤。
[0046]
在上述技术方案中，将传统的用于二维图像的统计矩拓展到三维空间，得到三维的正交矩。不同于现有技术中的提取三维图像特征方法的复杂，正交矩具有计算便利、信息冗余度低的优势。每一类正交多项式，即正交矩的基函数具有不同的特性，针对hermite，legendre以及chebyshev三类不同类型的正交多项式在进行特征映射时的不同特点，现能同时体现三类正交多项式优势的基函数和三维正交矩用以对目标图像的特征提取。提取的特征不仅仅体现一类多项式的特性，而是体现三类多项式共同的特性及特征，正交多项式使得三维正交矩的计算变得十分便利，由于每一类正交多项式都支持递推公式计算。其次，目标图像映射到正交基进一步降低了不同阶数正交矩之间的信息冗余度。因此，本公开具有计算便利、信息冗余度低的优势，进一步提升了在三维图像特征提取时的用户体验。
[0047]
本公开的其他特征和优点会在随后的具体实施方式部分予以详细说明。
附图说明
[0048]
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
[0049]
图1是本公开实施例提供的一种基于混合连续正交多项式的三维图像特征提取方法的流程示意图；
[0050]
图2是本公开实施例提供的一种计算所述三维图像的混合连续 hlcms正交矩方法的流程示意图；
[0051]
图3是本公开实施例提供的一种计算所述三维图像的混合连续 hlcms正交矩方法还包括的流程示意图；
[0052]
图4是本公开实施例提供的一种基于混合连续正交多项式的三维图像特征提取装置的框图；
[0053]
图5是psb三维形体数据集中的两个三维二值图像；两幅图像均为 200
×
200
×
200体素大小；
[0054]
图6是三维图像重建结果
[0055]
图7是用于分类的三种不同的鸟类
[0056]
图8是在hlcms特征空间中的分类结果；分类图像为图7的三种鸟类以及图5(b)中的猎豹。
具体实施方式
[0057]
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
[0058]
首先对本公开的应用场景进行说明，本公开可以应用于医疗图像处理中的核磁共振图像(magnetic resonance imaging,mri)，计算机断层扫描(computed tomography,ct)以及三维扫描等的三维图像的特征设计和提取，例如在ct扫描中，对ct图像进行重建，需要对三维图像进行特征提取，在现有技术中，多采用三维图像自身的结构特征，如点、面以及轴线等建立目标的特征，以及基于球谐函数进行特征提取，但是基于三维图像自身的结构特征建立的特征维数低，表示能力弱，特征的设计太过依赖文件格式；基于球谐函数的方法将三维图像看成半径不同的球面，在此基础上将不同的球面映射到不同阶数的球谐函数上以此建立图像特征。这一类方法的具有较大的计算量，同时球谐函数的计算也具有一定的复杂度。
[0059]
为了解决上述问题，本公开提供一种基于混合连续正交多项式的三维图像特征设计方法，通过在考虑不同正交多项式优势的基础上，采用三类不同属性的连续正交多项式作为基函数设计新型的三维正交矩，并采用该正交矩构建目标图像的特征。这种特征具有计算便捷、拓展性优越、数值稳定性好的优势。
[0060]
下面结合具体的实施例对本公开进行说明，图1为本公开实施例提高的一种实施方式提供的基于混合连续正交多项式的三维图像特征设计方法的流程图，如图1所示，该方法可以包括：
[0061]
s101、对原始三维图像进行归一化处理，获取所述三维图像的图像函数。
[0062]
其中，原始图像可以包括医疗图像处理中的核磁共振图像，计算机断层扫描以及三维扫描等的三维图像。
[0063]
在本步骤中，还包括：
[0064]
获取原始三维图像的图像坐标(x,y,z)。
[0065]
根据变换关系，计算得出变换后的归一化图像坐标(x',y',z')。
[0066]
根据所述归一化图像坐标确定所述三维图像的图像函数。
[0067]
其中，所述三维图像表示为f(x,y,z)，其大小为m
×n×
o，即水平x轴方向为m个体素，y轴方向有n个体素，z轴方向有o个体素；所述变换关系可通过以下公式表示：
[0068][0069][0070][0071]
m，n和o均为正整数。
[0072]
s102、计算所述三维图像的混合连续hlcms正交矩；其中，所述混合连续hlcms正交矩是以多个正规化后的连续正交多项式的乘积为基函数的连续正交矩，用于所述三维图像的特征提取。
[0073]
在本步骤中，计算所述三维图像的混合连续hlcms正交矩，包括：
[0074]
s201、确定所述三维图像正交矩基函数的第一个正交多项式，所述第一正交多项式为所述图像在x方向上的投影函数。
[0075]
s202、确定所述三维图像正交矩基函数的第二个正交多项式，所述第二正交多项式为所述图像在y方向上的投影函数。
[0076]
s203、确定所述三维图像正交矩基函数的第三个正交多项式，所述第三正交多项式为所述图像在z方向上的投影函数。
[0077]
其中，所述第一正交多项式、所述第二正交多项式和所述第三正交多项式分别为正规化后的hermite多项式、legendre多项式和chebyshev多项式中的一个。
[0078]
需要说明的是，正规化后的hermite多项式通过以下公式进行确定：
[0079][0080]
其中，为第p阶hermite多项式，σ为尺度参数，也是高斯函数的标准差。
[0081]
正规化后的legendre多项式通过以下公式进行确定：
[0082][0083]
其中，lq(v)为第q阶legendre多项式。
[0084]
正规化后的chebyshev多项式通过以下公式进行确定：
[0085][0086]
其中，tr(κ)为第r阶第一类chebyshev多项式。
[0087]
在本步骤中，计算所述三维图像的混合连续hlcms正交矩，还包括：
[0088]
将x方向的第一多项式、y方向的第二多项式和z方向的第三多项式进行点乘得到
所述混合连续hlcms正交矩的基函数；
[0089][0090]
所述hlcms混合连续正交矩通过以下公式进行确定：
[0091][0092]
其中，f'(x',y',z')为原始三维图像坐标变换后对应的新的图像函数，且有：
[0093]
f'(x',y',z')＝f(x,y,z)；
[0094]
所述混合连续hlcms正交矩a
pqr
采用不同的阶数(p,q,r)确定。
[0095]
s103、使用所述混合连续hlcms正交矩对所述三维图像进行特征提取。
[0096]
需要说明的是，在利用混合连续hlcms正交矩对三维图像进行特征提取的过程中，可有效验证本发明提出的三维图像的特征的有效性和优势。
[0097]
例如，当采用正交矩作为特征时，正交矩特征对图像的标识能力可以通过图像重建的方式进行测试和评估。当采用相同个数、阶数的正交矩对原始图像进行重建，重建图像和原始图像越相似则证明所对应的正交矩特征具有更好的图像表示能力。通过重建一个三维二值图像来测试hlcms 的表示能力。图5为princeton shape benchmark(psb)三维形状库中显示的两个形体。对这两个形体进行填充将其建立为二值立体图像，物体背景体素全为0，物体所在体素全为1。重建误差定义为原始三维图像和二值化后的重建图像之间不同体素的数量和，即：
[0098][0099]
t(
·
)为二值化操作。在该实验中三维legendre矩作为比较的方法进行重建操作。
[0100]
实验结果如图6所示。当采用较高阶数重建图像时，如最高阶数为50， hlcms和三维legendre矩均能重建出原始图像的整体形状，如图6(a)和(b) 所示。但是hlcms的重建误差要小于三维legendre矩的重建误差。当阶数较小时，如阶数为20时，hlcms相对三维legendre矩在相应的重建图像中更接近原始图像，如图6(c)和(d)所示,图6(c)显示了猎豹的大体的头部、两前肢、两后肢；而图6(d)则很难分清头部和前肢。
[0101]
关于特征区分能力。作为一种三维图像的特征描述方法，hlcms应该具有良好的图像区分能力，即采用hlcms构建的特征能够在表示三维图像的同时还能够和其他图像进行区分。采用一个图像分类实验测试hlcms的特征区分能力。
[0102]
图7为psb数据集中的三种不同的鸟类。我们采用三个hlcms， (a
222
,a
413
,a
777
)建立特征空间并在该空间中对图7所示的三种鸟以及图5(b)所示的猎豹进行分类。图7中的三种鸟类具有鸟类的共性，而图5(b)中的猎豹则和鸟类的外形特征具有显著的不同。一个良好的特征应该能够在区分鸟类和猎豹的同时也能够区分三种不同的鸟。图8显示在(a
222
,a
413
,a
777
)构建的特征空间中的分类结果。该结果显示，所选的三个hlcms能够清晰地区分三类鸟和猎豹。四个形体所对应的点在特征空间中没有重合以及由于分布很近而导致的难以区分的情况。因此，该实验证实了所发明的hlcms是一种有效的，便捷的且具有应用潜力的三维图像特征描述方法。
[0103]
图4是本公开实施例提供的基于混合连续正交多项式的三维图像特征提取装置的
结构示意图，如图4所示，包括：
[0104]
获取模块401，用于获取图像坐标的变换关系，根据原始三维图像的图像坐标计算依据所述变换关系变换后的归一化图像坐标，以及根据所述归一化图像坐标获取所述三维图像的图像矩阵；
[0105]
计算模块402，用于计算所述三维图像的混合连续hlcms正交矩；其中，所述混合连续hlcms正交矩是以多个正规化后的多项式为基函数的正交矩的混合正交矩，用于所述三维图像的特征提取。
[0106]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0107]
本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开提供的上报故障的方法中的步骤。
[0108]
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
[0109]
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。