一种近红外光谱与特征图谱的图谱转换方法及其应用与流程

1.本发明属于色谱分析技术领域，涉及一种近红外光谱与特征图谱的图谱转换方法及其应用。


背景技术：

2.公开该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不必然被视为承认或以任何形式暗示该信息构成已经成为本领域一般技术人员所公知的现有技术。
3.近红外光谱分析方法(nir)是当前发展迅速的一种无损、无污染、重现性好的分析技术，符合绿色分析化学技术(gac)理念。随着化学计量学和计算机技术的发展，该技术已在农产品、石油化学、制药、环境、过程控制、临床及生物医学等领域广泛应用。该方法的一大特点是需要借助化学计量学将样品的光谱信息与对应的参考值信息(如含量、来源等)相关联建立模型，通过所建立的模型对未知的样品进行预测，从而实现分析的目的。近红外光谱快速、无损、绿色，适用于生产现场检测和实时在线分析，已成为过程分析技术(pat)的重要组成部分，但近红外光谱的峰重叠严重，具体成分信息不明确。
4.指纹图谱系指某种中药材或中成药经适当处理后运用现代分析手段得到的能够表征或反映该中药特征的图谱或图像。特征图谱(或指纹)图谱技术在中药质量标准中的应用完善了中药复杂体系质量标准的研究思路、方法和模式，也是今后中药质量整体可控性的发展趋势。高效液相色谱(hplc)分离效能高，特征强，可靠性好，适合作参考方法用于验证。但其预处理复杂、很难用于样品的直接分析，具有破坏样品原始形态、耗时长、污染环境等。因此色谱分析技术难以适用于中药生产过程及其中间物料的及时、快速分析，难以做大批次检验，通常用于中间物料和最终产品生产后的小样本检测及验证。
5.在近红外光谱分析领域，有经典的模型转移方法，如单变量斜率截距校正(sbc)法、光谱空间转换(sst)法、直接校正(ds)法和分段校正(pds)法等等。其中sst法、ds法及pds法都是基于光谱之间的转换实现模型转移。
6.中药的大部分有效成分均与含氢基团有关，而近红外光谱分析技术反映的正是含氢基团的全部信息，且中药物质成分可以采用指纹图谱进行测定，也可以用近红外光谱技术进行检测。如果将快速的近红外(nir)光谱测定法与分辨能力强且可靠的基于色谱技术的特征(或指纹)图谱方法相关联，实现由近红外光谱向特征(或指纹)图谱转化，既可以具有nir光谱的快速、无损、绿色的特点，同时转化后的特征(或指纹)图谱也具有分辨能力强，可靠性好的特点，可以充分发挥两种分析技术的优势。但是，发明人发现，目前，关于nir光谱与对应特征(或指纹)图谱的转化方法研究甚少，并没有行之有效的转化方法。


技术实现要素：

7.为了解决现有技术的不足，本发明提供了一种近红外光谱与特征图谱的图谱转换方法及其应用，该方法能够实现近红外光谱和特征(或指纹)图谱之间的图谱转换，且两者
的图谱变量数是否一致没有限制，能够将光谱和特征(或指纹)图谱建立联系，实现不同类型仪器之间的图谱转换。
8.具体地，本发明是通过如下技术方案实现的：
9.在本发明的第一方面，一种近红外光谱与特征图谱的图谱转换方法，包括以下步骤：首先，将光谱原始矩阵x1和特征图谱原始矩阵x2进行异常值剔除及预处理，然后进行奇异值分解，在保留相同的主成分数下，得到x1的得分矩阵s1和x2的s2；将s1和s2两个矩阵进行关联；通过公式x
2trans
＝[x1v1(p
1t
)

(p
2t
)]v
2t
，将转换后的图谱校正为适合从仪器的特征图谱；其中，x
2trans
表示转移后的特征图谱矩阵；v1的含义是x1的负载矩阵；v2的含义是x2的负载矩阵；p
1t
和p
2t
是ps的两个子矩阵，ps为s
comb
＝[s1,s2]组合矩阵的负载矩阵。上标“t”表示转置。
[0010]
转换方向为由样本的近红外光谱向对应色谱特征(或指纹)图谱进行转换，根据后面所述算法，反向即由色谱特征(或指纹)图谱向nir光谱转换理论上也是可行的。
[0011]
在本发明的第二方面，任一所述的一种近红外光谱与特征图谱的图谱转换方法在中药成分检测中的应用。
[0012]
本发明一个或多个实施例具有的有益效果：
[0013]
(1)、所述方法能够实现近红外光谱和特征(或指纹)图谱之间的图谱转换(理论上可以相互转换)，且两者的图谱变量数是否一致没有限制，能够将光谱和特征(或指纹)图谱建立联系，实现不同类型仪器之间的图谱转换，因此所述方法更加灵活，适用范围更加广泛。所述方法将中药色谱特征(或指纹)图谱的成分特征表征能力强的特点与近红外光谱的快速、无损等特点相结合，充分发挥两种分析技术的优势。
[0014]
(2)、所述方法能较好的保留转换图谱原始数据的特征信息。
附图说明
[0015]
图1：实施例1中所有样本的原始近红外光谱；
[0016]
图2：实施例1中所有样本的原始特征(或指纹)光谱；
[0017]
图3：实施例1中近红外光谱去除异常样本的主成分投影图；
[0018]
图4：实施例1中特征(或指纹)图谱去除异常样本的主成分投影图；
[0019]
图5：实施例1从仪器预测集经本发明图谱转换前后的比较图谱；
[0020]
图6：实施例1从仪器特征(或指纹)图谱选择的特征峰；
[0021]
图7：实施例2中所有样本的原始近红外光谱；；
[0022]
图8：实施例2中所有样本的原始特征(或指纹)光谱；
[0023]
图9：实施例2中近红外光谱去除异常样本的主成分投影图；
[0024]
图10：实施例2中特征(或指纹)图谱去除异常样本的主成分投影图；
[0025]
图11：实施例2从仪器预测集经本发明图谱转换前后的比较图谱；
[0026]
图12：实施例2从仪器特征(或指纹)图谱选择的特征峰。
具体实施方式
[0027]
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。下列实施例中未注明具体条件的实验方法，通常按照常规条
件或按照制造厂商所建议的条件。
[0028]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0029]
目前，关于nir光谱与对应特征(或指纹)图谱的转化方法研究甚少，并没有行之有效的转化方法，为此，本发明提供了一种近红外光谱与特征图谱的图谱转换方法及其应用。
[0030]
在本发明的一种或多种实施例中，一种近红外光谱与特征图谱的图谱转换方法，包括以下步骤：首先，将光谱原始矩阵x1和特征图谱原始矩阵x2进行异常值剔除及预处理，然后进行奇异值分解，在保留相同的主成分数下，得到x1的得分矩阵s1和x2的s2；将s1和s2两个矩阵进行关联；通过公式x
2trans
＝[x1v1(p
1t
)

(p
2t
)]v
2t
，将转换后的图谱校正为适合从仪器的特征图谱；其中，x
2trans
表示转移后的特征图谱矩阵；v1的含义是x1的负载矩阵；v2的含义是x2的负载矩阵；p
1t
和p
2t
是ps的两个子矩阵，ps为s
comb
＝[s1,s2]组合矩阵的负载矩阵；上标“t”表示转置。
[0031]
转换方向为由样本的近红外光谱向对应色谱特征图谱进行转换，也可以反向，即由色谱特征图谱向近红外光谱转换，具体包括以下步骤：
[0032]
(1)样本的光谱采集和特征图谱的测定：对样本分别进行主仪器的近红外光谱采集和从仪器的特征图谱测定，得光谱原始矩阵x1和特征图谱原始矩阵x2；
[0033]
(2)异常值剔除：对光谱原始矩阵x1和特征图谱原始矩阵x2均进行异常值检测，将两者全部异常值剔除；
[0034]
(3)光谱的预处理：对剔除异常值后的光谱原始矩阵x1进行预处理，进行奇异值分解后，得到得分矩阵s1；
[0035]
(4)特征图谱的预处理：对剔除异常值后的从仪器采集的特征图谱原始矩阵x2进行预处理，得到特征图谱原始矩阵x2；然后进行奇异值分解得到得分矩阵s2；通过公式s2＝s1–
s1(p
1t
)

(p
1t
‑
p
2t
)将s1和s2两个矩阵进行关联；
[0036]
(5)样品集的划分：将预处理后的若干个标定样本划分为校正样本和预测样本，将主仪器的光谱原始矩阵x1划分为校正集样本x
1mod
和预测集样本x
1test
；将从仪器的特征图谱原始矩阵x2划分为校正集样本x
2trans_mod
和预测集样本x
2trans_test
；主仪器和从仪器的校正样本与预测样本要一一对应；
[0037]
(6)图谱转换：将主仪器的光谱转换为从仪器的特征图谱，将转换后的图谱校正为适合从仪器的特征图谱。
[0038]
(601)在图谱转换过程中，将两个矩阵进行组合，由于x1和x2不是相同类型仪器测定的图谱信号，x1和x2数据点数是不相同的，因此构建矩阵
[0039]
s1＝x1v1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0040]
s2＝x2v2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0041]
理论上说，只要能够通过式(1)和(2)的矩阵运算得到s1和s2即可。一种比较方便的运算方法是v1和v2分别为x1和x2主成分的负载矩阵，s1和s2则为对应的得分矩阵。因x1和x2测定的是相同的样本，因此x1和x2的主成分数是一致的。将s1和s2按照下式组合
[0042]
s
comb
＝[s1,s2]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0043]
将s
comb
矩阵进行主成分分解，得到
[0044]
s
comb
＝t
s
p
st
e＝t
s
[p
1t
，p
2t
] e(4)
[0045]
其中，t
s
与p
s
分别为组合后s
comb
矩阵的得分和负载矩阵；e表示相应的误差部分；上标“t”表示转置；下标“s”和“n”分别表示光谱信息和噪音的响应因子。主从仪器的样品数相同为s
comb
矩阵的行数，p1和p2是p
s
的两个子矩阵(p
st
＝[p
1t
,p
2t
])。
[0046]
(602)s1和s2分别为x1和x2的得分矩阵，两者的差可以表示为s1‑
s2＝t
s
(p
1t
‑
p
2t
)，因此，s2可以通过下式进行计算：
[0047]
s2＝s1‑
t
s
(p
1t
‑
p
2t
)＝s1–
s1(p
1t
)

(p
1t
‑
p
2t
)
ꢀꢀ
(5)
[0048]
其中，上标“ ”表示矩阵的伪逆。
[0049]
(603)将式(1)和(2)代入式(5)可以得到：
[0050]
s2＝x1v1‑
x1v1(p
1t
)

(p
1t
‑
p
2t
)＝x1v1(p
1t
)

p
2t
ꢀꢀ
(6)
[0051]
由式(2)可知，
[0052]
x2＝s2v
2t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0053]
因nir图谱向特征(或指纹)图谱进行转换，所以有下式关系：
[0054]
x2＝[x1v1(p
1t
)

(p
2t
)]v
2t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0055]
如果若将特征(或指纹)图谱向nir图谱转换，那么将x1作为特征(或指纹)图谱，x2作为nir图谱即可。
[0056]
(604)通过式(8)将主仪器校正集近红外光谱与从仪器特征(或指纹)图谱建立图谱转换关系模型：
[0057]
x
2trans_mod
＝[x
1mod
v
1mod
(p
1modt
)

(p
2modt
)]v
2modt
(9)
[0058]
其中，v
1mod
，p
1mod
，p
2mod
及v
2mod
都是通过校正集样本得到的矩阵，与v1，p1，p2及v2的含义一一对应，即v
1mod
和v
2mod
分别为x
1mod
(nir光谱校正集样本)和x
2mod
(特征(或指纹)图谱校正集样本)主成分的负载矩阵，p
1mod
和p
2mod
是p
smod
的两个子矩阵，p
smod
为校正集样本组合后s
comb_mod
＝[s
1mol
,s
2mol
]矩阵的负载矩阵,s
1mod
与s
2mod
分别是x
1mod
与x
2mod
的得分矩阵。对于未知待测样本的nir光谱转换为对应的特征(或指纹)图谱按照下式进行：
[0059]
x
2trans_test
＝[x
1test
v
1mod
(p
1modt
)

(p
2modt
)]v
2modt
(10)
[0060]
优选的，步骤(2)中，采用hotelling t2法对异常值进行检测。
[0061]
可选的，步骤(3)中，所述对光谱的预处理方式，包括：平滑处理、一阶导数计算、二阶导数计算、标准化处理、基线漂移处理、标准正态变量处理、多元散射校正处理等中的任意一种或多种的组合，也可以不使用预处理方法对光谱进行校正。
[0062]
可选的，步骤(4)中，所述对特征(或指纹)图谱的预处理方法，包括相关优化翘曲法和自适应迭代加权最小二乘法等中的任意一种。
[0063]
优选的，步骤(5)中，所述校正集的数量大于或等于预测集的数量，校正集和预测集样本数量的设置比例为2:1及以上。
[0064]
可选的，步骤(5)中，所述若干个标定样本划分为校正样本和预测样本，划分方式包括：ks方法、rank
‑
ks方法、spxy方法、rank
‑
spxy方法及含量梯度法中的任意一种。
[0065]
优选的，步骤(6)中，所述方法近红外光谱和特征(或指纹)图谱的样本数是必须相同的，测定的样本要一一对应，但是光谱与色谱特征(或指纹)图谱的变量数可以是相等的，也可以不相等，适用范围和内容更广泛。
[0066]
采用本发明所述方法能够将nir光谱与特征(或指纹)图谱建立矩阵转换关系(如式(8)，(9)和(10))，实现近红外光谱和特征(或指纹)图谱之间的图谱转换，且两者的图谱变量数是否一致没有限制，能够将光谱和特征(或指纹)图谱建立联系，实现不同类型仪器之间的图谱转换，因此本发明所述方法更加灵活，适用范围更加广泛。本发明所述方法将中药色谱特征(或指纹)图谱的成分特征表征能力强的特点与近红外光谱的快速、无损等特点相结合，充分发挥两种分析技术的优势。
[0067]
在本发明的一种或多种实施例中，任一所述的一种近红外光谱与特征图谱的图谱转换方法在中药成分检测中的应用。
[0068]
下面结合具体的实施例，对本发明做进一步的详细说明，应该指出，所述具体实施例是对本发明的解释而不是限定。
[0069]
除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0070]
具体实施例1：
[0071]
以市售的参枝苓口服液为实例，测定的样本数共有17个。x1为样本的近红外光谱矩阵，由作为主仪器的傅里叶变换近红外光谱仪(antarisⅱ，赛默飞世尔，美国)测得，样本的原始光谱见图1。x2为样本的特征(或指纹)图谱矩阵，由作为从仪器的高效液相色谱仪(agilent1260，安捷伦科技有限公司，美国)测得，样本的原始特征(或指纹)图谱见图2。
[0072]
先进行异常样本的剔除，通过hotelling t2方法，没有检测到异常样本，去除异常值的主成分分析图见图3和图4。
[0073]
对于主仪器，本实施事例中的样本光谱未使用预处理方法进行光谱处理。对于从仪器，样本特征(或指纹)图谱经相关优化翘曲(cow)方法进行校正，目的是使特征(或指纹)图谱的特征峰对齐。基于主仪器样本的光谱数据，采用常用的ks方法将样本集划分为校正集和预测集；校正集样本数为12，预测集样本是5。主仪器和从仪器的校正集样本和预测集样本的序号应保持一致。
[0074]
图谱转换如下：首先需将光谱x1和特征(或指纹)指纹图谱x2两者均进行奇异值分解，在保留相同的主成分数下，得到s1和s2矩阵，分别为光谱的得分矩阵和特征(或指纹)图谱的得分矩阵；通过公式s2＝s1–
s1(p
1t
)

(p
1t
‑
p
2t
)将s1和s2两个矩阵进行关联。通过公式x
2trans
＝[x1v1(p
1t
)

(p
2t
)]v
2t
，可以将转换后的图谱校正为适合从仪器的特征(或指纹)图谱，转换前后的从仪器校正集图谱见图5，并对转换后的从仪器预测集样本进行预测，计算图谱转换前后预测集样本之间的相对分析误差(rpd)、预测均方根误差(rmsep)和相似度(similarity)，以此评价图谱转换效果。
[0075]
表1图谱转换前后特征(或指纹)图谱预测集结果
[0076]
预测集样本序号相似度rpdrmsep10.99224.876.013530.98014.396.132640.99635.164.761890.99786.903.3726150.997610.982.3048平均值0.99286.464.5171
[0077]
由表1可见，经过图谱转换后，预测集中所有样本经图谱转移后，其前后图谱的相似度均大于0.98，且其rpd值均大于4，表示转换后的模型效果是很好的。我们在图谱转换前后的特征(或指纹)图谱中选择同一个特征峰，所选特征峰见图6。计算该特征峰在图谱转换前后的峰面积以及两者之间的比值，在图谱转换前后峰面积的比值越接近1时，说明特征峰在转换前后的峰面积更为接近，图谱转换的效果更好。
[0078]
表2图谱转换前后特征峰的峰面积结果
[0079][0080]
由表2可知，在五组预测集样品中，特征峰在转换前后其峰面积的比值在0.75至1.25之间，可以认为转换前后的结果是能够接受的，也进一步地说明参枝苓口服液通过本发明所述方法可以有很好的图谱转换效果。
[0081]
具体实施例2：
[0082]
以市售的心可舒片溶液为实例，测定的样本数共有25个。x1为样本的近红外光谱矩阵，由作为主仪器的傅里叶变换近红外光谱仪(antarisⅱ，赛默飞世尔，美国)测得，样本的原始光谱见图7。x2为样本的特征(或指纹)图谱矩阵，由作为从仪器的高效液相色谱仪(agilent1260，安捷伦科技有限公司，美国)测得，样本的原始特征(或指纹)图谱见图8。
[0083]
先进行异常样本的剔除，通过hotelling t2方法，检测到1个异常样本，剔除之后剩下24个样本，去除异常值的主成分分析图见图9和图10。
[0084]
对于主仪器，本实施事例中的样本光谱采用标准正态变量变换(snv)方法进行光谱预处理。对于从仪器，样本特征(或指纹)图谱经cow方法进行校正，目的是使特征(或指纹)图谱的特征峰对齐。基于主仪器样本的光谱数据，采用常用的kennard
‑
stone(ks)方法将样本集划分为校正集和预测集；校正集样本数为14，预测集样本是10。主仪器和从仪器的校正集样本和预测集样本的序号应保持一致。
[0085]
图谱转换如下：首先需将光谱x1和特征(或指纹)指纹图谱x2两者均进行奇异值分解，在保留相同的主成分数下，得到s1和s2矩阵，分别为光谱的得分矩阵和特征(或指纹)图谱的得分矩阵；通过公式s2＝s1–
s1(p
1t
)

(p
1t
‑
p
2t
)将s1和s2两个矩阵进行关联。通过公式x
2trans
＝[x1v1(p
1t
)

(p
2t
)]v
2t
，可以将转换后的图谱校正为适合从仪器的特征(或指纹)图谱，转换前后的从仪器校正集图谱见图11，并对转换后的从仪器预测集样本进行预测，计算图谱转移前后预测集样本之间的相对分析误差(rpd)、预测均方根误差(rmsep)和相似度(similarity)，以此评价图谱转换效果。
[0086]
表3图谱转换前后特征(或指纹)图谱预测集结果
[0087]
预测集样本序号相似度rpdrmsep
20.99277.840.755630.98896.280.858750.99283.861.747760.99307.810.715770.98163.311.479880.95813.061.9363100.94962.962.0825110.94322.592.3600130.99578.990.6080220.97894.481.1795平均值0.97745.121.3724
[0088]
由表3可见，经过图谱转换后，所有预测集样本在图谱转换前后的相似度均大于0.94，说明心可舒片溶液有很好的图谱转移效果，并且所有样本的rpd值大于2.5，可以认为转换后的模型是可以接受的。我们在图谱转换前后的特征(或指纹)图谱中选择同一个特征峰，所选特征峰见图12。计算该特征峰在图谱转换前后的峰面积以及两者之间的比值，进一步评价图谱转换效果。
[0089]
表4图谱转换前后特征峰的峰面积结果
[0090][0091]
由表4可知，在心可舒片溶液的10组预测集样品中，特征峰在转换前后其峰面积的比值基本上在0.75至1.25之间，且平均值为1.02接近于1，可以认为转换前后的结果是能够接受的，也进一步地说明心可舒片溶液通过本发明所述方法可以有很好的图谱转换效果。
[0092]
由以上两个实例可以看出，但即使主仪器和从仪器两种图谱类型不同，主仪器近红外光谱经本发明所述图谱转换方法转换后得到的图谱与从仪器的特征(或指纹)图谱非常相似，说明本发明方法有效且效果较佳。所述图谱转换方法不局限于相同的图谱变量数，适用范围和内容更广泛。通过该方法，将中药色谱特征(或指纹)图谱(成分特征表征能力
强)与近红外光谱(快速、无损等)相结合，可以充分发挥两种分析技术的优势。
[0093]
以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。