近红外光谱分析技术的数据处理方法

近红外光谱分析技术的数据处理方法

引言

近红外是指波长在780nm～2526nm范围内的光线，是人们认识最早的非可见光区域。习惯上又将近红外光划分为近红外短波（780nm～1100nm）和长波（1100 nm～2526 nm）两个区域.近红外光谱（Near Infrared Reflectance Spectroscopy，简称NIRS）分析技术是一项新的无损检测技术，能够高效、快速、准确地对固体、液体、粉末状等有机物样品的物理、力学和化学性质等进行无损检测。它综合运用了现代计算机技术、光谱分析技术、数理统计以及化学计量学等多个学科的最新研究果，并使之融为一体，以其独有的特点在很多领域如农业、石油、食品、生物化工、制药及临床医学等得到了广泛应用，在产品质量分析、在线检测、工艺控制等方面也获得了较大成功。近红外光谱分析技术的数据处理主要涉及两个方面的内容：一是光谱预处理方法的研究，目的是针对特定的样品体系，通过对光谱的适当处理，减弱和消除各种非目标因素对光谱的影响，净化谱图信息，为校正模型的建立和未知样品组成或性质的预测奠定基础；二是近红外光谱定性和定量方法的研究，目的在于建立稳定、可靠的定性或定量分析模型，并最终确定未知样品和对其定量。

1工作原理

近红外光谱区主要为含氢基团X-H（X=O,N,S,单健C,双健C,三健C等）的倍频和合频吸收区，物质的近红外光谱是其各基团振动的倍频和合频的综合吸收表现，包含了大多数类型有机化合物的组成和分子结构的信息。因为不同的有机物含有不同的基团，而不同的基团在不同化学环境中对近红外光的吸收波长不同，因此近红外光谱可以作为获取信息的一种有效载体。近红外光谱分析技术是利用被测物质在其近红外光谱区内的光学特性快速估测一项或多项化学成分含量。被测样品的光谱特征是多种组分的反射光谱的综合表现，各组分含量的测定基于各组分最佳波长的选择，按照式(1)回归方程自动测定结果：组分含量＝C0＋C1(Dp)1＋C2(Dp)2＋…＋Ck(Dp)k(1)式中：C0～k为多元线性回归系数；(Dp)1～k为各组分最佳波长的反射光密度值（D＝－lgp，p为反射比）。该方程准确的反映了定标范围内一系列样品的测定结果，与实验室常规测定法之间的标准偏差SE为：SE＝[Σ(y－x)2/(n－1)]1/2(2)式中：x表示实验室常规法测定值，y表示近红外光

谱法测值，n为样品数。

2光谱数据的预处理

仪器采集的原始光谱中除包含与样品组成有关的信息外，同时也包含来自各方面因素所产生的噪音信号。这些噪音信号会对谱图信息产生干扰，有些情况下还非常严重，从而影响校正模型的建立和对未知样品组成或性质的预测。因此，光谱数据预处理主要解决光谱噪音的滤除、数据的筛选、光谱范围的优化及消除其他因素对数据信息的影响，为下步校正模型的建立和未知样品的准确预测打下基础。常用的数据预处理方法有光谱数据的平滑、基线校正、求导、归一化处理等。

2.1数据平滑处理

信号平滑是消除噪声最常用的一种方法，其基本假设是光谱含有的噪声为零均随机白噪声，若多次测量取平均值可降低噪声提高信噪比。平滑处理常用方法有邻近点比较法、移动平均法、指数平均法等。

2.1.1邻近点比较法

对于许多干扰性的脉冲信号，将每一个数据点和它旁边邻近的数据点的值进行比较可以测得其存在。如果与邻近点的数值相差太大，超过给定的阈值，便可认为该数据是一个脉冲干扰，并通过邻近数据点的平均值来取代这一数据点值，就可以把这一干扰脉冲去掉，这样不影响信号的其它部分。在这一数据点处理过程中，需注意选择调节参数，也就是考虑邻近数据点值，以及判断一个数据点和邻近数据点之间不同的阈值。这个阈值一般定义为噪音测量偏差的倍数，以免把必要的有用信号去掉。这一方法有时也称为邻近点平滑法，也叫做单点平滑法。

2.1.2移动平均法

由于平滑是通过对信号进行平均而减小噪音，因而多点平滑效果更好。移动平均法是多点平滑中最简单的一种。先选择在数据序列中相邻的奇数个数据点，这奇数个数据点即构成一个窗口。计算在窗口内奇数个数据点的平均值，然后用求得的平均值代替奇数个数据点中的中心数据点的数据值，这样我们就得到了数据平滑后的一个新的数据点。接着去掉窗口内的第一个数据点，并添加上紧接着窗口的下一个数据点，形成移动后的一个新窗口，其中的总数据个数不变。同样地，用窗口内的奇数个数据点求平均值，并用它来代替窗口中心的一个数据点.如此移动并平均直到最后。

2.1.3指数平均法

指数平均法是计算在一个具有m个数据点的移动窗口中的各数据点的加权平均.在窗口的最后一个点p1即为要平滑的点，它的权重最大，而前面的每个点分配到的权重依次递减。权重系数由平滑时间常数为T的指数函数e－ji （j标志i前面第j个点，即j＝－(m－1),－(m－2),…,－1,0（要平滑的点i 的j＝0）的形状来决定。p1后点的权重为0，这一过滤函数是用点i前面的点对第i个数据点进行平滑。这一过程和用电子RC滤波器（阻容滤波器）的实时平滑类似。由于该平滑函数是不对称的，故在平滑后的数据中引入了单向失真，这一点也和实时RC滤波器一样。除了获得期望的信噪比降低外，指数平均的结果是峰的最大值下降，同时发生移动。由于用平滑常数T对峰值进行指数平滑和具有时间常数Tx＝T的仪器测量该峰的效果相同，因此T和峰宽比值函数的强度下降值从实验测量和理论计算都可得到。

2.2基线校正

由于仪器背景、样品粒度和其它因素的影响，近红外分析中常常出现基线漂移和倾斜现象。采用基线校正可有效地消除这些影响。操作时可选用峰谷点扯平、偏移扣减、微分处理和基线倾斜等方法，其中最常用的是一阶微分和二阶微分，但在微分处理时，要注意微分级数和微分数据点的选择。

2.3数据求导处理

近红外分析中，对于样品不同组分之间的相互干扰导致吸收光谱谱线重叠的现象，可采用求导的方法进行处理。其中常用的是一阶导数和二阶导数。一阶导数表示为：yi′＝yi＋g－yi－g二阶导数表示为：yi″＝yi＋2g－2yi

＋yi－2g式中：g为光谱间隔，大小可视具体情况设定。对光谱求导一般有两种方法:直接差分法和Savitzky Golay求导法。对于分辨率高、波长采样点多的光谱，直接差分法求取的导数光谱与实际相差不大，但对于稀疏波长采样点的光谱，该方法所求的导数则存有较大误差，这时可采用Savitzky Golay卷积求导法计算。

2.4归一化处理