小波变换-分段直接校正法用于近红外光谱模型传递研究

( ヘ ( ARMS = 1 M M i=1
1 N
N
（ S2i λ
λ =1
-
S1i λ ）
（3）
Prcorrecte（d % ）=
ARMS2uncorrected - ARMS2corrected ARMS2uncorrected
× 100%
（4）
N 为光谱数据总数目，S2i λ和 S1i λ分别为第 i 个标准样品分别在仪器 2 和仪器 1 测定的 λ 波长处光
4. 2 标准样品数目的选择
PDS 算法属于有标传递方法。采用 K-S 方法，从源机校正集样品中选取标准样品。图 1 为目标机
Zh3-1 与源机传递后 ARMS 和 Prcorrected 与标准样品数目关系。标样越多，ARMS 越小，Prcorrected 越大；选定 标准样品数目为 9，此时仪器之间的 81. 7% 光谱差异
主因子。因此 f 控制主因子数的选定，f 越大，所选的主因子越多。可见，PDS 的参数包括 w 和 f 的确定。
2. 3 传递性能评价参数
采用光谱平均差异（ ARMS）和光谱校正率（ Prcorrected）评价传递性能。ARMS 反映了不同仪器之间光 谱的差异。ARMS 越大，仪器差异越明显；Prcorrected为不同仪器之间光谱差异扣除率，越大，传递性能越好。
图 1 ARMS 和 Prcorrected 与标样数目关系 Fig. 1 Plot of average of root mean square（ ARMS）and Prcorrected with size of standard samples
仪器无关的信息，传递性能也会变差。最佳的 w 和 f 需要通过反复筛选确定，通常选取最小 ARMScorrected 或最大 Prcorrected 对应的参数为最终的传递参数（ 见表 1）。 4. 4 光谱校正结果
得到扣除。
4. 3 窗口宽度参数 w 和主因子参数 f 的确定
采用 PDS 方法进行传递时，如果 w 过小，选定的
光谱数据会遗漏仪器之间差异信息，传递性能较差；
反之，如果 w 过大，选定的光谱数据将含有与仪器无
关的信息，不仅计算量大，而且存在“ 过校正”现象， 传递性能变差。主因子参数 f 与 w 有关，f 越小，选定 的主因子越少，主成分得分中反映仪器信息越少，传 递性能越差；f 过大，主因子过多，得分中也包含有与
（1）
F
=
Dif
2
+ ss
Dif
2 ms
（2）
上式中
Dif
2
+ ss
为
Dif
2 s（s
标准样品的目标机光谱数据）的逆矩阵，F
为
m
×
m
矩阵（
m
为光谱数据长
度），Dif 2ss为标准样品的源机光谱数据。
在 PDS 算法中，用 i 光谱数据点附近一窗口为 j + k + 1 大小的光谱段 Dif 2ss，j + k +（1 从第（ i - j）到第
参数 Parameter
Q-0 Zh3-1 Zh3-2 Nir8
Nir33
Q-10 Zh3-1 Zh3-2 Nir8
Nir33
Zh3-1
窗口宽度参数 w 1
1
1
1
1
1
1
1
1
主因子参数 f 2
2
2
2
2
0
2
2
2
ARMSuncorrected （ × 10 - 4 ）
ARMScorrected （ × 10 - 4 ）
红外光谱仪。其中 3 台为总后油料研究所研制的便携式油料质量分析仪，编号为 Zh3-1、Zh3-2 和 Zh33；2 台为北京英贤仪器有限公司生产的 NIR3000 型近红外光谱仪，编号为 Nir8 和 Nir33。其中 Zh3-3 为 源机，其余 4 台为目标机。上述 5 台仪器均为 CCD2048 象元检测器，分辨率优于 1. 5 nm，光谱采集范围 700 ～ 1100 nm，数据间隔 0. 2 nm。 3. 2 光谱测量和基础数据测定方法
同标样之间校正后光谱存在较大的差异，为了改善传递性能，需要从校正集中选取标样。
表 1 WT-PDS 传递参数和光谱校正结果 Table 1 Parameters and results of wavelet transform piecewise direct standardization（ WT-PDS）
（i + k））来转换 Dif 2ms，i。其具体步骤参考文献［9］。在实际 PDS 传递过程中，窗口宽度（ k + j + 1）设为
3 × w，w 为窗口宽度参数。各波长的转换系数采和主成分分析（ PCA）求得，其主因子通过主因子参数 f
确定。计算第 ii 主因子的特征值与所有主因子的特征值之和的百分比 A。选定百分比不低于 10 - f 为最终
谱数据；M 为标样数目。ARMSuncorrected 指传递前的 ARMS，ARMScorrected 指传递后的 ARMS。
3 实验部分
3. 1 样品和仪器 从全国 25 个地区收集 3 类成品柴油：- 10# 轻柴（ Q-10）、0# 轻柴（ Q-0）和 - 10# 军柴（ J-10）。5 台近
表 1 列出了传递参数及其光谱校正结果。由表 1 可以看出影响光谱差异的因素有仪器和标样，采
用方差分析比较二者的影响程度，结果见表 2。均方差越大，影响程度越大。表 2 数据表明传递前不同
仪器之间的光谱差异来自于仪器，经过 WT-PDS 传递后，其光谱差异主要来自于标样。ARMScorrected 远远 低于 ARMSuncorrected，说明该方法能够有效的扣除仪器带来的光谱差异，其扣除率高，达 72. 9% ～ 97. 1% 。 WT-PDS 属于线性校正方法，无法校正与波长、吸光度二者之间存在的非线性关系的光谱差异，所以，不
摘 要 提出了一种新的传递算法（ WT-PDS）———小波变换-分段直接校正法，并详细讨论了模型传递参数和 传递结果。首先利用小波变换对光谱进行压缩处理，采用 PDS 算法消除不同仪器之间压缩数据的差异，最后 利用经校正的压缩数据进行分析，实现模型传递。本方法能够扣除不同仪器之间的大部分差异，大幅度改善 分析精度。传递后模型分析精度与源机模型稳健性紧密相关。如果源机模型稳健性强，则能够实现不同仪器 之间的共享。本方法能够实现源机的 0# 轻柴十六烷值、凝点、馏出温度；-10# 轻柴十六烷值、凝点以及-10# 军 柴凝点和馏出温度共 10 个模型在 5 台仪器之间共享，简化了建模的成本。与传统的 PDS 相比，WT-PDS 方法 具有传递和建模变量少、速度快、光谱校正性能高等优点，而其模型分析精度与传统 PDS 基本一致。
第7 期
田高友等：小波变换-分段直接校正法用于近红外光谱模型传递研究
929
测定其近红外光谱；然后采用相同的预处理，并利用系数 F 进行计算，得到目标机向源机校正的光谱数
据，最后利用该数据和源机建立的模型计算样品的性质。由于所收集样品较少，以源机样品集在目标机
测定的光谱，并扣除少量异值点后，作为模型传递验证集光谱；（ 4 ）目 标 机 未 知 样 品 性 质 分 析：目 标 机 未
不同仪器之间光谱的差异通常与样品背景和仪器噪音相互干扰，为改善模型传递性能，需要进行光 谱预处理。比如小波变换。首先近红外光谱经小波分解，得到小波系数；然后利用传统的传递算法（ DS 和 PDS）对小波系数进行校正；并利用校正的小波系数进行小波重构，最后利用重构光谱进行建模分析 ，实验光谱传递［5 ～ 7］，比如 WHDS 法（ wavelet transform hybrid direct standardization，小波变换直接校正联 合校正）［8］和 WTDS 法（ wavelet transform direct standardization，小波变换直接校正）［9］。WHDS 法利用 DS 对有方法指对离散逼近和离散细节系数均利用 DS 分别进行传递，然后校正后系数进行重构，并建 模分析；而 WTDS 法指先利用 WT 对光谱进行压缩，随后利用 DS 算法对有用的离蓁逼近和离散细节系 数进行校正，而 WTDS 法只对 WT 压缩后数据进行校正。上述两种方法均具有传递过程繁琐，光谱变量 多、传递速度慢等不足。为此，本研究提出了 WT-PDS 方法。本方法类似于 WTDS 方法，先利用 WT 进 行光谱数据，然后进行 PDS 校正，最后直接利用校正的小波系数进行建模分析。不仅省掉重构运算，而 且光谱变量少，具有传递过程简单、分析速度快等优点。
2005-09-22 收稿；2006-01-09 接受 本文系国家自然科学基金资助项目（ No. 2007523）
928
分析化学
第 34 卷
的
Dif
2 s，un 转换为与源机上测得的光谱一致的光谱数据
Dif
2
（ p
s，un
理论上），即：
Dif
2P s，un
=
Dif
2 s，un F
转换矩阵 F 的计算公式为：
结合 PLS 方法建立各性质模型，然后用验证集进行模型检验；（2）源机和目标机光谱数据校正系数计 算：利用 K-S 方法［10］在源机校正集中选取少量具有代表性的样品，作为传递标准样品，分别在目标机和 源机上测量其近红外光谱；对二者进行小波压缩 + 二阶微分处理，采用 PDS 方法计算目标机光谱数据 向源机光谱数据校正的系数 F；（3）模型传递验证：选取一定数量的样品作为模型传递验证集，在目标机
采用偏最小二乘（ PLS）方法建立校正模型。其中设定主因子最大数目为 6，并按照交互验证确定其 最终主因子数。采用 SEC（ 校正集标准偏差）和 SEP（ 验证集标准偏差）来评价模型性能。SEC 和 SEP 越小，模型性能越好，要求二者低于再现性要求。
4 结果与讨论
4. 1 WT-PDS 有标传递过程 WT-PDS 算法过程：（1）源机模型建立和验证：将源机校正集光谱经过小波压缩及二阶微分预处理，
将测定的样品倒入 5 cm 的玻璃比色皿，放入样品池架。仪器温度为 35℃ ，样品池温度为 25℃ 。以 空气为参比进行多次扫描。稳定后，记录最后一次扫描光谱为测量光谱。
分别按照 GB / T386、GB / T510 和 GB / T6536 方法测定柴油十六烷值、凝点和馏出温度。 3. 3 定量校正方法
第 34 卷 2006 年 7 月
分析化学（ FENXI HUAXUE） 研究报告 Chinese Journal of Analytical Chemistry
第7 期 927 ～ 932
小波变换-分段直接校正法用于近红外光谱模型传递研究
田高友#1 褚小立2 袁洪福2 陆婉珍2
（1 解放军总后勤部油料研究所，北京 102300） （2 石油化工科学研究院，北京 100083）
知样品的光谱经过相同处理后，利用 F 计算得到未知样品向源机校正的光谱数据，最后利用源机建立
的模型，计算未知样品性质。为便于比较，也与传统的 PDS 方法（ 记为 CPDS）进行比较。CPDS 传递过
程与 WT-PDS 基本一致，只是光谱数据不经过小波压缩处理，直接进行二阶微分处理（ 微分宽度 21）。
2 小波变换-分段直接校正法（ WT-PDS）算法
2. 1 小波处理 本研究的小波压缩过程详见文献［8］，基本过程为采用 Db2 为母小波，对原始光谱小波压缩处理，
选取第三逼近系数 cA3 ，然后进行二阶微分处理，其光谱数据记为 Dif 2。 2. 2 PDS 传递
利用 Dif 2，采用 PDS 算法进行传递。其原理为：用转换矩阵 F，将目标机测得的未知样品光谱数据
关键词 小波变换，分段直接传递又称为仪器标准化［1，2］。常用的有标传递方法有 DS（ direct standardization，直接校正）法、 PDS（ 分段直接校正）算法、Shenk's 算法、普鲁克法［3］和目标因子（ TTFA）［4］法等。其中，DS 和 PDS 是最 常用最有效的方法。DS 利用全谱数据来计算某个波长点校正参数 F，便于理解，但所需标样多，不能低 于光谱秩。而 PDS 方法利用某波长点小窗口范围的光谱数据来计算该波长的校正参数，标样少。实际 模型传递主要是针对同一类型的不同仪器而进行，其光谱只是在波长很小范围发生变化。此时，采用 DS 方法传递存在“ 过校正”现象。PDS 不但可以避免过校正，提高传递性能，而且所需标样少、传递速 度快。