近红外建模与模型评价
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 光谱预处理和波长优选方法在近红外光 谱分析技术中是相当重要的.
近红外光谱定性和定量校正方法:
• 主成分分析(PCA)、 马氏距离（MD）、聚 类分析（CA）、多元线性回归(MLR) 、偏 最小二乘法( PLS) 、人工神经网络(ANN) 和 拓扑( Topological) 方法，以及最近提出的支 持向量机（Support vector machine）等。 目的在于利用这些化学计量学方法建立稳定 、可靠的定性或定量分析模型，以对近红外 光谱进行快速、实时的定性定量分析
• 偏最小二乘法（Partial Least Square, 缩写为 PLS）
• 拓扑学方法和人工神经网络方法（Artificial Neural Net，缩写为ANN）等等。
化学计量学方法用于近红外光谱中，使 近红外的独特优势得到了充分发挥。
• 化学计量学已经成为近红外光谱分析中的不可或缺的重要组成部分。 主成分分析和偏最小二乘是经典的化学计量学方法，也是在近红外光 谱分析中最常用的方法。
• 将支持向量机用于近红外光谱可有效地改善过拟合现象，而且它允许 高维数据作为输入矢量，可以很好地解决温度等变量引起的光谱非线 性变化问题。
• 因此，对于每一种化学计量学方法而言，都有各自的长处和短处，在 用于近红外光谱时可能受到某些限制。目前已有研究者将这些方法相 互结合，取长补短，再将其应用于近红外光谱分析技术中。
SVM分类器
f
(x)
sgn
n
ai*
yi
K
(
xi
,
x)
b*
i1
NIR建模中的化学计量学方法研究
❖ 建模方法 • PLS、SVR、consensus modeling
❖ 光谱预处理 • 背景扣除、数据压缩 —— 小波变换(WT) • 变量筛选 / 波长筛选 —— WT-UVE、WTIPOW
• 近红外是间接检测 • 必需校准 •பைடு நூலகம்必需有参考分析方法
近红外技术应用前提条件
一般来讲，能否应用近红外技术定 量精确检测某种成分的含量主要由以下 三方面的因素决定：
1. 被检测的样品是否有很好的近红外光谱 反应特性，即通常所说的“红外活性” 。
2. 仪器自身的特性及相关的技术指标：检 测过程中光谱的重复性精度、信噪比以 及波长范围等因素。
联系方式
• 倪勇: M: 13901183005
•
E-mail: niyong@perten.com.cn
•
MSN: ni_yong_2006@hotmail.com
•
QQ:609293453
校准 = 教会仪器
• 近红外光谱定量分析技术又称“黑匣子” 分析技术，是一种间接的测量方法，即通 过对样品光谱和其质量参数进行关联，建 立预测模型，然后通过预测模型和未知质 量参数的样品光谱来预测样品的组成和性 质。
• 实验室化学分析的准确度 • 代表性样品的收集 • 光谱的信噪比 • 光谱信息的代表性 • 环境与样品前处理 • 模型优化的条件 • 包括：谱区的选择、光谱预处理方法和
得分因子的维数等。
化学计量学方法在近红外光谱中应用
• 光谱预处理和波段的选择方法: 包括傅立叶变换（Fourier transform）、 卷积(Convolution)、去卷积 (Deconvolution)、微分(derivative)处理以 及相关系数法、遗传算法(GA)等方法， 对光谱进行平滑处理和基线校正，以及 光谱波长范围的优化。如近期的移动窗 偏最小二乘回归法。
建模常用化学计量学方法
• 多元线性回归（Multivarate Linear Regression, 缩写为MLR）
• 主成分分析（Principle Component Analysis, 缩写为PCA）
• 主成分回归（Principle Component Regression，缩写为PCR）
建模方法研究
❖ 基于SVM的近红外定性建模方法
提出了将近红外光谱技术（NIR）和基于统计学习 理论的支持向量机（SVM）相结合，来建立识别合格/ 劣质奶粉的近红外定性模型。实验结果表明应用SVMNIR建立判别奶粉安全定性分析模型的方法是可行的， 这将为奶粉安全判别分析提供了一种更为便捷，无损 的绿色分析技术。
描述特定近红外波长光的吸收特性和样品组 成之间的关系。
Y = C0 + C1*A1 + C2*A2 + … + Cn*An
红外光谱定量分析流程
光谱定量分析流程
收集样品
测定全部样品的物化性质
测定全波长谱图
对光谱必要的处理
选择校正集
选择验证集
建立多元回归模型
对模型进行评价
日常分析
加入界外点 是 重新建模
结果的精度可能变差；模型适用范围小时，分析结 果的精度相对较高，但适用面变窄。
对样品物化性质的测定
对于人工合成样品，比较简单 对于复杂的天然产品，必须选用被大家接受
权威的分析方法。 模型预测结果的准确性在很大程度上取决于
标准测量结果的准确性。 用多次分析结果的平均值来降低误差
影响近红外分析结果准确性因素
3. 用于建模定标的样品的化学值的准确程 度。
检测
• 精度 = 重复性 •准确度 = 达到真值的能力
精度高 准确性高
精度高 准确性差
精度差 准确性差
不同实验室比较
0.7
0.65
0.6
0.55
0.5
0.45
0.4
1
2
3
4
5
6
7
8
9
10
11
12
资料来源: CCFRA 合作研究项目, 1997
什么是校准
• PCA是在近红外定性和定量分析中都常用的方法，其主要目的是数据 降维，以消除近红外光谱信息中相互重叠的部分，是将光谱数据向协 方差最大方向投影，得到最大限度反映被测样品的组成和结构信息的 新变量，但由于投影过程与因变量不相关，一般预测精度不很高。
• 用PLS建立模型，可以利用全部光谱的信息对样品进行分析，将光谱 矩阵的分解和回归交互进行，由于光谱的非线性会导致过拟合，因此 在近红外光谱的应用有时会受到限制。
正确 不正确
检测结果 是否正确
仪器及操作 是否正确
不正确 检修仪器
正确
样品是否 为界外点
不是 检查分析方法
校正模型训练集样品的选择
尽可能要覆盖待分析样品的范围 对于待测的物化性质，样品应均匀分布 样品的基底应相同（如PH值或水分） 若各组分间相互反应，要注意光谱采集合采集瞬间
的组成变化 包括尽可能多的有代表性的样本 样本变化范围越大，模型的适用范围越宽，但分析
近红外光谱定性和定量校正方法:
• 主成分分析(PCA)、 马氏距离（MD）、聚 类分析（CA）、多元线性回归(MLR) 、偏 最小二乘法( PLS) 、人工神经网络(ANN) 和 拓扑( Topological) 方法，以及最近提出的支 持向量机（Support vector machine）等。 目的在于利用这些化学计量学方法建立稳定 、可靠的定性或定量分析模型，以对近红外 光谱进行快速、实时的定性定量分析
• 偏最小二乘法（Partial Least Square, 缩写为 PLS）
• 拓扑学方法和人工神经网络方法（Artificial Neural Net，缩写为ANN）等等。
化学计量学方法用于近红外光谱中，使 近红外的独特优势得到了充分发挥。
• 化学计量学已经成为近红外光谱分析中的不可或缺的重要组成部分。 主成分分析和偏最小二乘是经典的化学计量学方法，也是在近红外光 谱分析中最常用的方法。
• 将支持向量机用于近红外光谱可有效地改善过拟合现象，而且它允许 高维数据作为输入矢量，可以很好地解决温度等变量引起的光谱非线 性变化问题。
• 因此，对于每一种化学计量学方法而言，都有各自的长处和短处，在 用于近红外光谱时可能受到某些限制。目前已有研究者将这些方法相 互结合，取长补短，再将其应用于近红外光谱分析技术中。
SVM分类器
f
(x)
sgn
n
ai*
yi
K
(
xi
,
x)
b*
i1
NIR建模中的化学计量学方法研究
❖ 建模方法 • PLS、SVR、consensus modeling
❖ 光谱预处理 • 背景扣除、数据压缩 —— 小波变换(WT) • 变量筛选 / 波长筛选 —— WT-UVE、WTIPOW
• 近红外是间接检测 • 必需校准 •பைடு நூலகம்必需有参考分析方法
近红外技术应用前提条件
一般来讲，能否应用近红外技术定 量精确检测某种成分的含量主要由以下 三方面的因素决定：
1. 被检测的样品是否有很好的近红外光谱 反应特性，即通常所说的“红外活性” 。
2. 仪器自身的特性及相关的技术指标：检 测过程中光谱的重复性精度、信噪比以 及波长范围等因素。
联系方式
• 倪勇: M: 13901183005
•
E-mail: niyong@perten.com.cn
•
MSN: ni_yong_2006@hotmail.com
•
QQ:609293453
校准 = 教会仪器
• 近红外光谱定量分析技术又称“黑匣子” 分析技术，是一种间接的测量方法，即通 过对样品光谱和其质量参数进行关联，建 立预测模型，然后通过预测模型和未知质 量参数的样品光谱来预测样品的组成和性 质。
• 实验室化学分析的准确度 • 代表性样品的收集 • 光谱的信噪比 • 光谱信息的代表性 • 环境与样品前处理 • 模型优化的条件 • 包括：谱区的选择、光谱预处理方法和
得分因子的维数等。
化学计量学方法在近红外光谱中应用
• 光谱预处理和波段的选择方法: 包括傅立叶变换（Fourier transform）、 卷积(Convolution)、去卷积 (Deconvolution)、微分(derivative)处理以 及相关系数法、遗传算法(GA)等方法， 对光谱进行平滑处理和基线校正，以及 光谱波长范围的优化。如近期的移动窗 偏最小二乘回归法。
建模常用化学计量学方法
• 多元线性回归（Multivarate Linear Regression, 缩写为MLR）
• 主成分分析（Principle Component Analysis, 缩写为PCA）
• 主成分回归（Principle Component Regression，缩写为PCR）
建模方法研究
❖ 基于SVM的近红外定性建模方法
提出了将近红外光谱技术（NIR）和基于统计学习 理论的支持向量机（SVM）相结合，来建立识别合格/ 劣质奶粉的近红外定性模型。实验结果表明应用SVMNIR建立判别奶粉安全定性分析模型的方法是可行的， 这将为奶粉安全判别分析提供了一种更为便捷，无损 的绿色分析技术。
描述特定近红外波长光的吸收特性和样品组 成之间的关系。
Y = C0 + C1*A1 + C2*A2 + … + Cn*An
红外光谱定量分析流程
光谱定量分析流程
收集样品
测定全部样品的物化性质
测定全波长谱图
对光谱必要的处理
选择校正集
选择验证集
建立多元回归模型
对模型进行评价
日常分析
加入界外点 是 重新建模
结果的精度可能变差；模型适用范围小时，分析结 果的精度相对较高，但适用面变窄。
对样品物化性质的测定
对于人工合成样品，比较简单 对于复杂的天然产品，必须选用被大家接受
权威的分析方法。 模型预测结果的准确性在很大程度上取决于
标准测量结果的准确性。 用多次分析结果的平均值来降低误差
影响近红外分析结果准确性因素
3. 用于建模定标的样品的化学值的准确程 度。
检测
• 精度 = 重复性 •准确度 = 达到真值的能力
精度高 准确性高
精度高 准确性差
精度差 准确性差
不同实验室比较
0.7
0.65
0.6
0.55
0.5
0.45
0.4
1
2
3
4
5
6
7
8
9
10
11
12
资料来源: CCFRA 合作研究项目, 1997
什么是校准
• PCA是在近红外定性和定量分析中都常用的方法，其主要目的是数据 降维，以消除近红外光谱信息中相互重叠的部分，是将光谱数据向协 方差最大方向投影，得到最大限度反映被测样品的组成和结构信息的 新变量，但由于投影过程与因变量不相关，一般预测精度不很高。
• 用PLS建立模型，可以利用全部光谱的信息对样品进行分析，将光谱 矩阵的分解和回归交互进行，由于光谱的非线性会导致过拟合，因此 在近红外光谱的应用有时会受到限制。
正确 不正确
检测结果 是否正确
仪器及操作 是否正确
不正确 检修仪器
正确
样品是否 为界外点
不是 检查分析方法
校正模型训练集样品的选择
尽可能要覆盖待分析样品的范围 对于待测的物化性质，样品应均匀分布 样品的基底应相同（如PH值或水分） 若各组分间相互反应，要注意光谱采集合采集瞬间
的组成变化 包括尽可能多的有代表性的样本 样本变化范围越大，模型的适用范围越宽，但分析