近红外稳健分析校正模型的建立_样品温度的影响_褚小立

合集下载

近年来我国近红外光谱分析技术的研究与应用进展_褚小立

近年来我国近红外光谱分析技术的研究与应用进展_褚小立
上述这些仪器硬件研发成 果有些已被产业化 , 转化为商品仪器仪器 , 其中有些产品的关键性能指 标已达到国际同类商品的水平 , 并已在石化和农业 等行业的科研和生产中得到应用 , 发挥着积极的作 用。
3 化学计量学方法研究与软件开发
3 .1 方法研究 在光谱预处理方面 , 将浓度向量参与到光谱预
关键词 近红外光谱 分析仪器 化学计量学 软件开发 应用
1 前 言
近红外光谱(NI R)是近十年来发展最为迅速的 高新分析技术之一 。 目前 , 大约有 50 多个国家和地 区开展了 NIR 的研究和应用工作 , 特别是一些发达 国家表现得尤为突出 , 这些国家拥有大量的各种类 型的 NIR 分析仪器用于各行各 业 , 有研究 型 、专用 型 、便携型 , 还有直接安装在工业生产线的在线型分 析仪 。这些仪器在农业 、石化 、制药 、食品等领域都 得到很好应用 , 并取得极好的社会和经济效益[ 1] 。
2006 年第 2 期 分 析 仪 器
1
综 述
近年来我国近红外光谱分析技术的研究与应用进展
褚小立 袁洪福 陆婉珍
(石油化工科学研究院 , 北京 , 100083)
摘 要 对我国近 10 年来近红外光谱分析技术 的研究 与应用 进展作了 较为详 细的综 述 , 包 括近红 外光谱 仪 器研 制 、化学计量学方法及软件开发和在各领域的实际应 用 。根据 国际上近红外光谱分析 技术的现 状和国内实 际 情况 , 提出了今后我国近红外光谱分析技术的发 展方向 。
处理算法中 是 一种 新的 发展 方向 , 正 交 信号 校正 (OS C )和 净分 析信 号(N A S)方 法就 是 这类 算 法的 代 表[ 25] 。 刘广军等人详细介绍了 5 种 OSC 算法的原 理 , 并对其进行了比较[ 26] 。王丽杰等人证明了这种 方法可以从复杂重叠光谱中提取净信号信息 , 滤除 噪声 , 提高模型的预测能力[ 27 , 28] 。将小波变换用于 NIR 光谱预处理是近几年来的研究热点 , 我国在这 一领域作了相当出色的研究工作[ 29] 。田高友等人将 小波变换用于油品 NIR 光谱的去噪 、压缩和特征信 息提取等 , 取得了较好的效果[ 30] 。 邵学广等人将连 续小波变化和 UVE 、OSC 、遗传算法(GA)等方法相 结合 , 提出了一些用于 NIR 光谱预处理和波长筛选 混合方法[ 31] , 以及构建自适应小波滤波器来压缩近 红外光谱数据[ 32] 。李华北和刘则毅等人也采用小波 变换对农产品 、食品以及血液等样品的 NI R 光谱进 行预处理[ 33 , 34] 。除此之外 , 褶合变换 、离散余弦变换 和多元散射校正方法(M SC)都被用来处理近红外光 谱 。 [ 35 -37]

小波变换-分段直接校正法用于近红外光谱模型传递研究

小波变换-分段直接校正法用于近红外光谱模型传递研究
2005-09-22 收稿;2006-01-09 接受 本文系国家自然科学基金资助项目( No. 2007523)
928
分析化学
第 34 卷

Dif
2 s,un 转换为与源机上测得的光谱一致的光谱数据
Dif
2
( p
s,un
理论上),即:
Dif
2P s,un
=
Dif
2 s,un F
转换矩阵 F 的计算公式为:
红外光谱仪。其中 3 台为总后油料研究所研制的便携式油料质量分析仪,编号为 Zh3-1、Zh3-2 和 Zh33;2 台为北京英贤仪器有限公司生产的 NIR3000 型近红外光谱仪,编号为 Nir8 和 Nir33。其中 Zh3-3 为 源机,其余 4 台为目标机。上述 5 台仪器均为 CCD2048 象元检测器,分辨率优于 1. 5 nm,光谱采集范围 700 ~ 1100 nm,数据间隔 0. 2 nm。 3. 2 光谱测量和基础数据测定方法
第7 期 927 ~ 932
小波变换-分段直接校正法用于近红外光谱模型传递研究
田高友#1 褚小立2 袁洪福2 陆婉珍2
(1 解放军总后勤部油料研究所,北京 102300) (2 石油化工科学研究院,北京 100083)
摘 要 提出了一种新的传递算法( WT-PDS)———小波变换-分段直接校正法,并详细讨论了模型传递参数和 传递结果。首先利用小波变换对光谱进行压缩处理,采用 PDS 算法消除不同仪器之间压缩数据的差异,最后 利用经校正的压缩数据进行分析,实现模型传递。本方法能够扣除不同仪器之间的大部分差异,大幅度改善 分析精度。传递后模型分析精度与源机模型稳健性紧密相关。如果源机模型稳健性强,则能够实现不同仪器 之间的共享。本方法能够实现源机的 0# 轻柴十六烷值、凝点、馏出温度;-10# 轻柴十六烷值、凝点以及-10# 军 柴凝点和馏出温度共 10 个模型在 5 台仪器之间共享,简化了建模的成本。与传统的 PDS 相比,WT-PDS 方法 具有传递和建模变量少、速度快、光谱校正性能高等优点,而其模型分析精度与传统 PDS 基本一致。

影响近红外光谱分析结果准确性的因素

影响近红外光谱分析结果准确性的因素

影响近红外光谱分析结果准确性的因素影响近红外测试结果稳定性的因素可分为三类:即源于仪器的影响因素,来源于样品的影响因素,以及与操作者自身有关的因素(见表1)。

这些因素主要来自定标样品的选择、模型传递过程中波长的变化、样品预处理及装样的差别、定标样品的标准方法测定、测试条件、样品特征等。

样品粒度大小及其分布是影响近红外预测效果的重要因素之一。

样品粒度的差异直接影响样品对近红外光的吸收和散射,从而导致光谱的变异。

对此近红外光谱专家们做了大量工作,Willimas[4]和Thompso[5]分别指出影响近红外光谱分析准确性和精确性最重要的因素是样品的颗粒度。

1984年Norris和Willimas[6]研究了颗粒度大小对硬红冬小麦近红外测试结果的影响,发现不同颗粒度大小样品的近红外光谱有很明显的差异,随样品颗粒度的增大,吸光度增加,且波长越长,光谱变异越大。

1999年Wang和Dowell等[7]研究了全籽粒小麦的籽粒大小对近红外光谱的影响,发现颗粒度大小与吸光度成正相关,红小麦相关系数为0.77,白小麦相关系数为0.72。

国内在这方面也有研究,王文真[8]验证了样品粒度对近红外测定结果的影响,得出小麦中粗蛋白含量的预测值随粒度的增大而增高;且待测样品粒度和定标样品粒度相接近的预测值与实际值最为接近。

胡新中等[9]研究了小麦全粉粗细度对近红外测定结果的影响,发现随粒度的增加,蛋白质含量、水分含量和硬度的近红外预测值都有所增加。

水分对近红外分析结果产生影响主要有以下几个原因:一是样品的水分含量显著地影响粉碎后颗粒度的大小、形状及其分布,导致样品光谱散射系数S发生变化,从而影响其预测结果。

其二是通过与其它成分的水合作用,导致某成分最佳波长点发生漂移。

样品表面的色泽影响样品对近红外光的漫反射率和透过率的大小。

一些表面比较光亮的样品,对光的反射比较强烈,这样就导致近红外光不能携带样品信息到达检测器;相近组分,不同颜色的油菜籽样品近红外扫描实验中,样品表面颜色越深,吸光度越大,在短波处(≤1000nm)最为明显[2]。

温度对近红外光谱分析的影响研究

温度对近红外光谱分析的影响研究

温度对近红外光谱分析的影响研究近红外光谱分析是一种非破坏性的技术,可以用于材料、食品、药品、环境等领域的质量控制和分析。

然而,在进行近红外光谱分析时,温度可能会对结果产生影响。

本文将对温度对近红外光谱分析的影响进行研究和分析。

首先,温度对近红外光谱的影响主要体现在两个方面。

第一,温度变化会产生热胀冷缩的效应,导致光学元件的尺寸变化。

由于近红外光谱分析需要稳定的光学路径和光源,光学元件的尺寸变化可能会导致信号强度的变化,进而影响光谱的质量。

第二,温度的变化可能会引起样品的物理或化学变化,从而影响近红外光谱的谱图特征。

例如,某些样品在高温下可能发生热解、失水或发生化学反应,导致光谱发生变化。

为了研究温度对近红外光谱分析的影响,一种常见的方法是通过温控设备控制样品的温度,并记录光谱数据。

然后,分析数据,评估温度对光谱的影响,并找出解决方案来减小温度对光谱分析结果的影响。

研究表明,在样品进行近红外光谱分析时,温度的变化可能导致信号强度的变化。

这是因为温度会影响吸收、散射和透射光的衰减程度。

一些物质在高温下可能发生吸收能量的现象,导致信号强度的减小。

此外,在高温下,样品可能发生物理或化学变化,使光谱发生形状、峰位或峰宽的变化。

因此,在进行近红外光谱分析时,必须考虑样品的温度对光谱信号的影响,并进行相应的校正和补偿。

为了减小温度对近红外光谱分析结果的影响,可以采取一些措施。

首先,可以使用温控设备来控制样品的温度,确保温度的稳定性。

其次,可以根据样品的特性进行校正和补偿。

例如,可以制备一系列温度下的标准样品,并对这些样品进行近红外光谱分析,建立温度对样品光谱的影响模型。

通过该模型,可以对实际样品的光谱数据进行校正和补偿,以消除温度对光谱的影响。

此外,在进行近红外光谱分析时,还可以进行多次重复测量,并取平均值,以减小温度波动对结果的影响。

除了温度对近红外光谱分析结果的影响外,温度还可能对仪器本身产生影响。

例如,温度变化可能导致光纤的弯曲、光源的稳定性变差,进而影响光谱仪的工作性能。

近红外光谱分析技术发展和应用现状

近红外光谱分析技术发展和应用现状

摘 要 近红外光谱是目前国际公认的最有应用价值的分析技术之一,它在国民经济中日益发挥着越来越重要的作用。

本文主要介绍近5年国内外近红外光谱分析技术的发展及应用现状,并对我国在这一技术方向的研发提出建议。

关键词 近红外光谱 化学计量学 在线分析 快速分析 现场分析Abstract Near infrared spectroscopy (NIR) has been recognized as one of the most valu-able application technologies, which is playing more and more important roles in national economy. In this paper, the research and application status of near infrared spectroscopy analytical technology in the past five years both home and abroad are introduced, and the NIR research and development suggestions for our country are proposed in detail. Key words Near infrared spectroscopy Chemometrics On-line analysis Rapid analysis On-site analysis近红外光谱分析技术发展和应用现状The research and application status of near infrared spectroscopy analytical technology引 言 从1800年英国科学家赫歇耳(W Herschel )发现近红外光,到1881年英国天文学家阿布尼(W Abney )和E R Festing 用Hilger 光谱仪拍摄下48个有机液体的近红外吸收光谱(700~1100nm ),发现近红外光谱区(NIR )的吸收谱带均与含氢基团有关,到1968年美国农业部的工程师K Norris 博士将近红外光谱用于农产品的快速分析,到1974年瑞典化学家S Wold 和美国华盛顿大学的B R Kowalski 教授创建化学计量学学科(Chemometris ),唤醒现代近红外光谱技术这个沉睡的分析“巨人”,到上世纪80年代末光纤在光谱中的应用,推动在线近红外光谱技术的应用和发展,到本世纪之初微机电系统(MEMS )技术使NIR 仪器越来越小型化,到近些年近红外光谱化学成像(NIR Chemical Imaging )技术的兴起和应用,现代近红外光谱分析技术走过200余年的发展历程,近红外光谱从光谱中的垃圾箱(因其宽且重叠严重的谱带而无法通过传统方法进行分析应用),发展成为当前很多领域不可或缺的一种分析手段[1~7]。

用于近红外光谱分析的化学计量学方法研究与应用进展_褚小立

用于近红外光谱分析的化学计量学方法研究与应用进展_褚小立
[ 17]

Boostin g 与 Bagg ing 的区别在于 Bagg in g 的成员训练集的选择是随机的 , 各成员训练集之间相互独 立 , 而 Boostin g 的成员训练集的选择不是独立的 , 各成员训练集的选择与前面各轮的学习结果有关, 所 以 Bagg in g 的各个预测函数可以并行生成, 而 Boosting 的各个预测函数只能顺序生成且有权重。 AdaBoost算法应用于分类的基本思想是逐步构造出一组分类器, 每构造一个新的分类器都着重弥 补前一个分类器的缺陷, 最后集成所有分类器的分类结果, 以获得更为理想的分类效果。 Zhang
M )。 ( 2 ) 由
1 T 1 T l l K I- l l M M t , u 。 ( 7 ) 重复 ( 3 ) ~ ( 6 ), 直 , uf]。
式中 , I 为单位矩阵, l为 M 维全 1列向量。 ( 3)初始化变量 u, u 为 Y 的得分向量。 ( 4 ) t = Ku, t= t / t 为 X 的得分向量。 ( 5 ) c = Y t, c 为 Y 的载荷向量。 ( 6 ) u = Yc , u= u /
Boostin g 方法由 Schap ire 于 1990 年提出, 1995年 F reund 和 Schapire 改进了 Boost ing 算法, 提出了自 适应 Boost ing( adaptiv e boost ing, AdaBoost)算法。由于该算法可以非常容易地应用到实际问题中, 目前 已成为最流行的 Boostin g 算法
第 36 卷 2008 年 5 月
分析化学 ( FENX I HUAXUE )
评述与进展
第 5期 702~ 709
Ch inese Journa l of A na lytica l Che m istry

现代分析仪器的应用

现代分析仪器的应用

现代分析仪器的应用———红外光谱的应用1 前言近红外光谱(NIR)是近十年来发展最为迅速的高新分析技术之一。

目前,大约有50多个国家和地区开展了NIR的研究和应用工作,特别是一些发达国家表现得尤为突出,这些国家拥有大量的各种类型的NIR分析仪器用于各行各业,有研究型、专用型、便携型,还有直接安装在工业生产线的在线型分析仪。

这些仪器在农业、石化、制药、食品等领域都得到很好应用,并取得极好的社会和经济效益。

我国从上世纪80年代开始进行NIR技术的研究,主要侧重于农产品的品质分析研究方面。

从上世纪90年代中期,国内许多科研院所和大专院校开始积极研发适合国内需要的NIR成套分析技术,并有多本专著出版,也有许多学者发表了多篇有关NIR原理和应用的综述文章,为这项技术的普及作了大量工作,开创了我国NIR研发和应用的崭新局面。

近几年我国在仪器硬件、化学计量学软件、分析模型建立以及实际应用等方面都有了长足发展,NIR分析技术已经应用于各个领域。

本文对我国NIR分析技术近10年来的研究与应用进展作了较为详细的综述,并根据国际现状和国内实际情况,提出了今后我国NIR分析技术的发展方向。

2 仪器硬件NIR技术的一个重要特点就是技术本身的成套性,即近红外光谱仪、化学计量学软件和应用模型的三位一体性,性能优异的近红外光谱仪是该技术的基础和前提。

目前,国际上NIR光谱仪的类型较多,按单色器分类,市场上的NIR光谱仪可分为滤光片型、光栅色散型、傅立叶变换型(FT)和声光可调滤光器型(AOTF)等4类。

光栅色散型仪器又可分为扫描一单通道检测器和固定光路一阵列检测器两种类型。

除了采用单色器分光以外,也有仪器采用多种不同波长的发光二极管(LED)作光源,即LED型近红外光谱仪。

尽管我国NIR仪器硬件研制相对较晚,但以上提到的六种类型NIR仪器,在我国都有相关单位进行研发。

3 化学计量学方法研究与软件开发3.1 方法研究在光谱预处理方面,将浓度向量参与到光谱预处理算法中是一种新的发展方向,正交信号校正(OSC)和净分析信号(NAS)方法就是这类算法的代表。

近红外光谱分析技术定标模型建立及优化

近红外光谱分析技术定标模型建立及优化

近红外光谱分析技术定标模型建立及优化高红秀;金萍;杨亮;邹德堂;宁海龙【摘要】近红外分析技术得到了越来越广泛的应用,近红外分析技术目前的主要使用限制是定标。

介绍了近红外光谱分析定标模型建立的过程,从样品集的选择、光谱的采集,到定标模型的建立和优化进行了详细叙述。

%In recent years ,the near infrared spectroscopy technology has been more and more widely used ,The main restriction of the use of near infrared spectroscopy analysis technology is the calibration .Steps taken for establishment of calibration model for NIRS , including selection of sample set , collection of spectra , establishing the quantitative calibration model and optimization ,are expounded in detail .【期刊名称】《实验技术与管理》【年(卷),期】2014(000)002【总页数】3页(P57-59)【关键词】近红外光谱;定标模型;优化【作者】高红秀;金萍;杨亮;邹德堂;宁海龙【作者单位】东北农业大学农学院,黑龙江哈尔滨150030;东北农业大学农学院,黑龙江哈尔滨 150030;东北农业大学农学院,黑龙江哈尔滨 150030;东北农业大学农学院,黑龙江哈尔滨 150030;东北农业大学农学院,黑龙江哈尔滨 150030【正文语种】中文【中图分类】O657.33近红外光谱分析技术具有无需预处理、分析速度快、不损坏样品、能同时测定多个成分、安全无污染等优点[1],在许多领域特别是在农业领域得到了广泛的应用,已成为粮食品质分析的重要手段。

一种基于近红外光谱模型预测值的数据修正方法

一种基于近红外光谱模型预测值的数据修正方法

近红外光谱技术在农业、食品加工、药品生产等领域有着广泛的应用。

然而,由于样品的复杂性和仪器的误差,近红外光谱仪器采集到的数据往往存在一定的偏差和误差。

基于近红外光谱模型预测值的数据修正方法就显得尤为重要。

一种基于近红外光谱模型预测值的数据修正方法,是通过建立模型来对原始数据进行校正和修正,以提高数据的准确性和可靠性。

这种方法通常包括数据预处理、模型建立、验证和修正等步骤。

对原始数据进行预处理是十分必要的,常见的方法包括去除异常值、平滑处理、标准化等。

通过对数据进行预处理,可以减少噪音的影响,提高模型的准确性。

建立合适的近红外光谱模型也至关重要。

在建模过程中,需要选择合适的算法和模型参数,以确保模型能够准确地反映样品的特征。

在模型建立完成后,需要对模型进行验证,以评估模型的预测能力和稳定性。

一旦建立了近红外光谱模型,就可以利用模型对原始数据进行预测和修正。

通过比较原始数据与模型预测值之间的差异,可以得到修正后的数据,从而提高数据的准确性和可靠性。

在实际应用中,基于近红外光谱模型预测值的数据修正方法能够帮助人们更准确地分析样品的成分和性质,为农业生产、食品加工、药品生产等领域提供更可靠的数据支持。

这种方法也为近红外光谱技术的应用提供了新的思路和方法。

基于近红外光谱模型预测值的数据修正方法是一种重要的数据处理技术,能够提高数据的准确性和可靠性,为相关领域的研究和应用提供有力支持。

未来,随着近红外光谱技术的不断发展和完善,基于模型预测值的数据修正方法也将得到更广泛的应用和推广。

以上是我对基于近红外光谱模型预测值的数据修正方法的理解和观点,希望能够为您提供一些参考。

如果有任何疑问或补充,欢迎与我交流讨论。

近红外光谱技术在农业、食品加工、药品生产等领域的应用,不仅提供了高效的检测手段,同时也为相关行业的发展和进步带来了新的机遇和挑战。

在实际应用中,近红外光谱仪器采集到的数据常常存在一定的偏差和误差,这就需要基于近红外光谱模型预测值的数据修正方法来提高数据的准确性和可靠性。

样品温度对植物油的近红外定性分析模型的影响

样品温度对植物油的近红外定性分析模型的影响

样品温度对植物油的近红外定性分析模型的影响涂斌;宋志强;郑晓;曾路路;尹成;何东平;亓培实【摘要】主要研究不同的样品温度对基于激光近红外食用植物油分类模型预测能力的影响.选择样品温度分别为30、40、50、60 ℃作为研究对象,利用激光近红外光谱仪采集4种温度下的合格食用油样品的光谱数据,用标准正态变量变换(SNV)对光谱数据进行预处理,应用支持向量机分类(SVC)方法建立独立温度分类模型和混合温度分类模型,然后采用遗传算法(GA)对模型参数组合(C,g)进行寻优,确定最佳参数组合,利用建立的8个模型对4种不同温度下的预测集样品分别进行预测.试验结果表明:某个样品温度下的独立模型对于该温度下的样品的预测准确率较高,但是对于其他温度下的样品的预测准确率不够理想;混合模型对不同温度的样品预测能力相对较好,具有更好的预测稳定性和温度适应性.研究表明:样品温度对模型的预测能力有很大的影响,是建立食用植物油分类模型过程中需要考虑的重要变量.【期刊名称】《中国粮油学报》【年(卷),期】2016(031)004【总页数】5页(P133-137)【关键词】油脂;激光近红外;样品温度;模型;遗传算法;支持向量机【作者】涂斌;宋志强;郑晓;曾路路;尹成;何东平;亓培实【作者单位】武汉轻工大学机械工程学院,武汉430023;武汉轻工大学机械工程学院,武汉430023;武汉轻工大学机械工程学院,武汉430023;武汉轻工大学机械工程学院,武汉430023;武汉轻工大学机械工程学院,武汉430023;武汉轻工大学食品科学与工程学院,武汉430023;武汉百信环保能源科技有限公司,武汉430023【正文语种】中文【中图分类】O657.3由于计算机技术、光谱技术和化学计量学的快速发展,近红外光谱分析技术(Near Infrared Spectrum,NIRS)因其分析速度快、效率高、样品无需预处理、无损分析和易于实现在线分析等特点,在医药、食品、烟草、农业和石化等行业得到了广泛的应用[1-3]。

近红外定性分析模型的稳健性与适应性分析

近红外定性分析模型的稳健性与适应性分析

第34卷,第6期 光谱学与光谱分析Vol.34,No.6,pp1506-15112014年6月 SpectroscopyandSpectralAnalysisJune,2014近红外定性分析模型的稳健性与适应性分析曹 吾1,2,李卫军1*,王 平2,张丽萍11.中国科学院半导体研究所,高速电路与神经网络实验室,北京 1000832.中国石油大学(华东),信息与控制工程学院,山东青岛 266580摘 要 研究了近红外定性分析中模型的稳健性与适应性问题。

讨论了单独建模延长建模周期对模型性能的影响,结果显示这种方法可以显著提高模型的稳健性,同时对模型的台间适应性也有所提升,但提升作用有限;研究了不同仪器联合建模的方法对模型性能的影响,该方法不仅可以显著提高模型的适应性,而且可以有效提高模型的稳健性。

对比单独建模,可以缩短建模时间,减少模型建立的工作量;延长模型的适用期限,提高建模效率。

结果表明,对模型适应性的测试,单独建模其正确识别率较低,不能满足应用的要求,而多台仪器联合建模可以达到90%以上,提升效果明显;对模型稳健性的测试,联合建模也能得到相比单独建模更好的模型识别效果,具有很好的应用价值。

关键词 近红外光谱;定性分析;模型期限;模型传递;建模周期;联合建模中图分类号:G202,S123,S513 文献标识码:A DOI :10.3964/j.issn.1000-0593(2014)06-1506-06 收稿日期:2013-08-14,修订日期:2013-12-11 基金项目:国家自然科学基金项目(90920013)资助 作者简介:曹 吾,1989年生,中国石油大学(华东)信息与控制工程学院硕士研究生 e-mail:caowu@semi.ac.cn*通讯联系人 e-mail:wjli@semi.ac.cn引 言近红外光谱是基于物质对近红外谱区电磁波吸收的一种光谱技术,近红外光谱分析技术具有简便、快捷、低成本、无污染以及不破坏样品等优点[1-3],因此被广泛应用于多个行业。

近红外模型建立方案

近红外模型建立方案

近红外模型建立方案现代近红外光谱分析技术包括了近红外光谱仪、化学计量学软件和应用模型三部分,三者的有机结合才能满足快速分析的技术要求,缺一不可。

因此,模型的建立对于近红外光谱分析技术来说是非常关键的。

它将直接影响近红外光谱分析的工作效率和质量。

实际应用中,建立模型都是通过化学计量学软件实现的,并且有严格的规范(如ASTM-1655标准)。

一般情况下,建立模型的步骤如下:1、初级模型的建立建立一个模型通常是从一个小的光谱数据库开始的,虽然开始建立模型所使用的样本数目很有限,但通过化学计量学处理得到的模型能具有较强的普适性。

如果做定量分析模型,收集的样品一般需要50~80个。

如果样品为天然产物(比如农作物或烟草),则所需要的样品数量就会更多,大约是非天然产物的3~5倍左右。

譬如,一个用于烟草定量的成熟模型就需要拥有数以千计的样品。

在收集样品的时候一定注意要保证样品具有代表性,也就是说样品的性质参数范围要能够涵盖所期望的变化范围。

并且还要做到在这个所期望的变化范围内样品的性质参数是均匀分布的,不能只包括部分性质参数范围中的一簇样本。

另外,一个理想的标定光谱集应涵盖性质参数因温度变化造成的光谱变化的所有情况,因为样品(特别是液体样品)的近红外吸收强度随温度的不同会有很大的改变。

收集来一定量有代表性的样品后,根据需要使用传统的有关标准分析方法对样品进行测量,得到样品的各种性质参数,称之为参考数据。

然后分别采集每个样品的近红外光谱图,再通过化学计量学对光谱进行处理,并将其与不同性质参数的参考数据相关联,这样在光谱图和其参考数据之间便建立起了一一对应映射的关系,这种一一对应的映射关系的建立便是模型的建立。

由于每一种产品要检测的指标比较多,而标准的分析方法大多用时比较长,为避免产品存放时间过长引起某些指标的变化,建议当样品送到化验室检测时,先扫描样品的光谱,再进行常规的化学分析。

将样品的收集和光谱扫描作为日常检测工作的一部分,收集样品时不用考虑检测值的梯度值是否会重复(在建模时可以通过化学计量学软件对样品进行筛选),当积累的样品光谱数量达到建模要求的150-400张时(建议270张左右,越多越好),就可以建立模型了。

近红外光谱分析法来检测饲料混合均匀度的方法-畜牧兽医论文-农学论文

近红外光谱分析法来检测饲料混合均匀度的方法-畜牧兽医论文-农学论文

近红外光谱分析法来检测饲料混合均匀度的方法-畜牧兽医论文-农学论文——文章均为WORD文档,下载后可直接编辑使用亦可打印——0 、引言饲料混合均匀度是衡量饲料加工工艺的重要指标,混合均匀与否关系到动物采食饲料能否获得全面、足够的养分;而对于占据我国饲料产品结构百分之八十(2011 年)以上的配合饲料来说,组分的均匀性更关系到动物发育生长及食用肉质的安全性。

目前,我国对于饲料混合均匀度的检测主要依据混合过程中饲料组分变异系数的化学试验值CV 值来确定。

一般的检测方法大多依赖试验室的化学分析,如沉淀法需利用四氯化碳对样本化学分离,甲基紫法需对示踪物甲基紫化学测定,摩尔法需配置碱性溶液、做滴定试验等。

这些方法不仅过程相对繁琐,对操作专业性与试验环境条件的要求较高,使得检测的难度与成本上升了很多,导致很多饲料厂只能通过延长混合时间或延缓检测周期来保证生产效率,降低成本。

因此,在我国饲料工业飞速发展的背景下,需要有一种准确、简易、无损的新型饲料混合均匀度检测方法来克服传统方法的缺陷。

近红外(Near infrared,NIR)光谱分析技术具有采样简单、数据分析快、无损检测等优点,近年来被广泛应用于农牧业、食品、药品及石化等多个行业。

就饲料工业而言,近红外检测的应用主要集中在饲料营养成分的测定、营养价值的评价、饲料矿物质、微量元素及其他次生物物质的测定。

在混合均匀度测定方面,近红外已经有被应用于药物均匀度检测的研究案例。

而关于营养价值评价当中的饲料均匀度检测所做的研究工作还极为有限。

由于配合饲料各组分对光谱反射特性的差异,本研究提出利用近红外光谱分析法来检测饲料混合均匀度,通过对配合饲料在混合不同阶段的样本分析,取得了光谱及均匀度变化的信息,并对比了 3 种不同的近红外定性分析法对均匀度判别的效果。

1 、仪器与设备光谱信息收集分析仪器,美国ASD 生产的Quali-tySpec Pro VNIR / SWIR1 5070 型可见近红外光谱仪;光纤(垂直测量角度:125)白板;铅蓄电池,CAMO 公司的Unscrambler X 化学计量学软件;仿丹麦4KB 型锤片式饲料粉碎混合机。

近红外光谱校正

近红外光谱校正
通常情况下呈正态分布的样品情况也可被接受
选择建模校正样品实际操作
? 根据生产经验挑选建模样品,即多挑选生产异常时样 品,生产正常时样品可少挑选
? 最开始收集的100 个样品全部用于建模
? 采集的同一个样品的重复光谱在光谱数量小于400 时, 可作为不同样品建模
? 当收集的样品个数大于200,光谱个数大于400以后, 可将建模样品中的重复光谱删除,节约内存开销加快计 算速度
? 全局距离和最近邻距离可剔除部分信息重复的样品, 一般情况下仅使用最近邻距离剔除样品
? 多数情况下按照性质值分布挑选建模样品
选择建模校正样品实际操作
? 根据样品分布情况 找出有代表性样品
化学基础数据原则
代表性样品基础数据平行 测试
基础数据检测采用标 准或经典方法
化学基础 数据
同一样品的化学基础数 据必须与该样品光谱对 应
异常样品处理的原则
? 马氏距离(杠杆值)判定的异常样品一般不剔除。 前提1:其化验性质值确实准确无误 前提2:该样品对模型的准确度影响不太大, 可保证SECV值与该性质的稳定性标准差相当
? 学生残差判定的异常样品一般进行剔除 ? 建模过程中一般最多剔除3轮异常样品而形成最终分析模型
异常样品处理的原则
近红外定量模型校正过程
1. 样本的收集 2. 光谱的采集 3. 校正样本的选择 4. 化学基础数据的测定 5. 定量模型的建立 6. 定量模型的验证 7. 模型维护
7个方面建立规范
样本收集原则
建模样品收集
建模样品应包含以后未知样 品所包含的所有化学组分
建模样品的浓度变化范围大 于未知样品的变化范围
光谱采集原则
光谱采集原则
仪器
仪器充分预热 性能测试过关

样本集选择对近红外定量分析模型稳健性影响研究的开题报告

样本集选择对近红外定量分析模型稳健性影响研究的开题报告

样本集选择对近红外定量分析模型稳健性影响研究的开题报告一、选题的背景与意义随着近红外光谱技术在化学、医药、食品、环境等领域的广泛应用,近红外定量分析模型的建立和应用也变得越来越重要。

近年来,许多研究工作者在近红外定量分析领域进行了大量研究工作,但是由于样本集选择对近红外定量分析模型稳健性的影响还有待深入研究,因此本研究选取了样本集选择对近红外定量分析模型稳健性影响的研究方向。

本研究的意义在于探讨样本集选择对近红外定量分析模型稳健性的影响,提高模型的稳健性和泛化能力。

同时,研究结果可以为样本集选择提供一些理论依据和实践指导,为近红外定量分析模型的应用提供参考依据和实际应用的保障。

二、研究内容和方法1. 研究内容本研究主要包含以下内容:(1)分析样本集对近红外定量分析模型稳健性的影响;(2)建立多种近红外定量分析模型,并比较其稳健性。

2. 研究方法本研究采用以下研究方法:(1) 收集并预处理近红外光谱数据和实验数据,建立样本集;(2) 选择不同的样本集,分别建立近红外定量分析模型;(3) 对不同的样本集分别进行预测,并比较预测结果的差异;(4) 研究预测结果的差异与样本集选择的关系,并分析样本集对近红外定量分析模型稳健性的影响;(5) 计算并比较不同近红外定量分析模型的预测误差和稳健性。

三、预期研究成果与意义1. 预期研究成果本研究预期获得以下成果:(1) 确定样本集选择对近红外定量分析模型稳健性的影响;(2) 分析不同方法的模型比较,以得出最终预测结论的方法;(3) 建立近红外定量分析模型,并比较其稳健性。

2. 预期研究意义本研究的预期意义在于:(1) 深入研究样本集选择对近红外定量分析模型稳健性的影响,提高模型的稳健性和泛化能力;(2) 为近红外定量分析模型的实际应用提供理论依据和实践指导;(3) 为相关研究领域提供新的实验数据和实验方法。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
模型评价指标包括校正集标 准偏差(SEC)、 验证 集标准 偏差(SEP)和平均偏差(A E)。
SEC =
n
∑(yi ,
ac tual
- yi,
)2
predi cted
i =1n -1源自,式中 :y i, actual 为第 i 样品参考方法的测定值 ;y i, predicted 为
校正集交互验证过程中第 i 样品的预测值 ;n 为校正集的样
2 实验部分
法选取 5 个样品组成 , 分 别在 15 和 35℃下采 集光谱 。该 集 有两个用途 , 一是和校正集一起组 建温度 混合校正 集 Ⅰ , 另 一用途是其 SEP 用作遗传算 法的适应度函数 。
(3)校正补充集 Ⅱ :从(2)剩余 的 30 个样品 中随机 选择 5 个样品组成 , 分别在 15 和 35℃下采 集光谱 , 和校正集一起 组建温度混合校正集 Ⅱ , 用来考察随机样品 分布对温度 稳健 模型的影响 。
采用遗传 算 法选 取波 长 , 其 具体 的 实现 过程 参 见文 献 [ 15] 。不同之处在于适应度函数 的设计 , 本文 的适应 度函数 是校正补充集 Ⅰ(由 5 个样品分别在 15℃和 35 ℃下所采集的 10 条光谱组成)的标准偏差(SEP)。 1.3 校正方法与模型评价指标
采用偏 最小二乘方法(P LS)建立定 量校正模 型 , 最佳主 因子数由交互验证法所得的预测残差平方和(PRESS)确定 。
Fig.1 The effects of temperature on reforming gasoline NIR spectra
6 68 光谱学与光谱分析 第 24 卷
甲基 C— H 在 913 nm 附 近)的位置并 未发生变 动 。说 明在该 温度范围内 , 温度的变化只影响 重整汽 油光谱的 吸光度 , 而 未对其特征吸收波长位置产生明显影响 。 图 2 是验证集样品在 3 个温度点下所测光谱的主成分分 析得到的分布图 , 可以看出 , 第一主成 分和第 二主成 分几乎
第 2 4 卷 , 第 6 期 光 谱 学 与 光 谱 分 析 2 0 0 4 年 6 月 Spectroscopy and Spectral Analysis
V ol.24 , No.6 , pp66 6-6 71 June , 2004
近红外稳健分析校正模型的建立(Ⅰ) ———样品温度的影响
仪器 :NI R-3000 近红外光谱仪(石油 化工科 学研究 院研 制 , 北京英贤仪器 有限 公司 制造), 5 cm 玻璃 样品 池 , CCD 检测器 , 光谱范围 700~ 1 100 nm 。光谱仪 恒温温 度 :37℃, 恒温精度 ±0.3 ℃。样品室 恒温温度 :15℃ ~ 35 ℃连 续可变 , 恒温精度 ±0.2 ℃。
对 25 ℃校正集中的光谱进行 预处理 , 然后 使用 PLS 方法建 立测定重 整汽 油 RO N 和 苯 含量 的 分析 模 型 。对 15 , 25 和 35 ℃验证集 光谱用对应的预处理方法进行运 算 , 用 已建立的 分析模型计算结果 。
品数 ;
SEP =
m
∑(y i ,
ac tual
- yi ,
)2
predi cted
i =1
m -1
,
m
∑(y i, predicted - yi , ) actual
A E = i =1
m
式中 :yi , actual 为第 i 样品参考方法的测定值 ;yi , predicted 为验证 集预测过程中第 i 样 品的预测值 ;m 为验证集的样品数 。
数据处理 :各种预处理方法 、 遗传算 法及偏 最小二 乘均 由 M atlab 语言编制 。
2.1 实验设计 将收集到 的 93 个重整 汽油样 品(其研究 法辛烷 值 RO N
和苯含量均由相关的标准方法测定)分成以下 4 个集 。 (1)校正集 :由 K-S 方法[ 16] 从 93 个 样品中 选取 58 个样
Fig.2 Score plots resulting from PCA of validat ion set spectra at three temperatures , 15 ℃;*, 25 ℃;+, 35 ℃
3.2 预处理方法的效果 分别用微分(一阶 、 二阶), F I R, PM SC, OSC1 和 OSC2
(3)有限 脉冲 响应 滤 波(Finite Impulse Response , FI R)。 该方法 曾 用 于 无 标 解 决 模 型 传 递 问 题 。 具 体 算 法 见 文 献 [ 11] 。
(4)正 交 信 号 校 正 算 法 (O rthogo nal Signal Correction, OSC), 是近几年来提出的一类谱图预处理新方法 。目前 已有 近 10 种 具体 的算法[ 12] , 其原 理是 将光 谱阵与 浓度 阵正交 , 滤除光谱与浓度阵无关的信 号 , 再 建立定 量校正模 型 , 达到
品组成 , 样品在 25 ℃下采集光谱 , 用来建立 25 ℃校正模型 , 称为 25 ℃校正集 。
(2)校正补充集 Ⅰ :从(1)剩余 的 35 个样 品中 用 K-S 方
3 结果与讨论
3.1 温度对光谱的影响 图 1 为一验证集样品分别在 15 , 25 和 35 ℃下采集 的光
谱图 , 由原始光 谱和 消除 基 线漂 移的 二 阶微 分光 谱 可以 看 出 , 在 15 ~ 35 ℃范围内 , 随 着温度的升高 , 吸 光度下降 , 但 碳氢混合物的主要特征 吸收峰(芳环 C — H 在 875 nm 附近 ,
在影响 N IR 分析准确性的诸多因素中 , 样品温度影响较 严重 。温度不仅影 响样 品的 吸光 度 , 而且 也影 响波 长位 移 ,
导致谱带变形[ 8] 。因此 , 当预测 时的样品 温度与 建立模 型时 的温度值有较 大 差别 时 , 则 将会 给预 测 结果 带来 较 大的 偏 差 。所以 , 在实际应用 中 , 需 要建立 抗温度 干扰性 强的近 红 外稳健分析模型 , 以保证分析结果 的准确 性 。本 文以温 度对 重整汽油近红外光谱的影响为研 究体系 , 考 察了上述 3 种方 式对建立温度稳健模型 的有效性 , 并详细考 察了温度补 偿校 正集的样本数及其分布 对校正模型稳健性的影响 。
1 算法概述
1.1 预处理方法 本文主要考察了 4 种预处理 方法 (1)微分(Deriva tiv e)。包括 一阶(1st derivative)和二 阶微
分(2nd deriv ative), 主要用来消除基线的漂移 , 采用 SavitzkyGolay 算法[ 9] 。
(2)分 段 多 元 散 射 校 正(Piecewise M ultiplicative Scatter Correction, PM SC)。其目的是将光谱中的散 射光信号与 化学 吸收信息进 行 分离 , 消 除 散 射光 的 影响 。 具体 算 法见 文 献 [ 10] 。
不受温度变化的影响 , 但温度明显 影响第 三主成分 , 随 温度 的升高 , 第三主成分得分下降 。由于第三 主成分 的累积 贡献 仅为 5.3 %(第一 、 第 二主 成分 分别 占 77.6 %和 9.2%), 其 对分析结果的影响是有限的 , 即有可能通过 以上提到 的 3 种 方法建立对温度稳健的 分析模型 。
收稿日期 :2002-08-06 , 修订日期 :2003-01-08 作者简介 :褚小立 , 1974 年生, 石油化工科学研究院在职博士研究生
第 6 期 光谱学与光谱分析
66 7
简化模型及提高模型预测能力的目的 。本 文采用被 广泛引用 的两种算法[ 13, 14] , 分别简 称为 OSC1 和 OSC2 算法 。 1.2 波长筛选方法
褚小立 , 袁洪福 , 王艳斌 , 陆婉珍
石油化工科学研究院 , 北京 100083
摘 要 样品温度对近红外光谱分析模型稳健性 有明显 影响 , 消除 其影响的 三类方 法包括 光谱预 处理 、 波 长选择和温度补偿校正集 。文章以重整 汽油/ 辛烷值/ 苯含量 为研究 体系 , 考察了 这三类 方法对 建立稳 健分 析模型的有效性 , 并详细研究了温度 补偿校 正集样 品数量 及性质 分布 对温度 混合 模型稳 健性 的影 响规律 。 结果 表明 , 仅通过光谱预处理方法难以消除温 度对模 型稳健 性的影 响 ;遗 传算法 波长选 择和温 度补偿 校正 集对消除温度影响是有效的 , 而后者更 容易实现 , 但在实际应用中应考虑非线性问题 。
(4)验证集 :由(3)剩余 的 25 个样 品组 成 , 分别 在 15, 25 和 35 ℃下采集光谱 , 分别称为 15 ℃验证集 、 25 ℃验证集 和 35 ℃验 证集 , 用来评价所建模型的稳健性 。
本文实验设计路线如 下 :(1)采 用 25 ℃校 正集 , 分别 进 行各种方法预处理或波 长筛选 后 , 用 PLS 方法建 立 25 ℃校 正模型 。用 15 ℃验证集 、 25 ℃验证集和 35 ℃验证集的 SEP 为目标函数 , 考察各种预处理方法及波长筛 选对建立温 度稳 健模型的有效性 。(2)将 25 ℃校正集分 别与温度补偿校 正集 Ⅰ 和温度补偿校正集 Ⅱ 组建成 温度混 合校正集(或称温 度全 局校正集), 经微分处 理后 , 用 P LS 方 法建立 温度 混合校 正 模型 , 同样以 15 ℃验证 集 、 25 ℃验证 集和 35 ℃验 证集 的 SEP 为目标函数 , 考察该方式所建模型抗温 度干扰的预 测能 力 , 以及添加样品数量和分布的影响 。 2.2 仪器与数据处理
主题词 稳健分析模型 ;近红外光谱 ;波长选择 ;正交信号校正 ;遗传算法 ;辛烷值 中图分类号 :O4.39 文献标识码 :A 文章编号 :1000-0593(2004)06-0666-06
相关文档
最新文档