一种基于目标因子分析的模型传递方法

合集下载

小波变换-分段直接校正法用于近红外光谱模型传递研究

小波变换-分段直接校正法用于近红外光谱模型传递研究
2005-09-22 收稿;2006-01-09 接受 本文系国家自然科学基金资助项目( No. 2007523)
928
分析化学
第 34 卷

Dif
2 s,un 转换为与源机上测得的光谱一致的光谱数据
Dif
2
( p
s,un
理论上),即:
Dif
2P s,un
=
Dif
2 s,un F
转换矩阵 F 的计算公式为:
红外光谱仪。其中 3 台为总后油料研究所研制的便携式油料质量分析仪,编号为 Zh3-1、Zh3-2 和 Zh33;2 台为北京英贤仪器有限公司生产的 NIR3000 型近红外光谱仪,编号为 Nir8 和 Nir33。其中 Zh3-3 为 源机,其余 4 台为目标机。上述 5 台仪器均为 CCD2048 象元检测器,分辨率优于 1. 5 nm,光谱采集范围 700 ~ 1100 nm,数据间隔 0. 2 nm。 3. 2 光谱测量和基础数据测定方法
第7 期 927 ~ 932
小波变换-分段直接校正法用于近红外光谱模型传递研究
田高友#1 褚小立2 袁洪福2 陆婉珍2
(1 解放军总后勤部油料研究所,北京 102300) (2 石油化工科学研究院,北京 100083)
摘 要 提出了一种新的传递算法( WT-PDS)———小波变换-分段直接校正法,并详细讨论了模型传递参数和 传递结果。首先利用小波变换对光谱进行压缩处理,采用 PDS 算法消除不同仪器之间压缩数据的差异,最后 利用经校正的压缩数据进行分析,实现模型传递。本方法能够扣除不同仪器之间的大部分差异,大幅度改善 分析精度。传递后模型分析精度与源机模型稳健性紧密相关。如果源机模型稳健性强,则能够实现不同仪器 之间的共享。本方法能够实现源机的 0# 轻柴十六烷值、凝点、馏出温度;-10# 轻柴十六烷值、凝点以及-10# 军 柴凝点和馏出温度共 10 个模型在 5 台仪器之间共享,简化了建模的成本。与传统的 PDS 相比,WT-PDS 方法 具有传递和建模变量少、速度快、光谱校正性能高等优点,而其模型分析精度与传统 PDS 基本一致。

EFQM模型(EFQM Model,EFQM业务卓越模型)

EFQM模型(EFQM Model,EFQM业务卓越模型)

EFQM模型出自 MBA智库百科(/)EFQM模型(EFQM Model,EFQM业务卓越模型)目录[隐藏]• 1 什么是EFQM模型?• 2 EFQM模型基本概念[1]• 3 EFQM模型工具[1]• 4 EFQM九个大项的具体内容• 5 EFQM模型中九个大项内容的整体分析• 6 EFQM模型的核心要求—RADAR理念o 6.1 RADAR理念的要求o 6.2 RADAR理念的分析•7 EFQM模型的案例分析[2]•8 参考文献[编辑]什么是EFQM模型?EFQM模型是欧洲大陆使用最广的质量管理架构。

EFQM模型是一个非硬性规定的全面质量管理架构,包括9个原则,其中5个属于“引擎”(Enablers),4个属于“结果”(Results)。

“引擎”原则指导企业怎么做。

“结果”原则指导企业达到具体目标。

“引擎”导致“结果”,来自“结果”的反馈帮助进一步提高“引擎”。

[1]EFQM模型承认有各种各样的办法达到可持续的卓越绩效。

但是,EFQM同时假定,不管是从绩效、员工、顾客,还是从社会角度来衡量,达到卓越的前提必须是,在有力的领导下,战略决策通过人际合作、资源及流程得到贯彻执行。

[1]全面质量管理(TQM)认为,不应该把质量控制任务留到产品线的终端环节才去做,如最后生产环节的成品检查。

质量控制应该始于原材料抵达的那一刻起,直到成品离开生产工厂。

[1]目前,愈来愈多的管理者关注业务卓越化管理,而欧洲品质管理基金会(European Foundation for Quality Management,EFQM)建立的EFQM业务卓越模型简称EFQM模型则给组织提供了一个用于自我业务评价和改进的工具。

通过调查企业在此框架下不断努力改进业务运作的实际做法及结果并加以分析。

[编辑]EFQM模型基本概念[1]EFQM模型中包含八个主导概念:结果导向,以顾客为中心,领导和坚定的目标,过程和事实管理,人员开发和参与不断学习,创新的改进,发展伙伴关系,公共责任。

stata 基于结构方程的中介模型估计

stata 基于结构方程的中介模型估计

stata 基于结构方程的中介模型估计引言结构方程模型(Structural Equation Model,简称SEM)是一种常用的统计分析方法,用于评估变量之间的关系。

在社会科学研究中,中介效应是一种常见的分析方法,用于揭示变量之间的间接关系。

本文将介绍如何使用Stata进行基于结构方程的中介模型估计。

方法我们需要明确中介模型的基本概念。

中介效应是指自变量对因变量的影响通过中介变量进行传递的过程。

在中介模型中,自变量与中介变量之间存在直接效应,中介变量与因变量之间也存在直接效应,同时自变量与因变量之间存在间接效应,该间接效应通过中介变量进行传递。

我们的目标是通过结构方程模型来估计这些效应。

在Stata中,进行基于结构方程的中介模型估计需要使用到sem命令。

首先,我们需要准备数据,并构建测量模型。

测量模型用于评估变量的测量属性,即通过测量指标来捕捉潜变量的概念。

在测量模型中,需要为每个潜变量指定一个或多个测量指标,并通过因子载荷(factor loading)来衡量测量指标与潜变量之间的关系。

接下来,我们需要构建结构模型。

结构模型用于评估变量之间的关系。

在中介模型中,我们需要指定自变量对中介变量和因变量的直接效应,以及自变量对因变量的间接效应。

间接效应可以通过计算路径系数的乘积来得到。

在进行结构方程模型估计之前,我们还需要考虑模型拟合度的评估。

常用的评估指标包括χ^2值、规范拟合指数(Comparative Fit Index,简称CFI)、均方根误差逼近准则(Root Mean Square Error of Approximation,简称RMSEA)等。

这些指标可以帮助我们判断模型是否拟合数据。

结果使用sem命令进行结构方程模型估计后,我们可以得到模型的参数估计结果。

这些结果包括路径系数、因子载荷、拟合度指标等。

通过对这些结果的解读,我们可以得到自变量对中介变量和因变量的直接效应,以及自变量对因变量的间接效应。

基于方法-目的链模型的女性护肤品消费行为分析

基于方法-目的链模型的女性护肤品消费行为分析
a n d Y e h ,M.Y,2 0 0 0 ) 。产 品属 性 与 它 们 的 结 果 相 连 接 ,这 些
本研究的调查 对象 为使 用过护肤 品 的女性 ,主要采 用现场 发放 问卷和网上调查两种 ,共发放 1 0 0 0份调查 问卷 ,回收 问卷 5 9 3份 ,扣 除废卷与填答不完整的问卷 ,实际回收有效样本数 为 5 3 7份 ,其 中,现场调查有效样本为 3 4 5份 ,网上调查有效样本 为1 9 2份 。
群体 ,其消费行为是营销者研 究的重要 内容 。 本 文 运 用 方 法 一 目的 链 模 型 探 究 女 性 护 肤 品 消 费 行 为 ,采 用 问 卷 调 查 法 ,研 究 女 性 在 消 费 护 肤 品 时 产 品 属 性 及 其 为 消 费 者 带来 的 消 费 结 果 和 价 值 之 间 的 联 系 ,挖 掘 女 性 消 费 护 肤 品 的 深层次 原因与消费行 为特 征 ,为营销者提供相应 的营销启示 。
的信 度 。 2 、 因子 分 析 本研 究分 析的产 品属性 、利益 及价 值的 K M O值 分表 为 0 .
结果又与它们的个人 价值相连 接。消费 者渴望 某一 属性 ( 如 汽 车 的高马力 )是 因为 它提供 了一 个有利 的结果 ( 快速 加速 的能 力) ,这 可以满足消费者 的一个价值 ( 兴奋感 ) ,消费者 根据产 品属性 、结果与其价值之间的关 系指导 自己的消费行 为。 方 法 一目的链模 型及其分 析方法 的运用可 以真正体 现消费 者导向型 的市场 营销理 念 ,将 消费 者的最 终追 求 ( 个 人价值 ) 和产 品 /服务的属性充分结合 ,从 而为经营者更 好地把握 市场 , 实现 消费者 的需求提供途径 ( 孙宇彤 ,2 0 0 7 ) 。

滤光片型近红外仪器模型传递的研究

滤光片型近红外仪器模型传递的研究
第2 卷 , 1 期 8 第 O
2008年 1 0月
光 谱






V 1 8N .0p25—42 o 2, o1 ,p4926 .
Oc o e ,2 0 tbr 0 8
S e t o c p n p c r lAn l ss p cr s o y a d S e ta a y i
光片型近红外仪器 由于价格 低廉 、 性能克分析法 、目标 因子分 析法( A) ] 5 ] TF 、正交信 号校正法[ 、 7 基于支持向量机的模型传递法_ 等 。这些算法 ] 8 _ 主要 应用于连续扫描型近红外仪器 ( 主要是傅里 叶型和光栅 型) 的模型传递之 中。
引 言
近红外光谱分析技 术 由于样 品处理 简单 ,分析速度快 ,
不 用 试 剂 和无 损 检 测 等 特点 , 有 广 阔 的 应 用 前 景 。其 中滤 具
号的校正主要分为两类 : 一是全光谱校正法 ,如校正吸光度 矩 阵 的 直 接 校 正 法 ( S [ ,对 波 长 分 段 进 行 校 正 的 P D )] 2 DS
重复建模 , 而大大降低近红外光谱分析 的成 本,提 高分析 从 的效率 。 型传递 的成功与否直接影响近红外光谱分 析技 术 模
的推 广 应 用 。
近红外仪器的模 型传递进行了研究,为滤光片型近红外仪器
的推广应用提供依据 。
模型传递问题主要通过有标样法来解决,即选择一定 数 量的样 品作为标准样品转换集 。 并在主仪器和从仪器上分 别 测得其信号 , 而找 出该函数关 系。有标样法包 括基于预测 从
_
*通 讯 联 系人
2 6 40 型传递。
光谱学 与光谱分析

结构方程srmr

结构方程srmr

结构方程模型(Structural Equation Modeling, SEM)及SRMR1. 什么是结构方程模型(SEM)结构方程模型(SEM)是一种统计分析方法,用于研究变量之间的关系和复杂的因果关系。

它结合了因子分析和回归分析的优点,可以同时估计观察变量和潜在变量之间的关系。

SEM可以用来验证理论模型、检验假设、探索因果关系以及预测未知结果。

它广泛应用于社会科学、教育学、心理学等领域,并且在市场研究和医学研究中也有重要应用。

2. SEM的基本原理SEM基于路径分析理论,将变量之间的关系表示为路径图。

路径图由箭头表示变量之间的直接效应,其中双向箭头表示两个变量之间存在共同决定因素。

SEM包含两个核心组成部分:测量模型和结构模型。

2.1 测量模型测量模型用于建立观察到的变量和潜在变量之间的关系。

它通过指标(观察到的变量)来衡量潜在变量,并估计指标与潜在变量之间的关系。

测量模型通常使用因子分析或确认性因素分析来构建。

因子分析用于确定指标与潜在变量之间的相关性,而确认性因素分析则更进一步,还考察指标与潜在变量之间的因果关系。

2.2 结构模型结构模型用于描述变量之间的直接和间接效应。

它通过路径图表示变量之间的关系,并通过估计参数来检验假设。

结构模型可以包含直接效应和间接效应。

直接效应表示一个变量对另一个变量的直接影响,而间接效应表示通过其他中介变量传递的影响。

3. SRMR(Standardized Root Mean Square Residual)SRMR是一种用于评估SEM模型拟合优度的统计指标。

它衡量观察数据和预测数据之间的差异,并提供了对模型拟合程度的评估。

SRMR值范围在0到1之间,较小的值表示观察数据和预测数据之间的差异较小,模型拟合较好。

4. SRMR计算方法SRMR可以通过以下步骤计算:1.对SEM模型进行参数估计。

2.计算观察数据和预测数据之间的协方差矩阵。

3.根据参数估计和协方差矩阵计算预测数据的协方差矩阵。

基于因子分析法的新希望乳业连续并购财务绩效研究

基于因子分析法的新希望乳业连续并购财务绩效研究

基于因子分析法的新希望乳业连续并购财务绩效研究目录1. 内容概览 (2)1.1 研究背景 (2)1.2 研究意义 (2)1.3 研究内容与方法 (3)1.4 研究限制与创新点 (3)1.5 论文结构安排 (3)2. 文献综述 (4)2.1 并购相关理论 (5)2.2 财务绩效评价方法 (6)2.3 基于因子分析法的财务绩效分析 (7)2.4 新希望乳业的并购情况分析 (7)3. 新希望乳业并购绩效评价指标体系构建 (7)3.1 构建原则 (9)3.2 性能评价指标的选择 (10)3.3 基于因子分析的指标体系构建流程 (10)4. 因子分析法原理与应用 (11)4.1 因子分析法的理论基础 (12)4.2 因子分析法的应用范围 (13)4.3 因子分析法在财务绩效评价中的应用 (13)5. 新希望乳业并购绩效数据分析 (14)5.1 数据来源与样本选择 (15)5.2 数据处理与预分析 (16)5.3 因子分析结果解释 (17)5.4 并购绩效分析 (17)6. 基于因子分析法的并购绩效综合评价模型构建 (18)6.1 综合评价模型构建的理论基础 (19)6.2 综合评价模型构建的原则 (20)6.3 综合评价模型的具体构建 (21)7. 新希望乳业并购绩效案例分析 (21)7.1 并购案例简介 (22)7.2 因子分析法应用案例分析 (22)7.3 综合评价模型应用案例分析 (23)8. 结论与建议 (24)8.1 研究结论 (25)8.2 对新希望乳业并购绩效的评价建议 (26)8.3 对未来研究方向的建议 (26)1. 内容概览本研究旨在探讨基于因子分析法的新希望乳业连续并购的财务绩效问题。

新希望乳业作为一家知名的乳制品企业,其连续并购模式对于优化资源配置、扩大市场份额、增强市场竞争力具有重要意义。

通过收集相关财务数据,采用因子分析方法,本研究将揭示并购对企业财务绩效的影响,分析并购前后的财务指标变化,以及评估并购对关键财务指标的正面或负面影响。

现代分析仪器的应用

现代分析仪器的应用

现代分析仪器的应用———红外光谱的应用1 前言近红外光谱(NIR)是近十年来发展最为迅速的高新分析技术之一。

目前,大约有50多个国家和地区开展了NIR的研究和应用工作,特别是一些发达国家表现得尤为突出,这些国家拥有大量的各种类型的NIR分析仪器用于各行各业,有研究型、专用型、便携型,还有直接安装在工业生产线的在线型分析仪。

这些仪器在农业、石化、制药、食品等领域都得到很好应用,并取得极好的社会和经济效益。

我国从上世纪80年代开始进行NIR技术的研究,主要侧重于农产品的品质分析研究方面。

从上世纪90年代中期,国内许多科研院所和大专院校开始积极研发适合国内需要的NIR成套分析技术,并有多本专著出版,也有许多学者发表了多篇有关NIR原理和应用的综述文章,为这项技术的普及作了大量工作,开创了我国NIR研发和应用的崭新局面。

近几年我国在仪器硬件、化学计量学软件、分析模型建立以及实际应用等方面都有了长足发展,NIR分析技术已经应用于各个领域。

本文对我国NIR分析技术近10年来的研究与应用进展作了较为详细的综述,并根据国际现状和国内实际情况,提出了今后我国NIR分析技术的发展方向。

2 仪器硬件NIR技术的一个重要特点就是技术本身的成套性,即近红外光谱仪、化学计量学软件和应用模型的三位一体性,性能优异的近红外光谱仪是该技术的基础和前提。

目前,国际上NIR光谱仪的类型较多,按单色器分类,市场上的NIR光谱仪可分为滤光片型、光栅色散型、傅立叶变换型(FT)和声光可调滤光器型(AOTF)等4类。

光栅色散型仪器又可分为扫描一单通道检测器和固定光路一阵列检测器两种类型。

除了采用单色器分光以外,也有仪器采用多种不同波长的发光二极管(LED)作光源,即LED型近红外光谱仪。

尽管我国NIR仪器硬件研制相对较晚,但以上提到的六种类型NIR仪器,在我国都有相关单位进行研发。

3 化学计量学方法研究与软件开发3.1 方法研究在光谱预处理方面,将浓度向量参与到光谱预处理算法中是一种新的发展方向,正交信号校正(OSC)和净分析信号(NAS)方法就是这类算法的代表。

国际宏观经济学研究的新方法NOEM-DSGE模型

国际宏观经济学研究的新方法NOEM-DSGE模型

国际宏观经济学研究的新方法NOEM-DSGE模型一引言国际宏观经济学,也可称为开放经济宏观经济学,是在开放经济背景下对宏观经济学的研究和运用。

自第二次世界大战以来,伴随着世界各国对外开放进程加快、市场一体化程度加深,各国经济之间的联系日益紧密,国际宏观经济学研究成为经济学界广为关注的热点领域。

相应的,国际宏观经济学的研究方法也相继出现并不断发展。

本文介绍国际宏观经济学研究的一种新方法,即NOEM-DSGE模型。

文中首先梳理国际宏观经济学研究方法的发展历程,指出传统研究方法的不足,进而介绍NOEM-DSGE模型的基本结构,及其在宏观经济领域的具体应用,最后指出NOEM-DSGE模型面临的挑战和未来发展方向。

二国际宏观经济学研究方法的发展国际宏观经济学研究的传统方法以Mundell-Fleming(简称MF)模型为代表。

Mundell (1963)和Fleming(1962)以Keynes理论为基础,假设名义汇率自由浮动、国际资本完全流动、价格水平不变,运用IS方程、LM方程和非抵补利率平价(UIP)条件,考察开放经济下宏观经济总量的关系,并且得出了著名的“蒙代尔三角”理论,即货币政策独立性、资本自由流动与汇率稳定这三个政策目标不可能同时达到。

Dornbusch (1976)在MF模型的基础上,引入理性预期与动态分析,从而发展出Mundell-Fleming-Dornbusch(简称MFD)模型。

MFD模型假设资本完全自由流动、汇率和利率可以灵活调整、商品市场存在价格黏性、经济主体具有静态理性预期,运用总需求方程、LM方程、非抵补利率平价条件(UIP)、价格方程(反映通货膨胀与超额需求的联系),研究宏观经济变量之间的关系,并解释了浮动汇率体系下汇率波动性提高的原因。

此后,一些学者通过改变对理性预期、资本流动程度、黏性价格的设定,或引入信息因素等,对MFD模型进行了多方面的扩展,以分析国际宏观经济学领域的各类问题。

Q型因子光谱转移法用于烟草化学成分近红外预测模型的传递

Q型因子光谱转移法用于烟草化学成分近红外预测模型的传递

Q型因子光谱转移法用于烟草化学成分近红外预测模型的传递张诺涵;赵乐;王迪;刘雨;王洪波;李蓓蓓;梁友艳;郭军伟【期刊名称】《烟草科技》【年(卷),期】2024(57)2【摘要】为了解决不同近红外光谱仪器采集相同样品的光谱不一致的问题,并提高烟草化学成分近红外预测模型的传递效果,建立了一种Q型因子光谱转移法(QFST)。

该方法根据类间可分性原则,将众多原始变量归结为几个综合因子,利用综合因子重组主机和子机光谱矩阵,利用广义逆矩阵得出主机和子机光谱转换关系矩阵,从而实现主机和子机间的光谱转移。

并将建立的QFST模型转移法与光谱空间转换(SST)和分段直接校正法(PDS)两种常用的模型转移方法进行了比较。

结果表明:(1)对于烟草70种化学指标,QFST法和SST法的模型预测效果相差不大,整体预测效果优于PDS法。

(2)应用QFST法、SST法和PDS法3种模型转移方法后进行预测,总植物碱、还原糖、总糖、总氮和氯等常规化学成分指标的R2均达到0.9以上。

对于氨基酸和Amadori化合物等烟草中质量分数较低的化学成分来说,采用QFST法进行模型转移后预测的效果优于SST法。

【总页数】9页(P18-26)【作者】张诺涵;赵乐;王迪;刘雨;王洪波;李蓓蓓;梁友艳;郭军伟【作者单位】中国烟草总公司郑州烟草研究院;山东中烟工业有限责任公司青岛卷烟厂【正文语种】中文【中图分类】TS411.1【相关文献】1.近红外光谱法快速测定烟草中的常规化学成分含量2.近红外光谱定量分析技术在烟草和烟气化学成分分析中的研究进展3.不同预处理方法对烟草近红外光谱预测模型的影响4.复烤片烟常规化学成分的傅里叶变换近红外光谱法的模型转移5.光谱采集方式对AOTF-近红外光谱技术分析烟草主要化学成分的影响因版权原因,仅展示原文概要,查看原文内容请购买。

干货分享!20种数学建模方法!

干货分享!20种数学建模方法!

一、数学模型分类首先,既然是数模,你所知道的数学模型具体有哪些呢?按建立模型的数学方法,数学模型主要分为以下几种:几何模型、代数模型、规划模型、优化模型、微分方程模型、统计模型、概率模型、图论模型、决策模型 等。

其次,想要完成一篇优秀的数模论文,我们需要对建模方法有基本的了解,在审题时就可以快速找出最适合的方法。

二、建模方法分类目前,在数学建模中常用的方法有:通用型:类比法、二分法、量纲分析法、图论法;进阶型:差分法、变分法、数据拟合法、回归分析法、数学规划法(线性规划,非线性规划,整数规划,动态规划,目标规划)、 机理分析、排队方法、决策方法;高能型:层次分析法、主成分分析法、因子分析法、聚类分析法、TOPSIS法、模糊评判方法、时间序列方法;灰色理论方法、蒙特卡罗法、现代优化算法(模拟退火算法、遗传算法、神经网络法)等。

三、通用型1、类比法类比法建模一般在 具体分析该实际问题的各个因素 的基础上,通过联想、归纳对各因素进行分析,并且与已知模型比较,把未知关系化为已知关系。

在不同的对象或完全不相关的对象中找出同样的或相似的关系,用 已知模型的某些结论类比得到解决该“类似”问题的数学方法,最终建立起解决问题的模型。

2、二分法二分法 常用于数据的排序与查找,当数据量很大时宜采用该方法 。

3、量纲分析法量纲分析法常用于定性地研究某些关系和性质,利用量纲齐次原则寻求物理量之间的关系,在数学建模过程中常常进行无量纲化。

无量纲化是根据量纲分析思想,恰当地选择特征尺度,将有量纲量化为无量纲量,从而达到 减少参数、 简化模型 的效果。

4、图论法图论方法是数学建模中一种独特的方法,图论建模是指对一些抽象事物进行抽象、化简,并用图来描述事物特征及内在联系的过程,也是数学建模的一个必备工具。

图论是研究由线连成的点集的理论,一个图中的结点表示对象,两点之间的连线表示两对象之间具有某种特定关系(先后关系、胜负关系、传递关系和连接关系等)。

(完整版)SPSS因子分析法-例子解释

(完整版)SPSS因子分析法-例子解释

因子分析的基本概念和步骤一、因子分析的意义在研究实际问题时往往希望尽可能多地收集相关变量,以期望能对问题有比较全面、完整的把握和认识。

例如,对高等学校科研状况的评价研究,可能会搜集诸如投入科研活动的人数、立项课题数、项目经费、经费支出、结项课题数、发表论文数、发表专著数、获得奖励数等多项指标;再例如,学生综合评价研究中,可能会搜集诸如基础课成绩、专业基础课成绩、专业课成绩、体育等各类课程的成绩以及累计获得各项奖学金的次数等.虽然收集这些数据需要投入许多精力,虽然它们能够较为全面精确地描述事物,但在实际数据建模时,这些变量未必能真正发挥预期的作用,“投入”和“产出”并非呈合理的正比,反而会给统计分析带来很多问题,可以表现在:计算量的问题由于收集的变量较多,如果这些变量都参与数据建模,无疑会增加分析过程中的计算工作量。

虽然,现在的计算技术已得到了迅猛发展,但高维变量和海量数据仍是不容忽视的。

变量间的相关性问题收集到的诸多变量之间通常都会存在或多或少的相关性.例如,高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性;学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。

而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。

例如,多元线性回归分析中,如果众多解释变量之间存在较强的相关性,即存在高度的多重共线性,那么会给回归方程的参数估计带来许多麻烦,致使回归方程参数不准确甚至模型不可用等。

类似的问题还有很多.为了解决这些问题,最简单和最直接的解决方案是削减变量的个数,但这必然又会导致信息丢失和信息不完整等问题的产生.为此,人们希望探索一种更为有效的解决方法,它既能大大减少参与数据建模的变量个数,同时也不会造成信息的大量丢失.因子分析正式这样一种能够有效降低变量维数,并已得到广泛应用的分析方法。

因子分析的概念起源于20世纪初Karl Pearson和Charles Spearmen等人关于智力测验的统计分析。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

第25卷,第3期 光谱学与光谱分析Vol 125,No 13,pp398-4012005年3月 Spectroscopy and Spectral AnalysisM ar ch,2005一种基于目标因子分析的模型传递方法王艳斌,袁洪福,陆婉珍石油化工科学研究院,北京 100083摘 要 在目标转换因子分析的基础上建立了一种新的模型传递方法,并将该方法与传统的分段直接标准化(PDS)方法进行比较。

采用了两个样品集:虚拟样品集和配制样品(含苯,甲苯,二甲苯和异辛烷)的近红外光谱集。

结果表明:新方法的传递效果至少与P DS 方法的传递效果相同,对于谱图出现非线性变化的情况,新方法的传递效果更好。

主题词 模型传递;P DS;目标因子分析;多元校正过程中图分类号:O439 文献标识码:A 文章编号:1000-0593(2005)03-0398-04收稿日期:2003-09-06,修订日期:2003-12-16基金项目:国家自然科学基金(20075035)资助项目作者简介:王艳斌,女,1972年生,石油化工科学研究院高级工程师引 言随着化学计量学方法在光谱分析方法中的普遍应用,模型传递问题引起人们的广泛关注。

由于仪器之间的响应信号有所差异,因此在一台仪器上建立的模型通常不能用于另一台仪器,甚至对同一台仪器而言,如果仪器老化或更换了关键部件,那么使用原来的模型进行预测也会带来较大的误差,因此对于不同的仪器或在仪器长时间使用或经过维修之后都需要重新进行建模以保证预测的准确性。

然而,在许多应用领域中,建立模型是一项烦琐的工作,重复性的建模工作是对人力,物力等资源的巨大浪费,而且在有些情况下,样品可能是不易得到或不易保存的,这时重新建模变得更为困难。

模型传递正是解决上述问题的方法之一。

所谓模型传递(也称仪器标准化)是指经过数学处理后,使一台仪器上的模型能够用于另一台仪器,从而减少重新建模所带来的巨大工作量,实现样品和数据资源的共享。

关于模型传递方法许多文献中都进行了详尽的介绍[1-3],本文不再赘述。

目前应用最为普遍和最为成功的方法是分段直接标准化(PDS)方法[4],PDS 作为具有局部性质的模型传递方法,能够校正因波长变化而带来的误差,同时所需的传递样品数较少。

由于P DS 在许多领域中的成功应用,它也常常作为新方法的对比方法。

其他一些新发展的方法,如利用小波进行模型传递、利用人工神经网络进行传递等都是在PDS 及直接标准化(DS)的基础上建立的[5,6]。

尽管目前已经有了多种模型传递方法,但各种方法有各自的适应情况,还没有一种方法能处理所有的模型传递问题,因此有必要开发更多的模型传递方法解决不同的问题。

另外,除了应用较为烦琐的人工神经网络模型传递方法外,还没有能够很好处理非线性变化的模型传递方法。

本文在目标因子分析方法的基础上建立了一种模型传递方法,这种方法本质上仍是一种直接标准化方法,但是它能很好地处理仪器之间的非线性关系,因此在某些情况下具有更好的传递效果。

1 原理及算法111 模型传递基本过程目前大多数的模型传递方法都是将光谱在仪器之间进行传递,这样可以不依赖样品的性质从而能更容易地实现传递过程。

对大部分模型传递方法而言,在确定仪器间光谱关系时,需要在两台仪器上同时测定某些样品的光谱,我们称这些样品为传递样品。

模型传递的基本过程是在两台需要传递的仪器上测定传递样品的光谱,通过这些样品的光谱计算传递矩阵,用传递矩阵计算其他样品的传递光谱。

传递矩阵的计算过程是模型传递中的关键步骤。

为了方便讨论,将校正集所在的仪器称为主机,而将用于测定未知样品的仪器称为从机。

模型传递过程有两个不同方向,一个方向是将校正集样品的光谱从主机传递到从机,用传递后的光谱建模,预测从机上测定的未知样品光谱,这种方法需要重新计算模型,但在预测时不需要经过传递步骤;另一个方向是将从机的光谱传递到主机,用主机的模型进行预测,这种方法不需要重新计算模型,但在预测时需要经过传递步骤。

采用哪种方法需要依据用户的具体情况而定。

本文将校正集的光谱从主机传递到从机,然后建模预测从机测定的验证集。

112 PDS 算法P DS 算法是由Wang 和K owalski 在1991年提出的模型传递算法[4]。

其基本思想是将一台仪器上i 波长附近的i -k 到i +j 波长段(窗口)对应的吸光度与另一台仪器上i 波长对应的的吸光度关联起来,将窗口沿波长移动从而得到整个光谱的传递系数。

关联的数学方法可以是主成分回归或偏最小二乘法。

由于PDS 是在谱图局部的一定范围进行关联,所以它能较好地校正仪器间波长的差别,所需的传递样品数也较少。

113 基于目标因子分析的模型传递算法(TTFA )目标因子分析(T arg et Factor Analysis)是20世纪60年代发展起来的特殊数学手段[7]。

所谓/目标0因子就是我们通过理论知识、实验知识或直观感觉获得的有关物理或化学参数,通过目标变换可以使经抽象因子分析得到的参数等于预期参数。

根据朗伯-比尔定律,混合物的光谱等于纯物质的光谱与其浓度的乘积X m @n =S m @p @c p @n +E m @n式中:X 为混合物的光谱矩阵,S 为纯化合物的光谱矩阵,c 为纯化合物的浓度矩阵,E 为误差矩阵,m 为光谱测量点数,n 为样品数,p 为纯化合物数。

对于组成已知的简单样品而言,由于在主机和从机测量时,物质的浓度不变,光谱的差异主要来源于纯物质光谱的不同,因此模型传递过程转化为纯物质光谱的变换过程。

对于复杂样品而言,很难得到纯物质的光谱和浓度,因此我们假定样品由几种虚拟组分组成,通过主成分分析的方式得到虚拟组分的光谱和浓度X m @n =A S m @p @A c p @n +E m @n式中:A S 是虚拟组分的光谱,A c 是虚拟组分的浓度。

但是对于不同仪器而言,通过主成分分析得到的A c 是不同的,这时可以使用目标变换的方法使从机的虚拟组分浓度等于主机的虚拟组分浓度,从而进一步将模型传递过程转化为虚拟光谱的变换过程。

实际上在该过程中不需要进行虚拟光谱的变换,只需要通过目标转换的方式将主机和从机的光谱关联起来。

基于目标因子分析的模型传递算法(T T FA )的实际计算过程如下(1)对主机的传递样品光谱进行主成分分析,得到载荷和得分:X M =A S M @A c M ;(2)对从机的传递样品光谱进行主成分分析,得到载荷和得分:X S =A S S @A c S ;(3)通过目标转换使二者的虚拟浓度相等,即A c M =T @A c S ,按照目标转换的算法,其变换矩阵T =A c M @A c T S @(A c S @A c T S )-1;(4)目标变换后从机的载荷为A S new S =A S S @T+,由于主机的得分可以通过下式A c M =A S T M @X M 计算,同时由于变换后从机的虚拟组分浓度等于主机的虚拟组分浓度A c new S =A c M ,所以从机的光谱可以表达为X S =A S new S@Ac new S =A S S @T +@A S T M @X M ,因而传递矩阵为FF =A S S @T+@A S T M 。

在对主机和从机进行主成分分析时,由于存在非线性关系等因素,用来表达主机和从机谱图的主因子数可能会有所不同,因此上述计算中的T 有可能不是方阵。

传递矩阵FF 可以用于传递两台仪器的光谱Xnew=FF @X m2 实验部分211 样品集为考察方法的性能,使用了两个样品集。

第一个样品集是虚拟样品集,该样品集由4个虚拟组分组成,各虚拟组分的光谱用高斯曲线合成(见图1)。

通过改变各虚拟组分的浓度,得到模拟主机的84个校正集光谱和48个验证集光谱,其中验证集浓度均匀分布在校正集浓度范围内。

通过对这些拟合光谱作线性或非线性变换而得到模拟从机光谱,这些变换和相应的模拟从机名称见表1。

最后在各谱图中加入一定量的随机误差以模拟谱图测量中的误差;各虚拟组分的浓度(百分含量)加入-013~013的正态分布误差以模拟性质测定误差。

我们以组分1的浓度作为考察的性质参数。

主机和从机的偏最小二乘校正结果见表2。

从表2可以看出,S2的SEC 和SEV 大于主机和其他2个从机,这种误差是由非线性变化而产生的。

Fig 11 The spectra of pure components of simulated data setTable 1 The variation made to slave instruments模拟从机名称变换S1加入信号的10%以模拟强度的线性变化S2加入信号平方的30%以模拟非线性变化S3构造一个二次函数,使数据点数两端移动10个单位,极值为-15,模拟波长的非线性变化Table 2 The calibration result of simulated data setM (主机)S1S2S3主因子数3333SEC 0114011401230114S EV0114011401210114第二个样品集是配制样品集,该样品集的组分为苯,甲苯,二甲苯和异辛烷。

在三台不同厂家的傅里叶近红外光谱仪(分别标记为M M ,SS1,SS2,其中M M 为主机,SS1和SS2为从机)上测定该样品集的近红外光谱,样品池厚度为5mm,分辨率都为4cm -1,以苯含量作为要考察的性质参数。

399第3期 光谱学与光谱分析为了消除光谱中与浓度及仪器变化无关的因素,我们对光谱进行了一阶微分预处理。

表3为主机和从机的偏最小二乘校正结果,其中SS2检测器线性范围较窄,因此校正结果较差。

Table3The calibration result of NIR data setM M S S1SS2主因子数334SEC0102701027011346SEV0102801037011669212模型传递过程为了便于比较传递的效果,校正集和验证集都在不同的仪器上进行测定(对虚拟样品集而言,是进行不同的变换)。

采用PL S方法分别建立每台仪器的校正模型,并用来预测验证集的性质,采用验证集的预测标准误差(SEV)来评价模型的性能。

采用K-S方法在主机的校正集中挑选一定数量的样品作为传递样品,分别采用PDS和T T FA方法通过传递样品的光谱计算传递系数T,采用传递系数T将主机的校正集光谱传递到从机并用PL S方法建立校正模型,用于预测从机的验证集,比较各方法得到的SEV,并与原机建模和不进行传递得到的SEV进行比较,评价传递效果。

PL S中用交互验证的方法确定最佳主因子数。

以上算法均用M AT LA B编程,在P4计算机上运行。

3结果与讨论311传递样品数的比较不同的模型传递方法所用的最优样品数不同,理想的模型传递方法应当能够采用较少的传递样品得到较好的预测结果。

相关文档
最新文档