主成分回归分析方法
SPSS之回归分析10-1(主成分分析)(1)
Descriptives:描述统计量 ➢ Statistics:输出基本统计量
Univariate descriptives :输出各个变量的基本 描述统计量 Initial solution:因子分析的初始解 ➢ Correlation Matrix:相关矩阵及其检验
步骤
Extration:指定提取因子的方法 ➢ Method:提取因子的方法 ➢ Analyze:分析矩阵 ➢ Extract:确定因子的数目 ➢ Display:输出与因子提取相关的信息 Unrotated factor solution:输出未旋转的因子 提取结果 Scree plot:输出因子的碎石图
因子旋转
因子旋转的方法： 1.varimax:方差最大旋转。简化对因子的解释 2.direct oblimin:直接斜交旋转。允许因子之间具有相
关性。 3.quartmax:四次最大正交旋转。简化对变量的解释 4.equamax:平均正交旋转。 5.promax:斜交旋转方法。
实例分析
例1续:各地区年平均收入数据, 进行因子分析,要求
主成分分析
主成分分析是考察多个数值变量间相关性 的一种多元统计方法，它是研究如何通过 少数几个主成分来解释多变量的方差—协 方差结构。
导出几个主成分，使它们尽可能多地保留 原始变量的信息，且彼此间不相关。
数学原理
对原有变量作坐标变换，
z1 u11x1 u21x2 ... u p1xp z2 u12 x1 u22 x2 ... u p2 xp ...... z p u1p x1 u2 p x2 ... u pp xp
步骤
Rotation:选择因子旋转方法 ➢ Method:旋转方法 ➢ Display:输出与因子旋转有关的信息 Rotated Solution:输出旋转后的因子分析结果 Loading plots:旋转后的因子载荷散点图
★★★主成分回归分析原理与步骤(精)
主成分回归分析
logistic 回归分析法是一种应用最大似然法估计回归系数的回归方法,它不要求变量服从协方差矩阵相等和残差项服从正态分布,因而得到广泛的应用。
logistic 回归要求模型的解释变量之间不能具有线性的函数关系,然而, 在很多研究中, 各变量常常不是独立存在的, 而是存在一定程度的线性依存关系, 这一现象称作多重共线性(multi-collinearity。
多重共线性关系常增大估计参数的标准误,从而降低模型的稳定性,有时还可出现与实际情况相悖的结果。
因此, 为了合理地估计和解释一个回归模型, 需要对变量之间的多重共线性进行处理。
主成分 logistic 回归是解决 logistic 回归分析中的共线性问题的常用方法之一, 它通过主成分变换,将高度相关的变量的信息综合成相关性低的主成分, 然后以主成分代替原变量参与回归。
原理与步骤
1、原始数据标准化
2、计算相关系数矩阵
3、求相关矩阵 R 的特征根、特征向量和方差贡献率,确定主成分。
4、建立主成分特征函数
5、使用主成分代替原始变量进行多元回归。
利用SPSS进行主成分回归分析1
题〔1～4〕。
1 基本原理与计算方法
111 以应变量 Y 和全部自变量 X 进行逐步回归 ,筛选出 P 个
有统计学意义的自变量 ,并且诊断各自变量的多重共线性 。
112 用 P 个自变量进行主成分分析 ,得到主成分矩阵和各主
成分的累计方差百分比 。
113 计算标化应变量和 P 个标化自变量分别见式 ( 111) 和
0102
0100
3 0106533 71166 0156
0110
0101
4 01007352 211362 0129
0188
0199
X4 0100 0100 0124 0176
212 使用 SPSS Factor Analysis 过程 ,对自变量 X1 , X3 和 X4 进行主成分分析 在 Factor Analysis 对话框 ,把自变量 X1 ,X3 和 X4 放入 Variables 栏 。
Abstract: Objective To introduce how to do t he principal component regression analysis wit h SPSS. Methods The analysis steps of t he principal component regression by combining t he Lin2 ear Regression , Factor Analysis , Compute Variable and Bivariate Correclations procedures in SPSS 8. 0 for Windows wit h t he basic principles of t he principal component regression are introduced. Results An example is used to describe all operations of each pro2 cedures in SPSS8. 0 and all calculating processes of principal com2 ponent regression ,and t he“best”equation is built . Conclusions The each indexes of multicollinearity diagnosis and t he advantage and t he point for attention about principal component regression analysis are introduced ,and t he simplified ,speeded up and accurate statistical effect are reached t hrough t he prinicipal component re2 gression analysis wit h SPSS.
近红外反射光谱法-土壤性质的主成分回归分析-NIRS–PCR
近红外反射光谱法-土壤性质的主成分回归分析摘要一个快速，便捷的土壤分析技术是需要土壤质量评价和精密的土壤管理。
本研究的主要目的是评估近红外反射光谱（NIRS）来预测不同土壤性质的能力。
从Perstrop近红外系统6500扫描单色仪（福斯NIRSystems，马里兰州Silver Spring），和33种化学、物理和生物化学特性得到近红外反射光谱，从四个主要土地资源收集区802土壤样品（MLRAs）进行了研究。
定标是基于在1300到2500nm光谱范围内使用光学密度一阶导数[log(1/ R )]得主成分回归。
全部的碳、氮、湿度、阳离子交换量（CEC）、1.5兆帕水、基础呼吸速率、沙、淤泥和Mehlich III可萃取钙通过近红外光谱（r2>0.80）成功地预测。
有些Mehlich III可萃取金属（铁，钾，镁，锰）、可交换阳离子（钙，镁，钾），可交换基地、交换性酸、粘土、潜在可矿化氮、总呼吸速率、生物量碳和pH值的总和也可通过近红外光谱估计，但精度较低(r 2=0.80~0.50)。
聚合（wt％>2，1，0.5，0.25mm，并宏观聚合）的预测结果是不可靠的（r2=0.46~0.60）。
Mehlich III提取的Cu，P和Zn和交换性钠不能使用NIRS-PCR技术（r2<0.50）进行预测。
结果表明，NIRS可以作为一种快速的分析技术，在很短的时间用可接受的准确度来同时估计多个土壤特性。
测量土壤性质的标准程序是复杂的、耗时的，而且费用昂贵。
在农民和土地管理者将能够充分利用测土作为精准农业与土壤质量的评估和管理的一种辅助手段之前，一种快速、经济的土壤分析技术是需要。
近红外反射光谱技术是一种为研究入射光和材料表面之间相互作用的非破坏性的分析技术。
由于其简单性、快速性，并且需要很少或无需样品制备，近红外反射光谱被广泛用于工业。
三十多年以前，该技术最早用于粮食的快速水汽分析。
现在，近红外光谱是用于粮食和饲料质量评估的主要分析技术。
主成分回归分析方法
Varian ce Toleran Inflatio ce n . 0
-4.71489 1.30082 0.06091 0.02050 0.03563 0.01531 0.04924 0.02866
0.65229 1.53305 0.82477 1.21245 0.55760 1.79340
Collinearity Diagnostics Numbe r 1 2 3 4 Eigenval ue 3.99037 0.00501 0.00329 0.00132
核心结果：
Parameter Estimates
Variab le Label Interce Interce pt pt x1 x2 x3 x1 x2 x3
Paramet D er F Estimate
1 1 1 1
Standa rd Error
t Val Pr > | ue t| -3.62 0.002 3 2.97 0.009 0 2.33 0.033 4 1.72 0.105 1
0.447445 0.828133
Parameter Estimates Variabl e Label Interce pt z1 z2 Interce pt Paramet D er F Estimate 1 1 1 Standa Standardize rd t Valu Pr > | d Error e t| Estimate 43.78 <.000 1 6.52 <.000 1 -0.07 0.941 9 0 0.84500 -0.00960
具体步骤： 1、用主成分分析法计算出主成分表达式和主成分 得分变量（将贡献小的主成分舍去），即求得 Z=WX。 2、用回归分析法将因变量对主成分得分变量进行 回归，得到因变量关于主成分得分变量的回归模型， 即求得y=AZ。 3、将主成分的表达式代回到回归模型中，即可得 到标准化自变量与因变量的回归模型，即得到 y=AZ=A(WX)=BX 4、将标准化自变量转换为原始自变量，即可得到 原始自变量与因变量的回归模型。
主成分分析(principalcomponentsanalysis,PCA)又称：主分量分析,主成分回归分析法
主成分分析（principal components analysis，PCA）又称：主分量分析，主成分回归分析法什么是主成分分析法主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。
它是一个线性变换。
这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。
主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。
这是通过保留低阶主成分，忽略高阶主成分做到的。
这样低阶成分往往能够保留住数据的最重要方面。
但是，这也不是一定的，要视具体应用而定。
[编辑]主成分分析的基本思想在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。
这些涉及的因素一般称为指标，在多元统计分析中也称为变量。
因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。
在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。
主成分分析正是适应这一要求产生的，是解决这类题的理想工具。
同样，在科普效果评估的过程中也存在着这样的问题。
科普效果是很难具体量化的。
在实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估，故综合指标的选取是个重点和难点。
如上所述，主成分分析法正是解决这一问题的理想工具。
因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。
根据这一点，通过对原始变量相关矩阵内部结构的关系研究，找出影响科普效果某一要素的几个综合指标，使综合指标为原来变量的线性拟合。
主成分分析法的原理和步骤
主成分分析法的原理和步骤主成分分析（Principal Component Analysis，简称PCA）是一种常用的多元统计分析方法，它通过线性变换将高维数据转换为低维数据，从而实现降维和数据可视化。
PCA的基本思想是通过选取少数几个主成分，将原始变量的方差最大化，以便保留大部分的样本信息。
下面我将详细介绍PCA的原理和步骤。
一、主成分分析的原理主成分分析的核心原理是将n维的数据通过线性变换转换为k维数据（k<n），这k维数据是原始数据最具有代表性的几个维度。
主成分是原始数据在新坐标系中的方向，其方向与样本散布区域最大的方向一致，而且不同主成分之间互不相关。
也就是说，新的坐标系是通过原始数据的协方差矩阵的特征值分解得到的。
具体来说，假设我们有一个m个样本、维度为n的数据集X，其中每个样本为一个n维向量，可以表示为X=\left ( x_{1},x_{2},...,x_{m} \right )。
我们的目标是找到一组正交的基变量（即主成分）U=\left ( u_{1},u_{2},...,u_{n} \right )，使得原始数据集在这组基变量上的投影方差最大。
通过对协方差矩阵的特征值分解，可以得到主成分对应的特征向量，也就是新的基变量。
二、主成分分析的步骤主成分分析的具体步骤如下：1. 标准化数据：对于每一维度的数据，将其减去均值，然后除以标准差，从而使得数据具有零均值和单位方差。
标准化数据是为了消除不同维度上的量纲差异，确保各维度对结果的影响是相等的。
2. 计算协方差矩阵：对标准化后的数据集X，计算其协方差矩阵C。
协方差矩阵的元素c_{ij}表示第i维度与第j维度之间的协方差，可以用以下公式表示：\[c_{ij}=\frac{\sum_{k=1}^{m}\left ( x_{ik}-\bar{X_{i}} \right )\left( x_{jk}-\bar{X_{j}} \right )}{m-1}\]其中，\bar{X_{i}}表示第i维度的平均值。
主成分回归分析
05
主成分回归分析的未来发展与展望
算法改进与优化ຫໍສະໝຸດ 算法并行化利用多核处理器或分布式计算环境，将主成分回归分析算法并行 化，以提高计算效率和准确性。
优化特征选择
研究更有效的特征选择方法，自动确定主成分的数量，减少计算复 杂度和过拟合的风险。
集成学习与机器学习
结合集成学习、深度学习等机器学习方法，改进主成分回归分析的 模型性能和泛化能力。
跨领域应用拓展
生物医学研究
将主成分回归分析应用于生物医学领域，如基因表达数据分析、 疾病预测和个性化医疗。
金融市场分析
利用主成分回归分析对金融市场数据进行降维和预测，为投资决 策提供支持。
环境监测与保护
将主成分回归分析应用于环境监测数据，评估环境质量、预测污 染趋势，为环境保护提供科学依据。
数据隐私与安全问题
02
主成分解释性差
03
对异常值敏感
提取的主成分可能难以直观地解 释其含义，导致模型的可解释性 降低。
主成分分析对异常值较为敏感， 异常值可能会对主成分的提取造 成影响。
03
主成分回归分析的步骤
数据预处理
数据清洗
去除异常值、缺失值和重复值，确保数据质量。
数据转换
对数据进行标准化或归一化处理，使不同量纲的 数据具有可比性。
保留信息
通过主成分分析，可以保留原始自变 量中的大部分信息，避免了信息损失。
主成分回归分析的优势与局限性
• 改善共线性：对于存在高度共线性的自变 量，主成分回归分析能够消除共线性影响， 提高模型的稳定性和预测能力。
主成分回归分析的优势与局限性
01
假设限制
主成分回归分析要求因变量与主 成分之间存在线性关系，对于非 线性关系的数据可能不太适用。
主成分回归分析
如何利用SPSS进行主成分回归实例分析主成分回归分析数据编辑、定义格式第一步，进行一般的线性回归分析：首先给出各个变量的平均值，标准差，膨胀系数VIF，以便进行多重共线性诊断。
变量平均值标准差膨胀系数VIFx1 148.27588 161.03858 9597.57076x2 18163.23529 21278.11055 7.94059x3 4480.61824 4906.64206 8933.08650x4 106.31765 107.95415 23.29386x5 5.89353 1.58407 4.27984以及一般线性回归模型分析结果：方差分析表方差来源平方和df 均方F值显著水平回归490177488.12165 5 98035497.62433 237.79008 0.00000剩余4535052.36735 11 412277.48794总的494712540.48900 16 30919533.78056相关系数R=0.995406，决定系数RR=0.990833，调整相关R'=0.993311变量x 回归系数标准系数偏相关标准误t值显著水平b0 1962.94803 1071.36166 1.83220 0.09184 b1 -15.85167 -0.45908 -0.04888 97.65299 -0.16233 0.87375 b2 0.05593 0.21403 0.62148 0.02126 2.63099 0.02194 b3 1.58962 1.40269 0.15318 3.09208 0.51409 0.61652 b4 -4.21867 -0.08190 -0.17452 7.17656 -0.58784 0.56754 b5 -394.31413 -0.11233 -0.49331 209.63954 -1.88091 0.08446 剩余标准差sse=642.08838，Durbin-Watson d=2.73322。
主成分回归的概念和作用
主成分回归（Principal Component Regression）主成分回归是一种结合了主成分分析（Principal Component Analysis，PCA）和线性回归的统计方法。
它的目标是通过将自变量进行降维，并利用主成分来解释自变量之间的相关性，从而提高回归模型的性能。
关键概念主成分分析（PCA）主成分分析是一种常用的降维技术，它通过线性变换将原始数据映射到新的坐标系中，使得新坐标系下的数据具有最大的方差。
这些新坐标被称为主成分，它们按照方差的大小排序。
主成分可以看作是原始数据中最重要的特征或信息。
线性回归线性回归是一种常见的统计方法，用于建立自变量和因变量之间线性关系的模型。
线性回归模型可以表示为：Y = β0 + β1X1 + β2X2 + … + βnXn + ε，其中Y是因变量，X1、X2、…、Xn是自变量，β0、β1、β2、…、βn是回归系数，ε是误差项。
主成分回归主成分回归将主成分作为自变量代替原始自变量，并利用线性回归建立主成分与因变量之间的关系。
主成分回归的基本思想是通过降维去除自变量之间的相关性，从而减少多重共线性对线性回归模型的影响，提高模型的稳定性和预测能力。
重要性和应用降维主成分回归通过主成分分析将自变量进行降维处理，减少了自变量的数量，简化了模型的复杂度。
降维可以帮助我们更好地理解数据，并提高模型的解释能力。
降维还可以减少计算资源的消耗，并加快模型训练和预测的速度。
处理多重共线性多重共线性是指自变量之间存在高度相关关系，导致线性回归模型估计结果不稳定或不可靠。
主成分回归可以通过降维去除自变量之间的相关性，减少多重共线性对模型的影响。
它将自变量转化为一组无关或弱相关的主成分，从而提高模型的稳定性和可靠性。
模型优化主成分回归可以通过选择合适数量的主成分来优化模型。
选择过多的主成分可能会引入噪声和不必要的复杂性，而选择过少的主成分可能会丢失重要信息。
通过交叉验证等方法，可以选择最佳的主成分数量，从而提高模型的预测能力。
主成分回归模型
主成分回归模型主成分回归模型是一种线性回归模型，用于通过消除多重共线性和记录数据的维度减少，以解释变量之间的关系。
它的思想源自于因子分析的概念，其基本思想是通过最大化方差来将原始观测变量重新组合，以获得较低维度的主成分。
它以其独特的方式对变量进行线性组合以表示数据，并消除共线性，从而可用于建立变量之间的线性关系模型。
主成分回归模型最初发布于1976年，由Harman和Hooks提出。
它是最初由Harman和Hook发明的，但是由Recknagel和Tatsuoka发展而成，他们提出了一个假设解释变量之间的关系的方法。
主成分回归模型的假设是，原始观测变量可以重新组合以形成更低维度的主成分，通过这种方式来表示变量之间的线性关系模型。
它为回归分析中的多重共线性提供了一种有效的解决方案，弥补了其他回归技术无法有效解决的问题。
主成分回归模型的主要优点是，它可以有效消除对变量之间的关系影响的多重共线性，并可以有效利用原始变量之间的冗余信息，同时保持可解释性和可操作性。
这也是主成分回归模型的核心优势之一。
另外，主成分回归模型的变量组合也可以提高模型的拟合能力，以更准确地表示数据，并减少回归模型中的随机误差。
另外，由于主成分回归模型旨在消除多重共线性，因此它可以有效地处理大规模数据集中的高维数据。
事实上，它具有提取具有最大方差的主成分的能力，因此可以大大减少记录数据的维度。
主成分回归模型的主要缺点是它不可以用于非线性关系模型，因为它只能处理基于线性关系的数据。
另外，它也无法有效地处理协变量之间的交互效应，因为它不能捕捉这种关系。
总的来说，主成分回归模型是一种有用的分析工具，可以有效消除多重共线性，提高可解释性，减少记录数据的维度，以及提高模型的拟合能力。
它已成为许多学者和其他专业人员在数据分析中的一种重要方法，用于研究变量之间的关系。
主成分分析法的原理和步骤
主成分分析法的原理和步骤
主成分分析（Principal Component Analysis，PCA）是一种常用的降维技术，主要用于数据预处理和特征提取。
其原理是通过线性变换将原始数据转换为具有特定性质的新坐标系，使得转换后的坐标系上数据的方差最大化。
主成分分析的步骤如下：
1. 标准化数据：对原始数据进行标准化处理，即对每个特征进行零均值化。
这是为了消除不同量纲的影响。
2. 计算协方差矩阵：计算标准化后的数据的协方差矩阵。
协方差矩阵描述了不同特征之间的相关性。
3. 计算特征值和特征向量：对协方差矩阵进行特征值分解，得到特征值和对应的特征向量。
特征值表示新坐标系上每个特征的方差，而特征向量则表示原始特征在新坐标系上的投影。
4. 选择主成分：按照特征值的大小排序，选择前k个特征值对应的特征向量作为主成分。
选择的主成分应该能够解释数据中大部分的方差。
5. 构造新的特征空间：将选择的主成分组合起来，构成新的特征空间。
这些主成分通常被视为数据的“重要”特征，用于表示原始数据。
通过主成分分析，可以将原始数据降维到低维度的子空间上，并且保留了原始数据中的信息。
这样做的好处是可以减少数据维度，简化模型，降低计算复杂度。
同时，通过选择合适的主成分，还可以实现数据的压缩和特征的提取。
主成分回归分析及其在统计学中的应用
主成分回归分析及其在统计学中的应用主成分回归分析是一种常用的统计学方法，用于处理多个自变量与一个因变量之间的关系。
它结合了主成分分析和多元线性回归分析的优点，能够降低自变量的维度，并提取出最能解释因变量变异的主成分。
本文将介绍主成分回归分析的基本原理和应用，并探讨其在统计学中的重要性。
一、主成分回归分析的基本原理主成分回归分析的基本原理是通过主成分分析将多个自变量转化为一组无关的主成分，然后利用这些主成分进行回归分析。
其步骤如下：1. 收集数据：首先需要收集包含多个自变量和一个因变量的数据集。
2. 主成分分析：利用主成分分析方法对自变量进行降维，得到一组无关的主成分。
主成分是原始自变量的线性组合，能够解释原始自变量变异的大部分信息。
3. 回归分析：将主成分作为新的自变量，利用多元线性回归模型进行建模，得到主成分回归方程。
4. 解释结果：通过分析主成分回归方程的系数和显著性水平，解释自变量对因变量的影响。
二、主成分回归分析的应用主成分回归分析在统计学中有着广泛的应用，以下将介绍其中几个重要的应用领域。
1. 经济学：主成分回归分析可以用于经济数据的分析和预测。
例如，可以利用主成分回归分析来分析不同经济指标对国内生产总值的影响，从而预测经济增长趋势。
2. 金融学：主成分回归分析可用于资产组合的风险管理。
通过将多个资产的收益率转化为主成分，可以降低投资组合的维度，并提取出最能解释收益率变异的主要因素，从而帮助投资者进行有效的资产配置。
3. 市场调研：主成分回归分析可以用于市场调研数据的分析。
通过将多个市场调研指标转化为主成分，可以减少指标之间的相关性，并提取出最能解释市场变异的主要因素，从而帮助企业了解市场需求和消费者行为。
4. 医学研究：主成分回归分析可用于医学研究中的变量选择和模型建立。
通过将多个生理指标转化为主成分，可以降低指标的维度，并提取出最能解释疾病变异的主要因素，从而帮助医生进行疾病诊断和治疗。
主成分回归分析
例3.10 影响电的需求量的指标有：(1)钢的产 量x1;(2)生铁产量x2;(3)钢材产量x3;(4)有色金 属产量x4;(5)原煤产量x5;(6)水泥产量x6;(7)机 械工业总产值x7;(8)化肥产量x8;(9)硫酸产量 x9;(10)烧碱产量x10;(11)棉纱产量x11共11个 指标。收集了23年的指标值，建立发电站需求 模型。(数据见spssex/ex310)
Y* X * e X *UU e 令 U Y * Z e
Y* Zcc e (c 1,2,...,q)
Y* 1Z1 2Z2 ...qZq
ˆc ZcZc 1 ZcY *
1
2
1 z1 y *1 1
4、再考虑最小特征根对应的特征向量， 找出绝对值最大的特征向量，剔除与之 对应的变量。
直至满足给定条件时停止。
5、将因变量与剩余变量作标准 化后的y与主成分的回归方程。 离差平方和分解：
yi* y 2
yi* yˆi* 2
归平方和。 找出偏回归平方和最小的主成分，其系 数向量中，最大的Uij所对应的自变量被 剔除。 找出次小的偏回归平方和，类似做之 最后将y*与剩下自变量做回归。
推荐阅读
期刊名及期数
财经研究 2002.1
数量经济技术经济研 究 2003.6
数量经济技术经济研 究 2003.12 统计研究 2004.2
Z1=0.3145*zx1+0.3027*zx2+0.3100*zx3+0.2782*zx 4+0.2518*zx5+0.3110*zx6+0.3116*zx7+0.3075*zx8 +0.3034*zx9+0.3145*zx10+0.3050*zx11
主成分回归步骤
主成分回归步骤：（假设有一个因变量y ，五个自变量12345,,,,x x x x x ）
（法一）
1、主成分分析
通过“累积贡献率”和“因子负荷阵”，确定主成分的个数，比如2个 同时，计算“因子得分”，其中因子的有Fac1, Fac2
则主成分为：（利用等式计算两个主成分）
2、主成分回归
①用因变量y ，两个主成分prin1,prin2作为自变量，做二元线性回归模型，得到回归方程
②以prin1为因变量，与原来的五个自变量做多元线性回归模型，得到回归方程
③以prin2为因变量，与原来的五个自变量做多元线性回归模型，得到回归方程
将②③得到的回归方程代入①的回归方程，消去prin1,prin2,就会得到最终的y 与五个自变量的主成分回归模型。
（法二）此法没有求出主成分
1、主成分分析
通过“累积贡献率”和“因子负荷阵”，确定主成分的个数，比如2个 同时，计算“因子得分”，其中因子的有Fac1, Fac2
2、主成分回归
①用因变量y ，两个因子Fac1, Fac2作为自变量，做二元线性回归模型，得到回归方程
②以Fac1为因变量，与原来的五个自变量做多元线性回归模型，得到回归方程 ③以Fac2为因变量，与原来的五个自变量做多元线性回归模型，得到回归方程 将②③得到的回归方程代入①的回归方程，消去Fac1, Fac2,就会得到最终的y 与五个自变量的主成分回归模型。
主成分回归法 -回复
主成分回归法-回复主成分回归法（Principal Component Regression，PCR）是一种常用于多元回归分析的统计方法。
它结合了主成分分析和普通最小二乘法回归的优点，能够处理高维数据和共线性问题，并提高回归模型的预测能力。
在进行PCR之前，首先需要准备数据集。
数据集应包括n个观测值和p 个解释变量，其中每个解释变量都与一个因变量相关联。
如果存在高度相关的解释变量，可能会出现多重共线性问题。
PCR通过将解释变量进行主成分分析，来处理这个问题。
主成分分析（Principal Component Analysis，PCA）是一种降维技术，可以将原始数据转换为一组无关的主成分。
这些主成分是原始解释变量的线性组合，是按照解释变量方差降序排列的。
通过保留主成分的前k个，可以实现数据的降维。
选择k的方法包括手动选择、保留解释变量方差的一定比例或使用交叉验证等。
接下来，对于PCR，我们需要进行主成分回归。
具体步骤如下：步骤一：进行主成分分析对于p个解释变量，进行主成分分析得到k个主成分。
这里，k是一个小于等于p的数，用于控制降维的程度。
主成分分析的目标是找到能够最大程度解释解释变量方差的主成分。
步骤二：选择主成分个数k选择主成分个数k的方法有很多。
一种常用的方法是保留能够解释总方差的一定比例，例如95。
也可以使用交叉验证等其他方法。
步骤三：建立主成分回归模型利用保留的k个主成分，建立主成分回归模型。
在PCR中，主成分回归模型是一个线性回归模型，其中主成分是解释变量。
可通过普通最小二乘法估计回归系数。
步骤四：模型评估和选择通过交叉验证等方法对PCR模型进行评估，并选择最佳模型。
可以使用各种性能指标，例如均方误差、决定系数等。
PCR的优点是能够处理高维数据和共线性问题，并提高预测能力。
同时，PCR也允许我们了解每个主成分对因变量的贡献程度，帮助我们理解解释变量对模型的影响。
然而，PCR也存在一些限制。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
核心结果：
Parameter Estimates
Variab le Label Interce Interce pt pt x1 x2 x3 x1 x2 x3
Paramet D er F Estimate
1 1 1 1
Standa rd Error
t Val Pr > | ue t| -3.62 0.002 3 2.97 0.009 0 2.33 0.033 4 1.72 0.105 1
Conditi Proportion of Variation on Index Intercept x1 x2
1.00000 0.000150 78 28.2159 6 34.8040 1 54.9061 2 0.09477 0.06637 0.83872 0.000245 94 0.18137 0.48355 0.33484 0.000174 72 0.16968 0.07204 0.75811
x3 0.000272 54 0.23098 0.55264 0.21611
Eigenvalues of the Correlation Matrix Eigenvalue Difference Proportion Cumulative
1
2 3
1.76317163
0.88492781 0.35190056
0.337621 -.733500
Parameter Estimates Variabl e Label Interce pt z1 z2 Interce pt Paramet D er F Estimate 1 1 1 Standa Standardize rd t Valu Pr > | d Error e t| Estimate 43.78 <.000 1 6.52 <.000 1 -0.07 0.941 9 0 0.84500 -0.00960
ห้องสมุดไป่ตู้
Varian ce Toleran Inflatio ce n . 0
-4.71489 1.30082 0.06091 0.02050 0.03563 0.01531 0.04924 0.02866
0.65229 1.53305 0.82477 1.21245 0.55760 1.79340
Collinearity Diagnostics Numbe r 1 2 3 4 Eigenval ue 3.99037 0.00501 0.00329 0.00132
例：某学校20名一年级女大学生体重（公斤）、胸围（厘米）、肩宽（厘米）及 肺活量（升）实测值如表所示，试对影响女大学生肺活量的有关因素作多元回归 分析。
编号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 体重（公斤） 51.3 48.9 42.8 55 45.3 45.3 51.4 53.8 49 53.9 48.8 52.6 42.7 52.5 55.1 45.2 51.4 48.7 51.3 45.2 胸围（厘米） 73.6 83.9 78.3 77.1 81.7 74.8 73.7 79.4 72.6 79.5 83.8 88.4 78.2 88.3 77.2 81.6 78.3 72.5 78.2 74.7 肩宽（厘米） 36.4 34 31 31 30 32 36.5 37 30.1 37.1 33.9 38 30.9 38.1 31.1 30.2 36.5 30 36.4 32.1 肺活量（升） 2.99 3.11 1.91 2.63 2.86 1.91 2.98 3.28 2.52 3.27 3.1 3.28 1.92 3.27 2.64 2.85 3.16 2.51 3.15 1.92
主成分回归分析方法
冯跃华
参考《sas统计分析与应用，从入门到精通》，汪海波等
1、主成分分析除减少自变量的个数外，主成分 分析可以用来解决自变量共线性的问题。
2、线性回归分析要求自变量是相互独立的，但 是在实际应用中，经常会遇到自变量相关的问题。 好的可行的方法：借助于主成分分析，用主成 分回归求回归系数。即先用主成分分析法计算出 主成分表达式和主成分得分变量，而主成分得分 变量是相互独立的，因此可以将因变量对主成分 得分变量回归，然后将主成分的表达式代回到回 归模型中，即可得到标准化自变量与因变量的回 归模型，最后将标准化自变量转为原始自变量。
0.87824382
0.53302725
0.5877
0.2950 0.1173
0.5877
0.8827 1.0000
Eigenvectors z1 z2 z3
x1
x2 x3
x1
x2 x3
0.585003
0.447445 0.676435
-.556580
0.828133 -.066442
0.589907
2.76300 0.06312 0.31778 0.04877 -0.00510 0.06884
核心程序：例16-2_1.sas
DM "log;clear;output;clear;"; ods rtf file='D:\sas2003\Àý 12.3.rtf'; PROC IMPORT OUT= exm16_2 DATAFILE= "D:\sas2003\exm16_2.xls" DBMS=EXCEL2000 REPLACE; SHEET="Sheet1"; GETNAMES=YES; RUN; proc reg data=exm16_2; model y=x1 x2 x3/tol vif collin; proc princomp data=exm16_2 out=out1 prefix=z; var x1-x3; run; proc print data=out1; title 'output:out1'; proc reg data=out1; model y=z1 z2/stb; run;quit; ods rtf close;
具体步骤： 1、用主成分分析法计算出主成分表达式和主成分 得分变量（将贡献小的主成分舍去），即求得Z=WX。 2、用回归分析法将因变量对主成分得分变量进行 回归，得到因变量关于主成分得分变量的回归模型， 即求得y=AZ。 3、将主成分的表达式代回到回归模型中，即可得 到标准化自变量与因变量的回归模型，即得到 y=AZ=A(WX)=BX 4、将标准化自变量转换为原始自变量，即可得到 原始自变量与因变量的回归模型。