有序logit模型公式

有序logit模型公式
有序Logit模型公式学习资料。

一、模型基本概念。

有序Logit模型（Ordered Logit Model）主要用于处理因变量是有序分类变量的情况。

例如，在调查顾客对产品满意度时，满意度分为非常不满意、不满意、一般、满意、非常满意这几个有序的类别。

二、公式推导。

（一）潜在变量的设定。

设存在一个潜在变量y^*，它与自变量x=(x_1,x_2,·s,x_k)之间存在线性关系：
y^* = β_0+β_1x_1+β_2x_2+·s+β_kx_k+ε
其中，β_0,β_1,·s,β_k是待估计的参数，ε是误差项，通常假设ε服从逻辑分布（Logistic Distribution）。

（二）观测到的有序因变量与潜在变量的关系。

我们观测到的有序因变量y有J个类别（j = 1,2,·s,J），y与潜在变量y^*的关系如下：
y = 1，如果y^*≤μ_1
y = 2，如果μ_1
·s
y = J，如果y^*> μ_J - 1
这里的μ_1<μ_2<·s<μ_J - 1是一些未知的阈值（cut - points），也需要通过模型进行估计。

（三）概率表达式。

基于上述设定，可以推导出观测到y = j的概率表达式。

1. 当j = 1时：
P(y = 1)=(1)/(1 + e^-(β_0+β_1x_1+β_2x_2+·s+β_kx_k))
2. 当j = 2时：
P(y = 2)=frac{e^-(β_0+β_1x_1+β_2x_2+·s+β_kx_k)}{1 + e^-
(β_0+β_1x_1+β_2x_2+·s+β_kx_k)}-frac{e^-(β_0+β_1x_1+β_2x_2+·s+β_kx_k+μ_2)}{1 + e^-(β_0+β_1x_1+β_2x_2+·s+β_kx_k+μ_2)}
3. 一般地，对于j = 1,2,·s,J - 1：
P(y = j)=frac{e^-(β_0+β_1x_1+β_2x_2+·s+β_kx_k+μ_j - 1)}{1 + e^-
(β_0+β_1x_1+β_2x_2+·s+β_kx_k+μ_j - 1)}-frac{e^-
(β_0+β_1x_1+β_2x_2+·s+β_kx_k+μ_j)}{1 + e^-(β_0+β_1x_1+β_2x_2+·s+β_kx_k+μ_j)}
4. 当j = J时：
P(y = J)=frac{e^-(β_0+β_1x_1+β_2x_2+·s+β_kx_k+μ_J - 1)}{1 + e^-
(β_0+β_1x_1+β_2x_2+·s+β_kx_k+μ_J - 1)}
三、模型估计。

在实际应用中，通常使用最大似然估计（Maximum Likelihood Estimation，MLE）方法来估计有序Logit模型中的参数β_0,β_1,·s,β_k,μ_1,μ_2,·s,μ_J - 1。

最大似然估计的目标是找到一组参数值，使得观测到样本数据的似然函数值最大。

设样本容量为n，对于第i个观测值(x_i1,x_i2,·s,x_ik,y_i)，似然函数L为：
L=∏_i = 1^nP(y_i)
其中P(y_i)是根据上述概率表达式计算得到的观测到y_i的概率。

然后通过数值优化算法（如牛顿 - 拉夫森算法等）来求解使得L最大的参数值。

四、模型检验与解释。

1. 拟合优度检验。

- 常用的拟合优度检验方法有似然比检验（Likelihood Ratio Test）等。

似然比检验通过比较包含所有自变量的模型（全模型）和只包含截距项的模型（零模型）的对数似然值来判断模型的拟合效果。

- 设l_0为零模型的对数似然值，l_1为全模型的对数似然值，似然比统计量LR = - 2(l_0 - l_1)，在大样本情况下，LR近似服从自由度为自变量个数k的卡方分布χ^2(k)。

如果LR统计量的值较大且对应的p - value较小，则说明全模型相对于零模型有显著的改进，即模型拟合较好。

2. 系数解释。

- 对于有序Logit模型中的系数β_j（j = 1,·s,k），其解释不像线性回归模型那样直接。

一般来说，β_j的正负号表示自变量x_j对因变量y处于较高类别概率的影响方向。

- 例如，如果β_j>0，表示在其他自变量不变的情况下，x_j的值增加会使得因变量y处于较高类别的概率增加；反之，如果β_j<0，则表示x_j的值增加会使得y处于较高类别的概率降低。

但是具体的影响程度需要通过计算边际效应（Marginal Effects）来更精确地衡量。

边际效应可以衡量自变量的微小变化对因变量处于各个类别的概率的影响。