logistic回归参数遗传算法估计的可行性研究

分类效能在训练集和验证集均高于遗传算法估计的模
型 ， 表 １所 示 。但 在 样本 量 为 ４ 如 ０的情 况下 ， 两份 样 本 的模 型参数 极大 似然 法估 计不 收敛 。观察 四种样 本 量情 况下 的两 种参 数 估计 方 法 的效 能 ， 现 随着 样 本 发 量 的减小 ， 大似然 法 在 验证 集 中 的分类 效 能逐 渐 下 极
数 据模拟 和参 数估计 方法
型中各 自变量的系数值减少 ， 与预测变量 的关联减弱。 根据 模型 １２和 ３分别模 拟 一份 例 数 为 １００的 、 ０ 数据作为总体 ， 中抽取 ２０份样本 （ 从 ０ 包括训练集 １０ ０
份 和 验 证 集 １０份 ） 训 练 集 的样 本 量 分 别 为 ８０ ０ ， ０、 ２０８ ０ 、０和 ４ ； ０ 验证 集 的样 本 量 不 变 ， 为 ２０ 均 ０ 。分 别
数为 ０ 方差为 ３的正态分布 ； 和 ｅ 服从均数为 ０ ， ｅ ， ， 方 差为 ７的正 态分 布 。模 型 ２中 ，， Ｘ 、 相 关 ： Ｘ 与 Ｘ 有
ｍ３ ．ｘ ＋ ．ｘ ＋ ， 为分类 变量 ， 以 由 ｍ ＝１２ ０ ６２ ｅ 所 转换
产 生 ；６ ｘ 、５ 相 关 ，６ ． Ｘ ０ ６ ５ ； 且 与 ４ｘ 有 ＝０ ４ ４＋ ． ｘ ＋ｅ 并
模型 求解方 法 发展 ， 人提 出 了其他 的参数估 计方 法 。 有
在 以前 的应用 中人们 发 现 当变量 较 多 而样 本 有 限 时 ，
模 型 ３ ｌｇｔ Ｐ）＝１ ５—０ ３ １＋０ ２ ３＋０ ２ ２４一 ｏｉ （ ． ．ｘ ．ｘ ． ｘＸ
Ｏ． ｘ ４ ５—０ ２ ． ｘ６—０． ７＋Ｏ． ｘ８ ２ｘ ２ ｌ＋ ｅ ３
量 ， 意义 。 ｂ无
１ 中山大学肿瘤防治 中心（ １００ ． ５ ０６ ） ２ 广州市第一人 民医院 ．
Ｃｈ ｎ ｓ ｏ ｒ ａ ｆＨｅ ｌｈ Ｓ ａｉｔｃ ． ｅ ０ ２． １ ２ Ｎｏ． ｉ ｅ ｅ Ｊ ｕ ｎ ｌｏ ａｔ ｔｔｓｉｓ Ｆ ｂ ２ １ Ｖｏ ． ９． １
为了得到遗传算法的最好结果 ， 常以不 同的参数试 通 验， 经过 多 次试 验 ， 择 针 对 问 题 的最 佳 参 数 。本 选
次分 析 中设 置初 始 参 数 ： 群 大 小 为 ２ ， 种 ０ 交叉 概 率 为 ０６ 变 异概 率 为 ０ ０５ 最 大进 化 代数 为 １０ 自变 量 ．， ．０ ， ０， 系数 的范 围为 ［ ２，］ 一 ２ 。通 过程 序 运 行 的情 况 以及结 果 的合 理性 情 况调整 程 序 的参 数 。 本 程序 采用 的最 终参 数如 下 ： 种群 大 小 为 １０ 交 ０， 叉 概率 为 ０ ６ 变异概 率 为 ００ ， ．， ． １ 自变量 系数 的范 围 为
模 型 ２ ｌｇｔ Ｐ）＝１ ５—０ ９ １＋０ ８ ３＋０ ８ ２４— ｏ ｉ（ ． ．ｘ ．ｘ ． ｘＸ
１２ ． ｘ５— ０ ６ ６—０ ６ ．ｘ ． ｘ７＋ ０ ８ ８ ． ｘ １＋ｅ ２
险预测的常用模 型之一。通常用极大似然法估计 １ ｏ — ｇｓｃ回归 的模 型参 数 ， ｉｉ ｔ 随着计算 机功 能 的 日益强 大 和
较参数估计的遗传算法和极大似然法 的结果 ， 理论 从 上 考证 极大 似然 法和遗 传算 法 的适 用条件 。 遗传算法是通过不断的选择 、 交叉 、 变异的计算程
式来得 到最 优， 与 Ｘ 之间存在交互作用项 。模型３的 自变 ４Ｘ
另外 遗传 算法 本 身 运算 过程 需 要 设 定 一 些参 数 ，
标 准参 数设 置指 自变 量独 立 性 较 好 ， 自变 量之 间 不 存在 相 关 ， 且 无 交 互 作 用 的数 据 结 构 。在 ８０ 并 ０、 ２０８ ０ 、０和 ４ ０四 种样 本 量 下 ， 大 似 然 法 估 计 的模 型 极
２ 存 在变量相关 和交互作用参数设置 的模拟结果 ． 当 自变 量 间存在 相关 ， 且有 交互 作用 项 时 ， 并 考察 两 种参 数估 计方 法在 不 同样本 量 下 的效 能 。在样 本 量 为 ８０和 ２０时 ， 大 似 然法 估 计 的模 型分 类 效 能 在 ０ ０ 极
能 降低 。 同样 的 ， 样本 量 为 ４ 在 ０的情 况下 ， 五份 样 本 的模 型参 数极 大似 然 法估 计 不 收 敛 ， 明 复 杂 的 自变 说 量 问关 系影 响 了极 大似 然法 的参数 估计 效能 。 另外 观察 四种 样本 量情 况下 的两种 参数 估计方 法 的模 型分 类效 能 ， 发现 和标准 设置 同样 的趋势 ， 大似 极 然法 的泛化误差随着样本量 的减小而增大 ； 遗传算法
随机误 差 较大 （ 型 ３ 。模型 表达式 如下 ： 模 ）
模 型 １ ｌｇｔｐ）＝ ． ｏｉ （ ０ ５＋０８ ｌ ． ．ｘ 一１２２＋１３ ３ ．ｘ ＋
１ ５ｘ ． ４—０ ７ ． ｘｓ＋１ ７ ． ６一１ ５ ７—０． ８＋ｅ】 ．ｘ ７ｘ
码， 取值范 围为 （ 一∞， ＋∞） 或者根据实际意义加 以 限定［ ２２ ， ａ ＝ 时表示模型选人 变量 ， 就 一 ，］ 当 ， １ ， ｂ 是 的系数 值 ， 反 当 ａ ０时表示模 型不 选人 ． 相 ＝ 变
采 用二进 制 编 码 ， 值 为 １或 ０ 系数 ｂ采 用 实 数 编 取 ，
１ ．数据 模拟
建立 ８ 自 个 变量的 ｌ ｉｉ ｏ ｓｃ回归模型， ｇｔ 自变量包括 分类变量和数值变量 ， 数值变量包括呈正态分布的变 量和偏倚分布变量。模型设置分别为标准设置 （ 模型
１、 ） 自变量 间有相 关 （ 型 ２ 和 自变量 间 有 相关 并 且 模 ）
Ｍ ＡＴＬＡＢ ． ７ ０。
样本量 的减小遗传算法的过拟合现象越来越明显。在
结 果
样本 量为 ４ ０时 ， 两种 方法 在训 练集 中 的分类 效 能差 异
已无统 计 学意义 。
１ 准参数 设 置 的模 拟结 果 ．标
表 １ 两种方法不 同样本量下 （ 模型 １ 在训练集和验证集 中的分类效能 （ ±Ｓ ） ）
其中 ， 为两分类变量 ， ，， ｘ ｘ 为有序 ３分类变 量 ， 为有序 ５ ｘ 分类变量 ， ， 为正态分布数值变量 ， ｘ ｘ 为偏倚分布数值变量 。ｅ ， 为随机误差项 ， 服从均 ｅ
极大似然法估计存在过拟合现象 ， 型外推应用 时出 模
现较 大 的泛化误 差 。此 外 当变量 较 多 而 样本 较 小 时 ， 极 大似然 估计 的参 数会 出现 异 常值 ， 如 极 大极 小 的 例 参数 估计 值或 极大 的标准 误 ¨ 。本 文拟 通过 模 拟 比
结论 遗传算法适用于 自变量多而样本量相对小 时 ｌｇｓｃ回归模 型参数估计 。 ｏｉ ｉ ｔ
【 关键词】 遗传算法 ｌ ｉ ｃ ｏ ｓ 回归 极大似然法 参数估计 ｇｔ ｉ
医学研究 中常涉及 用多个 指标对 两类 对象进 行 预 测 或 判别 的 问题 ， ｇｓｃ回归是两 分 类判 别 或疾 病 风 ｌ ｉｉ ｏ ｔ
根据训练集数据用极大似然法和遗传算法两种参数估 计方法估计模型参数 ， 用样本数据估计的模型参数分 别 做训 练集 和验证 集 数 据 的判 别 ， 察这 两 种 参 数估 考 计方法建立模型的分类效能 ， 分类效能的指标为灵敏 度 、 异度 和正确 度 。 特 ２ 遗传算法的参数设置 ． 本研究 中遗传 算法 的 目的就是 要搜 索 出一 组模 型 参数 ， 使模型的分类效能达到最大。选人 ｌ ｉｉ ｏ ｓｃ回归 ｇｔ 和遗传算法 的初始变量均是 一 ， ｇ ｔ 回归通过 ｌｉｃ ｏｓ ｉ Ｐ值是否小于 ００ 来筛选最终模型的变量 ， ．５ 而遗传算 法 通过设 定 系 数来 筛 选 变 量 ， 如 ａｂ 项 ， 数 ａ 例 ｌ 系
降， 说明极大似然法 的泛化误差 随着样本量 的减小而
增大 。而 随着样 本 量 的减 小 ， 传 算 法 在验 证 集 中的 遗 分类 效能 下 降不如 极 大似 然 法 明 显 ， 遗传 算 法 在 训 但 练集 中 的分类效 能 有 一个 逐 渐 增 长 的趋 势 ， 示 随着 提
［ ２２ ， 一 ，］最大进化代数为 ３０ 目 函数值超过 ５ ０， 标 ０代 没 有改 善则 程序 停 止 ， 示 当前 代 中 的最 优个 体 为最 表 终结果。使用 的统计软 件为 Ｓ Ｓ８ １ Ｓ Ｓ ３０和 Ａ ． 、Ｐ Ｓ１．
中 国卫 生 统 计 ２ １ ０ ２年 ２月 第 ２ 第 １ ９卷 期
ｌ ｉｉ ｏ ｓｃ回归参数遗传算法估计 的可行性研究 ｇｔ
韩 芳 陈金 瓯 柳 青
【 提 要 】 目的 考察遗传算 法作 为 ｌ ｉ ｃ回归模 型参数估计方法 的效能 ， 与极 大似然估 计法 比较 。方法 通 ｏｓ ｇｔ ｉ 并 过数据模拟建立三种模型 ， 分别用遗传算法 和极大似然法作参数估计 ， 考察建立模型的分类效 能。结果 一般情 况下 ， 极 大似然估计 法的分类效能稍高 于遗传算法 。在样本量较小或 自变量关 系复杂 的情况下 ， 大似然估计法 和遗 传算法 的泛 极 化误差增加 。极大似然估 计法的泛化误差主要源 于在验证集 中分类效能下降 ， 而遗传算法 的泛化误差 主要源于训练集 中 的过拟合 。当样本量 小且 自变量关 系复杂 的情况下 ， 极大似然估计法 出现迭代 不收敛 ， 参数失 拟合 ， 遗传 算法 无此现象 。
的过拟合 随着 样本 量 的减小 而增大 。
训练集和验证集仍然高于遗传算法估计的模 型， 如表 ２所示 ， 在样 本量 为 ８ 但 ０和 ４ ０时 ， 大 似然 法 和 遗传 极 算法估计的模型分类效 能差异无统计学意义 ， 明数 说
据 结构 比较 复杂 时极 大似 然法 估计 模 型参数 的分 类效
表 ２ 两种方法不同样本量下 （ 型 ２ 在训 练集 和验证集 中的分类 效能（ Ｓ 模 ） Ｘ± ）
中 国 卫生 统 计 ２ １ ０ ２年 ２月 第 ２ ９卷 第 １期
３ ．随机 误差 增大模 型模 拟结 果 当 自变 量间关 系 复 杂 而 随机 误差 增 大 时 ， 据 变 数 异 程度 增加 。在 这种 数 据结 构 下 ， 自变 量对 因变 量 的 影 响受 到 干扰 比较大 ， 这 种情 况 评 价 两 种参 数 估 计 在 方法 的分 类 效 能 。在 训 练集 样 本 量 为 ８ ０的情 况 下 ， １０份训练 集样 本 中有 ６ ０ ４份样 本 极 大似 然 法不 收 敛 ， 训练集 样 本量 ２０时 ， 有 ３ ０ 仍 ９份样 本极大 似然 法不 收 敛 （ ３ 。提 示 当数 据 不 理 想 时 ， 大 似 然 法受 样 本 表 ） 极
量设 置 、 量 间相 关 、 变 交互 作 用 项 与模 型 ２相 同 ， 模 但
域里已有应用 ， 如特殊模 型遗传程序设计 （ｅｅｃ ｒ ｇｎｔ ｏ ｉｐ — ｇａ ｎ ） 于 疾 病 数 据 的分 类 ； 如 疾 病 相 关 ｒ ｍｍｉｇ 用 又
基 因的遗传 算法 搜 索 。在 医学 分 类 问题 中 ， 常 用 通 分类效 能 指标考 察模 型 的 优 劣 ， 通 常 评 价模 型 参 而 数估计 方法 时 只考察 了模 型 系数 的统 计学 意 义 ， 有 没 考察 模 型 的分类 效 能 。本 文 主要 从分 类效 能和泛 化误 差着 手 ， 察极 大 似然 法 和遗 传算 法用 于估 计 ｌｇｓｃ 考 ｏ ｉｉ ｔ 回归模 型参数 的价值 。