极限学习机在岩性识别中的应用
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 极限学习机
一个含有 个训练样本{ , }，= 1,…, ， 个隐层节点，且 激励函数为 的标准单隐层前馈神经网络可以表述如下
+ = , = 1,…,
(1)
=1
式中： ——输入神经元与第 个隐层节点的输入权值， ——
第 个隐层节点与输出神经元的输出权值， ——第 个隐层节
点的偏置， ——第 个输入样本的输出值。
2010 2010,31 (9)
计 算计机算工机程工与程设与设计计CoCmopmupteurteErnEgningeinereienrginagnadnDd eDsiegsnign
人工智能
极限学习机在岩性识别中的应用
蔡 磊， 程国建， 潘华贤 (西安石油大学 计算机学院，陕西 西安 710065)
摘 要：基于传统支 持向量机(SVM)训练速度慢、参 数选择难等问 题，提出了基于极 限学习机(ELM)的岩性识别。该算法 是一 种新 的单隐层前馈神 经网络 (SLFNs) 学习算法，不但可 以简化参数选择 过程，而且可以提 高网络的训练速 度。在确定了 最优 参数 的基础上，建立 了 ELM 的 岩性分类模型，并 且将 ELM 的分类结果与 SVM 进行 对比。实 验结果表明，ELM 以较少的 神经 元个 数获得与 SVM 相当的分 类正确率，并且 ELM 参数选择比 SVM 简便 ，有效降低 了训练速度，表明了 ELM 应用于岩 性识 别的可行性和算法的有效性。 关键 词：机器学习; 极限学习机; 前 馈神经网络; 岩 性识别; 支持 向量机 中图 法分类号：TP18 文献标 识码：A 文 章编号：1000-7024 (2010) 09-2010-03
ELM 的算法：
已知训练样本{ , }，= 1,…, ，隐层节点个数为 ，且激励
<
函数为 的标准单隐层前馈神经网络算法过程分为 3 步： (1) 随机设置输入权值 以及偏置 ，= 1,…, ； (2) 计算隐层输出矩阵 H； (3) 计算输出权值 ： = H Y。 由此可知，相比于传统的 SLFNs，ELM 在训练的过程中不
这个线性方程的最小二乘解为
<Fra Baidu bibliotek
=HY
(9)
其中，H 称为隐层输出矩阵 H 的 Moore-Penrose 广义逆 。 [7] 最
<
优解 存在以下重要特性：
(1) 可以通过该解获得最小的训练误差； (2) 获得权值向量的最小范式并且得到最优的泛化性能； (3) 范式的最小二乘解是唯一的，因此算法不会产生局部 最优解。
本文通过划分好的训练集和验证集，来确定 SVM 与 ELM 的最优参数。SVM 选取高斯核函数作为其核函数，其中核参 数 = 1/2 2和分类器惩罚参数 通过 10 重交叉验证法来搜索 选取，最终得到最优训练参数是： = 128， = 8，对验证集的最 大识别正确率为 86.5%。整个交叉验证的过程耗时 40 分钟。
并不需要全部进行调整，输入连接权值 和隐层节点偏置 在
训 练 开 始 时 可 随 机 选 择 ，在 训 练 过 程 中 固 定 。 而 输 出 连 接 权
值可通过求解以下线性方程组的最小二乘解来获得
< <
<
<
<
|| H ( 1,…, , 1,…, ) Y || = min|| H ( 1,…, , 1,…, ) Y ||(8)
收稿日期：2009-06-29；修订日期：2009-12-28。 基金项目：国家自然科学基金项目 (40872087)。 作者简介：蔡磊 (1984－)，男，硕士研究生，研究方向为图像处理、机器学习、模式识别、软计算方法； 程国建 (1964－)，男，博士，教授， 研究方向为计算智能、模式识别、智能油藏工程、生物特征识别、商务智能等； 潘华贤 (1984－)，女，硕士研究生，研究方向为神经网络、数 据挖掘、机器学习、软计算方法。E-mail：caileid@gmail.com
需要调整 和 的值，只需根据相应算法来调整 值，便可获 得一个全局最优解，参数选择的过程相对容易，训练速度显著 提 升 ，且 不 会 陷 入 局 部 最 优 。
2 实验与分析
2.1 样 本 数 据 选 择 为建立模型，选用某油田 10 口井的数据作为实验数据，
其中 6 口井的数据作为训练集 (Train Set)，总体样本数为 3150 个。剩余 4 口井中，2 口井的数据作为验证集 (Validation Set)， 样本数为 421 个，用来确定模型的最优参数。最后 2 口井的数 据作为测试集 (Test Set)，样本数为 431 个。这 10 口井所在地 区 的 地 质 条 件 相 似 ，且 不 同 深 度 地 层 中 的 岩 性 数 据 已 测 得 。根 据以往研究资料以及 PCA 的降维结果，最终选取对岩性识别 产生重要作用的参数作为岩性识别的根据，这些参数包括 5 个测井曲线参数 (自然伽玛 GR、深感应电阻率 RILD、中子-密 度孔隙度差 DeltaPHI、平均中子-密度孔隙度 PHIND、光电效应 PE) 以及两个地质约束变量 (陆相/海相 NM_M 和相对位置 RELPOS)。最终选定的样本形式参见表 1。将这 7 个参数作 为 特 征 值 对 每 口 井 不 同 深 度 的 储 层 岩 性 进 行 识 别 。由 于 特 征 可 能 在 量 值 上 有 较 大 差 异 ，为 了 避 免 大 值 特 征 淹 没 小 值 特 征 的 分 类 贡 献 ，将 所 有 样 本 归 一 化 至 [-1,1] 之 间 。 2.2 参 数 选 择
程 中 ，同 样 存 在 参 数 确 定 困 难 的 缺 点 ，且 需 要 消 耗 大 量 时 间 来 进行参数调整和训练。而极限学习机(extreme learning machine， ELM)[5] 在训练前只需要设置网络隐层节点个数，算法执行过 程 中 不 需 要 调 整 网 络 的 输 入 权 值 以 及 隐 层 单 元 的 偏 置 ，并 且 产 生 唯 一 的 最 优 解 ，参 数 选 择 容 易 、学 习 速 度 快 且 泛 化 性 能 好 。 通 过 对 比 实 验 ，验 证 该 方 法 用 于 岩 性 识 别 中 的 有 效 性 和 优越性。
极限学习机只需在确定激励函数的情况下选择隐层节点 个 数 ，参 数 确 定 的 过 程 相 对 简 单 。因 此 ，分 别 选 取 不 同 的 激 励 函数 (Sine 函数、Sigmoidal 函数、Radial Basis 函数、Hardlim 函 数、Triangular Basis 函数)，同时将每个激励函数的隐层节点个 数初始化为 10，以 20 为周期增加隐层节点数，分析激励函数 以及隐层节点个数不同时 ELM 对岩性分类精度的影响。参 数选择分析结果参见图 1。整个参数选择的过程耗时 3 分钟。
Abstract：Based on the problem that training speed is slow and parameter selection is difficult in traditional support vector machine (SVM), a method based on extreme learning machine (ELM) for lithology identification is presented. ELM is a new learning algorithm of single-hidden layer feedforward neural networks (SLFNs). It can not only simplify the parameter selection process, but also improve the training speed of the networks. In determining the optimal parameters, the lithology classification model is established, and the classification result of ELM is compared to traditional SVM. The experimental results show that, ELM with less number of neurons has similar classification accuracy compared to SVM, and it is easier to select the parameters which significantly reduce the training speed. The feasibility of ELM for lithology identification and the availability of the algorithm are validated. Key words：machine learning; extreme learning machine; feed-forward neural network; lithology identification; support vector machine
近 年 来 ，国 内 外 学 者 将 多 种 计 算 智 能 方 法 应 用 于 岩 性 的 自动识别中，如 BP 神经网络[1]、支持向量机(support vector machine，SVM) 等 ，取 [2-4] 得了较好的效果。然而，BP 网络在应用 的 过 程 当 中 ，需 要 人 为 设 置 大 量 参 数 ，因 此 ，很 难 选 定 合 适 的 参数并且容易使网络陷入局部最优。而 SVM 在实际应用过
min || H Y ||
(6)
< <
<
< < <
< <
传统的 SLFNs 需要寻找一组最优参数 ， ， ( = 1,…, )， 使得
|| H ( 1,…, , 1,…, ) Y || = min|| H ( 1,…, , 1,…, ) Y ||(7)
,,
H 通常通过基于梯度的学习的方法来获得。
然而，可以证明[7]，当激励函数 无限可微时，网络参数
0引言
在 测 井 研 究 当 中 ，对 单 井 岩 性 的 准 确 判 断 是 进 行 测 井 的 关 键 ，也 是 开 展 储 存 评 价 、储 层 预 测 、建 立 三 维 地 质 模 型 等 一 系 列 研 究 和 工 作 的 基 础 。 因 此 ，如 何 准 确 的 识 别 各 种 岩 性 具 有 重 要 意 义 。现 实 中 ，由 于 取 心 资 料 有 限 ，通 常 只 能 依 靠 常 规 的 测 井 资 料 和 岩 石 结 构 的 剖 面 研 究 来 确 定 岩 性 ，通 过 分 析 测 井 曲 线 和 取 心 数 据 ，依 靠 传 统 经 验 公 式 ，建 立 岩 性 的 数 学 模 型 ，根 据 这 些 数 学 模 型 对 岩 性 进 行 分 类 。 但 由 于 实 际 储 层 的 非均质性，测井响应和实际油气储层之间的非线性关系，使得 传统的统计学方法和经验公式很难表征储层的真实特性。
蔡磊，程国建，潘华贤：极限学习机在岩性识别中的应用
2010,31 (9) 2011
定义含有 个隐层节点，且激励函数为 的标准单隐层 前馈神经网络能够以无误差逼近于 个训练样本{ , }，即
|| || = 0
(2)
=1
因此，存在 ， ，以及 使得
+ = , = 1,…,
(3)
=1
式 (3) 可 表 示 为
Lithologic identification based on ELM
CAI Lei, CHENG Guo-jian, PAN Hua-xian (School of Computer Science, Xi’an Shiyou University, Xi’an 710065, China)
H =Y
其
中：H ( 1,…, , 1,…, , 1,…, ) =
1+ 。
(4) + 1 1 1
+ 1
1
+
×
T
T
1
1
=
Y=
(5)
T ×
T ×
H 称为神经网络的隐层输出矩阵，H 中的第 列是第 个隐
层节点对应于输入样本 1, 2,…, 的输出向量。因此，通过求解
以 下 最 小 化 问 题 ，来 不 断 调 整 网 络 参 数 。
一个含有 个训练样本{ , }，= 1,…, ， 个隐层节点，且 激励函数为 的标准单隐层前馈神经网络可以表述如下
+ = , = 1,…,
(1)
=1
式中： ——输入神经元与第 个隐层节点的输入权值， ——
第 个隐层节点与输出神经元的输出权值， ——第 个隐层节
点的偏置， ——第 个输入样本的输出值。
2010 2010,31 (9)
计 算计机算工机程工与程设与设计计CoCmopmupteurteErnEgningeinereienrginagnadnDd eDsiegsnign
人工智能
极限学习机在岩性识别中的应用
蔡 磊， 程国建， 潘华贤 (西安石油大学 计算机学院，陕西 西安 710065)
摘 要：基于传统支 持向量机(SVM)训练速度慢、参 数选择难等问 题，提出了基于极 限学习机(ELM)的岩性识别。该算法 是一 种新 的单隐层前馈神 经网络 (SLFNs) 学习算法，不但可 以简化参数选择 过程，而且可以提 高网络的训练速 度。在确定了 最优 参数 的基础上，建立 了 ELM 的 岩性分类模型，并 且将 ELM 的分类结果与 SVM 进行 对比。实 验结果表明，ELM 以较少的 神经 元个 数获得与 SVM 相当的分 类正确率，并且 ELM 参数选择比 SVM 简便 ，有效降低 了训练速度，表明了 ELM 应用于岩 性识 别的可行性和算法的有效性。 关键 词：机器学习; 极限学习机; 前 馈神经网络; 岩 性识别; 支持 向量机 中图 法分类号：TP18 文献标 识码：A 文 章编号：1000-7024 (2010) 09-2010-03
ELM 的算法：
已知训练样本{ , }，= 1,…, ，隐层节点个数为 ，且激励
<
函数为 的标准单隐层前馈神经网络算法过程分为 3 步： (1) 随机设置输入权值 以及偏置 ，= 1,…, ； (2) 计算隐层输出矩阵 H； (3) 计算输出权值 ： = H Y。 由此可知，相比于传统的 SLFNs，ELM 在训练的过程中不
这个线性方程的最小二乘解为
<Fra Baidu bibliotek
=HY
(9)
其中，H 称为隐层输出矩阵 H 的 Moore-Penrose 广义逆 。 [7] 最
<
优解 存在以下重要特性：
(1) 可以通过该解获得最小的训练误差； (2) 获得权值向量的最小范式并且得到最优的泛化性能； (3) 范式的最小二乘解是唯一的，因此算法不会产生局部 最优解。
本文通过划分好的训练集和验证集，来确定 SVM 与 ELM 的最优参数。SVM 选取高斯核函数作为其核函数，其中核参 数 = 1/2 2和分类器惩罚参数 通过 10 重交叉验证法来搜索 选取，最终得到最优训练参数是： = 128， = 8，对验证集的最 大识别正确率为 86.5%。整个交叉验证的过程耗时 40 分钟。
并不需要全部进行调整，输入连接权值 和隐层节点偏置 在
训 练 开 始 时 可 随 机 选 择 ，在 训 练 过 程 中 固 定 。 而 输 出 连 接 权
值可通过求解以下线性方程组的最小二乘解来获得
< <
<
<
<
|| H ( 1,…, , 1,…, ) Y || = min|| H ( 1,…, , 1,…, ) Y ||(8)
收稿日期：2009-06-29；修订日期：2009-12-28。 基金项目：国家自然科学基金项目 (40872087)。 作者简介：蔡磊 (1984－)，男，硕士研究生，研究方向为图像处理、机器学习、模式识别、软计算方法； 程国建 (1964－)，男，博士，教授， 研究方向为计算智能、模式识别、智能油藏工程、生物特征识别、商务智能等； 潘华贤 (1984－)，女，硕士研究生，研究方向为神经网络、数 据挖掘、机器学习、软计算方法。E-mail：caileid@gmail.com
需要调整 和 的值，只需根据相应算法来调整 值，便可获 得一个全局最优解，参数选择的过程相对容易，训练速度显著 提 升 ，且 不 会 陷 入 局 部 最 优 。
2 实验与分析
2.1 样 本 数 据 选 择 为建立模型，选用某油田 10 口井的数据作为实验数据，
其中 6 口井的数据作为训练集 (Train Set)，总体样本数为 3150 个。剩余 4 口井中，2 口井的数据作为验证集 (Validation Set)， 样本数为 421 个，用来确定模型的最优参数。最后 2 口井的数 据作为测试集 (Test Set)，样本数为 431 个。这 10 口井所在地 区 的 地 质 条 件 相 似 ，且 不 同 深 度 地 层 中 的 岩 性 数 据 已 测 得 。根 据以往研究资料以及 PCA 的降维结果，最终选取对岩性识别 产生重要作用的参数作为岩性识别的根据，这些参数包括 5 个测井曲线参数 (自然伽玛 GR、深感应电阻率 RILD、中子-密 度孔隙度差 DeltaPHI、平均中子-密度孔隙度 PHIND、光电效应 PE) 以及两个地质约束变量 (陆相/海相 NM_M 和相对位置 RELPOS)。最终选定的样本形式参见表 1。将这 7 个参数作 为 特 征 值 对 每 口 井 不 同 深 度 的 储 层 岩 性 进 行 识 别 。由 于 特 征 可 能 在 量 值 上 有 较 大 差 异 ，为 了 避 免 大 值 特 征 淹 没 小 值 特 征 的 分 类 贡 献 ，将 所 有 样 本 归 一 化 至 [-1,1] 之 间 。 2.2 参 数 选 择
程 中 ，同 样 存 在 参 数 确 定 困 难 的 缺 点 ，且 需 要 消 耗 大 量 时 间 来 进行参数调整和训练。而极限学习机(extreme learning machine， ELM)[5] 在训练前只需要设置网络隐层节点个数，算法执行过 程 中 不 需 要 调 整 网 络 的 输 入 权 值 以 及 隐 层 单 元 的 偏 置 ，并 且 产 生 唯 一 的 最 优 解 ，参 数 选 择 容 易 、学 习 速 度 快 且 泛 化 性 能 好 。 通 过 对 比 实 验 ，验 证 该 方 法 用 于 岩 性 识 别 中 的 有 效 性 和 优越性。
极限学习机只需在确定激励函数的情况下选择隐层节点 个 数 ，参 数 确 定 的 过 程 相 对 简 单 。因 此 ，分 别 选 取 不 同 的 激 励 函数 (Sine 函数、Sigmoidal 函数、Radial Basis 函数、Hardlim 函 数、Triangular Basis 函数)，同时将每个激励函数的隐层节点个 数初始化为 10，以 20 为周期增加隐层节点数，分析激励函数 以及隐层节点个数不同时 ELM 对岩性分类精度的影响。参 数选择分析结果参见图 1。整个参数选择的过程耗时 3 分钟。
Abstract：Based on the problem that training speed is slow and parameter selection is difficult in traditional support vector machine (SVM), a method based on extreme learning machine (ELM) for lithology identification is presented. ELM is a new learning algorithm of single-hidden layer feedforward neural networks (SLFNs). It can not only simplify the parameter selection process, but also improve the training speed of the networks. In determining the optimal parameters, the lithology classification model is established, and the classification result of ELM is compared to traditional SVM. The experimental results show that, ELM with less number of neurons has similar classification accuracy compared to SVM, and it is easier to select the parameters which significantly reduce the training speed. The feasibility of ELM for lithology identification and the availability of the algorithm are validated. Key words：machine learning; extreme learning machine; feed-forward neural network; lithology identification; support vector machine
近 年 来 ，国 内 外 学 者 将 多 种 计 算 智 能 方 法 应 用 于 岩 性 的 自动识别中，如 BP 神经网络[1]、支持向量机(support vector machine，SVM) 等 ，取 [2-4] 得了较好的效果。然而，BP 网络在应用 的 过 程 当 中 ，需 要 人 为 设 置 大 量 参 数 ，因 此 ，很 难 选 定 合 适 的 参数并且容易使网络陷入局部最优。而 SVM 在实际应用过
min || H Y ||
(6)
< <
<
< < <
< <
传统的 SLFNs 需要寻找一组最优参数 ， ， ( = 1,…, )， 使得
|| H ( 1,…, , 1,…, ) Y || = min|| H ( 1,…, , 1,…, ) Y ||(7)
,,
H 通常通过基于梯度的学习的方法来获得。
然而，可以证明[7]，当激励函数 无限可微时，网络参数
0引言
在 测 井 研 究 当 中 ，对 单 井 岩 性 的 准 确 判 断 是 进 行 测 井 的 关 键 ，也 是 开 展 储 存 评 价 、储 层 预 测 、建 立 三 维 地 质 模 型 等 一 系 列 研 究 和 工 作 的 基 础 。 因 此 ，如 何 准 确 的 识 别 各 种 岩 性 具 有 重 要 意 义 。现 实 中 ，由 于 取 心 资 料 有 限 ，通 常 只 能 依 靠 常 规 的 测 井 资 料 和 岩 石 结 构 的 剖 面 研 究 来 确 定 岩 性 ，通 过 分 析 测 井 曲 线 和 取 心 数 据 ，依 靠 传 统 经 验 公 式 ，建 立 岩 性 的 数 学 模 型 ，根 据 这 些 数 学 模 型 对 岩 性 进 行 分 类 。 但 由 于 实 际 储 层 的 非均质性，测井响应和实际油气储层之间的非线性关系，使得 传统的统计学方法和经验公式很难表征储层的真实特性。
蔡磊，程国建，潘华贤：极限学习机在岩性识别中的应用
2010,31 (9) 2011
定义含有 个隐层节点，且激励函数为 的标准单隐层 前馈神经网络能够以无误差逼近于 个训练样本{ , }，即
|| || = 0
(2)
=1
因此，存在 ， ，以及 使得
+ = , = 1,…,
(3)
=1
式 (3) 可 表 示 为
Lithologic identification based on ELM
CAI Lei, CHENG Guo-jian, PAN Hua-xian (School of Computer Science, Xi’an Shiyou University, Xi’an 710065, China)
H =Y
其
中：H ( 1,…, , 1,…, , 1,…, ) =
1+ 。
(4) + 1 1 1
+ 1
1
+
×
T
T
1
1
=
Y=
(5)
T ×
T ×
H 称为神经网络的隐层输出矩阵，H 中的第 列是第 个隐
层节点对应于输入样本 1, 2,…, 的输出向量。因此，通过求解
以 下 最 小 化 问 题 ，来 不 断 调 整 网 络 参 数 。