文本分类中的特征降维方法综述
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
[ HH] 要部分, 这使得低 频 特 征 具 有 较 大 的 互 信 息 。特
征 # $ 的全局互信息如式 (H) 所示。 ! "! 文本频度 ( ./,*’%+0 (&%)*%+,- , #" ) 文本频度是 训 练 集 中 含 有 词 条 # $ 的 文 本 数 在 总文本数中出现的概率。其理论假设为稀有词条或 者对分类作用不大, 或者是噪声, 可以被删除。文本 频度较特征频度 的 统 计 粒 度 更 粗 一 些, 在实际运用
-
示。
-
( #$ )L M 23
(/ ) (/ ) 50A " !"
. . .LJ -
( #$ ) " ( /. N #$ ) 50A " O " ! ( /. N #$ )
.LJ -
" ( ( /. N " #$ ) " #$ ) 50A " #$ ) O " ! ( /. N "
.LJ
( #$ )L M ’(#)*+,
[ J<] ( FE&’796116,A) 。
! "<
信息增益 ( 9+:/&’;07/+ =;7+, %& ) (I) 所 在文本分类 中, 特 征 #$ 的 信 息 增 益 如 式
在某类文本中出 现 的 情 况 下, 可能会把该类的显著 特征错误地过 滤 掉。 文 献 [J<] 通 过 实 验 表 明, 用 #% 和 &% 的 组 合 进 行 特 征 选 择 可 以 得 到 更 好 的 降 维 效 果。 ! "1 特征熵 ( $%&’ 2+0&/3-) 在文本 分 类 中, 特 征 #$ 在 类 型 集 上 的 熵 如 式 (J) 所示。
文本分 类 ( .,;: */:,50=3>/:30- ) 是指在给定的分 类体系 下, 根据文本内容自动确定文本类别的过
[%, !, $, &] 程 。它是 文 本 挖 掘 的 一 个 重 要 组 成 部 分, 在
提高情报检索的速度和准确率方面有重要意义。在 文本分 类 中, 广泛使用向量空间模型 ( J,<:0= KI/<, 来标引文本。即文本 的特征直 接 采 用 文 本 中 L01,G) 的词条 . ( .08,-) 作 为 特 征 项, 文本可以表示为特征 …, , 分量 & , 是词 条 对应 的 权 的向量 5 M( & % , &! , &( ) 值, 利 用 训 练 好 的 分 类 器 将 文 本 自 动 分 到 类 别 6, (类别集合 7 M {6 % , …, , 6! , 6( } ( 为 类 别 数) 。 而 这些高维的特征集对分类学习未必全是重要和有效 的, 同时高维特 征 集 会 加 剧 机 器 学 习 的 负 担。 是 否
[H, I, JK , JJ] 用在文本标引时直接删除某些低频特征 。
( # $ N / . )M 50A " ( # $ ) (<) L 50A " 其中, ( #$ , 为 / . 中出现 特征 # $ 的 文本 数除 " /. ) ( #$ ) 为 训 练 集 中 出 现 #$ 的 文 以训练集的文 本 数, " 本数除以训 练 集 的 文 本 数, ( /. ) 为训练集中属于 " 类型 / . 的文 本 数 除 以 训 练 集 的 文 本 数。 这 里 将 / . 看成 是 系 统 0 中 的 一 个 事 件。 12 ( #$ , 表示事件 /. ) 即特征与类型之间的相关 # $ 和 / . 发生时的互信息, 程度。当特征的 出 现 只 依 赖 于 某 一 类 型 时, 特征与 该类型的互信息很大; 当特征与类型相互独立时, 互 信息为 K ; 当特征很少在 该 类 型 文 本 中 出 现 时, 它们 之间的互信息 为 负 数, 即 负 相 关。 频 度 小 的 特 征 对 互信息 的 影 响 大。 可 以 看 出, 对 于 频 度 小 的 特 征, ( #$ ) 的 变 化 比 50A " ( #$ N /. ) 快, 是互信息中的主 50A "
[ #]
!
特征选择 ( F,/:7=, K,G,<:30-)
特征选择就是从特 征 集 8 M {& % , …, 中选择 &3 } 一个真子集 8O M {& % , …, , 满足 ( 3O ! 3 ) 。其 中, & 3O } 3 为原始特 征 集 的 大 小, 3O 为 选 择 后 的 特 征 集 大 小。 选择的准 则 是 经 特 征 选 择 后 能 有 效 提 高 文 本 准 确 率。选择没有改 变 原 始 特 征 空 间 的 性 质, 只是从原
!"#$%&#’%$ ($)"$* +, -$&#’%$ ."/$01"+0 ($2’3#"+0 "0 4$5# 6&#$7+%"8&#"+0
*+,- ./0 /-1 23, 4/-567( !"#$%&’"(& )* +(*)%’$&,)( -$($."’"(& ,/,(.0) 1(,2"%3,&4 , /,(.0) $%#!%%)
% ! ! ! ! [( ( !" , ( ( !" , ( ] ’ & % )# ( !" , & % )$ ( & % )# ( !" , &% )
[ ’%] 。它首先定义 “相关 文 本” , 然后认为同时在多 性
个 “相关文本” 中 出 现 的 特 征 是 重 要 的 特 征, 具有较 (.) 所示。 大的强度。特征 ! " 的权值如式 ( !" )" ( ( !" $ )0 / !" $ )1 ) ./ (.) 其 中, “相 关 文 本” 对。 在 特 征 权 )1 、 )0 为 任 意 统计量中, 没有类型信息, 特征权完全基于文本之间 的相关性来 度 量。 它 的 理 论 依 据 是 基 于 特 征 ! " 在 邻近相关文本中出现的概率来测试特征的效率。进 行特征选择时, 选择 ./ 值大的特征。 ! ": 期望交叉熵 ( ;<=-41-> $,/(( ;21,/=?,’"’ ) 期望交叉熵不考虑词条未出现的情况。特征 ! " 的权值如式 (’0) 所示。 ( !" )" ( ( !" ) 2#2 (& "(
训练集d?d映射到新特征空间以后得到q维特征向?集非负矩阵分解non?negativematrixfactorizationnmf由于潜在语义索引中的奇异值分解方法存在对数据变化敏感运算速度慢以及左右奇异矩阵的存储要求高的缺点限制了在大规模文本分类的特征http
第 !& 卷 第 ) 期 !""# 年 %! 月
。
文本分类中, 用于特征选择的统计量大致有: 特 征 频 度( %&’( )’&*+&,-. ) ,文 档 频 度( /0-+(&,1 , 特征熵 ( %&’( 2,1’03. ) , 互信息 ( 4+5167 )’&*+&,-.) , 信息 增 益 ( 8,90’(:160, ;:6, ) , 8,90’(:160,) !< 统 计 量 ( =>67?*+:’& ) , 特征权 ( %&’( @1’&,A1> ) , 期望交叉熵 ( 2B3&-1&C =’0?? 2,1’03. ) ,文 本 证 据 权( D&6A>1 09 , 几率比 ( FCC? G:160) 等。 这 些 统计 2E6C&,-& 90’ %&B1) 量从不同的角度度量特征对分类所起的作用。在下 面对各统计量的解释中, 概 率 " 都 在文 本 空 间 上 进 行计算。 ! "# 特征频度 ( $%&’ (&%)*%+,- , !" ) 特征频度 指 训 练 集 中 特 征 # $ 出 现 的 次 数。 这 是最简单的特 征 选 择 方 法。 直 观 上, 特征在文本集 中出现次数越 多, 对 文 本 分 类 的 贡 献 越 大。 由 于 原 始特征集中 绝 大 部 分 是 低 频 特 征, 因 此, 设 定 #% 阈 值对过滤低频特 征 非 常 有 效, 可以获得很大的降维 度。就高频特征 而 言, 特征的统计分布决定了文本 分类的准确率。即当该高频特征均匀地分布在所有 文本中时, 对分类的作用将是有限的。因此, #% 主 要
!期
文本分类中的特征降维方法综述
!$J
始特征空间中选 择 了 一 部 分 重 要 的 特 征, 组成一个 新的低维空间
[!, ", #, $]
定该文本所属 类 型 的 平 均 不 确 定 性。 特 征 熵 越 小, 对文本分类的 作 用 越 大。 进 行 特 征 选 择 时, 选择熵 比较小的特征。 ! "4 互信息 ( 5*60789+:/&’;07/+, $% ) 在文本分类中, 特征 # $ 的互信息如式 (<) 所示。 ( #$ , 12 /. ) L 50A ( #$ , " /. ) ( #$ ) ( /. ) " "
" 其 中, ( 为 训 练 集 中 不 出 现 特 征 #$ 的 文 本 " #$ )
数除以训练集的文本数, ( / . N" 为 类 型 /. 中 出 现 " #$ ) # $ 的文本数除以训练集中出现 # $ 的文本数。特征在 文本中是否出现 都 将 为 文 本 分 类 提 供 信 息, 计算不
&.%
情
报
学
报
%4 卷
同情况下的条件 概 率 以 确 定 提 供 的 信 息 量 的 大 小。 信息增益 是 机 器 学 习 领 域 较 为 广 泛 的 特 征 选 择 方 法。利用特征取 值 情 况 划 分 训 练 样 本 空 间, 根据所 获得信 息 量 的 多 少 选 择 相 应 特 征。 进 行 特 征 选 择 时, 选择信息增益大的特征。 ! "# ( $%&’()*+,-, ! ! 统计量 "#$ ) 在文本分 类 中, 特 征 ! " 的 #$% 权 重 如 式 (!) 所 示。 ( !" , #$% &% )"
;$<*+%21
进行特征降维对 文 本 分 类 的 训 练 时 间、 分类准确性
%
引
言
都有显著的影响, 而且分类器的算法和实现的复杂 度都随特征空 间 维 数 的 增 加 而 增 加。 所 以, 特征集 的降维操作是文本分类准确率和效率的关键。特征 选 择( F,/:7=, K,G,<:30- )和 特 征 抽 取( F,/:7=, 是特 征 降 维 中 的 主 要 方 法。 以 下 分 别 对 N;:=/<:30-) 特征选择和特征抽取中涉及的不同方法进行介绍。
情
报
学
报
J0G E !& , P ) !""# Q,<,BR,=,
文本分类中的特征降维方法综述 %)
陈 涛 谢阳群
(宁波大学商学院信息管理系,宁波 $%#!%%)
摘要 关键词
文本分类的关键是对高维的特征集进行降维。降维的主要方法是特征选择和特征提 取。 本 文 综 述 了 已
有的特征选择和特征抽取方法, 评价了它们的优缺点和适用范围。 文本分类 特征降维 特征选择 特征提取
[ J<] 中有一定 的 效 果 。但是如果某一稀有词条主要 -
( #$ )L 12
(/ ) 50A !"
. .LJ
( #$ , " /. ) ( #$ ) ( /. ) 选择特征时, 应 该 选 择 互 信 息 大 的 特 征。 因此容易引起过学习 由于 12 有 利 于 低 频 特 征,
( /. N #$ ) ( /. N #$ ) (J) 50A !"
.LJ
(I)
其中, ( /. N #$ ) 为 / . 中出现 特征 # $ 的 文 本 数除 " 以训练集中出 现 # $ 的 文 本 数。 特 征 # $ 相 当 于 一 个 事件, 类型集 0 相当于一个系统。它是 # $ 发生时系 万 方数据 统 0 的条 件 熵, 描 述 了 当 特 征 在 文 本 中 出 现 时, 确
收稿日期:!""# 年 $ 月 %& 日 作者简介:陈涛, 男, 讲师, 清华大学计算机科学 与 技 术 专 业 硕 士。研 究 方 向: 文 本 信 息 处 理, 数 据 挖 掘。 谢 阳 %’($ 年生, 群, 教授, 中国科学院文献情报中心情报专业博士。研究方向: 信息资源管理, 数据挖掘。 %’)! 年生, (项目编号 !""&"’’() 。 %) 浙江省教育厅 万方数据 !""& 年度高校科研项目
9:1#%&3#
.+, 8,9 :0 :,;: </:,50=3>/:30- 3? +0@ :0 =,17<, :+, +35+A13B,-?30- 0C :+, C,/:7=, D,<:0=? E F,/:7=, =,17<:30- B,:+01
3-D0GD,? C,/:7=, ?,G,<:30- /-1 C,/:7=, ,;:=/<:30- E H- :+3? I/I,= C,/:7=, ?,G,<:30- B,:+01? /-1 C,/:7=, ,;:=/<:30- B,:+01? /=, <0GG35/:,1 E .+,3= /1D/-:/5, /-1 13?/1D/-:/5, /=, ,D/G7/:,1 E :,;: </:,50=3>/:30-,C,/:7=, =,17<:30-,C,/:7=, ?,G,<:30-,C,/:7=, ,;:=/<:30- E
征 # $ 的全局互信息如式 (H) 所示。 ! "! 文本频度 ( ./,*’%+0 (&%)*%+,- , #" ) 文本频度是 训 练 集 中 含 有 词 条 # $ 的 文 本 数 在 总文本数中出现的概率。其理论假设为稀有词条或 者对分类作用不大, 或者是噪声, 可以被删除。文本 频度较特征频度 的 统 计 粒 度 更 粗 一 些, 在实际运用
-
示。
-
( #$ )L M 23
(/ ) (/ ) 50A " !"
. . .LJ -
( #$ ) " ( /. N #$ ) 50A " O " ! ( /. N #$ )
.LJ -
" ( ( /. N " #$ ) " #$ ) 50A " #$ ) O " ! ( /. N "
.LJ
( #$ )L M ’(#)*+,
[ J<] ( FE&’796116,A) 。
! "<
信息增益 ( 9+:/&’;07/+ =;7+, %& ) (I) 所 在文本分类 中, 特 征 #$ 的 信 息 增 益 如 式
在某类文本中出 现 的 情 况 下, 可能会把该类的显著 特征错误地过 滤 掉。 文 献 [J<] 通 过 实 验 表 明, 用 #% 和 &% 的 组 合 进 行 特 征 选 择 可 以 得 到 更 好 的 降 维 效 果。 ! "1 特征熵 ( $%&’ 2+0&/3-) 在文本 分 类 中, 特 征 #$ 在 类 型 集 上 的 熵 如 式 (J) 所示。
文本分 类 ( .,;: */:,50=3>/:30- ) 是指在给定的分 类体系 下, 根据文本内容自动确定文本类别的过
[%, !, $, &] 程 。它是 文 本 挖 掘 的 一 个 重 要 组 成 部 分, 在
提高情报检索的速度和准确率方面有重要意义。在 文本分 类 中, 广泛使用向量空间模型 ( J,<:0= KI/<, 来标引文本。即文本 的特征直 接 采 用 文 本 中 L01,G) 的词条 . ( .08,-) 作 为 特 征 项, 文本可以表示为特征 …, , 分量 & , 是词 条 对应 的 权 的向量 5 M( & % , &! , &( ) 值, 利 用 训 练 好 的 分 类 器 将 文 本 自 动 分 到 类 别 6, (类别集合 7 M {6 % , …, , 6! , 6( } ( 为 类 别 数) 。 而 这些高维的特征集对分类学习未必全是重要和有效 的, 同时高维特 征 集 会 加 剧 机 器 学 习 的 负 担。 是 否
[H, I, JK , JJ] 用在文本标引时直接删除某些低频特征 。
( # $ N / . )M 50A " ( # $ ) (<) L 50A " 其中, ( #$ , 为 / . 中出现 特征 # $ 的 文本 数除 " /. ) ( #$ ) 为 训 练 集 中 出 现 #$ 的 文 以训练集的文 本 数, " 本数除以训 练 集 的 文 本 数, ( /. ) 为训练集中属于 " 类型 / . 的文 本 数 除 以 训 练 集 的 文 本 数。 这 里 将 / . 看成 是 系 统 0 中 的 一 个 事 件。 12 ( #$ , 表示事件 /. ) 即特征与类型之间的相关 # $ 和 / . 发生时的互信息, 程度。当特征的 出 现 只 依 赖 于 某 一 类 型 时, 特征与 该类型的互信息很大; 当特征与类型相互独立时, 互 信息为 K ; 当特征很少在 该 类 型 文 本 中 出 现 时, 它们 之间的互信息 为 负 数, 即 负 相 关。 频 度 小 的 特 征 对 互信息 的 影 响 大。 可 以 看 出, 对 于 频 度 小 的 特 征, ( #$ ) 的 变 化 比 50A " ( #$ N /. ) 快, 是互信息中的主 50A "
[ #]
!
特征选择 ( F,/:7=, K,G,<:30-)
特征选择就是从特 征 集 8 M {& % , …, 中选择 &3 } 一个真子集 8O M {& % , …, , 满足 ( 3O ! 3 ) 。其 中, & 3O } 3 为原始特 征 集 的 大 小, 3O 为 选 择 后 的 特 征 集 大 小。 选择的准 则 是 经 特 征 选 择 后 能 有 效 提 高 文 本 准 确 率。选择没有改 变 原 始 特 征 空 间 的 性 质, 只是从原
!"#$%&#’%$ ($)"$* +, -$&#’%$ ."/$01"+0 ($2’3#"+0 "0 4$5# 6&#$7+%"8&#"+0
*+,- ./0 /-1 23, 4/-567( !"#$%&’"(& )* +(*)%’$&,)( -$($."’"(& ,/,(.0) 1(,2"%3,&4 , /,(.0) $%#!%%)
% ! ! ! ! [( ( !" , ( ( !" , ( ] ’ & % )# ( !" , & % )$ ( & % )# ( !" , &% )
[ ’%] 。它首先定义 “相关 文 本” , 然后认为同时在多 性
个 “相关文本” 中 出 现 的 特 征 是 重 要 的 特 征, 具有较 (.) 所示。 大的强度。特征 ! " 的权值如式 ( !" )" ( ( !" $ )0 / !" $ )1 ) ./ (.) 其 中, “相 关 文 本” 对。 在 特 征 权 )1 、 )0 为 任 意 统计量中, 没有类型信息, 特征权完全基于文本之间 的相关性来 度 量。 它 的 理 论 依 据 是 基 于 特 征 ! " 在 邻近相关文本中出现的概率来测试特征的效率。进 行特征选择时, 选择 ./ 值大的特征。 ! ": 期望交叉熵 ( ;<=-41-> $,/(( ;21,/=?,’"’ ) 期望交叉熵不考虑词条未出现的情况。特征 ! " 的权值如式 (’0) 所示。 ( !" )" ( ( !" ) 2#2 (& "(
训练集d?d映射到新特征空间以后得到q维特征向?集非负矩阵分解non?negativematrixfactorizationnmf由于潜在语义索引中的奇异值分解方法存在对数据变化敏感运算速度慢以及左右奇异矩阵的存储要求高的缺点限制了在大规模文本分类的特征http
第 !& 卷 第 ) 期 !""# 年 %! 月
。
文本分类中, 用于特征选择的统计量大致有: 特 征 频 度( %&’( )’&*+&,-. ) ,文 档 频 度( /0-+(&,1 , 特征熵 ( %&’( 2,1’03. ) , 互信息 ( 4+5167 )’&*+&,-.) , 信息 增 益 ( 8,90’(:160, ;:6, ) , 8,90’(:160,) !< 统 计 量 ( =>67?*+:’& ) , 特征权 ( %&’( @1’&,A1> ) , 期望交叉熵 ( 2B3&-1&C =’0?? 2,1’03. ) ,文 本 证 据 权( D&6A>1 09 , 几率比 ( FCC? G:160) 等。 这 些 统计 2E6C&,-& 90’ %&B1) 量从不同的角度度量特征对分类所起的作用。在下 面对各统计量的解释中, 概 率 " 都 在文 本 空 间 上 进 行计算。 ! "# 特征频度 ( $%&’ (&%)*%+,- , !" ) 特征频度 指 训 练 集 中 特 征 # $ 出 现 的 次 数。 这 是最简单的特 征 选 择 方 法。 直 观 上, 特征在文本集 中出现次数越 多, 对 文 本 分 类 的 贡 献 越 大。 由 于 原 始特征集中 绝 大 部 分 是 低 频 特 征, 因 此, 设 定 #% 阈 值对过滤低频特 征 非 常 有 效, 可以获得很大的降维 度。就高频特征 而 言, 特征的统计分布决定了文本 分类的准确率。即当该高频特征均匀地分布在所有 文本中时, 对分类的作用将是有限的。因此, #% 主 要
!期
文本分类中的特征降维方法综述
!$J
始特征空间中选 择 了 一 部 分 重 要 的 特 征, 组成一个 新的低维空间
[!, ", #, $]
定该文本所属 类 型 的 平 均 不 确 定 性。 特 征 熵 越 小, 对文本分类的 作 用 越 大。 进 行 特 征 选 择 时, 选择熵 比较小的特征。 ! "4 互信息 ( 5*60789+:/&’;07/+, $% ) 在文本分类中, 特征 # $ 的互信息如式 (<) 所示。 ( #$ , 12 /. ) L 50A ( #$ , " /. ) ( #$ ) ( /. ) " "
" 其 中, ( 为 训 练 集 中 不 出 现 特 征 #$ 的 文 本 " #$ )
数除以训练集的文本数, ( / . N" 为 类 型 /. 中 出 现 " #$ ) # $ 的文本数除以训练集中出现 # $ 的文本数。特征在 文本中是否出现 都 将 为 文 本 分 类 提 供 信 息, 计算不
&.%
情
报
学
报
%4 卷
同情况下的条件 概 率 以 确 定 提 供 的 信 息 量 的 大 小。 信息增益 是 机 器 学 习 领 域 较 为 广 泛 的 特 征 选 择 方 法。利用特征取 值 情 况 划 分 训 练 样 本 空 间, 根据所 获得信 息 量 的 多 少 选 择 相 应 特 征。 进 行 特 征 选 择 时, 选择信息增益大的特征。 ! "# ( $%&’()*+,-, ! ! 统计量 "#$ ) 在文本分 类 中, 特 征 ! " 的 #$% 权 重 如 式 (!) 所 示。 ( !" , #$% &% )"
;$<*+%21
进行特征降维对 文 本 分 类 的 训 练 时 间、 分类准确性
%
引
言
都有显著的影响, 而且分类器的算法和实现的复杂 度都随特征空 间 维 数 的 增 加 而 增 加。 所 以, 特征集 的降维操作是文本分类准确率和效率的关键。特征 选 择( F,/:7=, K,G,<:30- )和 特 征 抽 取( F,/:7=, 是特 征 降 维 中 的 主 要 方 法。 以 下 分 别 对 N;:=/<:30-) 特征选择和特征抽取中涉及的不同方法进行介绍。
情
报
学
报
J0G E !& , P ) !""# Q,<,BR,=,
文本分类中的特征降维方法综述 %)
陈 涛 谢阳群
(宁波大学商学院信息管理系,宁波 $%#!%%)
摘要 关键词
文本分类的关键是对高维的特征集进行降维。降维的主要方法是特征选择和特征提 取。 本 文 综 述 了 已
有的特征选择和特征抽取方法, 评价了它们的优缺点和适用范围。 文本分类 特征降维 特征选择 特征提取
[ J<] 中有一定 的 效 果 。但是如果某一稀有词条主要 -
( #$ )L 12
(/ ) 50A !"
. .LJ
( #$ , " /. ) ( #$ ) ( /. ) 选择特征时, 应 该 选 择 互 信 息 大 的 特 征。 因此容易引起过学习 由于 12 有 利 于 低 频 特 征,
( /. N #$ ) ( /. N #$ ) (J) 50A !"
.LJ
(I)
其中, ( /. N #$ ) 为 / . 中出现 特征 # $ 的 文 本 数除 " 以训练集中出 现 # $ 的 文 本 数。 特 征 # $ 相 当 于 一 个 事件, 类型集 0 相当于一个系统。它是 # $ 发生时系 万 方数据 统 0 的条 件 熵, 描 述 了 当 特 征 在 文 本 中 出 现 时, 确
收稿日期:!""# 年 $ 月 %& 日 作者简介:陈涛, 男, 讲师, 清华大学计算机科学 与 技 术 专 业 硕 士。研 究 方 向: 文 本 信 息 处 理, 数 据 挖 掘。 谢 阳 %’($ 年生, 群, 教授, 中国科学院文献情报中心情报专业博士。研究方向: 信息资源管理, 数据挖掘。 %’)! 年生, (项目编号 !""&"’’() 。 %) 浙江省教育厅 万方数据 !""& 年度高校科研项目
9:1#%&3#
.+, 8,9 :0 :,;: </:,50=3>/:30- 3? +0@ :0 =,17<, :+, +35+A13B,-?30- 0C :+, C,/:7=, D,<:0=? E F,/:7=, =,17<:30- B,:+01
3-D0GD,? C,/:7=, ?,G,<:30- /-1 C,/:7=, ,;:=/<:30- E H- :+3? I/I,= C,/:7=, ?,G,<:30- B,:+01? /-1 C,/:7=, ,;:=/<:30- B,:+01? /=, <0GG35/:,1 E .+,3= /1D/-:/5, /-1 13?/1D/-:/5, /=, ,D/G7/:,1 E :,;: </:,50=3>/:30-,C,/:7=, =,17<:30-,C,/:7=, ?,G,<:30-,C,/:7=, ,;:=/<:30- E