7.5 基于数据挖掘的入侵检测-ppt

数据挖掘技术在入侵检测中的 应用
1、数据挖掘的基本概念
• 数据挖掘（data mining):也称为数据库 中的知识发现（KDD,Knowledge Discovery in Database)，是指从大型 数据库或数据仓库中提取出人们感兴趣 的知识，这些知识是隐含的、事先未知 的潜在的有用信息。可以作为决策支持 和分析的工具。
K-means
• 初始参数-类别数&初始类别中心; • 聚类有效性函数-最小误差; • 优点： 聚类时间快; • 缺点： 对初始参数敏感; 容易陷入局部最优;
K-means步骤
• • • • • 1 设置初始类别中心和类别数; 2 根据类别中心对数据进行类别划分; 3 重新计算当前类别划分下每类的中心; 4 在得到类别中心下继续进行类别划分; 5 如果连续两次的类别划分结果不变则停止算法;否则 循环2～5 ;
数据的分布进行类别划分
聚类与分类的区别
• 有类别标记和无类别标记; • 有监督与无监督; （有训练语料与无训练语料） • Train And Classification （分类）; • No Train（聚类）;
聚类的基本要素
• 定义数据之间的相似度; • 聚类有效性函数（停止判别条件）;
基于聚类的入侵检测方法
• 无指导的入侵检测方法
– 是在未标记的数据上训练模型并检测入侵， 不需要任何先验知识，可能检测新的、未知 的入侵。
• 基于基本的假定：
– 正常行为较入侵行为占绝对的比例； – 入侵行为偏离正常行为是可以区别的。
聚类簇
无指导的聚类检测过程
• 1.模型建立
– 第一步：对训练集T1进行聚类，得到聚类结果 T1={C1,C2,…,Ck}； – 第二步：给簇做标记：统计每个簇Ci（1≤i ≤k）的 异常因子或数据量的大小。
RIPPER分类算法提取出的分类规则：
聚类分析
• 与分类分析不同，聚类分析输入的是一 组未分类记录，并且这些记录应分成几 类事先并不知道。
• 聚类分析就是通过分析记录数据，合理 地划分记录集合，确定每个记录所在类 别。
什么是聚类?
• 聚类就是对大量未知标注的数据集，按 数据的内在相似性将数据集划分为多个 类别，使类别内的数据相似度较大而类 别间的数据相似度较小;
• 规则举例 • 经典算法
– Apriori 算法
关联分析在入侵检测中的应用
表1 telnet命令记录
关联分析在入侵检测中的应用
序列模式分析
• 和关联分析相似，但序列模式分析的侧 重点在于分析数据间的前后序列关系。
• 发现数据库中形如“在某一段时间内， 顾客购买商品A，接着购买商品B，而后 购买商品C，即序列A=>B =>C出现的频 度较高”之类的知识。
– 聚类算法时间复杂度低； – 聚类精度高，能将不同类型的数据聚集在分离的簇 中； – 给簇准确做标记，能得到较准确的分类模型。
基于聚类的检测方法
• 主要由两大模块构成：
– 模型建立 – 模型评估
• 第一步：对训练集进行聚类； • 第二步：利用聚类结果得到分类模型； • 检测率：被正确检测的攻击记录数占整个攻击记录数的比例。 • 误报率：表示正常记录被检测为攻击的记录数占整个正常记录 数的比例。 • 未见攻击类型的检测率：表示测试集中出现而训练集中没有出 现的新类型攻击记录被正确检测的比例。
分类分析
• 设有一个数据库和一组具有不同特征的类别标记，该 数据库中每一个记录都被赋予一个类别的标记，这个 数据库称为示例数据库或训练集，分类分析就是通过 分析训练集中的数据，为每个类别做出准确的描述或 挖掘出分类规则，然后用这个分类规则对其他数据库 中的记录进行分类。 • 例如：信用卡公司的数据库中保持着各持卡人的记录 ，公司根据信誉程度已将持卡人记录分成3类：高、 中、低。并且将类别标记已赋给各个记录，分类分析 就是挖掘出分类规则，如“信誉良好的客户指那些年 收入在5万以上，年龄在40~50岁之间的人士”，然 后根据规则对具有相同属性的数据库记录进行分类。
1. 在聚类算法的不同阶段会得到不同的类别划分结果，可以通过聚类有效性函数 来判断多个划分结果中哪个是有效的; 2. 使用有效性函数作为算法停止的判别条件，当类别划分结果达到聚类有效性函 数时即可停止算法运行;
• 类别划分策略（算法）;
通过何种类别划分方式使类别划分结果达到有效性函数;
相似度
• Euclidean Distance
Euclidean( Ai , Aj ) ( Aim Ajm)
m 1 r
数据表示为向量，向量中某一维对应数据某一特征或属性
仅计算了数据向量中属于同一维度特征的权值差距;
聚类有效性函数
• 最小误差（Je）:
c个类别，待聚类数据x，mi为类别Ci的中心， mi
xCi
x
| Ci |
• 2.确定模型：确定每个簇的类中心和半径阈值 ｒ。 • 3.利用最近邻分类方法对测试集中的每个对象 进行分类；
Thank You！
初始值敏感
初始化4个类别中心; 左侧的全体数据仅与第一个类别中心相似;
层次聚类
• 分裂或凝聚
算法运行到某一阶段，类别划分结果达到聚类标准时 即可停止分裂或凝聚;
基于聚类的入侵检测方法
• 由于IDS需要处理的数据量非常大，对建模和 检测的准确性、时效性要求高，因此在研究基 于聚类的入侵检测方法时重点考虑三个方面的 要求：
2、数据挖掘主要技术
• • • • 关联分析 序列模式分析 分类分析 聚类分析
关联分析
• 从大量数据的项集之间发现有趣的、频繁出现的模式 、关联和相关性。应用于购物篮分析、捆绑销售等。 • 典型案例：
– “尿布与啤酒”：在美国，一些年轻的父亲下班后经常要到 超市购买尿布，超市也因此发现了一个规律，在购买婴儿尿 布的年轻父亲们中，有30%~40%的人同时要买一些啤酒。超 市随后调整了货架的摆放，把尿布和啤酒放在一起，明显增 加了销售额。我们还可以根据关联规则在商品销售方面做各 种促销活动。 – {尿布}{啤酒} – {啤酒、尿布}{奶酪、巧克力}
分类分析
• 数据集合 Data ，类别标记集合 C
x Data, Class( x) C
• 数据集合： 训练数据 TrainData 待分类数据 ClassData • 已知 x TrainData; konwClass( x)&&Class( x) C • 问题：t ClassData; Class(t)？ • 方法：根据训练数据获得类别划分标准 f ( x)
t ClassData; Class(t) f (t)
分类图示
训练数据 待分类数据
1 2
3
4
分类分析在入侵检测中的应用
• 入侵检测可以看作是一个分类问题：我 们希望能把每一个审计记录分类到可能 的类别中，正常或某种特定的入侵。
分类分析在入侵检测中的应用
• 表 Telnet记录
分类分析在入侵检测中的应用
Je || x mi ||2
i 1 xCi
c
Je越小聚类结果越好
Je 衡量属于不同类别的数据与类别中心的的误差和;
• 最小方差:
1 Si 2 n
xCi x ' Ci

' 2 || x x ||
S i 衡量同一类别内数据的平均误差和;
聚类算法的简单分类
• • • • 基于划分: 基于层次: 基于密度: 基于网格: K-means, K-medoids HFC DBSCAN CLIQUE , STING