06-2贝叶斯分类

天气=多云 温度=66 湿度=90 有风，是否打网球？
15
Naive Bayesian

Naive Bayesian prediction requires each conditional prob. be non-zero. Otherwise, the predicted prob. will be zero
n k 1
P( X | Ci ) p( xk | Ci ) p( x1 | ci ) p( x2 | ci ) ... p( xn | ci )
9
Bayesian Classification

Bayes Theorem: P(H|X)=P(X|H)P(H)/P(X)


68 64
80
65 72
96
80 65
90
70 95
有
3
3
69
75 75 72 81 晴 2/9 3/5 0/5 均值 73 标准差 6.2
71
70
80 70 90 75
91
74.6 7.9
均值 79
86.2
无 有
6/9 3/9
2/5 3/5
9/14
5/14
多云 4/9
标准差 10.2 9.7
雨
3/9
Therefore, X belongs to class (“buys_computer = yes”)
13
连续属性值
天气 yes 晴 2 no 3 yes 83 温度 no 85 湿度 yes 86 no 85 无 有风 yes 6 no 2 yes 9 打网球 no 5
多云 4
雨 3
0
2
70
P(student = “yes” | buys_computer = “yes) = 6/9 = 0.667 P(student = “yes” | buys_computer = “no”) = 1/5 = 0.2


P(credit_rating = “fair” | buys_computer = “yes”) = 6/9 = 0.667
2/5
14
连续属性值

假设温度和湿度符合正态分布，概率密度函数为：
1 f ( x) e 2 ( x )2 2 2

天气=晴 温度=66 湿度=90 有风，是否打网球？ f(温度=66|yes)=公式=0.034 f(温度=66|no)=公式=0.022 yes似然= No似然=


P( B | A) P( A) P( B | A) P( A) PAB c c P( B) P( B | A) P( A) P B A P( A )
0.3 0.97 0.8962 0.3 0.97 0.7 0.05
8
Native Bayes Classifer

1.D是训练元组集合，每个元组X={x1,x2,„,xn}有 n个属性 2.假设有m个类C1,C2,„,Cm, 给定 X，分类法将预 测X属于具有最高后验概率的类.

P( X | Ci ) P(Ci ) max P(Ci | X ) P( X )

需要分子最大（分母一样）， ( X | Ci ) P(Ci ) 最大 P 即可。假设属性值相互独立，则：



主要用于大型数据库，分类结果准确且高效率。
2
概率论

随机实验(Random Experiment)是一种实验过程， 实验前已知所有可能结果，但不能预测实验结果， 相同状况下实验可重复试行。

1. 新生婴儿性别实验 2. 产品检验

样本空间：随机试验所有可能结果集合。样本空 间内的元素称为样本点。


P( X | H ) P( H ) P(H|X)= P( X )
7
案例

旅客搭乘飞机必须经电子仪器检查是否身上携带金属 物品，携带金属仪器会发出声音的机会是97%，但身 上无金属物品仪器会发出声音的机会是5%。若已知 一般乘客身上带有金属物品的机会是30%，若某旅客 经过仪器检查时发出声音，请问他身上有金属物品的 概率是多少？ 解:设A=[有金属物]，B= [仪器会发声]则



Prob(income = low) = 1/1003
Prob(income = medium) = 991/1003 Prob(income = high) = 11/1003

The “corrected” prob. estimates are close to their “uncorrected” counterparts
16
单纯贝氏分类器实例

办信用卡意愿：
项目
1 2 3 4 5 6 7 8 9 10
性别
男 女 女 男 女 女 女 男 男 女
年龄
>45 31~45 20~30 <20 20~30 20~30 31~45 31~45 31~45 <20
学生身分
否 否 是 是 是 否 否 是 否 是
收入
高 高 低 低 中 中 高 中 中 低


P(学生=否|办卡=会)=5/7
P(学生=否|办卡=不会)=0/3 P(收入=中|办卡=会)=2/7 P(收入=中|办卡=不会)=2/3

Example

X: a red and round object C: being an apple or an orange H: being an apple (H ? C)
10
Naive Bayesian Classifier: Training Data
age <=30 C1: buys_computer = <=30 ‘yes’ 31…40 C2: buys_computer = ‘no’ >40 >40 >40 Data sample 31…40 X = (age <=30, <=30 <=30 Income = medium, >40 Student = yes <=30 31…40 Credit_rating = Fair) 31…40 >40

1.新生婴儿性别实验 S=｛男性、女性｝ 2.产品检验 S=｛良品、不良品｝
3
概率理论

概率：衡量某一事件可能发生的程度，并量化。

考试会录取的概率、明天会下雨的概率
probability)

一、古典概率：又称先验概率(prior 事前概率，满足下列条件:

或
1.样本空间的样本点数是有限的 2.样本空间内所有样本点发生概率为相同的 P(E)=事件E样本点个数/样本空间样本点个数
=40/160 = 0.25
6
贝叶斯定理

假设D由age \ income\ buy computer属性构成；H是 顾客购买计算机； P(H): 任意顾客购买计算机的概率，叫做先验概率。 P(H|X):当我们知道顾客收入和年龄后（一位年龄 为35岁，收入40000美元的顾客），顾客购买计算 机的概率，叫做后验概率。基于更多信息的概率。

n P( X | C i) P( x k | C i) k 1
Ex. Suppose a dataset with 1000 tuples, income=low (0), income= medium (990), and income = high (10), Use Laplacian correction (or Laplacian estimator) Adding 1 to each case
P(credit_rating = “fair” | buys_computer = “no”) = 2/5 = 0.4
12
Naive Bayesian Classifier
X = (age <= 30 , income = medium, student = yes, credit_rating = fair)
Let X is a data sample whose class label is unknown
Let H be a class label P(H) is the prior probability of H P(H|X) is the posterior probability of H conditioned on X
P(age = “<= 30” | buys_computer = “no”) = 3/5 = 0.6 P(income = “medium” | buys_computer = “yes”) = 4/9 = 0.444


P(income = “medium” | buys_computer = “no”) = 2/5 = 0.4

Class:
income student redit_rating c buys_compu high no fair no high no excellent no high no fair yes medium no fair yes low yes fair yes low yes excellent no low yes excellent yes medium no fair no low yes fair yes medium yes fair yes medium yes excellent yes medium no excellent yes high yes fair yes medium no excellent no
办卡
会 会 会 不会 不会 会 会 不会 会 会