智能信息处理技术实验报告

智能信息处理技术

实验报告

学院（部）：

班级：

学号：

姓名：

指导老师：

实验一感知器实验

一、实验目的

1、理解线性分类器的分类原理

2、掌握感知器算法，利用它对输入的数据进行分类

二、实验原理

感知器算法是通过训练模式的迭代和学习算法，产生线性可分的模式判别函数。感知器算法就是通过对训练模式样本集的“学习”得出判别函数的系数解。

三、实验内容

（1）简单分类问题（Percept1）：设计单一感知器神经元来解决一个简单的分类问题：将4个输入向量

分为两类，其中两个输入向量对应的目标值为1，另两个对应的目标值为0. 输入向量为：P=[-1 -0.5 0.2 -0.1;

-0.3 0.5 -0.5 1.0]

目标向量为：T=[1 1 0 0]

程序如下：

P=[-1 -0.5 0.2 -0.1;

-0.3 0.5

-0.5 1.00];

T=[1 1 0 0]; plotpv(P,T); pause;

net=newp([-1 1; -1 1],1); watchon;

cla;

plotpv(P,T);linehandle=plo

tpc(net.IW{1},

net.b{1});

E=1;

net=init(net);

linehandle=plo

tpc(net.IW{1},

net.b{1});

while(sse(E))

[net,Y,E]=adap

t(net,P,T);

linehandle=plo

tpc(net.IW{1},

net.b{1});

drawnow;

end;

pause;

watchoff;

p=[-0.5;1.2];

a=sim(net,p);

plotpv(p,a);

ThePoint=findo

bj(gca,'type',

'line');

set(ThePoint,'

Color','red');

hold on;

plotpv(P,T);

plotpc(net.IW{

1},net.b{1});

hold off;

disp('End of

percept1');

实验截图：

（2）多个感知器神经元的分类问题（Percept2）：将上例的输入向量扩充为10组，将输入向量分为4

类，即输入向量为：

P=[0.1 0.7 0.8 0.8 1.0 0.3 0.0 -0.3 -0.5 -1.5;

1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8 -1.5 -1.3 ]

输出向量为：T=[1 1 1 0 0 1 1 1 0 0;

0 0 0 0 0 1 1 1 1 1]

程序如下：

P=[0.1 0.7 0.8 0.8 1.0

0.3 0.0 -0.3 -0.5

-1.5;

1.2 1.8 1.6 0.6 0.8

0.5 0.2 0.8 -1.5

-1.3];

T=[1 1 1 1 1 0 0 0 0

0;

0 0 0 0 0 1 1 1 1 1];

plotpv(P,T);

net=newp([-1.5

1;-1.5 1],2);

figure;

watchon;

cla;

plotpv(P,T);

linehandle=plotpc(n

et.IW{1},net.b{1});

E=1;

net=init(net);

linehandle=plotpc(n

et.IW{1},net.b{1});

while(sse(E))

[net,Y,E]=adapt(net

,P,T);

linehandle=plotpc(n

et.IW{1},net.b{1},l

inehandle);

drawnow;

end;

watchoff;

figure;

p=[2;-1];

a=sim(net,p);

plotpv(p,a);

ThePoint=findobj(gc

a,'type','line');

set(ThePoint,'Color

','red');

hold on;

plotpv(P,T);

plotpc(net.IW{1},ne

t.b{1});

hold off;

disp('End of

percept2');

实验截图：

（3）输入奇异样本对网络训练的影响（Percept3）当网络的输入样本中存在奇异样本时（即该样本向量相对其他所有样本向量特别大或特别小），此时网络训练时间将大大增加，如：输入向量为：

P=[-0.5 -0.5 0.3 -0.1 -40;

-0.5 0.5 -0.5 1.0 50 ];

输出向量为：

T=[1 1 0 0 1];

解决此问题只需用标准化感知器学习规则训练即可大大缩短训练时间

原始感知器学习规则的权值调整为：

T

T ep

p

a

t

w=

-

=

?)

(

标准化感知器学习规则的权值调整为：

p

p

e

p

p

a

t

w

T

T

=

-

=

?)

(，由函数learnpn()实现

实验程序：

P=[-0.5 -0.5 0.3 -0.1

-40;

-0.5 0.5 -0.5 1.0

50];

T=[1 1 0 0 1];

plotpv(P,T);

net=newp([-40 1; -1

50],1);

pause;

plotpv(P,T);

linehandle=plotpc(n

et.IW{1},net.b{1});

cla;

plotpv(P,T);

linehandle=plotpc(n

et.IW{1},net.b{1});

E=1;

net.adaptParam.pass

es=1

net=init(net);

linehandle=plotpc(n

et.IW{1},net.b{1});

while(sse(E))

[net,Y,E]=adapt(net

,P,T);

linehandle=plotpc(n

et.IW{1},net.b{1},l

inehandle);

drawnow;

end;

pause;

p=[0.7;1.2];

a=sim(net,p);

plotpv(p,a);

ThePoint=findobj(gc

a,'type','line');

set(ThePoint,'Color

','red');

hold on;

plotpv(P,T);

plotpc(net.IW{1},ne

t.b{1});

hold off;

pause;

axis([-2 2 -2 2]);

disp('End of

percept3');

（4）线性不可分的输入向量（Percept5）定义向量

P=[-0.5 -0.5 0.3 -0.1 -0.8;

-0.5 0.5 -0.5 1.0 0.0 ];

T=[1 1 0 0 0];

用感知器对其分类

程序如下：

P=[-0.5 -0.5 0.3 -0.1 -400;

-0.5 0.5 -0.5 1.0 500];

T=[1 1 0 0 1];

plotpv(P,T);

pause;

net=newp([-400 1; -1 500],1,'hardlim','l earnpn');

%net=newp([-400 1; -1 500],1);

cla;plotpv(P,T);

linehandle=plotpc(n

et.IW{1},net.b{1});

E=1;

net.adaptParam.pass

es=1;

net=init(net);

linehandle=plotpc(n

et.IW{1},net.b{1});

while(sse(E))

[net,Y,E]=adapt(net

,P,T);

linehandle=plotpc(n

et.IW{1},net.b{1},l

inehandle);

drawnow;

end;

pause;

p=[0.7;1.2];

a=sim(net,p);

plotpv(p,a);

ThePoint=findobj(gc

a,'type','line');

set(ThePoint,'Color

','red');

hold on;

plotpv(P,T);

plotpc(net.IW{1},ne

t.b{1});

hold off;

pause;

axis([-2 2 -2 2]);

disp('End of

percept4');

（5）实验练习：1、设计一个matlab程序实现教材p25例3.1

2、即输入向量为：

P=[0.1 0.7 0.8 0.8 1.0 0.3 0.0 -0.3 -0.5 -1.5;

1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8 -1.5 -1.3]

输出向量为：

T=[1 1 1 0 0 1 1 1 0 0]

对其进行分类

程序如下：

P=[0.1 0.7 0.8 0.8 1.0

0.3 0.0 -0.3 -0.5

-1.5;

1.2 1.8 1.6 0.6 0.8

0.5 0.2 0.8 -1.5 -1.3]

T=[1 1 1 0 0 1 1 1 0

0]

plotpv(P,T);

net=newp([-40 1; -1

50],1);

pause;

plotpv(P,T);

linehandle=plotpc(n

et.IW{1},net.b{1});

cla;

plotpv(P,T);

linehandle=plotpc(n

et.IW{1},net.b{1});

E=1;

net.adaptParam.pass

es=1

net=init(net);

linehandle=plotpc(n

et.IW{1},net.b{1});

while(sse(E))

[net,Y,E]=adapt(net

,P,T);

linehandle=plotpc(n

et.IW{1},net.b{1},l

inehandle);

drawnow;

end;

pause;

p=[0.7;1.2];

a=sim(net,p);

plotpv(p,a);

ThePoint=findobj(gc a,'type','line'); set(ThePoint,'Color ','red');hold on;

plotpv(P,T);

plotpc(net.IW{1},ne

t.b{1});

hold off;

pause;

axis([-2 2 -2 2]);

disp('End of

percept3');

实验二BP感知器

一、实验目的

1.理解线性分类器的分类原理。

2.掌握BP算法，利用它对输入的数据进行分类。

3.理解BP算法，使用BP算法对输入数据进行分类。

二、实验原理

由于硬限幅函数是非可微函数,不能实现多层神经网络的一种有效的LMS学习算法。而BP算法中所用到的是Sigmoid型函数，它既具有完成分类所需的非线性特性，又具有实现LMS算法所需的可微特性。采用S型函数的神经元的输入和输出之间的关系为

四、实验内容

1．根据实验内容推导出输出的计算公式以及误差的计算公式

2．使用Matlab编程实现BP多层感知器

3．调节学习率η及隐结点的个数，观察对于不同的学习率、不同的隐结点个数时算法的收敛速度

4．改用批处理的方法实验权值的收敛，并加入动量项来观察批处理以及改进的的算法对结果和收敛速度的影响。

内容一程序如下：

close all

clear

echo on

clc

pause

clc

P=[-1, -1, 2,

1; -1, 4,

5, -3];

T=[0, 1, 1, 0];

pause;

clc

net=newff(minmax(P)

,[3,1],{'tansig','p

urelin'},'traingdm'

)

inputWeights=net.IW

{1,1}

inputbias=net.b{1}

layerWeights=net.LW

{2,1}

layerbias=net.b{2}

pause

clc

net.trainParam.show

= 50;

net.trainParam.lr =

0.05;

net.trainParam.mc =

0.9;

net.trainParam.epoc

hs = 600;

net.trainParam.goal

= 1e-9 ;

pause

clc

[net,tr]=train(net,

P,T);

pause

clc

A = sim(net,P)

E = T - A

MSE=mse(E)

pause

clc

echo off

figure;

plot((1:4),T,'-*',(

1:4),A,'-o');

figure;

plot((1:4),T,'*',(1

:4),A,'o');

实验截图：

内容二

实验程序：

close all

clear

echo on

clc

pause

clc

P = [-1:0.05:1];

randn('seed',783412

23);

T =

sin(2*pi*P)+0.1*ran

dn(size(P));

plot(P,T,'+');

echo off

hold on;

plot(P,sin(2*pi*P),

'-');

echo on

clc

pause

clc

pause

clc

net=newff(minmax(P)

,[5,1],{'tansig','p

urelin'},'traingdx'

); pause

clc

net.trainParam.epoc

hs = 5000;

net = init(net);

pause

clc

[net,tr]=train(net,

P,T); pause

clc

A = sim(net,P);

E = T - A;

MSE=mse(E)

pause

clc

close all;

plot(P,A,P,T,'*',P,

sin(2*pi*P),'+');

pause;

clc

echo off

实验截图：

实验三聚类分析实验

一、实验目的

在科学技术、经济管理中常常要按一定的标准（相似程度或亲疏关系）进行分类。例如，根据生物的某些性状可对生物分类，根据土壤的性质可对土壤分类等。对所研究的事物按一定标准进行分类的数学方法称为聚类分析，它是多元统计“物以类聚”的一种分类方法。由于科学技术、经济管理中的分类界限往往不分明，因此采用模糊聚类方法通常比较符合实际。

二、模糊聚类分析的一般步骤 1、第一步：数据标准化 （1） 数据矩阵

设论域12{,,,}n U x x x = 为被分类对象，每个对象又有m 个指标表示其性状，即 12{,,,}i i i im x x x x = (1,2,,)i n = ， 于是，得到原始数据矩阵为

11

121212221

2

m m n n nm x x x x x x x x x ?? ?

?

? ?

??

。 其中nm x 表示第n 个分类对象的第m 个指标的原始数据。 （2） 数据标准化

在实际问题中，不同的数据一般有不同的量纲，为了使不同的量纲也能进行比较，通常需要对数据做适当的变换。但是，即使这样，得到的数据也不一定在区间[0,1]上。因此，这里说的数据标准化，就是要根据模糊矩阵的要求，将数据压缩到区间[0,1]上。通常有以下几种变换： ① 平移·标准差变换

ik k

ik

k

x x x s -'= (1,2,,;1,2,,i n k m

== 其中 1

1n

k ik i x x n ==∑，

k s =。 经过变换后，每个变量的均值为0，标准差为1，且消除了量纲的影响。但是，再用得到的ik

x '还不一定在区间[0,1]上。

② 平移·极差变换

111min{}max{}min{}ik

ik i n

ik

ik

ik i n

i n

x x x x x ≤≤≤≤≤≤''-''=''-，(1,2,,)k m =

显然有01ik

x ''≤≤，而且也消除了量纲的影响。 ③ 对数变换

lg ik ik x x '= (1,2,,;

1,2,,i n k m

== 取对数以缩小变量间的数量级。 2、第二步：标定（建立模糊相似矩阵）

设论域12{,,,}n U x x x = ，12{,,,}i i i im x x x x = ，依照传统聚类方法确定相似系数，建立模糊相似矩阵，i x 与j

x

的相似程度(,)ij i j r R x x =。确定(,)ij i j r R x x =的方法主要借用传统聚类的相似系数法、距离法以及其他方法。具体用什么方法，可根据问题的性质，选取下列公式之一计算。 （1） 相似系数法 ① 夹角余弦法

m

ik

jk

ij x

x r =

∑ 。

② 最大最小法

11

()

()

m

ik

jk k ij m

ik

jk k x x r x

x ==∧=

∨∑∑。

③ 算术平均最小法

112()

()

m ik jk k ij m

ik

jk k x x r x

x ==∧=

+∑∑。

④ 几何平均最小法

11

2()

m

ik jk k ij m

k x x r ==∧=

∑。

以上3种方法中要求0ij x >，否则也要做适当变换。 ⑤ 数量积法

1

1,

,

1

,,

m ij ik jk k i j r x x i j M ==??

=?≠??

∑ ，

其中 1

max()m

ik

jk i j

k M x

x ≠==∑ 。

⑥ 相关系数法

m

ik

i jk j

ij x

x x x r --=

∑，

其中 11m i ik k x x m ==∑，1

1m

j jk k x x m ==∑。

⑦ 指数相似系数法

2

2

1()

13exp[]4m ik jk ij k k

x x r m s =-=-∑ ， 其中 2

1

1()n k ik ik i s x x n ==-∑，

而 1

1n

k ik i x x n ==∑ (1,2,,)k m = 。

（2） 距离法 ① 直接距离法

1(,)ij i j r cd x x =-，

其中c 为适当选取的参数，使得01ij r ≤≤，(,)i j d x x 表示他们之间的距离。经常用的距离有 ● 海明距离

1

(,)m

i j ik

jk k d x x x

x ==-∑。

● 欧几里得距离

(,)i j d x x =

● 切比雪夫距离

1(,)m

i j ik jk k d x x x x ==∨-。

② 倒数距离法

1,,,,

(,)

ij i j i j M r i j d x x =??

=?≠??

。

其中M 为适当选取的参数，使得01ij r ≤≤。 ③ 指数距离法

exp[(,)]ij i j r d x x =-。 3、第三步：聚类（求动态聚类图） （1）基于模糊等价矩阵聚类方法 ① 传递闭包法

根据标定所得的模糊矩阵R 还要将其改造称模糊等价矩阵*

R 。用二次方法求R 的传递闭包，即()t R =*

R 。再让λ由大变小，就可形成动态聚类图。 ② 布尔矩阵法

布尔矩阵法的理论依据是下面的定理：

定理2.2.1 设R 是12{,,,}n U x x x = 上的一个相似的布尔矩阵，则R 具有传递性（当R 是等价布尔矩阵时）?矩

阵R 在任一排列下的矩阵都没有形如11111001,,,10011111???????? ? ? ? ?????????

的特殊子矩阵。

布尔矩阵法的具体步骤如下： ① 求模糊相似矩阵的λ-截矩阵R λ.

② 若R λ按定理2.2.1判定为等价的，则由R λ可得U 在λ水平上的分类，若R λ判定为不等价，则R λ在某一排列下有上述形式的特殊子矩阵，此时只要将其中特殊子矩阵的0一律改成1直到不再产生上述形式的子矩阵即可。如此得到的*

R λ为等价矩阵。因此，由*

R λ可得λ水平上的分类 （2） 直接聚类法

所谓直接聚类法，是指在建立模糊相似矩阵之后，不去求传递闭包()t R ，也不用布尔矩阵法，而是直接从模糊相似矩阵出发求得聚类图。其步骤如下：

① 取11λ=（最大值），对每个i x 作相似类[]i R x ，且 []i R x ={|1}j ij x r =，

即将满足1ij r =的i x 与j x 放在一类，构成相似类。相似类与等价类的不同之处是，不同的相似类可能有公共元素，即可出现

[]{,}i R i k x x x =,[]{,}i R j k x x x =,[][]i j x x ?≠?.

此时只要将有公共元素的相似类合并，即可得11λ=水平上的等价分类。

② 取2λ为次大值，从R 中直接找出相似度为2λ的元素对(,)i j x x （即2ij r λ=），将对应于11λ=的等价分类中i x 所在的类与j x 所在的类合并，将所有的这些情况合并后，即得到对应于2λ的等价分类。

③ 取3λ为第三大值，从R 中直接找出相似度为3λ的元素对(,)i j x x （即3ij r λ=），将对应于2λ的等价分类中i x 所在的类与j x 所在的类合并，将所有的这些情况合并后，即得到对应于3λ的等价分类。 ④ 以此类推，直到合并到U 成为一类为止。 三、最佳阈值λ的确定

在模糊聚类分析中对于各个不同的[0,1]λ∈，可得到不同的分类，许多实际问题需要选择某个阈值λ，确定样本的一个具体分类，这就提出了如何确定阈值λ的问题。一般有以下两个方法：

① 按实际需要，在动态聚类图中，调整λ的值以得到适当的分类，而不需要事先准确地估计好样本应分成几类。当然，也可由具有丰富经验的专家结合专业知识确定阈值λ，从而得出在λ水平上的等价分类 ② 用F 统计量确定λ最佳值。[11]

设论域12{,,,}n U x x x = 为样本空间（样本总数为n ），而每个样本i x 有m 个特征：12{,,,}i i i im x x x x = ，

(1,2,,)i n = 。于是得到原始数据矩阵，如下表所示，其中1

1(1,2,,)n

k ik i x x k m n ===∑ ，x 称为总体样本的中心向

量。

四、实验内容

实验程序：

X=[276,324,159,413,292,258,311,303,175,243,320; 251 ,287,349,344,310,454,285,451,402,307,470; 192 ,433,290,563,479,502,221,220,320,411,232; 246 ,232,243,281,267,310,273,315,285,327,352; 291,311,502,388,330,410,352,267,603,290,292; 466 ,158,224,178,164,203,502,320,240,278,350; 258,327,432,401,361,381,301,413,402,199,421; 453,365,357,452,384,420,482,228,360,316,252; 158,271,410,308,283,410,201,179,430,342,185];

BX=zscore(X)%; %标准化数据矩阵 BX = (x –mean(x))./std(x)

Y=pdist(BX)%;%用欧氏距离计算两两之间的距离,Y 的生成：首先生成一个 BX 的距离方阵，由于该方阵是对称的，且对角线上的元素为0，所以取此方阵的下三角元素，按照Matlab 中矩阵的按列存储原则，此下三角各元素的索引排列即为(2,1), (3,1), ..., (m,1), (3,2), ..., (m,2), ..., (m,m –1). D=squareform(Y)%;%欧氏距离矩阵,squareform(Y)将行向量Y 转换为原距离方阵. Z = linkage(Y)%;% 最短距离法

T = cluster(Z,3)%; %根据linkage 函数的输出Z 创建分类,等价于{ T=clusterdata(X,3) }

%find(T==3); %第3类集合中的元素 [H,T]=dendrogram(Z) %画聚类图,可视化聚类树

实验截图：