梯度下降法求函数极小值

%%%%%%%%%%%%%%% 梯度下降法求函数极小值%%%%%%%%%%%%%%%%%%
% 函数：f(x,y)=(x-2)^2+(y-4)^2
% 目的：求极小值和对应的极小值点坐标
% 方法：梯度下降法
% 理论：
% 方向导数：偏导数反应的是函数沿坐标轴方向的变化率，但许多物理现象告诉我们，只考虑函数沿坐标轴方向的变化率是不够的，有必要研究函数沿任一指定方向的变化率。

% 函数f(x,y)在点P0(x0,y0)可微分，那么函数在改点沿任一方向l的方向导数存在，其值为：
f'x(x0,y0)*cos(α)+f'y(x0,y0)*cos(β)，其中，cos(α)，cos(β)是方向l
% 的方向余弦。

% 梯度：是与方向导数有关联的另一个概念，梯度是一个向量，表示为：f'x(x0,y0)*i+f'y(x0,y0)*j。

% 关系：
% f'x(x0,y0)*cos(α)+f'y(x0,y0)*cos(β)
% =grad f(x0,y0)*el
% =|grad f(x0,y0)|*cos(θ)，其中el=（cos(α)，cos(β)）是与方向l同方向的单位向量。

% 变化率：函数沿某个方向的变化率指的是函数值沿这个方向变化的快慢。

% θ=0，el与梯度同向，函数增加最快，函数在这个方向的方向导数达到最大值，这个最大值就是梯度的模；% θ=π，el与梯度反向，函数减少最快，函数在这个方向的方向导数达到最小值；
% θ=π/2，el与梯度方向正交，函数变化率为零；
%%
clear
syms x y b
f=2*(x-2)^2+(y-4)^2; %求解函数的极小值点
Grad=[diff(f,x),diff(f,y)]; %求梯度
eps=1e-3;
v=[x,y];
v0=[0,0];
Grad0=subs(Grad,v,v0);%求V0的梯度值
M=norm(Grad0);%梯度的模，方向导数
n=0;
%%
while n<=100
d=-Grad0;%寻优搜索方向
fval=subs(f,v,v0);%函数值
%%
%%%%%%%%%%%%%%%%%%%%%%%求出最优步长，然后确定下一刻的坐标点%%%%%%%%%%%%%%%%%%%%%%%
%设步长变量为b,将v0=v0+b*d带入函数，求导，令导数等于零，解出最佳步长b1,此为一维寻优。

得到下一刻坐标点v0=v0+b1*d
ft=subs(f,v,v0+b*d);%将步长变量带入函数
dft=diff(ft);%求导
b1=solve(dft);%得到该方向的最优步长
v0=v0+b1*d; %得到下一刻坐标点
%%
Grad0=subs(Grad,v,v0);%求下一刻梯度
M=norm(Grad0);%求方向导数大小，即梯度的模n=n+1;
end
v0=double(v0);
fval=double(subs(f,v,v0));
disp(v0) %最优解
disp(fval) %f在v0处的最优值。