什么是凸函数及如何判断一个函数是否是凸函数

什么是凸函数及如何判断⼀个函数是否是凸函数
t元j
⼀、什么是凸函数
　对于⼀元函数f(x)，如果对于任意tϵ[0,1]均满⾜：f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)，则称f(x)为凸函数(convex function)
　如果对于任意tϵ(0,1)均满⾜：f(tx1+(1−t)x2)<tf(x1)+(1−t)f(x2)，则称f(x)为严格凸函数(convex function)
　我们可以从⼏何上直观地理解凸函数的特点，凸函数的割线在函数曲线的上⽅，如图1所⽰：从f(x1)连⼀条线到右侧的虚线，利⽤三⾓形边的⽐例性质可以推出中间虚线与上⾯直线交点的值
　上⾯的公式，完全可以推⼴到多元函数。

在数据科学的模型求解中，如果优化的⽬标函数是凸函数，则局部极⼩值就是全局最⼩值。

这也意味着我们求得的模型是全局最优的，不会陷⼊到局部最优值。

例如⽀持向量机的⽬标函数||w||2/2就是⼀个凸函数。

⼆、如何来判断⼀个函数是否是凸函数呢？
　对于⼀元函数f(x)，我们可以通过其⼆阶导数f″(x) 的符号来判断。

如果函数的⼆阶导数总是⾮负，即f″(x)≥0 ，则f(x)是凸函数
　对于多元函数f(X)，我们可以通过其Hessian矩阵（Hessian矩阵是由多元函数的⼆阶导数组成的⽅阵）的正定性来判断。

如果Hessian矩阵是半正定矩阵，则是f(X)凸函数
三、Jensen不等式
　对于凸函数，我们可以推⼴出⼀个重要的不等式，即Jensen不等式。

如果 f 是凸函数，X是随机变量，那么f(E(X))≤E(f(X))，上式就是Jensen不等式的⼀般形式
　我们还可以看它的另⼀种描述。

假设有 n 个样本{x1,x2,...,x n}和对应的权重{α1,α2,...,αn}，权重满⾜a i⩾，对于凸函数 f，以下不等式成⽴：
f(\sum_{i=1}^{n}\alpha_ix_i) \leq \sum_{i=1}^{n}\alpha_if(x_i)
Loading [MathJax]/jax/element/mml/optable/SuppMathOperators.js。