统计学习方法——支持向量机
目录一、线性可分支持向量机与硬间隔最大化凸优化问题支持向量与间隔边界对偶问题完整算法二、线性可分支持向量机与软间隔最大化线性支持向量机对偶算法完整算法支持向量合页损失函数三、非线性支持向量机与核函数核函数常用的核函数非线性支持向量机的学习算法一、线性可分支持向量机与硬间隔最大化对于函数间隔与几何间隔函数间隔与几何间隔之间的关系求最大间隔分离超平面凸优化问题1.目标函数是凸函数 2.可行域是凸集则局部最优解等价于全局最优解可得到最大间隔法的算法原理并且线性可分数据集的最大间隔分离超平面是存在且唯一的证明过程见课本故分离超平面能将训练数据集中的两类点完全正确的分开。支持向量与间隔边界对于支持向量与间隔边界如图所示在决定分离超平面时只有支持向量起作用其他的实例点并不起作用所以将这类模型称为支持向量机。对偶问题可以利用拉格朗日对偶性通过求解对偶问题来得到原始问题的最优解利用对偶问题来转化为凸优化问题1定义拉格朗日函数求偏导带入再将目标函数由极大转换成求极小得到对偶的最优化问题有关对偶问题slater条件KKT条件的参考资料支持向量机SVM必备知识(KKT、slater、对偶最后可得完整算法二、线性可分支持向量机与软间隔最大化线性支持向量机由线性可分问题的支持向量机方法到线性不可分需要修改硬间隔最大化使其成为软间隔最大化。考虑引入松弛变量和惩罚参数将线性不可分的线性支持向量机的学习问题变成凸二次优化问题下面给出线性支持向量机的定义对偶算法构造拉格朗日函数计算后得到对偶问题完整算法支持向量合页损失函数线性支持向量机学习就是最小化以下目标函数则有函数该函数称为合页损失函数故有线性支持向量机原始最优化问题三、非线性支持向量机与核函数当分类问题是非线性时可以用非线性支持向量机主要特点是利用核技巧。核函数核技巧在向量机中的应用在对偶问题的目标函数中的内积可以用核函数K来代替在核函数K给定的条件下可以利用解线性分类问题的方法求解非线性分类问题的支持向量机。常用的核函数非线性支持向量机的学习算法
