# 支持向量机
* [第一部分 线性可分的SVM推导](#第一节)
* [第二部分 线性不可分的SVM推导](#第二节)
* [第三部分 多类别的SVM推导](#第三节)
* [第四部分 线性可分的SVM实验](#第四节)
* [第五部分 线性不可分的SVM实验](#第五节)
* [第六部分 多类别的SVM实验](#第六节)
<h5 id="第一节">第一部分：线性可分的SVM推导</h5>
       要想理解SVM我们首先要从多维空间的平面方程说起。我们先从三维空间说起吧，然后我们再推广到更高维空间。我们主要用到点法式方程。<br>
       点法式方程:
点法式是通过平面的一个法向量和平面的一个点来确定一个平面的。法向量是与这个平面所有向量垂直的向量。那么要求法向量就相当简单我们只需要取这个平面上的两个向量a,b由于垂直向量点乘为0我们可以列出方程组an=0 bn=0 两个式子就可以解出法向量n=(p,q,t) 然后我们知道一个点A(l,o,c) 根据点法式的原形得出平面方程 p(x-l)+q(y-o)+t(z-c)=0
化成一般式子：px + qy + tz + d = 0 其中d = -（pl + qo+ tc）如果d = 0证明平面过原点。否则不过原点（记住）
得到的一个个结论：
1. 平面**用向量表示为：N*X+d=0**（其中向量维度可以是任意维度d是标量）
好了准备工作做完我们开始正式进入主题。
现在我们有一批样本每个样本：X={x1, x2, x3.....}其中x1,x2,x3......等是每个样本的属性。因为这一节我们进行可线性分类的二分类问题。
假设：
我们的目标是求出两个最大间隔的平面的中间的平面的方程（其中在那两条直线上的样本点就叫做支持向量）：
:-: 其中方程后面的1和-1表示：两种类别用1和-1来分开（其中的1和-1只是为了方便推导，其实可以任意不同常数）
现在有了方程我们可以去求要优化的目标函数了。就是间隔的大小：
学过高等数学应该知道点到面的距离公式：
:-: 其中的向量是行向量
我们很容易得到间隔大小为：
好我们整理一下要优化的问题如下所示：
我们可变成等价的问题如下：
此问题是凸二次规划问题能直接用现成的优化计算包求解，但我们有更高效的办法。
注意：一定要搞明白这里面的变量和要优化的目标函数。这里的目标函数很明显就是间隔值，自变量是W， b，一定注意X是确定的值。
这相当于求一个有约束函数的最值问题。我们首先想到的是拉格朗日乘子法。我们得到拉格朗日函数：
并对W和b求导为0可得到:
:-: 其中α>=0
注意：这里把对W，b有约束的优化的问题通过用拉格朗日函数求偏导为0，然后带入目标函数，转换成了对α有约束的优化问题。
*****
分析：
因为上面的求拉格朗日函数时，是不等式约束，所以应该满足KKT条件：
我们分析一下这几个条件我们已经知道了每一个拉格朗日乘子α对应一个样本，分析最后一个不等式，我们可以知道拉格朗日乘子α=0或者对应样本yf(x)=1。如果α=0则该样本不会出现拉格朗日函数中也就不会对要求的超平面方程起作用。若α>0则必有对应的样本yf(x)=1，既该样本在最大间隔边界上。是一个支持向量。
重点：（当然前面的模型假设也很重要）整体思路先对Wb求最优化（KKT条件），然后求导为0.现在Wb变成只与变量拉格朗日乘子有关的。然后变成对拉格朗日乘子优化问题。求出后拉格朗日乘子后直接得到Wb既求解完毕。我们可以使用KKT条件分析：拉格朗日常数与每个样本对应。如果拉格朗日乘子为0那么对应的样本对求解W没有作用。在图像上的含义也就是没有在最大间隔平面上。
*****
下面就是想办法求出拉格朗日乘子的算法。为了求这个我们换成了对偶问题。只与拉个朗日乘子一个变量有关（注意始终样本使常量）
这里我们就不说怎么求解拉格朗日乘子了，可以去查资料，一个著名的方法师SMO。
如果仔细观察我们还没有给出求解b的过程呢。
- 序言
- 第一章 机器学习概述
- 第二章 机器学习环境搭建
- 环境搭建
- 第三章 机器学习之基础算法
- 第一节：基础知识
- 第二节：k近邻算法
- 第三节：决策树算法
- 第四节：朴素贝叶斯
- 第五节：逻辑斯蒂回归
- 第六节：支持向量机
- 第四章 机器学习之深度学习算法
- 第一节： CNN
- 4.1.1 CNN介绍
- 4.1.2 CNN反向传播
- 4.1.3 DNN实例
- 4.1.4 CNN实例
- 第五章 机器学习论文与实践
- 第一节： 语义分割
- 5.1 FCN
- 5.1.1 FCN--------实现FCN16S
- 5.1.2 FCN--------优化FCN16S
- 5.2 DeepLab
- 5.2.1 DeepLabv2
- 第六章 机器学习在实际项目中的应用