支持向量机SVM

本文介绍支持向量机SVM算法。

机器学习的一般框架:
训练集 => 提取特征向量 => 结合一定的算法(分类器:比如决策树,KNN)=>得到结果

介绍

SVM寻找的是区分两类的超平面(hyper plane),使边际(margin)最大。边际是指在超平面上,到最近的点的距离之和最大。即距超平面最远。

明显:第一张图的margin会小一些,第二张图的margin大一些。
margin越大,犯错的几率就会小一些。



存在无数个超平面。但是如何选取使边际(margin)最大的超平面 (Max Margin Hyperplane)?
超平面到一侧最近点的距离等于到另一侧最近点的距离,两侧的两个超平面平行。

线性可区分 (linear separable)

存在可区分的超平面

线性不可区分(linear inseparable)

因为不可能存在一个完全把两类分开的超平面,所以是线性不可区分。