核函数(Kernel function)

  • 更新时间: 2018-09-17
  • 来源: 原创或网络
  • 浏览数: 16次
  • 字数: 6644
  • 发表评论

1 核函数基本概念

先来看看核函数的定义:

核函数(Kernel function),by 5lulu.com

核函数(Kernel function),by 5lulu.com

核函数:是映射关系核函数(Kernel function),by 5lulu.com的内积,映射函数本身仅仅是一种映射关系,并没有增加维度的特性,不过可以利用核函数的特性,构造可以增加维度的核函数,这通常是我们希望的

例如这样一个图:

核函数(Kernel function),by 5lulu.com

二维映射到三维,区分就更容易了,这是聚类、分类常用核函数的原因。为什么PCA这样一个降维算法也用核函数呢?

左图为原数据,右图为映射到三维的数据,可以看出:同样是降到1维,先通过Kernel映射到(Kernel是映射的内积,不要弄乱了)三维,再投影到1维,就容易分离开,这就是Kernel在PCA降维中的应用,本质还是对原有数据增加维度。

核函数(Kernel function),by 5lulu.com

既然核函数这么神奇,就看看它的来龙去脉。

2 意义

A-核函数常见应用

先来看看核函数几个常用的地方:

1.核感知机

在前面分析感知机时提到

核函数(Kernel function),by 5lulu.com

2.核聚类(Kernel Kmeans)

在前面分析核聚类时提到

核函数(Kernel function),by 5lulu.com

3 PCA(kernel PCA

具体定义可以参考wikipedia,根据前文分析的PCA步骤,有一步是利用相关矩阵的特征值分解,看看相关矩阵:

核函数(Kernel function),by 5lulu.com

又看到了相乘的形式,自然可以用Kernel:

核函数(Kernel function),by 5lulu.com

4 支撑向量机SVM

支撑向量机对偶形式的目标函数:

核函数(Kernel function),by 5lulu.com

又看到了核函数(Kernel function),by 5lulu.com的形式,从而得到SVM核函数形式:

核函数(Kernel function),by 5lulu.com

5 B-核函数为什么可以映射到高维?

1.为什么不用映射函数核函数(Kernel function),by 5lulu.com,而用他们的内积形式,即Kernel函数?

因为(x,z)一起出现的时候,有许多固定的形式可以调用,而不必求解或者关心核函数(Kernel function),by 5lulu.com的具体形式,这大大简化了求解。

2.什么样的函数才可以叫做核函数

直接给出条件:

核函数(Kernel function),by 5lulu.com

具体参考:李航《统计学习方法》p120~122。

3.为什么实现数据映射到高维?

看一个例子:

核函数(Kernel function),by 5lulu.com

核函数(Kernel function),by 5lulu.com

这就从二维变成了三维,当然还可以更高维:

核函数(Kernel function),by 5lulu.com

这里可以粗略理解成:多项式可以实现数据的维度扩增,而高斯核是指数形式,展开就是无穷多的多项式,所以高斯核可以将数据映射到无穷维度。

6 常用核函数

多项式核:

核函数(Kernel function),by 5lulu.com

高斯核:

核函数(Kernel function),by 5lulu.com

参考:


标签: 核函数 pca

我来评分 :6
0

转载注明:转自5lulu技术库

本站遵循:署名-非商业性使用-禁止演绎 3.0 共享协议