非线性特征变换

  • 更新时间: 2018-01-11
  • 来源: 原创或网络
  • 浏览数: 32次
  • 字数: 16070
  • 发表评论

1 非线性变换

线性假设集(分类器)的类别之间的判别界是线性的,低VC维可使EinEout接近,但无法分类线性不可分数据。线性分类器应用于线性不可分数据,会导致很大的EinEout也会很大。如何突破线性分类器的局限,对线性不可分数据分类?

非线性特征变换,by 5lulu.com
图 1: [左]:线性不可分;[中]:圆可分;[右]Z空间线性可分
上图左的数据D虽然线性不可分,但是可以用上图中所示的圆分开
非线性特征变换,by 5lulu.com
,上式可以记为非线性特征变换,by 5lulu.com 这就相当于通过非线性特征变换Φ:xXzZ,将X空间中线性不可分数据变到线性可分的Z空间,如上图右所示。

通过变换非线性特征变换,by 5lulu.com,可以使得Z空间的感知器和X空间的二次假设等价,

非线性特征变换,by 5lulu.com
可以实现X空间的所有二次曲线判别界,当然也包括线性的特殊情况,使得Ein有机会更小。
非线性特征变换,by 5lulu.com
图 2: 非线性变换步骤 

上图展示了使用非线性变换的步骤。首先通过变换Φ

将数据从X空间映射到Z空间;然后在Z空间利用线性分类算法A得到线性判别界;最后返回
非线性特征变换,by 5lulu.com
逆变换Φ1不一定存在。

非线性变换ΦZ空间的线性模型算法A,不仅可以用于分类,而且可用于回归。

2 复杂度与性能分析

若原始特征是d维,Q次多项式特征变换ΦQ(x)后的特征空间维度d̃ +1非线性特征变换,by 5lulu.com,空间复杂度为O(Qd)。当Q很大时,新空间中的计算和存储代价都极大。新空间中dVC(HΦQ)d̃ +1,当Q很大时dVC也会很大。当dVC增加时,用于训练的数据量也要增加,需要考虑训练集的数据量是否足够。

非线性特征变换,by 5lulu.com
图 3: 选择不同特征变换

上图展示了人工基于视觉的选择,不同特征变换下,dVC从6降到了1。事实上,此时的模型复杂度需要考虑人工付出的dVC

代价,这是“human learning1 + machine learning”。对于机器学习,人工偷看了数据付出的代价也必须加以考量。

对于特征变换,Q次变换可以在Q1次的基础上进行

非线性特征变换,by 5lulu.com
也就是存在嵌套关系
HΦ0HΦ1HΦ2⊂HΦQ
那么dVC按上述次序递增(),Ein按上述次序递减()。高次变换能得到Ein非常小的结果,然而Ein仅仅是中间产物,并不能说明Eout会很小。合理的方法是从HΦ1开始尝试,线性模型是首选,如果效果不达标再考虑高次的特征变换。
我来评分 :6
0

转载注明:转自5lulu技术库

本站遵循:署名-非商业性使用-禁止演绎 3.0 共享协议