机器学习笔记 Week2 多项式回归和正规方程

学习笔记(Machine Learning) Week2

全部笔记PDF版:http://vdisk.weibo.com/s/J4rRX/1373287206

Week2 由两部分内容构成:

  1. 多变量线性回归
  2. 多项式回归和正规方程

2多项式回归和正规方程

2.1多项式回归(Polynomial Regression)

线性回归并不适用于所有数据,有时我们需要曲线来适应我们的数据,比如一个二次方模型:

quadratic model

或者三次方模型:

cubic model

p reg

通常我们需要先观察数据然后再决定准备尝试怎样的模型。

另外,我们可以令:

daum_equation_1372214294635

从而将模型转化为线性回归模型。

注:如果我们采用多项式回归模型,在运行梯度下降算法前,特征缩放非常有必要。

2.2正规方程(Normal Equation)

到目前为止,我们都在使用梯度下降算法,但是对于某些线性回归问题,正规方程方法是更好的解决方案。

正规方程是通过求解下面的方程来找出使得代价函数最小的参数的:

normal equ

假设我们的训练集特征矩阵为X(包含了x0=1)并且我们的训练集结果为向量y,则利用正规方程解出向量θ:

nor equa

上标T代表矩阵转置,上标-1代表矩阵的逆。

以下表所示数据为例:

nq eg

运用正规方程方法求解参数:

nq eg 2

在Octave中,正规方程写作:

pinv(X'*X)*X'*y

注:对于那些不可逆的矩阵(通常是因为特征之间不独立,如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征,也有可能是特征数量大于训练集的数量),正规方程方法是不能用的。

梯度下降与正规方程的比较:

梯度下降

正规方程

需要选择学习率α

不需要

需要多次迭代

一次运算得出

当特征数量n大时也能较好适用

如果特征数量n较大则运算代价大,因为矩阵逆的计算时间复杂度为O(n3)

通常来说当n小于10000时还是可以接受的

适用于各种类型的模型

只适用于线性模型,不适合逻辑回归模型等其他模型

课程地址:https://class.coursera.org/ml-003/class/index

Leave a Reply

Your email address will not be published. Required fields are marked *