机器学习笔记 Week2 多变量线性回归

学习笔记(Machine Learning) Week2

全部笔记PDF版:http://vdisk.weibo.com/s/J4rRX/1373287206

Week2 由两部分内容构成:

  1. 多变量线性回归
  2. 多项式回归和正规方程

1多变量线性回归(Linear Regression with Multiple Variables)

1.1 多维特征(Multiple Features)

目前为止,我们探讨了单变量/特征的回归模型,现在我们对房价模型增加更多的特征,例如房间数楼层等,构成一个含有多个变量的模型,模型中的特征为(x1,x2,...,xn)。

multi vari

增添更多特征后,我们引入一系列新的注释:

  • n代表特征的数量
  • x(i)代表第i个训练实例,是特征矩阵中的第i行,是一个向量(vector)。
  • xij代表特征矩阵中第i行的第j个特征,也就是第i个训练实例的第j个特征。

支持多变量的假设h表示为:

equation multi regress

这个公式中有n+1个参数和n个变量,为了使得公式能够简化一些,引入x0=1,则公式转化为:

modified equa multi reg

此时模型中的参数是一个n+1纬的向量,任何一个训练实例也都是n+1纬的向量,特征矩阵X的纬度是m*n+1。

因此公式可以简化为:

theta transpose X

其中上标T代表矩阵转置。

1.2多变量梯度下降(Gradient descent for multiple variables)

与单变量线性回归类似,在多变量线性回归中,我们也构建一个代价函数,则这个代价函数是所有建模误差的平方和,即:

multi vari cost

我们的目标和单变量线性回归问题中一样,是要找出使得代价函数最小的一系列参数。

多变量线性回归的批量梯度下降算法为:

batch grad for multi vari reg

即:

daum_equation_1372209868779

求导数后得到:

batch grad for multi vari reg

我们 开始随机选择一系列的参数直,计算所有的预测结果后,再给所有的参数一个新的直,如此循环直到收敛。

1.3特征缩放(feature scaling)

在我们面对多维特征问题的时候,我们要保证这些特征都具有相近的尺度,这将帮助梯度下降算法更快地收敛。

以房价问题为例,假设我们使用两个特征,房屋的尺寸和房间的数量,尺寸的直为0-2000平方英尺,而房间数量的直则是0-5,以两个参数分别为横纵坐标,绘制代价函数的等高线图能看出图像会显得很扁,梯度下降算法需要非常多次的迭代才能收敛。

coutour before feature scaling

解决的方法是尝试将所有特征的尺度都尽量缩放到-1到1之间。最简单的方法是令:

normalize

其中miu n是平均值,sn是标准差。

1.4学习率

梯度下降算法收敛所需要的迭代次数根据模型的不同而不同,我们不能提前预知,我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。

iter vs cost

也有一些自动测试是否收敛的方法,例如将代价函数的变化直与某个阀直(例如0.001)进行比较,但通常看上面这样的图表更好。

梯度下降算法的每次迭代受到学习率的影响,如果学习率α过小,则达到收敛所需的迭代次数会非常高;如果学习率α过大,每次迭代可能不会减小代价函数,可能会越过局部最小值导致无法收敛。

通常可以考虑尝试这些学习率:

α=0.01,0.3,0.1,0.3,1,3,10

课程地址:https://class.coursera.org/ml-003/class/index

2 thoughts on “机器学习笔记 Week2 多变量线性回归

  1. 王孝先_Thinkingwang

    在多变量梯度下降最后一句“我们 开始随机选择一系列的参数直,计算所有的预测结果后,再给所有的参数一个新的直,如此循环直到收敛”,这是批量梯度下降吧?“再给所有的参数一个新的值”,应该是“再给所有参数一系列新的值”吧?不能是同一个值。

    Reply

Leave a Reply

Your email address will not be published. Required fields are marked *