0%

COMP3009 - 2.Linear Regression

Posted on In Views: Valine:
Symbols count in article: 2k Reading time ≈ 2 mins.

1. Univariate Linear Regression

Univariate linear regression operates on a single dimension/feature of your data.

FindingParameter.png

  • 单变量线性回归模型
  • 通过观察预测值h(x)与真实值的差值，来找到最优权重w.
  • 因此我们引入误差函数的计算

1.1. Choose a Cost Function

ChooseCostFunction.png

  • 绝对误差(Absolute error)函数: 由于绝对误差函数是一阶，因此坡度(斜率)不变，其结果导致无论初始值选择多少，误差下降(减少)的速度不变



CostFunction.png

  • 可微误差(Differentiable error)函数: 二阶函数，便于通过导数(derivative)的大小来判断下降方向
  • 虽然这两种函数都代表了真实值与预测值的误差，但是选择Differentiable error可以将未知问题转换为已知问题求解

2. Cost Function

2.1. Squared error cost function

PartialDerivative.png

  • 平方误差函数
  • 不同的误差函数适应不同的应用场景，还有许多误差函数
  • 1/2的引入是便于和微分后产生的2抵消

2.2. Partial Derivative

AbsoluteError.png

  • 均为parameter，因此会产生two Partial Derivatives
  • L2: second dimensional; 二维

2.3. Other Cost Functions

OtherCostFunction.png

3. Multivariate Linear Regression

3.1. First-order Polynomial

MultivariateLinearRegressionFirst-order.png

  • 一阶多项式的多元线性回归

3.2. Higher-order Polynomial

MultivariateLinearRegressionHigh-order.png

  • 高阶多项式的多元线性回归

3.3. Linear Basis Functions

LinearBasisFunctions.png

  • 多项式回归模型可以推广为非线性基函数的线性组合
  • 这里为了简化函数，令
  • 矩阵的叉乘(叉积)

4. Gradient Descent

4.1. Aim

Given some cost function , we want:

  • Start with some initial values for
  • Keep updating to reduce
 hoping to end in the minimum
  • We want to know when we’re in this minimum!

4.2. Gradient Descent Algorithm

GradientDescentAlgorithm.png

  • 为学习速率
  • 和 必须同时更新

4.3. Learning Rate Influence

LearningRate.png

  • , 学习速率会影响收敛的快慢

4.4. Partial Derivative of Cost Function

The partial derivatives of our cost function for linear regression




4.6. Two-variable Cost Function

Two-variableCostFunction.png

4.7. Multivariate Linear Regression

MultivariateLinearRegression.png

4.8. Gradient Descent

GradientDescent.png

4.9. Local and Global Minimal

LocalandGlobalMinima.png

  • 每一个全局最小值都是一个局部最小值，但是每一个局部最小值并不是全局最小值
  • 每次当程序收敛后，其实并不知道是局部最小值还是全局最小值；因此需要测试多组不同初始值来判定