机器学习-线性回归

线性回归的理解。

一、线性回归

线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。

特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归

表示方式

$$h(w) = w1x1 + w2x2 + w3x3 + ... + b = w^Tx + b$$

也可以表述为h(x) = w^Tx

$$w=\left[ \begin{matrix} b \\ w1 \\ w2 \end{matrix} \right],x=\left[ \begin{matrix} 1 \\ x1 \\ x2 \end{matrix} \right]$$

二、线性回归的特征与目标的关系分析

• 线性关系

  单特征与目标值的关系呈直线关系，或者两个特征与目标值呈现平面的关系

• 非线性关系

三、线性回归的损失和优化

3.1 损失函数（最小二乘法）

3.2 优化算法

线性回归经常使用的两种优化算法

• 正规方程

  W = (X^TX)^{-1}X^Ty

理解：X为特征值矩阵，y为目标值矩阵。直接求到最好的结果
缺点：当特征过多过复杂时，求解速度太慢并且得不到结果

推导过程

• 梯度下降法