多变量线形回归

学习地址

还是预测房屋价格案例
当
知道的不仅仅是房子面积
还有房间数、楼层数以及房子年龄等特征时
这个时候就称为多变量(特征)

定义

n：特征数，相当与单变量训练集数m
x⁽ⁱ⁾：第i个训练样本，即第i个特征(输入)，可能是一个向量了
x_j⁽ⁱ⁾：第i个训练样本中第j个特征量的值
此时的假设函数：H_θ(x)=θ₀+θ₁x₁+θ₂x₂+…θ_nx_n =θ^Tx

以上即是多元线形回归模型

假设函数： H_θ(x)= θ^Tx =θ₀+θ₁x₁+θ₂x₂+…θ_nx_n
参数：θ：θ₀…θ_n
代价函数： J(θ₀,θ₁,…,θ_n)=1/2/m*∑(h_θ(x⁽ⁱ⁾)-y⁽ⁱ⁾)²

梯度下降

---

梯度下降使用技巧

---

特征缩放

• 目的：将特征的取值约束到-1到+1的范围内，不同的特征值可能需要除以不同的数控制在这个范围，一般除以最大值
• 范围在一定范围是可以接受的，比如[-3,+3]，[-1/3,+1/3]，但不能太突兀
• 进行特征缩放是让特征变量的范围在数值上相差不大，这样作出的等值线近似圆，便于找最佳点

均值化

• 将特征值进行同等变换，使得所有同类型的特征值的均值为0。比如房屋面积X₁在[0,2000]内，那么这个变换可以是(X₁-1000)/2000

学习率

• 梯度下降算法没有正常工作：使用更小的学习率α；α选用过大可能会错过最佳点
• 数学家已经证明如果α足够小那么J(θ)一定会下降；但如果α过小，那么梯度下降算法收敛得很慢；

特征和多项式回归

• 使用新的特征代替原来的特征，得到新的假设与更好的模型
• 使用二次型或者三次型函数来拟合数据，不必拘泥与一次函数
• 结合以上：用新的特征取代高次特征，再用线形回归拟合这个模型
  

正规方程

正规方程在矩阵X^TX不可逆的解法

• 不可逆矩阵：奇异矩阵/退化矩阵
• 如果一个特征是另一个特征的倍数关系，那么完全可以删除其中一个特征，即删除冗余特征
• 在线代中，如果列数n大于行数m，那么一定线形相关，列数就是特征数，可以删除多于无用的特征