线性回归：不可以忽视的三个问题

  线性回归是最简略的机器学习算法，许多书本介绍的第一种机器学习算法便是线性回归算法，笔者查阅的中文书本都是给出线性回归的表达式，然后告知你怎样求参数最优化，或许部分同学会忽视一些问题，至少笔者忽视了。因而，本文要点介绍了往常简单忽视的三类问题，（1）线性回归的理论按照是什么（2）过拟合意味着什么（3）模型优化的方向。

  若函数f(x)在包括x0的某个闭区间[a,b]上具有n阶导数，且在开区间(a,b)上具有(n+1)阶导数，则对闭区间[a,b]上恣意一点x，建立下式：

  定论：关于区间[a,b]上恣意一点，函数值都可以用两个向量内积的表达式近似，其间

  由泰勒公式和傅里叶级数可知，当基函数的数量满足多时，向量内积无限接近于函数值。线性回归的向量内积表达式如下：

  当线性回归的系数向量间差异比较大时，则大概率规划的模型处于过拟合了。用数学视点去考虑，若某个系数很大，关于相差很近的x值，成果会有较大的差异，这是较显着的过拟合现象。

  模型的不同主要是体现在参数个数，参数巨细以及正则化参数λ，优化模型的办法是调理上面三个参数（但不仅限于此，如核函数），意图是找到最优模型。

  本文经过泰勒公式和傅里叶级数的比如阐明线性回归的合理性，线性回归表达式包括了方差项，该方差是高斯噪声模型的随机采样，若练习数据在线性回归的表达式恒持平，那么就要考虑过拟合问题了，回归系数间差异比较大也是判断过拟合的一种办法。模型优化的办法有许多种，很常见的办法是调理参数个数，参数巨细以及正则化参数λ。

  *博客内容为网友个人发布，仅代表博主个人自己的观念，如有侵权请联络工作人员删去。