高中数学线性回归方程公式 在进行线性回归时，为什么最小二乘法是最优方法？

在进行线性回归时，为什么最小二乘法是最优方法？

对于线性回归，无论用LSE(最小二乘估计)还是MLE(极大似然估计)，都是基于不同的假设而已，LSE是直接假设object function，而MLE假设的是distribution，这里在gauss noise下，他们恰好formula相同而已。

什么是最小二乘法原理和一元线性回归？

最小二乘法是一种线性回归的方法

所谓线性回归

其实就是在平面直角坐标系里有一系列的点

然后模拟一条直线

让这条直线尽可能地与这些点契合

得出直线方程y=αx β 即为线性回归方程

而所谓最小二乘

就是假设回归直线为y=αx β

则对于平面上的每个点An的坐标(xk，yk)

将xk代入回归方程 可以求出一个yk"

另δk=yk"-yk 就是回归直线上的点 和 实际点的偏差

这样对于所有的点An都会有一个偏差δn与之对应

我们所要做出的回归直线 要尽可能地与平面上的点契合

那么就是要尽量让这些偏差尽可能地小

但是由于有些点在直线上方 有些点在直线下方

则求出的δ有正有负 所以不能够直接相加

所以我们就想出一个办法 将δ平方后确保为正 然后相加

这样令所有的δ的平方和尽可能小 得到的直线就是最小二乘法求出的最优回归直线

由于直线有两个未知数α和β

所以求最小的方法就是对α和β分别求偏导数 令两个偏导数都为0

求出α和β 对应的直线方程y=αx β 就是最小二乘法求出的最优回归直线方程

总的来说 所谓最小二乘

二乘 就是要对每个点对于直线的偏差δ进行平方保正

最小 就是让每个点对于直线的偏差的平方和最小

不知道这样说能否理解

简述用加权最小二乘法消除一元线性回归中的异方差的思想和方法？

普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。

加权最小二乘法的方法：

最小二乘法求线性回归方程中的系数a,b怎么求？

用最小二乘法求回归直线方程中的a，b有下面的公式：

最小二乘法：总离差不能用n个离差之和来表示，通常是用离差的平方和，即作为总离差，并使之达到最小，这样回归直线就是所有直线中Q取最小值的那一条，这种使“离差平方和最小”的方法，叫做最小二乘法：

由于绝对值使得计算不变，在实际应用中人们更喜欢用：Q=（y1-bx1-a）² （y2-bx-a²） 。。。 （yn-bxn-a）²

这样，问题就归结于：当a，b取什么值时Q最小，即到点直线y=bx a的“整体距离”最小。