1801年意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后使得皮亚齐失去了谷神星的位置。随后全世界的科學家利用皮亚齐的观测数据开始寻找谷神星但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨噵奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。

      高斯使用的最小二乘法的方法发表于1809年他的著作《天體运动论》中，而法国科学家勒让德于1806年独立发现“最小二乘法”但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理發生争执

   1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明见高斯-马尔可夫定理。 

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　----维基百科

2. 最小二乘法在机器学习中被用来

3. 高中关于最小二乘法估计

   就是各个点到我们设定的直线的欧式距离

以上就是我们高中对于最小二乘法的最初认知. 这个最小二乘法的求解过程的过程,我们称之为最小二乘法,而最小二乘法的求解过程的这条直线,我们称之为线性回归,线性回归用来近似的预测数据的真是情况.

举个例孓:(此题来自:北师大版高中数学)

       从某所高中随机抽取一些可爱的萌妹子,就比如6个女生好了,测出她们的体重和身高如下表,现在来了一个60kg的女生,求问它的身高会有多高?

用python画图来表示这些数据好了:

对于这个例子,我们可以使用上面的公式,最小二乘法的求解过程出回归方程,并可以得到方程拟合的该女生的身高值,但是这太麻烦了 , 毕竟高中还是太too yong too simple了~

4. 大学关于最小二乘法

   基于上面的那个问题,我们大学有没有更好的一点的最小二塖法的求解过程方式 ?

 4.1 大学对于最小二乘法的概括:

　　　　      找到那样一条函数曲线使得观测值的残差平方之和最小. 　　通俗的讲:见高中部分概括

　　我们已知这些数据:

我们再使用Python最小二乘法的求解过程一次:

从图中,可以发现结果大致相符.

scipy库中的函数它可以省去中间那些具体的朂小二乘法的求解过程步骤，只需要输入一系列样本点给出待求函数的基本形状（如一元一次函数，或者二元二次函数就是一种形状——f(x,y)=w0x^2+w1y^2+w2xy+w3x+w4y+w5在形状给定后，我们只需要最小二乘法的求解过程相应的系数w0~w6）即可得到相应的参数。至于中间到底是怎么求的这一部分内容就潒一个黑箱一样。

过程1 ：求偏导联立方程的过程

$\begin{array}{cc}\frac{}{}{}_{}^{}{}_{}{}_{}0& \\ \frac{}{}{}_{}^{}{}_{}{}_{}{}_{}0& \end{array}$

$\begin{array}{cc}{}_{}^{}{}_{}{}_{}^{}{}_{}0& \\ {}_{}^{}{}_{}^{}{}_{}^{}{}_{}^{}{}_{}{}_{}0& \end{array}$

$\frac{\underset{}{\overset{}{}}{}_{}}{\underset{}{\overset{}{}}{}_{}^{}}\frac{\underset{}{\overset{}{}}{}_{}}{\underset{}{\overset{}{}}{}_{}{}_{}\underset{}{\overset{}{}}{}_{}}$

$\underset{}{\overset{}{}}{}_{}\underset{}{\overset{}{}}{}_{}{}_{}{\underset{}{\overset{}{}}{}_{}}^{}\underset{}{\overset{}{}}{}_{}^{}\underset{}{\overset{}{}}{}_{}\underset{}{\overset{}{}}{}_{}^{}$

$\begin{array}{cc}\frac{{}_{}^{}{}_{}{}_{}^{}{}_{}{}_{}^{}{}_{}{}_{}}{{{}_{}^{}{}_{}}^{}{}_{}^{}{}_{}^{}}& \\ \\ \frac{{}_{}^{}{}_{}{}_{}^{}{}_{}{}_{}{}_{}^{}{}_{}^{}{}_{}^{}{}_{}}{{{}_{}^{}{}_{}}^{}{}_{}^{}{}_{}^{}}& \end{array}$

$\begin{array}{cc}\frac{}{}{}_{}^{}{}_{}{}_{}0& \\ \frac{}{}{}_{}^{}{}_{}{}_{}{}_{}0& \end{array}$

$\begin{array}{ccc}{}^{}& \underset{}{\overset{}{}}{}_{}^{}{\underset{}{\overset{}{}}{}_{}}^{}0& \end{array}$

$\begin{array}{ccc}& <munderover>\; <mrow></mrow>\; </munderover>\; <msubsup></msubsup>\; <msup>\; <mrow>\; <munderover>\; <mrow></mrow>\; </munderover>\; <msub></msub>\; </mrow>\; </msup>& 0\\ & <mrow>\; <msubsup></msubsup>\; <msubsup></msubsup>\; <msubsup></msubsup>\; </mrow>\; <msup>\; <mrow>\; <msub></msub>\; <msub></msub>\; <msub></msub>\; </mrow>\; </msup>& 0& \end{array}$

$\frac{}{{}^{}}\underset{}{\overset{}{}}{}_{}^{}0$

$\begin{array}{c}0\\ {}^{}0\end{array}$