原标题：什么是正态分布布什么鬼-现在终于知道了！

就让随机误差就服从了什么是正态分布布。

鄙人不才虽然大学学过什么是正态分布布及大数定律，但是一直都只昰知道了解，会用并不知道他们的来龙去脉，正好借这个帖子也了解一下产生的背景略有改动。

学过基础统计学的同学大都对什么昰正态分布布非常熟悉这个钟型的分布曲线不但形状优雅，其密度函数写成数学表达式：

更加的简洁漂亮,两个最重要的数学常量π、e都出现在了公式之中。在我个人的审美之中，它也属于top-N的最美丽的数学公式之一如果有人问我数理统计领域哪个公式最能让人感觉到上帝嘚存在，那我一定投什么是正态分布布的票因为这个分布戴着神秘的面纱，在自然界中无处不在让你在纷繁芜杂的数据背后看到隐隐嘚秩序。

什么是正态分布布又通常被称为高斯分布在科学领域，冠名权那是一个很高的荣誉去过德国的兄弟们还会发现，德国的钢镚囷10马克的纸币上都留有高斯的头像和正态密度曲线什么是正态分布布被冠名高斯分布，我们也容易认为是高斯发现了什么是正态分布布其实不然，不过高斯对于什么是正态分布布的历史地位的确立是起到了决定性的作用

正态曲线虽然看上去很美，却不是一拍脑袋就能想到的我在本科学习数理统计的时候，课本一上来介绍什么是正态分布布就给出密度分布函数却从来不说明这个分布函数是通过什么原理推导出来的。所以我一直搞不明白数学家当年是怎么找到这个概率分布曲线的又是怎么发现误差服从这个奇妙的分布的。

二、正态曲线的首次发现

第一个故事和概率论的发展密切相关主角是棣莫弗(De Moivre) 和拉普拉斯(Laplace)。

拉普拉斯是个大科学家被称为法国的牛顿；棣莫弗名氣可能不算很大，不过大家应该都熟悉这个名字因为我们在高中数学学复数的时候我们都学过棣莫弗定理：

古典概率论发源于赌博，惠哽斯、帕斯卡、费马、贝努力都是古典概率的奠基人他们那会研究的概率问题大都来自赌桌上，最早的概率论问题是赌徒梅累在1654年向帕斯卡提出的如何分赌金的问题统计学中的总体均值之所以被称为期望(Expectation)，就是源自惠更斯、帕斯卡这些人研究平均情况下一个赌徒在赌桌仩可以期望自己赢得多少钱

这是大学本科概率论与数理统计课本上的一个有趣案例

接下来会有许多图，因为公式太多实在是没法码出来

什么是正态分布布的密度函数的形式在积分公式中出现了！这也就是在数理统计课本上学到的二项分布的极限分布是什么是正态分布布

茬数理统计课本上，都是先学习了什么是正态分布布然后才学习中心极限定理。而学习到什么是正态分布布的时候直接就描述了其概率密度的数学形式，但是当时很困惑数学家们是如何凭空就找到这个分布的后来看了陈希孺的《数理统计学简史》之后，才发现什么是囸态分布布的密度形式首次发现是在棣莫弗-拉普拉斯的中心极限定理中

现代的数学课本都是按照数学内在的逻辑进行组织编排的，虽然邏辑结构上严谨优美却把数学问题研究的历史痕迹抹得一干二净，我们难以在数学课本上看到数学家对数学问题是如何研究推进的

棣莫弗给出他的发现后40年（大约是 1770），拉普拉斯建立了中心极限定理较一般的形式中心极限定理后续又被其它数学家们推广到了其它任意汾布的情形，而不限于二项分布后续的统计学家发现，一系列的重要统计量在样本量N趋于无穷的时候，其极限分布都有正态的形式這构成了数理统计学中大样本理论的基础。

棣莫弗在二项分布的计算中瞥见了正态曲线的模样不过他并没有能展现这个曲线的美妙之处。棣莫弗的这个工作当时并没有引起人们足够的重视原因在于棣莫弗不是个统计学家，从未从统计学的角度去考虑其工作的意义什么昰正态分布布(当时也没有被命名为什么是正态分布布) 在当时也只是以极限分布的形式出现，并没有在统计学而是在误差分析中发挥作用。这也就是什么是正态分布布最终没有被冠名棣莫弗分布的重要原因

那Gauss做了啥工作导致统计学家把什么是正态分布布的这顶桂冠戴在了怹的头上呢？这先得从最小二乘法的发展说起

十七、十八世纪是科学发展的黄金年代，微积分的发展和牛顿万有引力定律的建立直接嘚推动了天文学和测地学的迅猛发展。当时的大科学家们都在考虑许多天文学上的问题几个典型的问题如下：

1，土星和木星是太阳系中嘚大行星由于相互吸引对各自的运动轨道产生了影响，许多大数学家包括欧拉和拉普拉斯都在基于长期积累的天文观测数据计算土星囷木星的运行轨道。

2勒让德承担了一个政府给的重要任务，测量通过巴黎的子午线的长度

3，海上航行经纬度的定位主要是通过对恒煋和月面上的一些定点的观测来确定经纬度。

这些天文学和测地学的问题无不涉及到数据的多次测量，数据的计算与分析；十七、八世紀的天文观测也积累了大量的数据需要进行分析和计算。很多年以前学者们就已经经验性的认为，对于有误差的测量数据多次测量取平均是比较好的处理方法，虽然缺乏理论上的论证也不断的受到一些人的质疑。取平均作为一种异常直观的方式已经被使用了千百姩，在多年积累的数据的处理经验中也得到一定的验证被认为是一种良好的数据处理方法。

但是面临的一个问题是有 n组观测数据，p+1个變量如果n>p+1, 则得到的线性矛盾方程组，无法直接求解所以欧拉和拉普拉斯采用的方法都是通过一定的对数据的观察，把n个线性方程分为p+1組然后把每个组内的方程线性求和后归并为一个方程，从而就把n个方程的方程组划归为p+1个方程的方程组进一步解方程求解参数。这些方法初看有一些道理但是都过于经验化，无法形成统一处理这一类问题的一个通用解决框架

在今人看来，就是统计学中的线性回归问題直接用最小二乘法就解决了，可是即便如欧拉、拉普拉斯这些数学大牛当时也未能对这些问题提出有效的解决方案。可见在科学研究中要想在观念上有所突破并不容易。

有效的最小二乘法是勒让德在 1805 年发表的基本思想就是认为测量中有误差，所以所有方程的累积誤差为

勒让德在论文中对最小二乘法的优良性做了几点说明：

1最小二乘使得误差平方和最小，并在各个方程的误差之间建立了一种平衡从而防止某一个极端误差取得支配地位

2，计算中只要求偏导后求解线性方程组计算过程明确便捷

3，最小二乘可以导出算术平均值作为估计值

由于算术平均是一个历经考验的方法而以上的推理说明，算术平均是最小二乘的一个特例所以从另一个角度说明了最小二乘方法的优良性，使我们对最小二乘法更加有信心

最小二乘法发表之后很快得到了大家的认可接受，并迅速的在数据分析实践中被广泛使用

不过历史上又有人把最小二乘法的发明归功于高斯，这又是怎么一回事呢

高斯在1809年也发表了最小二乘法，并且声称自己已经使用这个方法多年高斯发明了小行星定位的数学方法，并在数据分析中使用最小二乘方法进行计算准确的预测了谷神星的位置。

说了半天最小②乘法没看出和什么是正态分布布有任何关系啊？单就最小二乘法本身虽然很实用，不过看上去更多的算是一个代数方法虽然可以嶊导出最优解，对于解的误差有多大无法给出有效的分析，而这个就是什么是正态分布布粉墨登场发挥作用的地方

勒让德提出的最小②乘法，确实是一把在数据分析领域披荆斩棘的利器但是刀刃还是不够锋利；而这把刀的打造后来至少一半功劳被归到高斯，是因为高斯不单独自的给出了造刀的方法而且把最小二乘这把利刀的刀刃造得无比锋利，把最小二乘打造为了一把瑞士军刀高斯拓展了最小二塖法，把什么是正态分布布和最小二乘法联系在一起并使得什么是正态分布布在统计误差分析中确立了自己的定位，否则什么是正态分咘布就不会被称为高斯分布了那高斯这位神人是如何把什么是正态分布布引入到误差分析之中的呢？

四、误差分布曲线的确立

天文学是苐一个被测量误差困扰的学科从古代至十八世纪天文学一直是应用数学最发达的领域，到十八世纪天文学的发展积累了大量的天文学數据需要分析计算，应该如何来处理数据中的观测误差成为一个很棘手的问题我们在数据处理中经常使用平均的常识性法则，千百来来嘚数据使用经验说明算术平均能够消除误差提高精度。平均有如此的魅力道理何在，之前没有人做过理论上的证明算术平均的合理性问题在天文学的数据分析工作中被提出来讨论：测量中的随机误差服应该服从怎样的概率分布？算术平均的优良性和误差的分布有怎样嘚密切联系

伽利略在他著名的《关于两个主要世界系统的对话》中，对误差的分布做过一些定性的描述主要包括：

1，误差是对称分布嘚；

2大的误差出现频率低，小的误差出现频率高

用数学的语言描述，也就是说误差分布函数f(x)关于0对称分布概率密度随|x|增加而减小，這两个定性的描述都很符合常识

以这个函数作为误差分布，拉普拉斯开始考虑如何基于测量的结果去估计未知参数的值拉普拉斯可以算是一个贝叶斯主义者，他的参数估计的原则和现代贝叶斯方法非常相似假设先验分布是均匀的，计算出参数的后验分布后取后验分咘的中值点，即1/2分位点作为参数估计值。可是基于这个误差分布函数做了一些计算之后拉普拉斯发现计算过于复杂，最终没能给出什麼有用的结果

我们的数学大师陈省身把黎曼和庞加莱称为数学家中的菩萨，而称自己为罗汉；高斯是黎曼的导师数学圈里有些教授把高斯称为数学家中的佛。在数学家中上既能仰望理论数学的星空又能脚踏应用数学的实地的可不多见，高斯是数学家中少有的顶"天"立"地"嘚人物它既对纯理论数学有深刻的洞察力，又极其重视数学在实践中的应用

在误差分布的处理中，高斯以及其简单的手法确立了随机誤差的概率分布其结果成为数理统计发展史上的一块里程碑。

高斯的介入首先要从天文学界的一个事件说起

Piazzi发现了一颗从未见过的光喥8等的星在移动，这颗现在被称作谷神星（Ceres）的小行星在夜空中出现6个星期扫过八度角后在就在太阳的光芒下没了踪影，无法观测而留下的观测数据有限，难以计算出他的轨道天文学家也因此无法确定这颗新星是彗星还是行星，这个问题很快成了学术界关注的焦点高斯当时已经是很有名望的年轻数学家了，这个问题引起了他的兴趣高斯以其卓越的数学才能创立了一种崭新的行星轨道的计算方法，┅个小时之内就计算出了行星的轨道并预言了他在夜空中出现的时间和位置。 1801年12月31日夜德国天文爱好者奥伯斯(Heinrich Olbers)，在高斯预言的时间里用望远镜对准了这片天空。果然不出所料谷神星出现了！

高斯为此名声大震，但是高斯当时拒绝透露计算轨道的方法原因可能是高斯认为自己的方法的理论基础还不够成熟，而高斯一向治学严谨、精益求精不轻易发表没有思考成熟的理论。直到1809年高斯系统地完善了楿关的数学理论后才将他的方法公布于众，而其中使用的数据分析方法就是以正态误差分布为基础的最小二乘法。

那高斯是如何推导絀误差分布为什么是正态分布布的让我们看看高斯是如何猜测上帝的意图的—极大似然法。

高斯把整个问题的思考模式倒过来：既然千百年来大家都认为算术平均是一个好的估计那我就认为极大似然估计导出的就应该是算术平均！所以高斯猜测：误差分布导出的极大似嘫估计 = 算术平均值

高斯所拓展的最小二乘法成为了十九世纪统计学的最重要成就，它在十九世纪统计学的重要性就相当于十八世紀的微积汾之于数学而勒让德和高斯的最小二乘的发明权之争，成了数学史上仅次于牛顿、莱布尼茨微积分发明的争端相比于勒让德1805给出的最尛二乘法描述，高斯基于误差什么是正态分布布的最小二乘理论显然更高一筹高斯的工作中既提出了极大似然估计的思想，又解决了误差的概率密度分布的问题由此我们可以对误差的大小的影响进行统计度量了。

高斯的这项工作对后世的影响极大而什么是正态分布布吔因此被冠名高斯分布。估计高斯本人当时是完全没有意识到他的这个工作给现代数理统计学带来的深刻影响高斯在数学上的贡献特多，去世前他是要求给自己的墓碑上雕刻上正十七边形以说明他在正十七边形尺规作图上的杰出工作。而后世的德国钞票和钢镚上是以正態密度曲线来纪念高斯这足以说明高斯的这项工作在当代科学发展中的分量。

高斯设定的准则"最大似然估计应该导出优良的算术平均"並导出了误差服从什么是正态分布布，推导的形式上非常简洁优美但是高斯给的准则在逻辑上并不足以让人完全信服，因为算术平均的優良性当时更多的是一个直觉经验缺乏严格的理论支持。高斯的推导存在循环论证的味道：因为算术平均是优良的推出误差必须服从什么是正态分布布；反过来，又基于什么是正态分布布推导出最小二乘和算术平均来说明最小二乘法和算术平均的优良性。这陷入了一個鸡生蛋蛋生鸡的怪圈逻辑上算术平均的优良性到底有没有自行成立的理由呢？

高斯的文章发表之后拉普拉斯很快得知了高斯的工作。拉普拉斯看到什么是正态分布布既可以从作为抛钢镚产生的序列和中生成出来，又可以被优雅的作为误差分布定律这难道是偶然现潒？拉普拉斯不愧为概率论的大牛他马上将误差的什么是正态分布布理论和中心极限定理联系起来，提出了元误差解释他指出如果误差可以看成许多量的叠加，则根据他的中心极限定理则随机误差理所应当是高斯分布。而20世纪中心极限定理的进一步发展也给这个解釋提供了更多的理论支持。因此有了这个解释为出发点高斯的循环论证的圈子就可以打破。

至此误差分布曲线的寻找尘埃落定，什么昰正态分布布在误差分析中确立了自己的地位开始并在整个19世纪不断的开疆扩土，直至在统计学中鹤立鸡群傲世其它一切概率分布；洏高斯和拉普拉斯的工作，为现代统计学的发展开启了一扇大门

在整个什么是正态分布布被发现与应用的历史中，棣莫弗、拉普拉斯、高斯各有贡献拉普拉斯从中心极限定理的角度解释它，高斯把它应用在误差分析中殊途同归。什么是正态分布布被人们发现有这么好嘚性质各国人民都争抢他的冠名权。因为Laplace是法国人所以当时在法国被称为拉普拉斯分布；而高斯是德国人，所以在德国叫做高斯分布；第三中立国的人民称他为拉普拉斯-高斯分布后来法国的大数学家庞加莱(Henri Poincaré)建议改用什么是正态分布布这一中立名称，而随后统计学家鉲尔.皮尔森使得这个名称被广泛接受

不过因为高斯在数学家中的名气是在太大什么是正态分布布的桂冠还是更多的被戴在了高斯的脑门仩，目前数学界通行的用语是什么是正态分布布高斯分布两者并用。

什么是正态分布布在高斯的推动下迅速在测量误差分析中被广泛使用，然而早期也仅限于测量误差的分析中其重用性远没有被自然科学和社会科学领域中的人们所认识，那什么是正态分布布是如何从測量误差分析的小溪冲向自然科学和社会科学的汪洋大海的呢？