1.正态曲线

1733年，德-莫佛（De Moivre）在给友人分发的一篇文章中给出了正态曲线1783年，拉普拉斯建议正态曲线方程适合于表示误差分布的概率。

1809年，高斯发表了他的关于天体运行论的伟大著作，在这一著作的第二卷第三节中，他导出正态曲线适宜于表示误差规律，同时承认拉普拉斯较早的推导。

正态分布在十九世纪前叶因高斯的工作而加以推广，所以通常称作高斯分布。卡尔-皮尔逊指出德-莫佛是正态曲线的创始人，第一个称它为正态分布，但人们仍习惯称之高斯分布。

2.最小二乘法

1805年，Legendre提出最小二乘法，Gauss声称自己在1794年用过，并在1809年基于误差的高斯分布假设，给出了严格推导。

3.总体和样本

在早期文献中可找到由某个总体中抽样的明确例子，然而从总体中只能取得样本的认识常常是缺乏的。 ----K.皮尔逊时代

到十九世纪末，对样本和总体的区别已普遍知道，然而这种区分并不一定总被坚持。----1910年Yule在自己的教科书中指出。

在 1900年代的早期，区分变的更清楚，并在1922年被Fisher特别强调。----Fisher在1922年发表的论文《On the mathematical foundation of theoretical statistics》，说明了总体和样本的联系和区别，以及其他概念，奠定了“理论统计学”的基础。

4.期望、标准差和方差

期望是一个比概率更原始的概念，在十七世纪帕斯卡和费马时代，期望概念已被公认了。K.皮尔逊最早定义了标准差的概念。1918年，Fisher引入方差的概念。

力学中的矩和统计学中的中数两者之间的相似性已被概率领域的早期工作者注意到，而K.皮尔逊在1893年第一次在统计意义下使用“矩”。

5.卡方统计量

卡方统计量，是卡-皮尔逊提出用于检验已知数据是否来自某一特定的随机模型，或已知数据是否与已给定的假设一致。卡方检验被誉为自1900年以来在科学技术所有分支中20个尖端发明之一，甚至敌人Fisher都对此有极高评价。

6.矩估计与最大似然

卡-皮尔逊提出了使用矩来估计参数的方法。

Fisher则在1912年到1922年间提出了最大似然估计方法，基于直觉，提出了估计的一致性、有效性和充分性的概念。

7.概率的公理化

1933年，前苏联数学家柯尔莫格洛夫（Kolmogorov）发表了《概率论的基本概念》，奠定了概率论的严格数学基础。

8.贝叶斯定理

贝叶斯对统计学几乎没有什么贡献，然而贝叶斯的一篇文章成为贝叶斯学派统计学的思想模式的焦点，这一篇文章发表于1763年，由贝叶斯的朋友、著名人寿保险原理的开拓者Richard Price在贝叶斯死后提出来的----贝叶斯定理。

概率思想的两种方法，（1）作为一个物理系统内在的一种物理特性，（2）对某一陈述相信程度的度量。 在1950年代后期止，多数统计学家采取第一种观点，即概率的相对频数解释，这一时期贝叶斯定理仅应用在概率能在频数框架内解释的场合。

9.其他

在十九世纪中叶，三个不同领域产生的重要发展都是基于随机性是自然界固有的这个前提上的。

阿道夫·凯特莱特（A. Quetlet,1869）利用概率性的概念来描述社会学和生物学现象孟德（G.Mendel,1870）通过简单的随机性结构公式化了他的遗传法则。

玻尔兹曼（Boltzmann,1866）对理论物理中最重要的基本命题之一的热力学第二定律给出了一个统计学的解释。

1859 年，达尔文发表了《物种起源》，达尔文的表兄弟高尔登爵士开始利用概率工具分析生物现象，对生物计量学的基础做出了重要贡献（可以称他为生物信息学之父），高尔登爵士是第一个使用相关和回归这两个重要概念的人，他还是中位数和百分位数这种概念的创始人。

受高尔登工作影响，在伦敦的大学学院工作的卡尔-皮尔逊开始把数学和概率论应用于达尔文进化论，从而开创了现代统计时代，赢得了统计之父的称号，1901年Biometrika第一期出版（卡-皮尔逊是创始人之一）。