現代的な統計学はチャールズ・ダーウィンの従兄弟であるフランシス・ゴルトンが回帰分析を発見したことから始まる。ゴルトンは人間の様々な特性を調べる中で、両親の身長と子どもの身長に関係性があることを発見した。両親の身長がとても高ければ子どもの身長も高いが、両親ほどではなく、両親の身長がとても低ければ、子どもの身長も低いが、両親ほどではない。つまりそこには関係性があるが、子どもの身長は平均身長へ回帰するのだ。この平均への回帰が回帰分析の語源である。そしてゴルトンはこの関係性に相関関係という名前をつけた。この相関関係という考え方が実証主義者であったゴルトンの弟子、カール・ピアソンによって発展させられていった。それ以降長い間（ほぼ20世紀の間中）因果関係は統計学から排除された。

カール・ピアソン以降、20世紀初頭の統計学は進化生物学（集団遺伝学）、進化生物学の人間社会への応用である優生学とともにユニバーシティ・カレッジ・ロンドン（UCL）で発展した（UCL以外で重要なのはギネス・ビールのウィリアム・ゴセットだった）。20世紀前半から中盤はカール・ピアソンの次の世代である、ロナルド・フィッシャー、ジャジー・ネイマン、エゴン・ピアソンらによってUCLで統計学は多いに発展した。この一派の統計学は頻度主義と呼ばれる。フィッシャーはその後に引き継がれる多くの概念を構築したが、特に尤度という概念を開発し、仮説検証と推定という統計的推論における二つの領域を開拓した（統計には大別して記述統計と統計的推論が存在する）。

その後20世紀中盤あたりにデニス・リンドリー、ジミー・サベージ、I・J・グッドらによってベイズ統計学が作られた。ジミー・サベージはアメリカ人で経済学者ミルトン・フリードマンの弟子であり、グッドはイギリス人で数学者ハーディーの弟子で、第二次世界大戦中はアラン・チューリングのアシスタントとしてナチスの暗号エニグマの解読を行なった。グッドはバージニア・テックの教授としてアメリカに移住した。イギリスではデニス・リンドリーがベイズ統計学の父だと考えられている。そしてなんとリンドリーは統計学の聖地でもあるが、頻度主義の聖地であるUCLに赴任した。

そして20世紀後半（1970年代）以降日本の赤池弘次や竹内啓らによって情報量基準統計学が提案、発展させられた。赤池弘次は回帰分析や時系列分析（回帰分析のx軸を時間にしたもの）においてはフィッシャーの仮説検証と推定という区分はあまり有用でないと考え、仮説（モデル）の提案と検証という観点からモデル選択という考え方を統計学の中で一般的にした（フィッシャーの仮説検証と推定は尤度に基づいており、そこでは仮説はすでに想定されている）。あるデータが存在するときに、回帰分析や時系列分析はどのようにモデルを当てはめるのだろう。これは曲線当てはめの問題と言われるが、当然複雑なモデルを当てはめると、過去のデータに対する説明力は上がる。しかし新しいデータに対する予測能力は下がってしまう。ここにはバイアス・バリアンス・トレードオフ（簡潔なモデルと複雑なモデルの間のせめぎ合い）が存在する。情報量統計学はこれに対する選択基準を提示しようとした。

2000年前後からアメリカのジュディア・パール、ドナルド・ルービンらによってようやく因果推論が統計学に取り戻された。カール・ピアソン以降、統計学は「相関関係は因果関係ではない」という考え方のもと、相関関係を中心として回ってきた。しかしどう考えても私たちの思考の中心には因果関係という考え方が存在する。パールらは統計学の歴史の中で長きにわたって暗闇に置かれた因果関係という概念に光を当てた。

このように統計学には大きく分けて頻度主義統計学、ベイズ統計学、情報量基準統計学、因果推論という四つのグループが存在する（もちろんこの線引きは曖昧なものである）。

ユニバーシティ・カレッジ・ロンドン（UCL）