実験や調査などを行う際には、計測や観測の対象となる人や、ものの集まりを母集団と言い、母集団に含まれる要素を個体と呼びます。また、母集団のすべての個体を対象とする調査を全数調査と言い、その代表例として国勢調査があります。全数調査を実施するには金銭的・時間的コストが高くつきますので、多くの場合は母集団の一部を抽出して行う調査(標本調査)が選択されます。標本調査で抽出された個体の集まりを標本と言い、標本に含まれる個体の数を標本の大きさあるいは標本サイズと言います。
例えば、「国民生活に関する世論調査」では、18歳以上の日本人の中から無作為に1万人を選び、現在の生活に対する満足度や今後の生活の見通し、働く目的をどの様に考えるかなど、生活や家族、社会に対する意識を調べています。ここで関心の対象となるのは、代表として選ばれた1万人の回答そのものではなく、母集団である日本人全体の意識の分布です。標本はそれを知る上での情報を提供する役割を持っています。
データ解析とは標本の情報を利用して母集団の未知の性質について何らかの結論を導きことであり、統計学はその方法的基礎を提供する学問です。実際、H28年の「国民生活に関する世論調査」では、「全体として現在の生活にどの程度満足しているか」という問いに対する結果は、
満足10.7%、まぁ満足59.4%、やや不満22.6%、不満5.9%
となっていますが、私たちはこの結果から生活満足度に対する日本人全体の回答の分布を推定することが出来ます。その理論的基礎が統計学によって与えられている。