정규분포와 중심극한정리
— AI 학습에서 종 모양이 자꾸 나오는 이유

평균과 퍼짐, 단 두 개의 숫자로 정해지는 분포

정규분포(normal distribution)는 평균 μ를 중심으로 좌우 대칭이고, 중심에서 멀어질수록 확률이 급격히 줄어드는 종 모양의 확률분포입니다. 가우스가 천문 관측 오차를 분석하며 정리해서 가우시안(Gaussian)이라고도 부릅니다.

수식이 복잡해 보이지만 핵심은 지수 부분입니다. (x−μ)² — 평균에서 멀어진 거리의 제곱만큼 확률이 지수적으로 깎입니다. 그래서 평균 근처가 가장 흔하고, 멀리 갈수록 급격히 드물어집니다.

먼저 — 표준편차(σ)는 "평균에서 떨어진 평균적인 거리"

μ(평균)는 익숙하지만 σ는 낯설 수 있으니 먼저 짚고 갑니다. 표준편차(standard deviation)는 데이터가 평균에서 평균적으로 얼마나 떨어져 있는가를 재는 값입니다. 계산은 네 단계입니다: ① 각 값에서 평균을 뺀다(편차) → ② 제곱한다(부호가 사라지고, 멀리 떨어진 값일수록 더 크게 반영됨) → ③ 전부 평균 낸다(이 값이 분산 σ²) → ④ 제곱근을 씌워 원래 단위로 되돌린다(표준편차 σ).

어떤 분포에서 시작하든, 더하면 정규분포가 된다

중심극한정리(Central Limit Theorem, CLT)는 확률론에서 가장 유명한 정리입니다:

놀라운 점은 원래 분포의 모양을 전혀 묻지 않는다는 것입니다. 한쪽으로 치우친 분포든, 봉우리가 두 개인 분포든, 동전 던지기처럼 두 값뿐인 분포든 — 더하는 순간 개별 분포의 개성은 씻겨 나가고 종 모양만 남습니다. 직접 확인해 보세요.

주사위로 보는 가장 오래된 예

주사위 1개의 눈은 1~6이 모두 ¹⁄₆로 완전히 평평한 분포입니다. 그런데 2개를 던져 합을 보면 7이 가장 흔한 삼각형 모양이 되고, 개수를 늘릴수록 매끄러운 종 모양이 됩니다. 아래는 시뮬레이션이 아니라 정확한 확률입니다 — 더할 때마다 분포가 종 모양으로 다듬어집니다.

뉴런은 매 순간 "수백 개의 독립적인 값의 합"을 계산한다

신경망의 뉴런 하나가 하는 일을 보면 CLT가 왜 등장하는지 바로 보입니다. 뉴런은 입력 x₁…x_d에 가중치를 곱해 전부 더합니다:

입력과 가중치가 제각각 무작위라면, z는 "독립적인 확률변수 d개의 합" — 중심극한정리가 적용되는 바로 그 상황입니다. 입력이 어떤 분포든, d가 커지면 z의 분포는 정규분포에 가까워집니다. 골턴 보드의 구슬과 완전히 같은 구조입니다.

① 가중치 초기화 — σ를 설계하는 일

위 데모에서 스케일링 체크박스를 꺼 보면, d가 커질수록 z의 표준편차가 √d 배로 커집니다. 층을 지날 때마다 값이 √d 배씩 커지면 몇 층 만에 신호가 폭발하고, 반대로 너무 작으면 소멸합니다. 그래서 Xavier/He 초기화는 가중치를 표준편차가 1/√d(He는 √(2/d))인 정규분포에서 뽑습니다. "z의 분산이 층을 지나도 일정하게 유지되도록 σ를 역산"한 것입니다. 정규분포로 초기화하는 이유는 어차피 합쳐지면 CLT로 정규가 될 값들의 σ만 통제하면 되기 때문입니다.

② 활성값·기울기의 분포 — BatchNorm이 정규화를 하는 이유

학습 중 각 층의 활성값 분포를 히스토그램으로 찍어 보면 대체로 종 모양입니다(위 데모가 그 이유입니다). 문제는 학습이 진행되며 이 분포의 μ와 σ가 계속 흘러다닌다는 것이고, BatchNorm은 매 배치마다 평균 0·분산 1로 다시 맞춰서 이 흐름을 잡습니다. "정규화(normalize)"라는 이름 자체가 정규분포의 표준형(μ=0, σ=1)으로 맞춘다는 뜻입니다. → 자세한 건 ResNet의 BatchNorm 자료에서 다룹니다.

③ 오차(노이즈)의 분포 — MSE 손실은 사실 가우시안 가정이다

측정 오차나 라벨 노이즈는 보통 "수많은 작은 독립 요인의 합"이라서 CLT에 의해 정규분포로 모델링합니다. 그리고 "노이즈가 정규분포다"라고 가정하고 가장 그럴듯한 파라미터를 찾으면(최대우도추정), 수식을 정리했을 때 나오는 것이 정확히 평균제곱오차(MSE)입니다:

즉 회귀 모델을 MSE로 학습시키는 순간, 이미 정규분포를 가정하고 있는 셈입니다.

퀴즈 세 문제