평균과 분산에서 정규화 층까지
— LRN과 BatchNorm을 이해하는 데 필요한 것들

평균, 분산, 표준편차 — 숫자 더미를 두 개의 숫자로 요약하기

값이 수백만 개 있어도, 그 더미를 설명할 때 우리는 보통 두 가지만 묻습니다. 어디쯤에 모여 있나(중심), 그리고 얼마나 흩어져 있나(퍼짐). 앞의 답이 평균이고, 뒤의 답이 분산과 표준편차입니다.

평균 μ — 중심

전부 더해서 개수로 나눕니다. 더 설명할 것이 없습니다.

분산 σ² — 퍼짐

퍼짐은 "평균에서 얼마나 떨어져 있나"입니다. 그런데 떨어진 거리를 그냥 더하면 0이 됩니다. 위로 벗어난 만큼 아래로도 벗어나 있어서 서로 상쇄되기 때문입니다. 평균의 정의상 반드시 그렇게 됩니다. 그래서 부호를 없애야 하는데, 여기서 제곱을 씁니다.

절댓값을 써도 부호는 없앨 수 있는데 왜 제곱일까요. 두 가지 이유가 자주 언급됩니다. 하나는 미분이 매끄럽다는 것(절댓값은 0에서 꺾입니다), 다른 하나는 제곱이 큰 이탈에 더 큰 벌점을 준다는 것입니다. 평균에서 2배 멀어지면 기여도는 4배가 됩니다. 아래 표에서 이상치 하나가 분산을 어떻게 지배하는지 직접 보세요.

표준편차 σ — 원래 단위로 되돌리기

분산은 제곱한 값이라 단위가 어긋납니다. 키를 cm로 재서 분산을 구하면 단위가 cm²가 되어 "평균에서 얼마나 떨어져 있나"를 직관적으로 말할 수 없습니다. 제곱근을 씌워 원래 단위로 되돌린 것이 표준편차입니다. 그래서 실제로 "이 값은 평균에서 2σ 떨어져 있다"처럼 말할 수 있는 쪽은 분산이 아니라 표준편차입니다.

정규화란 무엇인가 — 세 가지 방식과 각자의 사고방식

정규화(normalization)는 값의 스케일을 통일하는 것입니다. 왜 필요한가는 간단합니다. 한 특징은 0~1 범위이고 다른 특징은 0~10000 범위라면, 둘을 더하거나 곱하는 모든 계산에서 큰 쪽이 작은 쪽을 압도합니다. 신경망의 가중치 입장에서는 "이 특징이 중요해서 큰 게 아니라 단위가 커서 큰 것"을 구별할 방법이 없습니다.

스케일을 통일하는 방법은 하나가 아닙니다. 자주 쓰이는 셋을 봅니다.

그러면 두 방식은 무엇이 다른가. 나누는 값이 무엇이냐가 다릅니다. Min-Max는 범위(max − min)로 나누고, Z-score는 표준편차 σ로 나눕니다. 이 둘은 성질이 완전히 다릅니다 — 표본을 더 많이 모을수록 범위는 계속 커지지만, 표준편차는 한 값으로 수렴합니다. 최댓값과 최솟값은 표본이 늘어날수록 계속 더 극단으로 갱신되기 때문입니다.

진짜 질문은 "어느 값들을 한 묶음으로 볼 것인가"

여기까지 오면 정규화 수식은 다 안 것입니다. 그런데 실제 정규화 층들 — BatchNorm, LayerNorm, InstanceNorm, GroupNorm — 은 전부 같은 z-score 수식을 씁니다. 이름이 다른 이유는 수식이 달라서가 아니라, 평균과 분산을 어느 범위에서 계산하느냐가 다르기 때문입니다.

CNN의 중간 데이터는 보통 4차원 덩어리입니다. (N, C, H, W) — 배치 안의 샘플 N개, 각 샘플의 채널 C개, 각 채널의 세로 H · 가로 W 격자. 이 4차원 덩어리에서 어느 방향으로 훑으며 평균을 낼지 고르는 것, 그게 정규화 층의 설계 전부입니다.

LRN — 이웃 채널끼리 겨루게 하기 (AlexNet, 2012)

LRN(Local Response Normalization, 국소 응답 정규화)은 AlexNet 논문에서 제안된 정규화입니다. 배경에는 실제 뉴런의 측면 억제(lateral inhibition)가 있습니다. 강하게 반응한 뉴런이 옆 뉴런의 반응을 억누르는 현상인데, 그 결과 자극들 사이의 대비가 강조됩니다.

AlexNet은 이걸 채널 축에 옮겨 놓았습니다. 같은 위치 (x, y)에서 여러 채널이 각자의 필터로 반응하고 있을 때, 크게 반응한 채널이 이웃 채널의 값을 깎도록 만든 것입니다.

수식이 하는 일은 분모를 읽으면 끝납니다. 이웃 채널들의 제곱합이 크면 분모가 커지고, 그러면 내 값이 작아집니다. 옆에서 누가 크게 반응하고 있으면 내가 눌리는 것입니다. k는 분모가 0이 되는 걸 막는 안전장치이고, α는 억제의 세기, β는 억제의 급격함을 조절합니다.

BatchNorm — 축을 배치로 옮기고, 평균까지 빼기 (2015)

BatchNorm이 LRN과 갈라지는 지점은 두 가지입니다. 첫째, 통계를 이웃 채널이 아니라 배치 전체에서 냅니다. 둘째, 나누기만 하는 게 아니라 평균을 빼는 완전한 z-score입니다.

마지막 줄이 중요합니다. 평균 0·분산 1로 강제로 맞춰 놓으면 표현력이 줄어들 수 있으므로, 학습되는 파라미터 γ(스케일)와 β(이동)를 붙여 필요하면 다시 늘리거나 옮길 수 있게 합니다. 극단적으로 γ = σ, β = μ 를 학습하면 원래 값으로 완전히 되돌아갈 수도 있습니다. 즉 BatchNorm은 정규화를 강요하는 게 아니라 선택지로 제공합니다.

배치에 의존한다는 것의 대가

BatchNorm의 통계는 지금 이 배치에서 나옵니다. 배치가 크면 그 평균은 전체 데이터의 평균에 가깝지만, 배치가 작으면 표본이 적어 매번 튑니다. 표본 평균의 표준오차가 σ/√m이라는 사실이 그대로 문제가 됩니다 — 배치 크기 m을 4배로 늘려야 흔들림이 절반으로 줄어듭니다.

그래서 LRN은 왜 사라졌나

LRN은 2012년에 등장해 몇 년 만에 사실상 자취를 감췄습니다. 두 번의 타격이 있었습니다.

첫 번째 — 효과가 재현되지 않았다 (VGG, 2014)

VGG 논문은 LRN을 넣은 구성과 뺀 구성을 나란히 실험했습니다. 결론은 성능은 나아지지 않고 메모리 사용량과 계산 시간만 늘었다는 것이었습니다. AlexNet에서 보였던 1%대 개선이 더 깊은 네트워크에서는 나타나지 않은 것입니다.

두 번째 — 더 좋은 것이 나왔다 (BatchNorm, 2015)

BatchNorm은 LRN이 겨냥하던 문제를 훨씬 크게 해결했습니다. 학습 안정화 효과가 커서 학습률을 크게 올릴 수 있었고, 논문은 같은 정확도에 도달하는 데 필요한 학습 스텝이 1/14로 줄었다고 보고했습니다. 성능도 성능이지만 "학습이 잘 되게 만든다"는 실용적 이득이 압도적이었습니다.

다만 "LRN이 틀렸다"고 정리하면 과합니다. 표의 4행을 보세요 — 배치 의존이 없다는 건 오늘날 기준으로는 오히려 장점입니다. BatchNorm이 작은 배치에서 흔들려 LayerNorm·GroupNorm이 나온 흐름을 생각하면, LRN은 "샘플 하나로 계산한다"는 성질을 처음부터 갖고 있었던 셈입니다. 사라진 이유는 그 성질이 나빠서가 아니라, 통계를 낸 범위가 너무 좁아서 얻는 것이 적었기 때문입니다.

퀴즈 네 문제