경사 하강법과 지그재그 현상

LEVEL 1 · 입문
언덕 내려가기

짙은 안개 속 산비탈에 서 있다고 상상해 봅시다. 목표는 골짜기 바닥에 도달하는 것인데, 보이는 것은 발밑 경사뿐입니다. 합리적인 전략은 하나입니다. 가장 가파르게 내려가는 방향으로 한 걸음 딛고, 다시 발밑을 확인한다. 이것이 경사 하강법의 전부입니다.

기계학습에서 “산의 높이”는 모델이 틀린 정도, 즉 손실 함수 L이고, “내가 선 위치”는 모델의 파라미터 w입니다. 발밑 경사는 미분값 L′(w)입니다.

기울기 앞에 붙은 마이너스 부호가 핵심입니다. 기울기는 “올라가는 방향”을 가리키므로, 반대로 가야 내려갑니다. 기울기가 가파르면 크게, 평평하면 작게 움직이므로 바닥 근처에서는 저절로 조심스러워집니다.

학습률 하나로 갈리는 네 가지 운명

가장 단순한 그릇 L(w) = w²을 봅시다. 여기서 w는 모델의 파라미터(위 비유에서 "내가 선 위치")이고, L은 손실("산의 높이")입니다. w = 0일 때 손실이 0으로 가장 낮으니, 바닥은 원점입니다. 기울기는 2w이므로 갱신식은 아래처럼 곱셈 한 번으로 정리됩니다. 이 한 줄이 뒤에 나올 모든 이야기의 씨앗입니다.

먼저, 손으로 계산되는 예제 하나

슬라이더를 만지기 전에 숫자를 직접 따라가 봅시다. 출발점은 w₀ = 1, 학습률은 η = 0.1. 필요한 것은 곱셈뿐입니다.

두 번째 걸음부터는 미분을 다시 할 필요조차 없습니다. 위 식대로 배율 1−2η = 0.8을 계속 곱하기만 하면 됩니다.

실험해 보면 η의 값에 따라 완전히 다른 네 개의 체제(regime)가 나타납니다. 배율 r = 1 − 2η의 부호와 절댓값만 보면 됩니다.

이 네 줄이 실제로 어떤 숫자인지, 모두 같은 출발점 w₀=1에서 나란히 놓아 봅시다. 하는 일은 앞의 표와 똑같습니다 — 배율 r을 계속 곱할 뿐입니다.

일반적인 함수에서는 2 대신 곡률(2계 미분) L이 들어가, 수렴 조건이 η < 2/L이 됩니다. 즉 가장 가파르게 휘는 곳의 곡률이 학습률의 상한을 정합니다. 이 사실이 다음 장의 지그재그를 낳습니다.

LEVEL 2 · 학부
골짜기와 지그재그

파라미터가 여럿이면 미분은 그래디언트(편미분 벡터) ∇L이 되고, 갱신식의 모양은 그대로입니다.

여기서 결정적인 사실이 하나 있습니다. “가장 가파른 방향”은 “최솟값을 향하는 방향”이 아닙니다. 등고선이 동그란 그릇이면 둘이 일치하지만, 길쭉한 골짜기 모양이면 그래디언트는 골짜기 바닥을 따라가는 대신 양쪽 벽을 향해 거의 수직으로 서게 됩니다. 그 결과가 지그재그입니다.

아래 지형은 L(x,y) = ½(x²/κ + y²) 입니다. κ가 커질수록 등고선이 옆으로 길게 늘어나 좁고 깊은 협곡이 됩니다.

지그재그는 왜 생기는가 — 축별 분해

이 지형에서는 두 축이 서로 간섭하지 않으므로, 벡터 갱신식을 두 개의 독립적인 1차원 문제로 쪼갤 수 있습니다. 이것이 지그재그를 이해하는 가장 명확한 방법입니다.

같은 η를 쓰지만 각 축이 느끼는 배율은 서로 다릅니다. 곡률이 큰 축은 ηλ가 커서 배율이 음수가 되기 쉽고(→ 부호가 매번 뒤집힘 = 진동), 곡률이 작은 축은 배율이 1에 가까워 거의 움직이지 않습니다(→ 답답한 전진).

조건수 κ와 학습률의 딜레마

두 축의 곡률 비율을 조건수(condition number)라 부릅니다.

이제 딜레마가 선명해집니다.

• 안정성 제약: 발산하지 않으려면 η < 2/λ_max — 가장 가파른 축이 상한을 정합니다.
• 속도 제약: 실제 수렴 속도는 |1 − ηλ_min| — 가장 완만한 축이 발목을 잡습니다.

η를 λ_max에 맞추면 λ_min 방향은 ηλ_min ≈ 2/κ만큼만 줄어들어 κ가 클수록 기어갑니다. 반대로 λ_min에 맞춰 η를 키우면 λ_max 방향이 폭발합니다. κ가 곧 문제의 난이도인 셈입니다.

숫자로 따라가기 — 한 예제의 10걸음

LEVEL 1의 1차원 예제에 축을 하나 더한 것이 이번 예제입니다. 달라지는 것은 딱 하나 — 두 축의 곡률이 다르다는 점, 즉 κ > 1입니다. 앞에서는 배율이 1−2η 하나뿐이었지만, 이제는 축마다 배율이 따로 생깁니다. 아래 숫자는 전부 손으로 검산할 수 있으며, 데모 2를 κ=10, η=1.6으로 맞추면 같은 경로를 눈으로 볼 수 있습니다.

첫 걸음을 손으로

기울기는 각 변수로 편미분하면 됩니다. ∂L/∂x = x/10, ∂L/∂y = y이므로 시작점에서 ∇L = (0.5, 2)입니다. 이제 갱신식에 그대로 넣습니다.

단 한 걸음에 지그재그의 씨앗이 심어졌습니다. 게다가 방향 자체가 어긋나 있습니다. 최솟값은 왼쪽으로 5, 아래로 2 떨어져 있는데, 그래디언트 반대 방향은 왼쪽으로 0.5, 아래로 2를 가리킵니다. 두 방향의 각도 차이는 약 54°. “가장 가파른 방향”이 “가야 할 방향”이 아니라는 말이 이 숫자입니다.

두 번째 걸음부터는 계산을 반복할 필요도 없습니다. 축별로 배율 곱셈일 뿐이니까요.

10걸음 전체

이 표에서 읽어야 할 것은 세 가지입니다.

1. y 열의 부호가 +, −, +, − 로 완벽하게 교대합니다. 크기는 매번 0.6배로 줄지만 방향은 매번 반대입니다. 화면에서 보이는 지그재그가 바로 이 열입니다.
2. x 열은 부호를 한 번도 바꾸지 않고 0.84배씩만 줄어듭니다. 진동은 없지만 답답합니다. 10걸음을 걸었는데 5에서 0.87까지밖에 못 왔습니다.
3. 손실은 처음 두 걸음에 3.25 → 0.88로 73% 떨어진 뒤 급격히 둔해집니다. 초반 하락은 대부분 y가 정리되면서 생긴 것이고, y가 사라진 뒤에는 느린 x만 남기 때문입니다. 실제 학습 곡선에서 흔히 보는 “초반 급락 후 정체”가 이 구조입니다.

수치로 확인하면 격차가 분명합니다. 10걸음 뒤 y는 처음의 0.6%까지 줄었지만 x는 아직 17.5%가 남아 있습니다. 각 축이 1/1000까지 줄어드는 데 필요한 걸음 수는 y축이 14회, x축이 40회입니다. 즉 전체 학습 시간의 3분의 2 가까이가 이미 조용해진 세로축을 데리고 가로축을 기다리는 시간입니다.

η를 바꿨다면 — 같은 지형, 다섯 가지 선택

같은 예제에 모멘텀을 얹으면

이 지형의 이론적 최적값은 β^★ = 0.270, η^★ = 2.309입니다(κ=10이라 β가 관행값 0.9보다 훨씬 작습니다). 같은 시작점에서 손실을 나란히 놓으면 이렇습니다.

초반 네 걸음은 모멘텀이 오히려 손해입니다. 관성 때문에 더 크게 넘어가 k=2에서는 손실이 3배 넘게 높습니다. 그러다 5번째 걸음에서 따라잡고, 10번째 걸음에서는 33배 앞섭니다. 모멘텀은 “첫 걸음을 잘 딛는 방법”이 아니라 “반복이 쌓일수록 유리해지는 방법”입니다. 몇 걸음만 보고 옵티마이저를 판단하면 안 되는 이유이기도 합니다.

LEVEL 3 · 심화
최적 학습률과 수렴 속도의 한계

이차 함수라면 최적의 η를 정확히 계산할 수 있습니다. 모든 축의 배율 중 최댓값 max_i |1 − ηλ_i|를 최소화하면 되는데, 이는 양 끝 두 개, 즉 |1−ηλ_min|과 |1−ηλ_max|가 같아지는 지점입니다.

주목할 점: 최적 학습률에서도 지그재그는 사라지지 않습니다. 정의상 η^★λ_max = 2κ/(κ+1) > 1이므로 가파른 축의 배율은 항상 음수입니다. 최적점은 “진동 없음”이 아니라 “진동의 감쇠 속도와 전진 속도가 정확히 균형을 이루는 점”입니다.

반복 수가 κ에 선형으로 늘어납니다. κ가 10배가 되면 학습 시간도 10배입니다. 그런데 마지막 열이 말하듯, 모멘텀을 쓰면 이 의존성이 κ로 떨어집니다 — 이것이 다음 절의 핵심입니다.

처방 다섯 가지

① 문제 자체를 동그랗게 — 정규화

가장 근본적인 해법은 알고리즘이 아니라 지형을 바꾸는 것입니다. 입력 특징을 표준화(평균 0, 분산 1)하거나 배치 정규화·층 정규화를 넣으면 헤세 행렬의 고윳값 분포가 좁아져 κ 자체가 줄어듭니다. 데모 2에서 κ=1 버튼을 누르면 경로가 단 한 걸음의 직선이 되는 것을 볼 수 있습니다. 지그재그 대응책 중 비용 대비 효과가 가장 큽니다.

② 진동을 상쇄시키기 — 모멘텀 (Heavy Ball)

이전 이동 방향을 관성으로 누적합니다. 공이 골짜기를 구르듯 움직인다는 비유에서 이름이 왔습니다.

왜 지그재그가 줄어들까요? 부호 때문입니다. 진동하는 축의 그래디언트는 +, −, +, −로 번갈아 나타나므로 누적하면 서로 상쇄됩니다. 반면 골짜기를 따라가는 축의 그래디언트는 계속 같은 부호라 누적되어 실효 보폭이 최대 1/(1−β)배(β=0.9면 10배)까지 커집니다. 억눌러야 할 방향은 억누르고, 밀어야 할 방향은 미는 셈입니다.

Nesterov 가속 경사법(NAG)은 “먼저 관성만큼 미리 가본 뒤 그 지점의 기울기를 재는” 변형으로, 과도한 오버슈트를 한 박자 먼저 교정합니다. 일반 볼록 함수에서 O(1/k²) 수렴률을 보장하며, 이는 1차 방법이 도달 가능한 이론적 최적입니다.

③ 축마다 다른 보폭 — 적응적 방법 (RMSProp · Adam)

“하나의 η로 모든 축을 감당할 수 없다”는 것이 문제였으니, 축마다 η를 다르게 주자는 접근입니다. 최근 그래디언트 제곱의 이동 평균으로 각 축을 나눠 줍니다.

그래디언트가 큰(가파른) 축은 v가 커서 자동으로 보폭이 줄고, 작은 축은 늘어납니다. 대각 근사 전처리(diagonal preconditioning)로 κ를 실질적으로 낮추는 것과 같습니다. 다만 축이 회전된 골짜기(변수 간 상관이 큰 경우)에는 대각 성분만으로 부족해 효과가 제한됩니다.

④ 곡률을 직접 쓰기 — 2차 방법

뉴턴법 w_k+1 = w_k − H⁻¹∇L은 헤세 행렬의 역행렬을 곱해 지형을 완벽한 원으로 되돌립니다(실질 κ = 1). 이차 함수라면 단 한 걸음에 끝납니다. 문제는 파라미터 n개일 때 H가 n×n이라 딥러닝(n ≈ 10⁹)에서는 계산이 불가능하다는 점. 그래서 L-BFGS(저계수 근사), K-FAC(크로네커 인수분해), Shampoo 같은 근사 2차 방법이 쓰입니다.

⑤ 걸음 폭을 시간에 따라 줄이기 — 스케줄과 클리핑

초반에는 큰 η로 빠르게 내려오고 후반에는 줄여 진동을 잠재우는 학습률 스케줄(step decay, cosine annealing)이 표준입니다. 초반 발산을 막는 워밍업, 그래디언트 폭발을 잘라내는 클리핑도 함께 쓰입니다. 다만 이들은 증상 완화이지 κ를 줄이지는 않습니다.

비교 실험실

같은 골짜기, 같은 시작점, 같은 반복 횟수에서 세 방법의 경로를 겹쳐 봅니다.

진단 가이드 — 증상에서 처방까지

핵심 정리 카드