역전파(Backpropagation) — 인터랙티브 가이드

1

순전파 — 지금의 가중치로 예측해 보기

가장 작은 "신경망"인 뉴런 하나부터 시작하자. 입력 x에 가중치 w를 곱하고 편향 b를 더해 예측 ŷ를 만든다.

ŷ = w·x + b

순전파(forward pass)는 단순하다: 지금 갖고 있는 가중치를 그대로 사용해 입력에서 출력까지 계산을 흘려보내는 것. 가중치가 엉터리면 예측도 엉터리다. 아래에서 w, b를 직접 움직여 데이터에 선을 맞춰 보자.

손으로 하는 학습

회색 점이 데이터, 보라색 선이 모델의 예측. 점선(빨강)이 각 점의 오차(residual)다. 오차가 작아지도록 슬라이더를 조절해 보자.

w = 0.20 b = 2.00 평균제곱오차(MSE) = –

이 짓을 사람이 손으로 하는 대신, 컴퓨터가 자동으로 하게 만드는 것이 학습이다. 그러려면 먼저 "얼마나 틀렸는지"를 숫자로 정의해야 한다 → 손실 함수.

2

손실 함수 — "얼마나 틀렸는가"를 숫자 하나로

손실 함수(loss function)는 예측과 정답의 차이를 숫자 하나로 요약한다. 회귀에서 가장 흔한 것이 평균제곱오차(MSE)다.

L(w, b) = 1n Σ ( w·x_i + b − y_i )² 분류 문제라면 교차 엔트로피(cross-entropy)를 쓴다 — 핵심 역할은 같다

여기서 관점을 하나 바꾸는 것이 결정적이다. 손실은 데이터의 함수가 아니라 가중치의 함수다. 데이터는 고정돼 있고, 우리가 움직일 수 있는 것은 w와 b뿐이니까. w를 가로축, 손실을 세로축에 놓으면 손실 지형(loss landscape)이 그려진다.

손실 지형 위의 현재 위치

곡선 위의 점을 드래그해 보자. 각 위치에서의 접선(주황)이 곧 기울기 ∂L/∂w다. 기울기의 부호는 "어느 쪽이 내리막인지"를 알려준다.

w = – L(w) = – ∂L/∂w = –

최저점 근처에서는 기울기가 0에 가까워진다. "기울기 = 0"이 되는 곳이 손실이 가장 작은 곳 — 학습이 도달하려는 지점이다.

핵심. 손실 함수는 두 가지 일을 한다. ① 모델이 얼마나 틀렸는지를 숫자 하나로 만들고, ② 미분 가능하게 만들어 "어느 방향으로 가중치를 고치면 덜 틀리는지"(기울기)를 계산할 수 있게 한다. ②가 없으면 역전파도 없다.

3

경사 하강법 — 기울기의 반대 방향으로 한 걸음

기울기를 알면 업데이트 규칙은 한 줄이다. 기울기가 양수면 왼쪽으로, 음수면 오른쪽으로 — 즉 항상 내리막으로 한 걸음씩.

w ← w − η · ∂L∂w η(에타)는 학습률(learning rate) — 한 걸음의 보폭

한 걸음씩 굴러 내려가기

아무 데서나 시작해 스텝을 밟아 보자. 학습률을 키우면 빨라지지만, 너무 크면(≳ 0.33) 반대편으로 튕겨 나가며 발산한다.

학습률 η = 0.050 스텝 0 · w = – · L = –

진동·발산 등 학습률이 만드는 현상은 경사 하강법 자료에서 더 깊게 다룬다.

4

연쇄 법칙 — 깊은 곳의 가중치에도 기울기를 전달하는 법

뉴런 하나짜리 모델은 ∂L/∂w를 손으로 바로 미분할 수 있었다. 하지만 실제 신경망은 수백만 개의 가중치가 여러 층에 걸쳐 있다. 이때 필요한 것이 연쇄 법칙(chain rule)이고, 연쇄 법칙을 계산 그래프 위에서 출력→입력 방향으로 체계적으로 적용하는 알고리즘이 바로 역전파(backpropagation)다.

∂L∂w = ∂L∂a · ∂a∂z · ∂z∂w 중간 변수를 거쳐 곱해 나가면, 아무리 깊은 곳의 가중치라도 기울기를 구할 수 있다

뉴런 하나에 시그모이드 활성화를 붙인 작은 계산 그래프로 직접 해 보자: z = w·x + b → a = σ(z) → L = (a − t)². 순전파로 값을 채운 뒤, 뒤에서부터 기울기를 한 단계씩 곱하며 전달한다.

역전파 한 단계씩 밟아 보기

슬라이더로 순전파 값이 바뀐다. 「역전파 한 단계」를 눌러 기울기(주황 숫자)가 출력에서 입력 쪽으로 흘러가는 것을 확인하자.

x = 1.50 w = 0.80 b = -0.20 정답 t = 1.00

입력 x

–

가중치 w

–

편향 b

–

→

z = w·x + b

–

→

a = σ(z)

–

→

L = (a − t)²

–

순전파 완료. 이제 뒤에서부터 미분을 곱해 나간다.

① 출발점. 손실 자기 자신에 대한 기울기는 항상 ∂L/∂L = 1. 여기서 시작한다. 그리고 ∂L/∂a = 2(a−t) = — 예측 a가 커지면 손실이 어떻게 변하는지.
② σ를 통과. 시그모이드의 국소 미분은 ∂a/∂z = a(1−a) = . 위에서 온 기울기에 곱한다: ∂L/∂z = ∂L/∂a · ∂a/∂z = .
③ 가중치 도착. z = w·x + b에서 ∂z/∂w = x, ∂z/∂b = 1. 따라서 ∂L/∂w = ∂L/∂z · x = , ∂L/∂b = . 각 가중치가 손실에 미치는 영향이 계산됐다.
④ 업데이트 (η = 0.5). w ← w − 0.5·∂L/∂w = , b ← . 새 가중치로 다시 순전파하면 손실은 L = →

모든 단계가 「국소 미분 × 위에서 흘러온 기울기」의 반복이다. 층이 100개여도 규칙은 같다 — 그래서 아무리 깊은 네트워크도 기울기를 구할 수 있다.

역전파 = 연쇄 법칙 + 중복 계산 제거. 출력에서부터 거꾸로 내려오며 각 노드의 기울기를 한 번씩만 계산해 아래로 전달한다. 순전파와 거의 같은 비용으로 모든 가중치의 기울기를 얻는다.

5

전체 루프 — 작은 신경망이 함수를 배우는 과정

이제 부품이 다 모였다. 순전파 → 손실 → 역전파 → 업데이트를 수천 번 반복하면 난수로 시작한 가중치가 데이터를 설명하는 값으로 이동한다. 은닉 뉴런 8개짜리 신경망(1–8–1, tanh)이 사인 곡선을 배우는 것을 실시간으로 지켜보자.

신경망 학습 실시간 관찰

회색 점: 학습 데이터(sin 곡선). 보라색 선: 지금 가중치의 예측. 처음엔 아무렇게나 생긴 선이 점점 데이터에 붙는다.

스텝 0 · 손실 –

오른쪽은 손실 곡선(log 스케일). 「은닉 뉴런 기여 보기」를 켜면 얇은 색선 8개가 나타난다 — 각 은닉 뉴런이 담당하는 조각이며, 이들의 합이 보라색 예측선이다. 역전파는 이 8개 뉴런 각각에게 "네가 담당한 조각을 이렇게 고쳐라"라는 기울기를 나눠 준다.

6

합성곱 필터는 어떻게 에지 검출기가 되는가

드디어 원래 질문이다. CNN의 3×3 필터도 결국 가중치 9개일 뿐이다. 난수로 시작한 필터가 손실과 기울기만 보고 수직 에지 검출기(소벨 필터)로 수렴해 가는 과정을 실제로 돌려 보자.

실험 설정: 어떤 "정답 필터"(소벨)가 이미지를 변환해 정답 출력을 만든다. 학습 필터는 정답 필터를 절대 볼 수 없다. 볼 수 있는 것은 오직 ① 입력 이미지, ② 자신의 출력과 정답 출력의 차이(손실), ③ 그 기울기뿐이다. 매 스텝 노이즈가 다른 새 이미지가 주어진다.

∂L∂W_u,v = 2N Σ_i,j 오차(i,j) · 입력(i+u, j+v) 필터 각 칸의 기울기 = 「오차 맵」과 「그 칸이 곱해졌던 입력 픽셀들」의 상관 — 합성곱 층의 역전파도 결국 곱셈 노드의 연쇄 법칙이다

난수 필터 → 소벨 필터: 학습 과정 관찰

「▶ 학습」을 누르고 가운데 학습 필터의 9개 숫자가 왼쪽 정답 필터와 같아져 가는 것을 지켜보자. 아래 출력 지도도 함께 정답에 수렴한다.

학습률 η = 0.30 스텝 0 · 손실 – · 필터 거리 –

입력 이미지 (매 스텝 노이즈가 바뀜)

정답 필터 (소벨 · 모델은 못 봄)

학습 중인 필터 ← 이 9개 숫자를 지켜보세요

정답 출력 (정답 필터 적용 결과)

현재 출력 (학습 필터 적용 결과)

손실 (log)

"필터 거리"는 학습 필터와 정답 필터 9개 값의 평균 제곱 차이. 모델은 이 값을 모른 채 오직 출력 오차만 줄였는데도 0으로 간다 — 출력을 정답과 같게 만드는 유일한 방법이 필터 자체가 같아지는 것이기 때문이다. 학습률을 0.9까지 올려 발산도 시켜 보자.

실제 CNN 학습도 이것과 본질적으로 같다. 다른 점은 규모뿐이다: 필터가 수백 개, 층이 수십 개, 손실이 분류용 교차 엔트로피이고, "정답 출력"의 자리에 이미지에 붙은 라벨이 있다. AlexNet의 conv1 필터가 가보르 필터·색 블롭처럼 생긴 이유는 누가 그렇게 설계해서가 아니라, 분류 손실을 낮추는 방향으로 기울기를 따라가다 보니 그런 필터가 "발견"됐기 때문이다.

이 데모의 전체 학습 루프 — 실제 코드 20줄

for (step = 0; step < N; step++) {
  img    = 새 이미지();                    // 매 스텝 노이즈가 다른 학습 데이터
  target = conv(img, W_true);             // "세상"이 만드는 정답 (모델은 W_true를 모름)

  // ① 순전파
  out  = conv(img, W);                    // 지금 필터로 예측
  // ② 손실
  err  = out - target;
  loss = mean(err²);
  // ③ 역전파 — 필터 각 칸의 기울기
  for (u,v of 3×3)
    grad[u][v] = (2/N) * Σᵢⱼ err[i][j] * img[i+u][j+v];
  // ④ 업데이트 — 기울기 반대 방향으로 한 걸음
  for (u,v of 3×3)
    W[u][v] -= lr * grad[u][v];
}

7

정리, 그리고 퀴즈

순전파

지금의 가중치로 입력→출력을 계산. 예측을 만든다.

손실 함수

틀린 정도를 미분 가능한 숫자 하나로. 학습의 나침반.

역전파

연쇄 법칙으로 모든 가중치의 ∂L/∂w를 출력→입력 방향으로 계산.

업데이트

w ← w − η·∂L/∂w. 이 네 단계의 수만 번 반복이 곧 학습.

Q1. 순전파(forward pass)가 하는 일은?

순전파는 계산을 앞으로 흘려보내 예측을 만드는 단계다. 가중치 수정은 업데이트, 기울기 계산은 역전파의 몫.

Q2. 손실 함수가 반드시 미분 가능해야 하는 이유는?

손실이 미분 가능해야 ∂L/∂w가 정의되고, 그래야 경사 하강법이 내리막 방향을 알 수 있다. 미분 불가능한 "정확도" 같은 지표를 학습 목표로 직접 못 쓰는 이유다.

Q3. 역전파가 실제로 계산하는 것은?

역전파는 연쇄 법칙을 출력→입력 방향으로 적용해 기울기를 구하는 알고리즘일 뿐, 가중치를 바꾸는 것은 그다음의 업데이트 단계다. 최적값을 한 번에 구해 주지도 않는다 — 방향만 알려 준다.

Q4. §6에서 난수 필터가 정답(소벨) 필터를 한 번도 보지 못했는데도 그 값으로 수렴한 이유는?

손실은 오직 출력의 차이만 쟀다. 다양한 입력에 대해 출력이 전부 같으려면 필터 자체가 같아야 하므로, 손실을 0으로 만드는 과정이 곧 필터를 정답으로 데려간다. 실제 CNN에서도 "라벨을 맞히라"는 손실만으로 에지·색·질감 필터가 저절로 생겨난다.