Attention Is All You Need — 인터랙티브 가이드

§1

언어 모델: 문장에 확률을 매기다

언어 모델은 텍스트에 대한 확률 모델입니다. 문법과 의미를 모두 학습해야 좋은 확률을 매길 수 있습니다. 아래 세 문장에 좋은 언어 모델이 어떤 확률을 주는지 보세요.

문장 확률 비교

막대에 마우스를 올리면 이유가 표시됩니다. (개념 설명용 상대값)

현대 LLM은 자기회귀(autoregressive) 방식으로 "다음 토큰"을 예측하며, 문장 전체 확률을 조건부 확률의 곱으로 분해합니다. "the the…" 같은 국소 의존성과 "치즈는 쥐를 먹지 않는다" 같은 장거리 의존성을 동시에 다뤄야 합니다.

핵심 — 긴 문맥에서 구문·의미·맥락을 동시에 다루는 것이 어렵고, 한 번에 한 단어씩 처리하는 RNN에게는 특히 어렵습니다. 이 장의 모든 논문은 결국 이 문제와 싸운 기록입니다.

§2

seq2seq와 "생각 벡터"의 병목

2014년 Sutskever·Vinyals·Le의 seq2seq는 인코더 RNN이 입력 문장 전체를 고정 길이 벡터 하나("thought vector")로 압축하고, 디코더가 그 벡터로부터 번역을 생성합니다.

고정 길이 병목 체험

문장이 길어져도 벡터 길이는 그대로입니다. 슬라이더로 문장 길이를 늘려 보세요.

문장 길이

→ 압축 →

[0.1, −0.2, 0.8, 1.3, −0.3]

→ 디코더 →Él está comiendo…

단어 6개의 구문·의미 전부가 길이 5 벡터 하나에 → 압축 부담 1.2×

짧은 문장에서는 그럭저럭 통하지만, 문장이 길어질수록 인코더의 마지막 hidden state는 앞부분을 "잊어버립니다". 실제로 문장 길이에 따른 번역 품질(BLEU)을 보면 병목이 뚜렷합니다.

문장 길이 vs. 번역 품질 (Bahdanau et al. 2014, Figure 5.5 근사)

차트 위에서 마우스를 움직여 보세요. 고정 벡터 방식(RNNenc)은 약 20단어를 넘으면 급락하고, attention을 쓴 RNNsearch-50은 60단어까지 안정적입니다.

곡선은 원 논문 그림의 근사 재현입니다. 정확한 수치는 아래 표(WMT EN→FR 전체 성능)를 참고하세요.

시스템	길이 제한	BLEU (전체)	BLEU (미등록어 제외)
RNNencdec-30 (고정 벡터)	≤30	13.93	24.19
RNNsearch-30 (attention)	≤30	21.50	31.44
RNNencdec-50	≤50	17.82	26.71
RNNsearch-50 (추가 학습)	≤50	28.45	36.15
Moses (통계 기반, 참고)	—	33.30	35.63

핵심 — 문제의 근원은 "모든 것을 벡터 하나에 욱여넣기". 해법의 방향은 두 가지였습니다: 임시방편(입력 뒤집기, §3)과 구조적 해결(attention, §4).

§3

임시방편: 입력 문장 뒤집기

Sutskever의 2014 seq2seq 논문의 유명한 트릭: 타깃은 그대로 두고 입력 순서만 뒤집으면 BLEU가 약 5점 오르고 perplexity가 5.8 → 4.7로 떨어졌습니다. 모델이 똑똑해진 게 아니라, 최적화 문제가 쉬워진 것입니다.

신호 경로 길이 실험

번역에서 보통 소스의 첫 단어가 타깃의 첫 단어와 대응합니다. 소스 첫 단어(x₁)의 정보가 디코더 시작점까지 도달하는 경로를 세어 보세요.

x₁ → 디코더 첫 예측까지 거치는 단계: 4단계

경로가 짧을수록 gradient가 잘 흐르고, 소스와 타깃의 "시작 부분"을 정렬하기 쉬워집니다. 단, 어순이 크게 다른 언어쌍(예: SVO→SOV)에서는 오히려 해로울 수 있고, 중→일 번역 실험에서는 품질이 떨어졌습니다. Transformer는 모든 위치를 동시에 보므로 이 트릭이 필요 없습니다.

핵심 — 뒤집기 트릭은 "정보가 필요한 곳까지의 경로를 줄이면 학습이 쉬워진다"는 교훈을 남겼습니다. attention은 이 경로를 아예 1단계로 만드는 일반해입니다.

§4

Bahdanau Attention: 정렬을 배우다 (2014)

Bahdanau·Cho·Bengio의 "Neural Machine Translation by Jointly Learning to Align and Translate"는 디코더가 매 단어를 생성할 때마다 소스 문장의 어느 부분을 볼지 동적으로 선택하게 했습니다(RNNsearch). thought vector 하나에 의존하는 대신, 각 스텝에서 소스 단어들의 가중 평균으로 context vector를 새로 만듭니다.

인코더 — 양방향 GRU. 각 단어가 앞뒤 문맥을 모두 담은 "annotation"을 가짐
Attention — 매 스텝 소스 단어별 관련도 점수 → softmax → 가중 평균 context
디코더 — GRU(1,000 유닛)가 이전 상태 + 직전 단어 + context로 다음 단어 예측

정렬(alignment) 히트맵 — 영어→프랑스어 (Figure 5.6 재현)

행 = 생성 중인 프랑스어 단어, 열 = 영어 소스 단어. 셀에 마우스를 올리면 가중치가 표시됩니다. 대체로 대각선이지만, “European Economic Area” → “zone économique européenne”에서 어순이 뒤집히며 attention이 점프하는 것을 확인하세요 (행 zone·économique·européenne).

01 (가중치)

이 논문은 약 4만 회 인용되었고 2025년 ICLR Test-of-Time Award 준우승작으로 선정되었습니다. Bahdanau의 "신경망 정렬" 메커니즘이 곧 Transformer self-attention의 직계 조상입니다.

핵심 — attention의 첫 번째 정체: 미분 가능한 소프트 정렬(soft alignment). "어디를 볼지"를 딱딱하게 고르는 대신, 모든 위치에 확률 가중치를 주고 가중 평균한다 — 그래서 역전파로 학습됩니다.

§5

Scaled Dot-Product Attention: Q·K·V

Transformer는 attention을 세 가지 학습된 투영으로 정식화했습니다. Query는 "지금 내가 찾는 것", Key는 "각 토큰이 제공하는 것", Value는 "실제로 전달될 정보"입니다.

Attention(Q, K, V) = softmax(QK^T√d_k)V

점수(QK^T)를 √d_k로 나누는 것이 "scaled"의 의미입니다. 왜 나눠야 할까요? 직접 실험해 봅시다.

√d̄ₖ 스케일링 실험 — softmax 포화

q와 k의 각 성분을 평균 0, 분산 1로 뽑으면 내적 q·k의 분산은 d_k에 비례해 커집니다. d_k를 키우고 스케일링을 꺼 보세요 — softmax가 한 곳으로 쏠리며(포화) gradient가 사라집니다.

d_k =

최대 가중치 — · 엔트로피 — bits

한 토큰의 새 표현이 만들어지는 과정

책의 예시 "How are you"에서 "are"를 업데이트한다고 합시다. "are"의 Query가 세 토큰의 Key와 비교되어 가중치 0.2 / 0.1 / 0.7이 나오면, 새 표현은 세 Value의 가중 혼합이 됩니다. 슬라이더로 점수를 바꿔 보세요 — softmax를 거쳐 혼합비가 달라집니다.

핵심 — attention은 미분 가능한 조회(soft lookup)입니다: Q로 질의하고, K와의 유사도로 가중치를 만들고, V를 가중 평균해 가져옵니다. √d_k는 이 조회가 학습 내내 부드럽게(gradient가 흐르게) 유지되도록 하는 안전장치입니다.

§6

Self-Attention과 인코더 블록

self-attention에서는 Q·K·V가 모두 같은 문장에서 나옵니다. 각 토큰이 같은 문장의 다른 토큰들에서 정보를 모아, 자신을 문맥 민감한 요약으로 다시 씁니다.

토큰을 클릭해 보세요 — "The mouse ate the cheese ."

클릭한 토큰(Query)이 각 토큰(Key)에 주는 attention 가중치가 주황 막대로 표시됩니다. 아래에는 그 토큰의 새 표현이 어떤 혼합인지 보입니다.

가중치는 설명용으로 손수 구성한 값입니다. 실제 모델에서는 학습된 W_Q·W_K·W_V 행렬이 이 패턴을 만들어냅니다. "ate"가 주어 mouse와 목적어 cheese를 강하게 보고, 관사 "the"가 자기 명사를 찾는 패턴에 주목하세요.

attention이 토큰 사이의 정보를 섞은 뒤에는, feed-forward 네트워크(FFN)가 각 위치를 개별적으로 변환합니다(512 → 2048 → ReLU → 512). 각 서브레이어는 residual 연결과 layer normalization으로 감싸여 깊게 쌓아도 안정적입니다.

인코더 레이어 한 층 (아래→위)

입력 임베딩 + 위치 인코딩 (§9)

↑

Multi-Head Self-Attention ⤴ residual

Add & LayerNorm

↑

FFN: 512 → 2048 → ReLU → 512 ⤴ residual

Add & LayerNorm

↑ ×6층 반복

핵심 — 역할 분담: attention은 토큰들 사이에서 정보를 섞고, FFN은 섞인 표현을 각 위치에서 비선형 변환합니다. 이 블록을 6층(base) 쌓은 것이 인코더입니다.

§7

디코더: Causal Mask와 Cross-Attention

디코더는 생성용으로 설계되었습니다. 층마다 세 부분 — ① masked self-attention, ② cross-attention, ③ FFN — 이 있습니다.

① Causal mask — 미래를 보지 못하게

next-token 예측을 학습하려면, 각 토큰은 자기보다 앞의 토큰만 볼 수 있어야 합니다. 미래 위치의 점수를 −∞로 바꾸면 softmax 이후 정확히 0이 됩니다. 토글해 보세요.

셀 값은 softmax를 거친 attention 가중치(행 합 = 1). 마스크를 켜면 위삼각(미래)이 −∞ → 0이 되어 각 행이 과거에만 분배됩니다. 배치 학습에서는 <PAD> 위치를 가리는 padding mask도 함께 씁니다.

② Cross-attention — "Je vais à l'école" → "I am going to school"

cross-attention은 Q는 디코더에서, K·V는 인코더에서 옵니다. 생성 스텝을 옮기며, 디코더가 소스의 어디를 참조하는지 보세요.

생성 스텝

인코더 (소스, K·V 제공)

디코더 (생성 중, Q 제공)

옛 seq2seq는 소스 전체를 벡터 하나로 압축했지만, cross-attention 덕에 디코더는 매 스텝 어떤 인코더 토큰이든 직접 참조합니다. "school"을 만들 때 "école"에 강하게 주목하는 것을 확인하세요. 마지막에 linear + softmax가 어휘 전체에 대한 확률을 만들고, 다음 토큰을 뽑아 붙이고, 반복합니다.

핵심 — 원 논문의 인코더–디코더는 번역용 구성이고, 현대 LLM 다수는 디코더 전용(decoder-only) 후손입니다. 그러나 중심 아이디어는 같습니다: attention이 문맥 민감한 표현을 만들어 next-token 예측을 유용하게 한다.

§8

Multi-Head Attention: 여러 관점으로 보기

attention을 한 번만 하면 "관점"도 하나뿐입니다. Transformer는 d_model=512를 h개의 head로 쪼개(head당 d_k=512/h), 각 head가 서로 다른 패턴을 병렬로 학습하게 한 뒤 결과를 이어붙입니다.

head 수를 바꿔 보세요

h =

head당 차원 d_k = 64 (= 512 / h)

예시 패턴(설명용): 실제 학습된 Transformer에서도 head들이 "이전 토큰 추적", "관사→명사 연결", "문장 시작 참조", "동사↔논항 연결" 같은 서로 다른 역할로 분화하는 것이 관찰됩니다. h를 늘려도 전체 연산량은 비슷합니다 — 관점의 수와 head당 해상도(d_k)를 맞바꾸는 것.

핵심 — base(65M) → big(213M) 스케일업에서도 head당 차원은 고정한 채 폭과 head 수를 늘렸습니다. 동일 블록의 반복이라는 모듈식 설계가 Transformer를 쉽게 확장 가능한 구조로 만들었습니다.

§9

Positional Encoding: 순서 없는 모델에 순서를

순환도 합성곱도 없앴으니, 그대로라면 모델은 "cat fat"과 "fat cat"을 구분하지 못합니다. attention 자체는 순서를 모르는(order-agnostic) 연산이기 때문입니다. 해법: 주파수가 다른 sin/cos 파형을 임베딩에 더해 위치를 새겨 넣습니다.

PE(pos, i) 히트맵 + 파형 탐색기

가로 = 문장 내 위치(0–99), 세로 = 임베딩 차원(0–63). 짝수 차원은 sin, 홀수는 cos이며 차원이 커질수록 파장이 기하급수적으로 길어집니다. 슬라이더로 특정 차원의 파형을 보세요. 히트맵 위에 마우스를 올리면 값이 표시됩니다.

−1+1

차원 i = 6

낮은 차원(위쪽)은 빠르게 진동해 이웃 위치를 구분하고, 높은 차원은 느리게 진동해 멀리 떨어진 위치를 구분합니다 — 자릿수가 다른 시계 바늘들처럼. 삼각함수 덧셈정리 덕분에 상대 거리도 선형 변환으로 표현됩니다.

후속 모델들은 이 방식을 다듬어 왔습니다: BERT(2018)·GPT-2/3은 학습형 절대 위치 임베딩, T5(2019)는 학습형 상대 위치, LLaMA(2023)는 attention 내부에 상대 위치를 직접 주입하는 RoPE(rotary)를 사용합니다. 고정·절대 → 상대·확장 가능한 방식으로의 흐름입니다.

핵심 — 비판자들은 위치 인코딩을 "임시방편(hacky workaround)"이라 불렀고, 실제로 무작위 어순 감지 실험에서 약점도 확인됐습니다. 그러나 번역처럼 어순에 민감한 과제로 학습하면 Transformer는 순환 모델보다 위치 정보를 더 잘 학습했습니다 — 구조의 결핍을 최적화와 스케일이 보상한 사례.

§10

Attention의 친척들: 가리키기, 기억, 순서

Transformer 이전에, attention이 "문맥 요약" 이상임을 보여준 세 갈래가 있었습니다.

10.1 Pointer Networks (2015) — 분포 자체가 출력

번역은 어휘가 고정돼 있지만, 볼록 껍질(convex hull)·순회 판매원 문제(TSP)처럼 답이 입력의 원소들인 문제가 있습니다. Ptr-Net은 Bahdanau attention의 가중치를 context 계산에 쓰는 대신 입력 위치에 대한 확률분포, 즉 출력 그 자체로 사용합니다. "본 것을 설명하기"와 "그것을 손가락으로 가리키기"의 차이입니다.

볼록 껍질 포인팅 데모

캔버스를 클릭해 점을 추가하고 포인팅 실행을 누르세요. 모델이 하듯 매 스텝 입력 점 하나를 "가리키며" 껍질을 출력합니다. (여기서는 실제 기하 알고리즘으로 정답 시퀀스를 계산해 시연합니다.)

50개 점 기준 정확도: LSTM 단독 1.9% → LSTM+attention 38.9% → Ptr-Net 72.6%. 게다가 5–50개 점으로 학습한 모델이 500개 점에서도 면적 기준 99.2%를 유지하며 일반화했습니다. TSP에서는 자신을 가르친 휴리스틱(A1)보다 나은 해를 찾기도 했습니다.

10.2 Neural Turing Machines (2014) — 미분 가능한 메모리

Graves·Wayne·Danihelka의 NTM은 신경망(controller)에 외부 메모리를 붙이고, 읽기/쓰기 헤드가 attention으로 메모리 위치를 선택하게 했습니다. 이것이 "Graves attention"입니다.

Controller (LSTM)

Read heads ↓↑

Write heads ↓

M E M O R Y

내용 기반 주소지정 — query 벡터와 메모리 내용의 코사인 유사도 → softmax. Transformer의 Q·K attention과 사실상 같은 뼈대
위치 기반 주소지정 — 위치로 접근(복사·정렬 같은 구조적 작업에 유리)

NTM은 학습이 어려워 널리 쓰이진 못했지만, Transformer는 이 아이디어의 암묵적 버전으로 볼 수 있습니다 — 별도 메모리 행렬 없이, 시퀀스 자체를 메모리로 삼아 self-attention으로 모든 위치를 읽습니다.

10.3 Order Matters (2015) — 순서는 공짜가 아니다

Vinyals·Bengio·Kudlur는 seq2seq가 입력 순서에 민감하다는 것을 체계적으로 보였습니다. 집합처럼 자연 순서가 없는 데이터라도, 어떤 순서로 넣느냐에 따라 성능이 달라집니다.

어순 실험 — 언어 모델링 perplexity

같은 문장을 다른 순서로 학습시키면? (낮을수록 좋음)

해법으로 순서 불변 Read-Process-Write 인코더(메모리에 무순서로 쓰고, attention으로 반복해 읽어 처리)를 제안했습니다. 구문 분석에서는 트리 순회 순서만 바꿔도 F1이 89.5% ↔ 81.5%로 갈렸습니다. attention 기반 모델은 순서 변화에 더 강건하지만, 여전히 순서의 영향을 받습니다.

핵심 — 세 논문의 공통 주제: 유연한 attention 주소지정. 모든 것을 hidden state 하나에 압축하는 대신, 필요할 때 특정 입력 원소·메모리 위치를 참조하는 신경망이 더 잘 작동합니다. Transformer는 이 교훈의 종합입니다.

§11

결과, 회의론, 그리고 밈

Transformer는 기계 번역의 새 기록을 세웠고 — 더 중요하게는 — 더 빨리, 병렬로 학습됐습니다.

41.0

BLEU · WMT EN→FR
137B 파라미터 MoE 포함 기존 전부 추월

28.4

BLEU · WMT EN→DE
앙상블 포함 전 모델 능가

12시간

base 모델 학습 시간
P100 GPU 8장 1대

91.3

F1 · 구문 분석 (WSJ)
구조 변경 없이 번역 밖 과제도

비결은 경로 길이입니다. RNN은 토큰을 순서대로 처리해 멀리 있는 두 토큰을 잇는 데 거리만큼의 단계가 필요하지만, self-attention은 어떤 두 토큰이든 한 번의 연산으로 직접 연결합니다("cheese"가 몇 단어 떨어져 있든 "mice"를 바로 봅니다). 대신 비용이 있습니다: 토큰 n개면 n² 쌍 — 500토큰이면 25만, 1,000토큰이면 100만 상호작용. 이 제곱 비용이 오늘날 장문맥 연구의 출발점입니다.

회의론도 있었습니다. "순환 없이는 안 된다"던 이들의 우려는 2018년 Google의 Universal Transformer(깊이 방향 순환 + 튜링 완전성)로 구체화됐지만, 성능 이득 없이 느리기만 했습니다. 딥러닝은 최적화를 방해하지 않는 단순한 설계를 선호합니다. Ilya Sutskever의 회고처럼 — Transformer는 "여러 아이디어의 동시 결합"이며, 논문을 보자마자 그의 반응은 "We're going to do Transformers now"였고, OpenAI는 GPT-2·GPT-3으로 스케일링의 시대를 열었습니다.

"X Is All You Need" 밈

제목은 시대의 캐치프레이즈가 됐습니다. arXiv에서 "All You Need"를 변주한 논문이 700편 이상 — 칩에 마우스를 올려 보세요.

2025년 Nature 분석 기준, 이 논문은 21세기 피인용 7위. ChatGPT 출시 전야(2022-11-29) Sutskever는 이렇게 말했습니다 — "The Transformer is well named, as it transformed everything."

핵심 — 이 논문의 진짜 주장은 AGI 선언이 아니라 정밀한 공학적 통찰이었습니다: 필수라고 여겨졌던 순환과 합성곱은 더 단순하고 확장 가능한 메커니즘으로 대체될 수 있다. 순서 처리가 "구조"가 아니라 "학습"으로 해결되자, 남은 지배 변수는 스케일이었습니다.

§12

코드로 보기: The Annotated Transformer

Alexander "Sasha" Rush의 The Annotated Transformer는 원 논문을 줄 단위 주석과 함께 약 400줄의 PyTorch로 재현한 자료입니다(GitHub 스타 6,000+, 포크 1,300+). "Transformer는 구현이 어렵다"는 통념을 깨며 The Illustrated Transformer 등 수많은 "annotated" 프로젝트의 원형이 됐습니다. 아래는 그 페이지에서 그대로 가져온 핵심 4개 조각입니다 — §5~§9에서 만져 본 것들이 코드로는 이렇게 짧습니다.

attention() — §5의 수식 그대로 · 5줄이면 충분

subsequent_mask() — §7의 causal mask · 위삼각 행렬

MultiHeadedAttention — §8의 head 분할 · view + transpose가 전부

PositionalEncoding — §9의 sin/cos · log 공간 계산