TRANSFORMER
3D LAYER VIEW

6 Blocks · 4 Heads · 512 Dim

ATTENTION LAYER
FEED-FORWARD
RESIDUAL STREAM
OUTPUT LOGITS
GENERATING
東京は
INPUT TOKENS
Layer Processing 各 Transformer ブロックは Self-Attention と Feed-Forward の 2 サブレイヤーで構成される。残差接続がすべての層を貫き、勾配の消失を防ぐ。

粒子の流れは Residual Stream ——情報が層を越えて保持・更新され続ける様子を表している。
VIEW
MODE
DRAG to rotate SCROLL to zoom