Relevant source files

The following files were used as context for generating this wiki page: - [model.py](https://github.com/karpathy/nanogpt/blob/master/model.py) - [README.md](https://github.com/karpathy/nanogpt/blob/master/README.md) - [train.py](https://github.com/karpathy/nanogpt/blob/master/train.py) - [config/train_shakespeare_char.py](https://github.com/karpathy/nanogpt/blob/master/config/train_shakespeare_char.py) - [data/shakespeare_char.py](https://github.com/karpathy/nanogpt/blob/master/data/shakespeare_char.py)

# モデル定義の詳細 ## はじめにこのページでは、`nanoGPT`プロジェクトにおけるGPT（Generative Pre-trained Transformer）モデルの定義について詳細に解説します。`nanoGPT`は、教育目的で設計された最小限のGPTモデル実装であり、そのコアとなるモデルアーキテクチャは`model.py`ファイルに集約されています。このモデルは、デコーダ専用のTransformerアーキテクチャに基づいており、自己回帰的なテキスト生成を可能にします。本ドキュメントでは、`model.py`で定義されている主要なコンポーネント、すなわちマルチヘッド注意機構、フィードフォワードネットワーク、そしてそれらを組み合わせたTransformerブロックの構造と動作について、ソースコードに基づいて説明します。モデルの全体像と、各層におけるデータフローを理解することを目的とします。モデルの学習やデータ準備の詳細については、それぞれ`[学習プロセス](#学習プロセス)`や`[データ処理](#データ処理)`のセクションを参照してください。 ## GPTモデルの全体構造 `nanoGPT`のGPTモデルは、`GPT`クラスとして`model.py`内に定義されています。このモデルは、トークンの埋め込み（Embedding）層と、複数の`Block`層（Transformerブロック）を積み重ねたもので構成されます。最終的な出力は、言語モデリングヘッド（Language Modeling Head）を通じて、次のトークンの確率分布を生成します。以下の図は、`GPT`モデルの高レベルな構成要素とデータフローを示しています。 ```mermaid flowchart TB subgraph "GPT Model" direction TB input["Input Token IDs"] --> wte["Token Embedding
(wte)"] input --> wpe["Positional Embedding
(wpe)"] wte --> sum["Add Embeddings"] wpe --> sum sum --> drop["Dropout"] drop --> block["Transformer Block x N"] block --> ln_f["Final LayerNorm
(ln_f)"] ln_f --> lm_head["Language Modeling Head
(Linear)"] lm_head --> output["Output Logits"] end style input fill:#cde4ff style output fill:#cde4ff ``` ### GPTクラスの初期化 `GPT`クラスのコンストラクタ（`__init__`）は、設定オブジェクト（`GPTConfig`）を受け取り、モデルの各層を初期化します。主な初期化処理は以下の通りです。 - **トークン埋め込み層 (`wte`)**: `nn.Embedding`を使用して、各トークンIDを対応するベクトルに変換します。語彙サイズ（`vocab_size`）と埋め込み次元（`n_embd`）で定義されます。 - **位置埋め込み層 (`wpe`)**: `nn.Embedding`を使用して、各トークンのシーケンス内での位置情報をベクトルに変換します。コンテキスト長（`block_size`）と埋め込み次元（`n_embd`）で定義されます。 - **Transformerブロック (`h`)**: `nn.ModuleList`を使用して、`n_layer`個の`Block`モジュールを格納します。 - **最終正規化層 (`ln_f`)**: `LayerNorm`層で、最終的なTransformerブロックの出力を正規化します。 - **言語モデリングヘッド (`lm_head`)**: `Linear`層で、正規化された出力を語彙サイズの次元に射影し、各トークンのロジット（スコア）を計算します。 Sources: [model.py:1-200](https://github.com/karpathy/nanogpt/blob/master/model.py) ### 順伝播処理 (`forward`) `forward`メソッドは、入力トークンIDのテンソル`idx`を受け取り、モデルを通じて順伝播処理を行います。 1. トークンIDを`wte`で埋め込みベクトルに変換します。 2. 位置インデックス（0から`T-1`）を生成し、`wpe`で位置埋め込みベクトルに変換します。 3. トークン埋め込みと位置埋め込みを要素ごとに加算します。 4. 結果をドロップアウト層に通します。 5. 各`Block`層を順番に適用します。 6. 最終的な出力を`ln_f`で正規化します。 7. `lm_head`でロジットを計算します。 8. ターゲット（`targets`）が提供されている場合は、損失も計算します。 Sources: [model.py:1-200](https://github.com/karpathy/nanogpt/blob/master/model.py) ## Transformerブロック (`Block`) `Block`クラスは、Transformerの基本的な構成単位です。1つの`Block`は、マルチヘッド注意機構とフィードフォワードネットワークから構成され、それぞれの前に層正規化（Layer Normalization）が適用されます。また、残差接続（Residual Connection）も用いられます。 ```mermaid flowchart TB subgraph "Transformer Block" direction TB blockInput["Block Input"] --> ln1["LayerNorm 1"] ln1 --> attn["Multi-Head Attention"] attn -->|"Add & Norm"| add1["Add (Residual)"] blockInput --> add1 add1 --> ln2["LayerNorm 2"] ln2 --> mlp["Feed-Forward Network
(MLP)"] mlp -->|"Add & Norm"| add2["Add (Residual)"] add1 --> add2 add2 --> blockOutput["Block Output"] end style blockInput fill:#cde4ff style blockOutput fill:#cde4ff ``` Sources: [model.py:1-200](https://github.com/karpathy/nanogpt/blob/master/model.py) ## マルチヘッド注意機構 (`CausalSelfAttention`) `CausalSelfAttention`クラスは、GPTモデルの心臓部である自己注意機構を実装しています。これは「マルチヘッド」であり、「因果的（Causal）」であるという2つの重要な特徴を持ちます。 - **マルチヘッド**: 注意機構を複数の「ヘッド」に分割し、それぞれが異なる表現空間で注意を計算します。これにより、モデルは様々な種類の依存関係を同時に学習できます。 - **因果的**: デコーダ専用のモデルとして、未来のトークン情報を参照できないようにマスクを適用します。これにより、自己回帰的な生成が可能になります。 ### アーキテクチャ `CausalSelfAttention`は、まず入力を`n_head`個のヘッドに分割し、各ヘッドで並列して注意計算を行います。その後、各ヘッドの出力を結合し、最終的な出力を生成します。 ```mermaid flowchart TB subgraph "Causal Self-Attention" direction TB attnInput["Attention Input"] --> c_attn["Linear (c_attn)"] c_attn --> split["Split into Q, K, V"] split --> q["Query (Q)"] split --> k["Key (K)"] split --> v["Value (V)"] q --> attn["Scaled Dot-Product Attention
(with Causal Mask)"] k --> attn v --> attn attn --> concat["Concatenate Heads"] concat --> c_proj["Linear (c_proj)"] c_proj --> attnOutput["Attention Output"] end style attnInput fill:#cde4ff style attnOutput fill:#cde4ff ``` ### 注意計算の詳細注意計算の核心部分は、クエリ（Q）、キー（K）、バリュー（V）の3つの行列を使用して行われます。 1. **線形射影**: 入力`x`を1つの線形層（`c_attn`）に通し、Q、K、Vを一度に計算します。その後、これらをヘッド数に分割してreshapeします。 2. **注意スコアの計算**: `Q`と`K`の転置行列の積を計算し、スケーリング（`sqrt(head_size)`で割る）を行います。 3. **因果マスクの適用**: 未来の位置からの情報を遮断するために、下三角行列（`tril`）を使用してマスクを適用します。マスクされた位置には負の無限大を設定し、ソフトマックス後に確率が0になるようにします。 4. **ソフトマックス**: 注意スコアにソフトマックスを適用し、注意重みを計算します。 5. **重み付き和**: 注意重みと`V`の積を計算し、コンテキストベクトルを得ます。 6. **ヘッドの結合と射影**: 全ヘッドのコンテキストベクトルを結合し、最終的な出力を得るために線形層（`c_proj`）に通します。 Sources: [model.py:1-200](https://github.com/karpathy/nanogpt/blob/master/model.py) ## フィードフォワードネットワーク (`MLP`) `MLP`（Multi-Layer Perceptron）クラスは、Transformerブロックの一部であり、各トークンの表現を非線形に変換する役割を担います。これは、位置ごとに独立して適用される2層の全結合ネットワークです。 ```mermaid flowchart TB subgraph "Feed-Forward Network (MLP)" direction TB mlpInput["MLP Input"] --> c_fc["Linear (c_fc)"] c_fc --> gelu["GELU Activation"] gelu --> c_proj["Linear (c_proj)"] c_proj --> mlpOutput["MLP Output"] end style mlpInput fill:#cde4ff style mlpOutput fill:#cde4ff ``` - **1層目 (`c_fc`)**: 入力次元（`n_embd`）から中間層次元（通常は`4 * n_embd`）へと次元を拡張する線形層です。 - **活性化関数 (`GELU`)**: Gaussian Error Linear Unit (GELU) が使用されます。これは、Transformerモデルで一般的に用いられる滑らかな活性化関数です。 - **2層目 (`c_proj`)**: 中間層次元から元の入力次元（`n_embd`）へと次元を元に戻す線形層です。 Sources: [model.py:1-200](https://github.com/karpathy/nanogpt/blob/master/model.py) ## まとめ `nanoGPT`のモデル定義は、`model.py`に凝縮された、明快でモジュール性の高い設計となっています。`GPT`クラスは、埋め込み層、複数の`Block`層、そして言語モデリングヘッドから構成されます。各`Block`層は、`CausalSelfAttention`と`MLP`という2つの主要なサブモジュールを含み、層正規化と残差接続によって安定化されています。このアーキテクチャは、現代の大規模言語モデルの基礎となっているデコーダ専用Transformerの標準的な実装であり、その動作を理解するための優れた教材となります。