| 章 | 目安時間 | ノートブック |
|---|---|---|
| 第00章: はじめに | 1〜2時間 | 開く |
| 第01章: データローダー | 1〜2時間 | 開く |
| 第02章: トークン埋め込み | 0.5〜1時間 | 開く |
| 第03章: 位置埋め込み | 0.5〜1時間 | 開く |
| 第04章: 埋め込みモジュール | 0.5〜1時間 | 開く |
| 第05章: レイヤー正規化 | 1〜2時間 | 開く |
| 第06章: 注意ヘッド | 3〜4時間 | 開く |
| 第07章: マルチヘッド注意 | 1〜2時間 | 開く |
| 第08章: フィードフォワード | 1〜2時間 | 開く |
| 第09章: トランスフォーマーブロック | 0.5〜1時間 | 開く |
| 第10章: 語彙ロジット | 0.5〜1時間 | 開く |
| 第11章: nanoGPT | 1〜2時間 | 開く |
| 第12章: 学習器 | 1〜2時間 | 開く |
| 第13章: 秒間トークン数（CPU） | 1〜2時間 | 開く |
| 第14章: 秒間トークン数（T4 GPU） | 0.5〜1時間 | 開く |
| 第15章: GPUでnanoGPTを学習する | 0.5〜1時間 | 開く |
| 第16章: モデルサイズを大きくする | 0.5〜1時間 | 開く |
| 第17章: データセットを大きくする | 1〜2時間 | 開く |
| 第18章: tiktoken | 1〜2時間 | 開く |
| 第19章: 長時間学習 | 1〜2時間 | 開く |
| 第20章: 学習率 | 0.5〜1時間 | 開く |
| 第21章: スケーリング則 | 1〜2時間 | 開く |
| 第22章: TinyStories（本編） | 1〜2時間 | 開く |
| 第22章: TinyStories（学習） | 1時間 | 開く |
| 第23章: RPE（超シンプル版） | 2〜3時間 | 開く |
| 第24章: RPE（シンプル版） | 1〜2時間 | 開く |
| 第25章: 学習率スケジュール | 1時間 | 開く |
| 第26章: チェックポイント | 1時間 | 開く |
| 第27章: 事前学習 | 0.5時間 | 開く |
| 第28章: 指示チューニング | 0.5時間 | 開く |
下のテンソルマップを自分で作ってみましょう。
ヒントをたくさん用意しているので、安心して進められます。
nanoGPTモデルの高解像度テンソルマップをCanvaで見る
いちばん簡単なのは Google Colab で実行する方法です。
進捗を保存しながら少しずつ進めたい場合は、VS Code とローカル環境がおすすめです。
このリポジトリのPython環境は uv で管理しています。
uv sync
uv run jupyter labDocker を使う場合は次のコマンドで起動できます。
docker compose up --build| 章 | 解答 |
|---|---|
| 第00章 | 開く |
| 第01章 | 開く |
| 第02章 | 開く |
| 第03章 | 開く |
| 第04章 | 開く |
| 第05章 | 開く |
| 第06章 | 開く |
| 第07章 | 開く |
| 第08章 | 開く |
| 第09章 | 開く |
| 第10章 | 開く |
| 第11章 | 開く |
| 第12章 | 開く |
| 第13章 | 開く |
| 第14章 | 開く |
| 第15章 | 開く |
| 第16章 | 開く |
| 第17章 | 開く |
| 第18章 | 開く |
| 第19章 | 開く |
| 第20章 | 開く |
| 第21章 | 開く |
| 第22章（本編） | 開く |
| 第22章（学習） | 開く |
| 第23章 | 開く |
| 第24章 | 開く |
| 第25章 | 開く |
| 第26章 | 開く |
| 第27章 | 開く |
| 第28章 | 開く |
このプロジェクトは、コミュニティベースのオープンソース教育プロジェクトです。Google とは関係ありません。
