AIエンジニアノートブック – Colabで無料、フレームワーク不要のRAG/エージェント/評価

AIエンジニアノートブックは、実際の面接で問われるような、フレームワークに依存しない無料APIを用いた応用LLMスタックを学習できます。プロンプト作成からサービング、ファインチューニング、評価までを網羅しています。AIエンジニア/フォワードデプロイメントエンジニア（FDE）のスキルセットに対応した、実行可能なColabノートブックです。これは、基盤モデルの上に、モデルAPI、RAG、評価、エージェント、適応、サービングなどの実用的なシステムを構築することを目指します。フレームワークを使わず、生のAPIコールでエージェントループ、RAG、評価を記述することから始め、LangChain/LlamaIndexが実際に行っていることを理解し、それらを使用すべきか判断できるようになります。パターンは永続的であり、ラッパーは変化します。評価はシステムの根幹です。「チューニングの前に測定する」という習慣が早期に導入され、各セクションで繰り返されます。これは、デモを構築したエンジニアとシステムをリリースしたエンジニアを分ける習慣です。エンドツーエンドで無料で実行できます。すべて無料のGroq API（クレジットカード不要）で実行されます。Groq APIでホストできない2つのトピック（LoRAファインチューニング（06）とセルフホストサービング（09））は、概念中心で、オプションのColab-GPU付録があり、実際のColab T4で検証されています。おもちゃのデモではなく、実際のケーススタディです。3つのエンドツーエンドのケーススタディでは、実際の制約の下でスキルが組み合わされています。本番環境でデバッグされたサポートアシスタント、パイプライン対エージェントのコスト比較、レッドチームの堅牢性ベンチマークが含まれます。OpenAI互換であるため、すべてのパターンがOpenAIおよび（小規模な変更で）Anthropicに直接転送されます。これは、Plan: Transitioning to Forward Deployed Engineer / AI Engineer の実践的なコンパニオンとして構築されています。プランは学習内容とその理由を説明し、これらのノートブックはそれを実行する場所です。対象読者: AIエンジニア、FDE、応用AI、またはソリューションエンジニア（AI）の役割に移行するバックエンドまたはフルスタックエンジニア。これらのタイトルは異なりますが、仕事内容はほぼ同じです。本番コードをリリースでき、応用モデルレイヤーを上に構築したいと考えている人です。学習順序: 上から下へ作業してください。各ノートブックは自己完結型（独自の依存関係をインストールし、ColabシークレットからAPIキーを読み取る）であり、演習で終わります。00 — セットアップノートブック学習内容: 環境とコスト衛生、Colabシークレット経由のAPIキー、支出ガード、モデル選択。01 — モデルAPIノートブック学習内容: プロンプトの基本（明確な指示、few-shot、出力形式仕様、ステップバイステップの推論 — 最も安価なレバー、各々が数値を動かす様子を示す）、構造化出力（モデルから信頼性の高いJSONを取得する方法と、それが壊れる場所）、ツール呼び出し（関数/ツール呼び出しのエンドツーエンド、エラーパスを含む）、ストリーミング（応答のストリーミングとUIが必要とするもの）、コンテキストとキャッシング（コンテキストウィンドウの予算、プロンプトキャッシング、バッチ対リアルタイム価格）。02 — 評価I: 出力の測定ノートブック学習内容: 出力の測定（セクション01タスクに対するゴールデンセットとメトリクス — チューニング前に測定する習慣を、チューニングが必要なものを構築する前にインストールする。評価はシステムの根幹であり、これ以降の各セクションで繰り返される）。03 — RAGノートブック学習内容: RAGとは何か（Retrieve → Augment → Generateループ、なぜRAGがプレーンLLMより優れているのか、なぜRAGが埋め込みと同じではないのか — 15行の動作デモ付き）、埋め込みと検索（埋め込みの選択、ベクトル検索、類似性の落とし穴 — 検索を最初に機能させる）、ハイブリッドとリランキング（キーワード+ベクトルハイブリッド検索、リランカー、それぞれがコストに見合う場合）、チャンキング（実際の雑多なコーパスでのチャンキング戦略 — 検索を評価できるようになってから再訪）、なぜRAGが失敗するのか（悪い回答の診断：通常、ボトルネックは生成ではなく検索の品質である）。04 — 評価II: 差別化要因ノートブック学習内容: ゴールデンセット（セクション03のRAGシステム用のゴールデンセットの構築）、LLMをジャッジとして使用（ジャッジプロンプト、人間との一致、ジャッジ自身の失敗モード）、回帰評価（プロンプトやモデルを変更した際の品質回帰をキャッチする評価としてのCI）。05 — エージェントノートブック学習内容: スクラッチからのエージェントループ（生のAPIコールでの動作エージェントループ — フレームワークなし）、ツール設計（モデルが実際にうまく使用できるツールの設計）、ガードレールと予算（停止条件、コスト/レイテンシ予算、パイプラインがエージェントに勝る場合）、MCPとツールエコシステム（モデルコンテキストプロトコルが標準化するもの、生のツールループにどうマッピングされるか、いつそれを使用するか）、スキルとプログレッシブ開示（再利用可能なノウハウをパッケージ化し、エージェントがオンデマンドでロードする概念 — SKILL.mdパターン、コンテキスト予算のペイオフ、ツール/MCP/スキルを一つのストーリーとして）、ハーネスエンジニアリング（呼び出しの周りの足場 — コンテキストの組み立てと圧縮、ツール結果の整形、検証ループ。このセクションが少しずつ教えてきた規律に名前を付ける）。06 — モデルの適応ノートブック学習内容: ファインチューニング対RAG対プロンプト（モデルの重みを変更するか、入力を変更するか、LoRA/QLoRAとは何か、そのコスト、議論 — オプションの無料GPUでの実際のLoRAファインチューニング付き）、07 — セキュリティノートブック学習内容: プロンプトインジェクションと信頼境界（直接的および間接的なプロンプトインジェクション、出力処理、PII、過剰なエージェンシー — OWASP LLMトップ10のリスク、ライブでの失敗とその防御）。08 — オペレーションノートブック学習内容: 可観測性とLLMOps（すべての呼び出しのトレース、安全なプロンプトロギング、コスト/レイテンシ/エラーメトリクス、ドリフト検出、観察→評価のフィードバックループ）、信頼性とフォールバック（バックオフ付きリトライ、タイムアウト、フォールバックモデル、出力検証、サーキットブレーカー、グレースフルデグラデーション）、実験追跡とレジストリ（MLflowエンドツーエンド：セクション04の評価ハーネスからの実行/パラメータ/メトリクスのログ記録、モデルの登録とバージョン管理、ステージによる昇格 — 「評価を実行した」を追跡可能で再現可能なワークフローに変えるツール）。09 — サービングと推論パフォーマンス（無料のGroq APIでは扱えないトピック。これらのフレームワークはGPUを必要とするため、ノートブックは概念中心で、オプションのColab-GPU付録を設けています。セクション06のLoRA付録と同じパターンです。）学習内容: サービングフレームワーク（AIエンジニアが実際に選択するサービングスタック — vLLM、TGI、Triton、TensorRT-LLM — それぞれが何を最適化し、呼び出している生のAPIにどうマッピングされ、いつどれを選択すべきか）、推論パフォーマンス（スループットとレイテンシの背後にあるレバー：連続バッチ処理、KVキャッシュ、量子化、スループット対レイテンシのトレードオフ — ナプキン計算でデプロイメントをサイジング）。10 — MLシステム設計とパフォーマンスノートブック学習内容: 推論サービスの設計（MLシステム設計面接、エンドツーエンドで実施 — QPS/VRAM/レイテンシ/コストの見積もり、レプリカのスケーリング、キューイング、キャッシング、SLAのトレードオフ、現実的なLLMサービングプロンプトで）。11 — カスタマークラフト（FDEの差別化要因）ノートブック学習内容: スコープ設定と発見（曖昧な顧客の要求を、スコープ設定され評価可能なシステムに変換：発見の質問、1ページのスコープドキュメント、デモ規律 — ほとんどのエンジニアが証明できない顧客シナリオ面接ラウンド）。12 — ケーススタディとキャップストーン（スキルがプロジェクトに集約される場所。まずケーススタディ — 1つの現実的なシナリオをエンドツーエンドで実施、実行可能 — 次にキャップストーン、自分で構築するデプロイ済みリポジトリ。（セクション概要。）学習内容: ケーススタディA — カスタマーサポートアシスタント（1つのシナリオをスコープ設定→構築→サービング→本番環境でデバッグ：曖昧な要求がデプロイされ評価されたRAG+エージェントアシスタントになり、その後、コーパス移行後の古いインデックスというライブ品質回帰を診断・修正。セクション02–11を横断するビルド・トゥ・デバッグの弧）、ケーススタディB — 契約抽出：パイプライン対エージェント（面接官が好む判断基準：同じ抽出タスクをエージェントとパイプラインの両方で構築し、精度とトークンコストでパイプラインが勝つことを証明）、ケーススタディC — レッドチーム堅牢性ベンチマーク（異なる種類のシステム — サービングするのではなくモデルを評価するハーネス：攻撃者→ターゲット→ジャッジ（PAIR）ループで攻撃成功率を測定し、エージェントループ、LLMジャッジ、セキュリティ、評価を構成）。