HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: 無料の推論エンジニアおよびモデルトレーニングロードマップ

Show HN: Free Inference Engineer and Model Training Roadmap (inferquest.org)

14 pointsby jesse_portal3 コメント

要約

InferQuestは、大規模言語モデル(LLM)のサービングとトレーニングを学ぶための無料のオープンソースWebアプリケーションです。このプラットフォームは、LLMを高速かつ低コストで提供する方法と、最小限のハードウェアで可能な限り高品質なモデルをトレーニングする方法の2つのパスを提供します。進捗状況を追跡し、自動検証可能なマイルストーンを通じて実践的なスキルを習得できます。

全文翻訳

InferQuest — LLMサービングとトレーニングへの検証済みパスLLMをサーブする。LLMをトレーニングする。証明する。実際の求人市場調査から生まれた2つの無料オープンロードマップ:モデルを高速かつ安価に本番環境で実行するか、最小限のハードウェアで可能な限り良くするか — 検証済みマイルストーン付き。 クエストを開始 — 無料クエストマップを閲覧する フルカリキュラムは閲覧可能 — 進行状況を追跡し、ドリルを実行し、検証ツールをアンロックするには(無料)サインインしてください。 2つのパス、1つの共有トランク182タスク、38クエスト21,740 XPで最終レベルへ35自動検証済みマイルストーン 01InferQuestとは? InferQuestは、推論エンジニアリングとLLMトレーニングを学ぶための無料のオープンソース、非営利のWebアプリケーションです。大規模言語モデルを高速かつ安価に提供するパスと、最小限のハードウェアで可能な限り高品質なモデルをトレーニングするパスの2つを提供し、クエストとタスクに編成されています。XP、レベル、ストリークで進捗を追跡し、採点付きクイズと間隔反復レビューでドリルし、デプロイされたエンドポイント、GPUカーネル、トレーニング実行、マージされたオープンソースプルリクエストなどの主要なマイルストーンを自動的に検証します。 サインイン(Googleまたはメール)は、その進捗をアカウントに保存するためだけにのみ使用されます — プライバシーポリシーを参照してください。 02チェックボックスは安価です。これらはチェックボックスではありません。 ライブエンドポイントプローブOpenAI互換エンドポイントをデプロイします — まず独自のエンジン、次に本番vLLM — InferQuestが実際にプローブします:ストリーミングフレーミング、使用量アカウンティング、max_tokensカットオフ、エラー形状、レイテンシターゲット。 GPU採点カーネル&トレーニング実行ローカルハーネスがカーネルを採点します — アテンション、KVキャッシュ、Triton softmax、フラッシュアテンション、クアンタイザー、リングオールリデュース — およびトレーニング実行:最初の収束、測定された≥1.5倍の高速化、忘却しないアダプターファインチューン、すべて固定トークン予算の下で、独自のハードウェアで。 マージ済みPRチェックオープンソースマイルストーンは、vLLM、SGLang、FlashInfer、TRL、torchtitan、nanochatなどへのPRが実際に存在し、実際にマージされ、タイポ修正ではないことをGitHub APIに対して検証します。 採点付き面接ドリルKVキャッシュサイジング数学、ルーフライン、投機的デコーディング受け入れ、スケーリング法則とデータキュレーション呼び出し、並列化トレードオフ — サーバーサイドで採点され、回答はブラウザに送信されません。 031つのトランク、2つのパス 全員が「Foundations」(トランスフォーマー内部、GPUアーキテクチャ、カーネル)から開始し、その後分岐します。1つの共有XPラダーでTokenからFoundation Modelまでレベルアップします — パス名は証明書として獲得されます。 Foundations — 両方のパスでカウント 01Bedrockメンタルモデル 02Transformer内部 03GPUアーキテクチャ&CUDA 04Kernelエンジニアリング 05Quantization理論 06Parallelism Inference Engineering 01The Inference Engine 02Quantization 03Production Serving 04Distributed Inference 05Observability & Economics 06The Arena Model Training 01Learning to Learn 02The Speedrun 03Post-Training 04Proof 05The Open Ladder 04よくある質問 推論エンジニアとは何をする人ですか? 推論エンジニアは、大規模言語モデルを本番環境で高速かつ安価に提供します。GPUカーネルの作成とチューニング、KVキャッシュメモリの管理、リクエストのバッチ処理、重みの量子化、そしてレイテンシとコストの目標に対してvLLM、SGLang、TensorRT-LLMなどのエンジンを運用します。これはAIインフラストラクチャにおける最も急速に成長している専門職の1つです。 推論エンジニアになるにはどのようなスキルが必要ですか? コアとなる推論エンジニアリングスキルは、トランスフォーマー内部(アテンション、KVキャッシュ、サンプリング)、GPUアーキテクチャとCUDAまたはTritonカーネルの作成、量子化、連続バッチ処理とページングアテンション、分散サービング(テンソルおよびパイプライン並列化)、そしてNsightなどのツールを使用したプロファイリングです。InferQuestのロードマップは、これらすべてを順番にカバーしており、各主要スキルは検証ツールによってゲートされています。 InferQuestはLLMのトレーニングを教えてくれますか? はい — モデルトレーニングパスはまさにそれをカバーしています:バックプロパゲーションとオプティマイザーをゼロから、実際のCommon Crawlパイプラインでのデータキュレーション、スケーリング法則の数学、NanoGPTスピードラン効率ツールキット(Muon、FP8、融合カーネル)、コンシューマーGPU1台または約50ドルのレンタルコンピューティングで実行できるGPT-2クラスの事前トレーニングキャップストーン、そして単一GPUでのSFT、LoRA、DPO、GRPOポストトレーニング。これは、ラボが積極的に採用している事前トレーニング、ポストトレーニング、RLエンジニアリングの役割につながります。 InferQuestは無料ですか?証明書はもらえますか? InferQuestは完全に無料かつオープンです。紙の証明書はありません — 代わりに、マイルストーンは自動検証されます:デプロイされたエンドポイントに対するライブプローブ、GPU名が表示されたハーネスメトリクス、実際のオープンソースリポジトリに対するマージ済みPRの証拠。結果として、採用チームが証明書よりもはるかに重視するポートフォリオが得られます。 ロードマップはどのくらいの時間がかかりますか? 両方のパスを合わせると、182のタスクが38のクエスト(21,740 XP)にまたがり、基本的な共通のトランクを共有しています。パートタイムで学習する経験豊富なソフトウェアエンジニアは、片方のパスをエンドツーエンドで完了するのに約6ヶ月から1年を予想すべきです — PyTorchとCUDAをすでに知っている場合は、初期段階はスキップできるため、それより短くなります。 GPUは必要ですか? カーネルエンジニアリングのフェーズでは必要です — グレードハーネスは独自のハードウェアで実行され、最新のNVIDIA GPUであればどれでも動作します。それ以前のすべて(トランスフォーマー内部、推論エンジニアリングキャップストーン、クイズとドリル)はCPUまたは無料のクラウドノートブックで実行できます。 市場は約束ではなく、証明に報酬を与えます。 検証済みの各マイルストーンは証拠を残します:プローブ結果、GPU名が表示されたハーネスメトリクス、マージ済みPRの証拠。それは証明書ではなく、ポートフォリオです。 サインインしてXPを獲得し始めましょう