Show HN: InstinctFlash – Jetson Thorで5Bワールドアクションモデルをリアルタイム実行

皆さん、こんにちは。General Instinctの共同創業者であるGuanmingです。私たちは、ロボティクスモデル向けの高性能サービングフレームワークであるInstinctFlashをリリースしました。これはAGPL-3.0ライセンスで提供されます。

Jetson Thorでは、ランタイム最適化のみで1.2倍から7.9倍の速度向上を確認しており、LingBot-VAでは、ランタイム最適化と蒸留された数ステップの拡散スケジューラーを組み合わせることで、元の25ビジュアル/50アクションステップから2/4ステップに短縮し、最大33.78倍の高速化を実現しました。50のRobotwin2.0タスク全体で、設定ごとに1,153エピソードを評価した結果、InstinctFlashを使用したLingBot-VA（2ビジュアル/4アクションステップ）は、ベースライン（25ビジュアル/50アクションステップ）の92.1%に対し、90.5%の成功率を達成しました。

Jetson Thor上でリアルタイム実行される、最適化された5Bワールドアクションモデルはこちらです：https://youtu.be/nku65iyL5Fw

InstinctFlashは現在、pi0.5やNVIDIA Cosmos Policyを含む8つのVLA/ワールドアクションモデルファミリーを、RTX 4090/5090およびJetson Thorでサポートしています。

ファインチューニングされたチェックポイントを提供するだけで、InstinctFlashが残りの処理を行い、PythonランタイムまたはOpenPI互換のWebSocketサーバー経由で高速化されたモデルを公開します。

私たちがこれに取り組み始めたのは、ロボットポリシーをデプロイする際に、モデルは非常に高性能になっていたにもかかわらず、推論速度が実際の制御ループには遅すぎることが多かったためです。

pi0.5では、混合精度GEMMとCUDAグラフが計算を高速化し、起動オーバーヘッドを削減します。Cosmosでは、キャッシングにより拡散ステップ間の冗長な計算を回避します。ワールドアクションモデルの拡散デノイジングステップは前のステップに依存するため、数ステップの蒸留に取り組む動機となりました。

現在、InstinctFlashには6つの最適化側面が含まれています。

• グラフ：CUDAグラフキャプチャ、メモリ計画、プリフィルと繰り返し実行の分離。
• キャッシュ：拡散ステップおよび予測呼び出し間でのKVおよび条件付け状態の再利用。
• アテンション：異なるモデルアーキテクチャのための特殊化されたアテンションパス。
• カーネル：特定のバックエンドとテンソルレイアウトに合わせた融合演算とカーネル。
• 精度：FP8および混合精度実行。
• モデル：拡散およびアクション生成のための数ステップ蒸留。

Samsung、Siemens、その他のロボティクススタートアップのチームは、InstinctFlashをVLA、WAM、および拡散ベースのワールドモデルのモデル高速化に利用しています。今回、皆様にもアクセスを開放します。

こちらからぜひお試しください：https://github.com/General-Instinct/InstinctFlash

詳細な実装情報とベンチマーク：https://general-instinct.com/blog/instinctflash-edge-inferen...

フィードバックをお待ちしております！