Show HN: OpenJDK Panama FFM (Java 22) による低遅延ローカルLLMランナー
Show HN: Low-latency local LLM runner via OpenJDK Panama FFM (Java 22) (github.com)
要約
JDK 22のProject Panama(FFM API)を利用して、llama.cppやwhisper.cppなどのネイティブライブラリと直接連携する低遅延のローカルLLMランナー「libargus.cc」が開発されました。ホットパスでのゼロアロケーションやメモリセグメントの効率的な管理により、JVM内からAIを実行する際のパフォーマンスが向上しています。これは、RAG(Retrieval-Augmented Generation)に代わる時空間メモリレイヤー(L-TABB)開発の基盤となるものです。
全文翻訳
JVM内からAIを実行したいと思いました。
最初は標準的なRESTサイドカーから始めましたが、それを破棄し、新しいJDKバージョンでProject Panama (Foreign Function & Memory API) を使用してllama.cppに直接インターフェースするようにしました。
それでもその機能には満足できなかったため、libargus.ccを構築して、JVMランドスケープに構造化されたAPIを公開するためのクリーンなABIを取得しました。これは依然としてProject Panamaを使用してllama.cpp、whisper.cpp、およびggmlコンピュートグラフに直接インターフェースします。
ホットパスではゼロアロケーションを実現しており、プロンプトとトークンのメモリセグメントは、限定されたアリーナ内で一度だけ割り当てられます。
生のポインタは、低レベルのCまで直接通過します。これにより、プリミティブ配列のクローニングやヒープの断片化が回避されます。
llama.cppとwhisper.cppのネイティブ構造をマッピングし、コンパイラのパディングに合わせて安全なメモリアクセスを維持しました。
簡単なデプロイのために、JARファイルに事前コンパイル済みのネイティブバイナリをバンドルしています。
この実行エンジンは、RAGを置き換えるための時空間メモリレイヤー (L-TABB) に関する私の作業に必要な基盤を提供します。
問題点を洗練させるために技術的なフィードバックをいただけると幸いです。モダンJDKでProject Panamaや低遅延システムをハッキングしている方からの深い洞察をいただけると非常にありがたいです!
私は文章よりもコードの方が得意なので、コードに多くを語らせます。
ハッピーハッキング!
/David
コード: libargus.cc
プロジェクトランディングページ: projectargus.cc