Ollaya – オープンソース、Jevスタイルの意思決定モデルのためのOllama
Ollaya – Ollama for open-source, Jev-style decision models (ollaya.dev)
要約
Ollayaは、ローカル環境で実行できるオープンソースの意思決定モデルフレームワークです。テキストやJSONに対して自然言語で質問し、ミリ秒単位で校正された回答を得ることができます。プライベートで、自身のハードウェア上で動作します。Ollamaにインスパイアされており、ローカルAPIを提供し、モデルのプルと実行が容易です。精度、キャリブレーション、実行モデルにおいてOllamaを上回る性能を示していますが、同じモデルではOllamaの方が高速な場合もあります。
全文翻訳
ローカルで決定モデルを実行する。
任意のテキストやJSONについてタイプされた質問を行い、ミリ秒単位で精度の高い回答を得られます。プライベートで、オープンソース、そしてご自身のハードウェア上で動作します。
独立したオープンソースプロジェクトであり、OllamaやTypeSafeとは提携していません。
すべての質問には独自のオプションがあります。モデルはそれぞれをスコアリングし、最も高いものが回答となります。
実際の出力: winnow:e4b は RTX 4090 上で 85 ミリ秒で 5 つの質問に回答しました。
OllayaとOllama
Ollamaに触発され、並べて測定しました。
同じRTX 5090と3,880の人間によるラベル付けされた質問で、Ollama 0.40.6 の9つの決定モデルとOllayaのモデルを比較しました。Ollamaは同じ重みで5〜8倍高速ですが、Ollayaは各著者の温度設定を適用し、より多くのモデルを実行します。
同じGPU、同じ3,880の人間によるラベル付けされた質問 · 精度(高いほど良い)、キャリブレーションエラーとレイテンシ(低いほど良い)
-
Ollaya
-
Ollama 0.40.6
-
pplx-decider:flashon Ollaya 0.824 0.016 232 ms
-
pplx-decideron Ollama 0.40.6 0.816 0.017 96 ms
-
jeb:27bon Ollaya 0.788 0.024 98 ms
-
winnow:12bon Ollaya 0.773 0.141 57 ms
-
clef:flashon Ollaya 0.772 0.025 284 ms
-
clef-flashon Ollama 0.40.6 0.772 0.024 43 ms
-
jeb:9bon Ollaya 0.766 0.039 34 ms
-
nimbleon Ollama 0.40.6 0.752 0.115 42 ms
-
tev1on Ollama 0.40.6 0.750 0.087 30 ms
-
nimble:9bon Ollaya 0.748 0.022 328 ms
-
kev:4bon Ollaya 0.745 0.062 187 ms
-
kev:4b-q8_0on Ollama 0.40.6 0.744 0.061 34 ms
-
tev1:0.8bon Ollama 0.40.6 0.664 0.118 21 ms
-
laya:multilingualon Ollaya 0.579 0.155 15 ms
| Ollaya | Ollama 0.40.6 | |
|---|---|---|
| 決定モデル | Ollaya 24 ファミリ | Ollama 0.40.6 9 |
| CPU高速エンコーダー | Ollaya laya, nli, gliclass, von, decima | Ollama 0.40.6 laya |
| 確率 | Ollaya 著者の温度 | Ollama 0.40.6 生のソフトマックス |
| 質問あたりのオプション | Ollaya 255 | Ollama 0.40.6 26 (Kev, Strands: 255) |
| リクエストあたりの質問数 | Ollaya 256 | Ollama 0.40.6 64 |
| TypeSafeエンドポイント | Ollaya systemone, decisions, models | Ollama 0.40.6 systemone |
| 重み | Ollaya 著者のファイル、sha256-pinned | Ollama 0.40.6 再ホストされたGGUF |
Bespoke Labs の公開ベンチマーク、リクエストごとに1回: Ollaya Bench 2026.10、Ollama 0.40.6。ECE: トップ確率のキャリブレーションエラー。
高速かつ高精度
Jev の精度に近い、113 ミリ秒で。
リクエストごとに1回のフォワードパス、トークンごとの生成なし。laya:en のような小規模モデルは 18 ミリ秒で回答し、CPU でも良好に動作します。
精度と速度、各モデルの最良タグ · typed-decisions; RTX 5090 上での5つの質問
- Ollaya
- TypeSafe のホストされた Jev
モデル 精度 レイテンシ
- TypeSafe Jev ホストAPI 0.738 236–276 ms
- largha:150m *0.879 18 ms
- jeb:27b *0.802 253 ms
- laya:typed-decisions *0.767 20 ms
- pplx-decider:flash 0.726 127 ms
- credence:e4b 0.725 121 ms
- winnow:e4b 0.724 113 ms
- kev:9b 0.722 248 ms
- clef:flash 0.703 268 ms
- cygnet:12b 0.684 152 ms
- jeeves:9b 0.680 380 ms
- decider:4b 0.680 207 ms
- nimble:9b 0.665 1015 ms
- snap:2b-q4_k_m 0.655 78 ms
- d1:3b 0.650 51 ms
- jevk5:4b 0.629 95 ms
- strands-decider:2b 0.616 98 ms
- nli:deberta-v3-large 0.536 18 ms
- decision:eos 0.512 69 ms
- decima:base 0.483 27 ms
- gliclass:large 0.477 14 ms
- von:1.10.4 0.471 9 ms
- clm:8b 質問キャッシュ済み 0.357 95 ms
データセットのテストスプリットから2,000の質問。* はそのトレーニングスプリットで学習されているため、これらのモデルは似たような質問を見たことがあります。Jev: TypeSafe の精度、ホストされたレイテンシはサードパーティのベンチマークから、ネットワーク込み。
ドロップイン互換
TypeSafe の API を話します。
Ollaya は TypeSafe のリクエストとレスポンスの形状で /v1/systemone および /v1/models を提供します。公式の TypeSafe Python SDK 0.7.1 は、ローカルサーバーに対して変更なしで動作します。
リクエスト
# TypeSafe SDK を Ollaya にポイントする
export TYPESAFE_BASE_URL=http://localhost:11435
export TYPESAFE_API_KEY=local # どの値でも動作します
export TYPESAFE_DEFAULT_MODEL=winnow:e4b
# …または互換性のあるエンドポイントを直接呼び出す
curl http://localhost:11435/v1/systemone -d '{
"model": "winnow:e4b",
"state": "Can I get an invoice for last month?",
"questions": {
"intent": {
"type": "choice",
"instructions": "What does the customer want?",
"criteria": {
"invoice": "Needs an invoice or receipt",
"refund": "Wants money back",
"other": "Anything else"
}
}
}
}'
レスポンス
{
"model": "winnow:e4b",
"answers": {
"intent": {
"type": "choice",
"choice": "invoice",
"confidence": 0.9801,
"probabilities": {
"invoice": 0.9868,
"refund": 0.0026,
"other": 0.0106
}
}
},
"usage": {
"input_tokens": 120,
"output_tokens": 0
}
}
オープンモデル
オープンな重み、プルしてすぐに利用可能。
winnow:e4b は精度と速度のバランスが最も良く、laya は最も高速で CPU でも良好に動作します。
- winnow Decision モデル EldanRing 作、Google の Gemma 4 からファインチューニングされ GGUF として公開 7.5b · 12b
- laya Convai Innovations によるオープン決定モデル 322m · 421m
- decider Mapika によるデコーダー決定モデル Qwen3.5 上 0.75b · 1.9b · 2.2b · 4.2b
- kev Jared Palmer による決定モデル 0.76b · 4.2b · 7.9b
- nli Moritz Laurer によるゼロショット分類器 396m · 435m
- gliclass Knowledgator による命令追従ゼロショット分類器 439m
- qwen3guard Qwen チームによるセーフティガード 0.6b
- decision vLLM Semantic Router の貢献者による決定モデル 0.75b
あなたのデータはあなたのもの
デフォルトでプライベート。
チケット、メール、ユーザーメッセージは、しばしば最も機密性の高いデータです。Ollaya を使用すると、それらは既に存在する場所でスコアリングされます。
プラットフォーム
あなたの作業場所で動作します。
macOS、Windows、Linux 用のデスクトップアプリとコマンドライン、サーバー用の Docker イメージ。すべてのモデルは CPU で動作します。Linux、Windows、WSL 2、または Docker 上の NVIDIA GPU は、リクエストをミリ秒単位に短縮します。
| プラットフォーム | デスクトップアプリ | コマンドライン | GPU |
|---|---|---|---|
| macOS Apple Silicon、macOS 14+ | デスクトップアプリ メニューバーアプリ.dmg | コマンドライン インストールスクリプト | GPU Apple GPU Laya と NLI は MLX 上で動作 |
| Windows 10 および 11、x64 | デスクトップアプリ Desktop app.exe または .msi | コマンドライン PowerShell スクリプト | GPU NVIDIA、CUDA 12/13 コマンドライン |
| Linux x86-64 | デスクトップアプリ Desktop app AppImage, .deb, .rpm | コマンドライン インストールスクリプト systemd サービス | GPU NVIDIA、CUDA 12/13 |
| Linux ARM64 | デスクトップアプリ 利用不可 | コマンドライン インストールスクリプト systemd サービス | GPU CPU のみ |
| WSL 2 Linux on Windows | デスクトップアプリ 利用不可 | コマンドライン インストールスクリプト Linux と同じ | GPU NVIDIA、CUDA 12/13 |
| Docker amd64 および arm64 | デスクトップアプリ 利用不可 | コマンドライン GHCR 上のイメージ | GPU NVIDIA、CUDA 12/13:cuda および :cuda12, amd64 |
NVIDIA GPU はドライバー R525 以降が必要です。インストールスクリプトは、GPU を検出した場合にのみ CUDA ライブラリを取得します。Mac では、laya と nli は MLX 経由で Apple GPU 上で動作します。その他のモデル、AMD および Intel GPU、およびコマンドラインがインストールされていない Windows および Linux のデスクトップアプリは CPU を使用します。
数分でセットアップ完了。
1 つのバイナリ、1 つのコマンド: ollaya run winnow:e4b。
macOS、Windows、Linux および Docker · Apache-2.0 · GitHub