HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Ollaya – オープンソース、Jevスタイルの意思決定モデルのためのOllama

Ollaya – Ollama for open-source, Jev-style decision models (ollaya.dev)

617 pointsby Ardakilic145 コメント

要約

Ollayaは、ローカル環境で実行できるオープンソースの意思決定モデルフレームワークです。テキストやJSONに対して自然言語で質問し、ミリ秒単位で校正された回答を得ることができます。プライベートで、自身のハードウェア上で動作します。Ollamaにインスパイアされており、ローカルAPIを提供し、モデルのプルと実行が容易です。精度、キャリブレーション、実行モデルにおいてOllamaを上回る性能を示していますが、同じモデルではOllamaの方が高速な場合もあります。

全文翻訳

ローカルで決定モデルを実行する。

任意のテキストやJSONについてタイプされた質問を行い、ミリ秒単位で精度の高い回答を得られます。プライベートで、オープンソース、そしてご自身のハードウェア上で動作します。

ダウンロードモデルを検索

独立したオープンソースプロジェクトであり、OllamaやTypeSafeとは提携していません。

すべての質問には独自のオプションがあります。モデルはそれぞれをスコアリングし、最も高いものが回答となります。

実際の出力: winnow:e4b は RTX 4090 上で 85 ミリ秒で 5 つの質問に回答しました。

OllayaとOllama

Ollamaに触発され、並べて測定しました。

同じRTX 5090と3,880の人間によるラベル付けされた質問で、Ollama 0.40.6 の9つの決定モデルとOllayaのモデルを比較しました。Ollamaは同じ重みで5〜8倍高速ですが、Ollayaは各著者の温度設定を適用し、より多くのモデルを実行します。

同じGPU、同じ3,880の人間によるラベル付けされた質問 · 精度(高いほど良い)、キャリブレーションエラーとレイテンシ(低いほど良い)

  • Ollaya

  • Ollama 0.40.6

  • pplx-decider:flashon Ollaya 0.824 0.016 232 ms

  • pplx-decideron Ollama 0.40.6 0.816 0.017 96 ms

  • jeb:27bon Ollaya 0.788 0.024 98 ms

  • winnow:12bon Ollaya 0.773 0.141 57 ms

  • clef:flashon Ollaya 0.772 0.025 284 ms

  • clef-flashon Ollama 0.40.6 0.772 0.024 43 ms

  • jeb:9bon Ollaya 0.766 0.039 34 ms

  • nimbleon Ollama 0.40.6 0.752 0.115 42 ms

  • tev1on Ollama 0.40.6 0.750 0.087 30 ms

  • nimble:9bon Ollaya 0.748 0.022 328 ms

  • kev:4bon Ollaya 0.745 0.062 187 ms

  • kev:4b-q8_0on Ollama 0.40.6 0.744 0.061 34 ms

  • tev1:0.8bon Ollama 0.40.6 0.664 0.118 21 ms

  • laya:multilingualon Ollaya 0.579 0.155 15 ms

OllayaOllama 0.40.6
決定モデルOllaya 24 ファミリOllama 0.40.6 9
CPU高速エンコーダーOllaya laya, nli, gliclass, von, decimaOllama 0.40.6 laya
確率Ollaya 著者の温度Ollama 0.40.6 生のソフトマックス
質問あたりのオプションOllaya 255Ollama 0.40.6 26 (Kev, Strands: 255)
リクエストあたりの質問数Ollaya 256Ollama 0.40.6 64
TypeSafeエンドポイントOllaya systemone, decisions, modelsOllama 0.40.6 systemone
重みOllaya 著者のファイル、sha256-pinnedOllama 0.40.6 再ホストされたGGUF

Bespoke Labs の公開ベンチマーク、リクエストごとに1回: Ollaya Bench 2026.10、Ollama 0.40.6。ECE: トップ確率のキャリブレーションエラー。

Ollaya Bench の全モデル、生データ付き

高速かつ高精度

Jev の精度に近い、113 ミリ秒で。

リクエストごとに1回のフォワードパス、トークンごとの生成なし。laya:en のような小規模モデルは 18 ミリ秒で回答し、CPU でも良好に動作します。

精度と速度、各モデルの最良タグ · typed-decisions; RTX 5090 上での5つの質問

  • Ollaya
  • TypeSafe のホストされた Jev

モデル 精度 レイテンシ

  • TypeSafe Jev ホストAPI 0.738 236–276 ms
  • largha:150m *0.879 18 ms
  • jeb:27b *0.802 253 ms
  • laya:typed-decisions *0.767 20 ms
  • pplx-decider:flash 0.726 127 ms
  • credence:e4b 0.725 121 ms
  • winnow:e4b 0.724 113 ms
  • kev:9b 0.722 248 ms
  • clef:flash 0.703 268 ms
  • cygnet:12b 0.684 152 ms
  • jeeves:9b 0.680 380 ms
  • decider:4b 0.680 207 ms
  • nimble:9b 0.665 1015 ms
  • snap:2b-q4_k_m 0.655 78 ms
  • d1:3b 0.650 51 ms
  • jevk5:4b 0.629 95 ms
  • strands-decider:2b 0.616 98 ms
  • nli:deberta-v3-large 0.536 18 ms
  • decision:eos 0.512 69 ms
  • decima:base 0.483 27 ms
  • gliclass:large 0.477 14 ms
  • von:1.10.4 0.471 9 ms
  • clm:8b 質問キャッシュ済み 0.357 95 ms

データセットのテストスプリットから2,000の質問。* はそのトレーニングスプリットで学習されているため、これらのモデルは似たような質問を見たことがあります。Jev: TypeSafe の精度、ホストされたレイテンシはサードパーティのベンチマークから、ネットワーク込み。

ドロップイン互換

TypeSafe の API を話します。

Ollaya は TypeSafe のリクエストとレスポンスの形状で /v1/systemone および /v1/models を提供します。公式の TypeSafe Python SDK 0.7.1 は、ローカルサーバーに対して変更なしで動作します。

リクエスト

# TypeSafe SDK を Ollaya にポイントする
export TYPESAFE_BASE_URL=http://localhost:11435
export TYPESAFE_API_KEY=local        # どの値でも動作します
export TYPESAFE_DEFAULT_MODEL=winnow:e4b

# …または互換性のあるエンドポイントを直接呼び出す
curl http://localhost:11435/v1/systemone -d '{
    "model": "winnow:e4b",
    "state": "Can I get an invoice for last month?",
    "questions": {
      "intent": {
        "type": "choice",
        "instructions": "What does the customer want?",
        "criteria": {
          "invoice": "Needs an invoice or receipt",
          "refund": "Wants money back",
          "other": "Anything else"
        }
      }
    }
  }'

レスポンス

{
  "model": "winnow:e4b",
  "answers": {
    "intent": {
      "type": "choice",
      "choice": "invoice",
      "confidence": 0.9801,
      "probabilities": {
        "invoice": 0.9868,
        "refund": 0.0026,
        "other": 0.0106
      }
    }
  },
  "usage": {
    "input_tokens": 120,
    "output_tokens": 0
  }
}

TypeSafe 互換性ガイド

オープンモデル

オープンな重み、プルしてすぐに利用可能。

winnow:e4b は精度と速度のバランスが最も良く、laya は最も高速で CPU でも良好に動作します。

全モデルを検索

あなたのデータはあなたのもの

デフォルトでプライベート。

チケット、メール、ユーザーメッセージは、しばしば最も機密性の高いデータです。Ollaya を使用すると、それらは既に存在する場所でスコアリングされます。

プラットフォーム

あなたの作業場所で動作します。

macOS、Windows、Linux 用のデスクトップアプリとコマンドライン、サーバー用の Docker イメージ。すべてのモデルは CPU で動作します。Linux、Windows、WSL 2、または Docker 上の NVIDIA GPU は、リクエストをミリ秒単位に短縮します。

プラットフォームデスクトップアプリコマンドラインGPU
macOS Apple Silicon、macOS 14+デスクトップアプリ メニューバーアプリ.dmgコマンドライン インストールスクリプトGPU Apple GPU Laya と NLI は MLX 上で動作
Windows 10 および 11、x64デスクトップアプリ Desktop app.exe または .msiコマンドライン PowerShell スクリプトGPU NVIDIA、CUDA 12/13 コマンドライン
Linux x86-64デスクトップアプリ Desktop app AppImage, .deb, .rpmコマンドライン インストールスクリプト systemd サービスGPU NVIDIA、CUDA 12/13
Linux ARM64デスクトップアプリ 利用不可コマンドライン インストールスクリプト systemd サービスGPU CPU のみ
WSL 2 Linux on Windowsデスクトップアプリ 利用不可コマンドライン インストールスクリプト Linux と同じGPU NVIDIA、CUDA 12/13
Docker amd64 および arm64デスクトップアプリ 利用不可コマンドライン GHCR 上のイメージGPU NVIDIA、CUDA 12/13:cuda および :cuda12, amd64

お使いのプラットフォームにインストール

NVIDIA GPU はドライバー R525 以降が必要です。インストールスクリプトは、GPU を検出した場合にのみ CUDA ライブラリを取得します。Mac では、laya と nli は MLX 経由で Apple GPU 上で動作します。その他のモデル、AMD および Intel GPU、およびコマンドラインがインストールされていない Windows および Linux のデスクトップアプリは CPU を使用します。

数分でセットアップ完了。

1 つのバイナリ、1 つのコマンド: ollaya run winnow:e4b。

ダウンロード

macOS、Windows、Linux および Docker · Apache-2.0 · GitHub