JevがArrowを話したらどうなるか?
What if Jev spoke Arrow? (columnar.tech)
要約
TypeSafe AIの新しいAIモデル「Jev」は、自然言語とアプリケーションの状態から型付けされた意思決定を生成します。この記事では、Jevの出力をApache Arrow形式で表現し、JSON変換のオーバーヘッドを削減する可能性を探ります。Arrowスキーマの設計と、バッチ処理機能が限定的なJev APIを補うためのプロキシサーバー「Jevaro」の構築について論じています。
全文翻訳
JevがArrowに対応したらどうなるか?
更新: その後、JevaroにArrow入力、画像、Box質問を追加し、Jevはバイナリデータも受け付けるようになりました。詳細はJev speaks binaryをご覧ください。
Jevは、TypeSafe AIの新しいモデルで、自然言語とアプリケーションの状態を型付けされた意思決定に変換します。コンテキストを提供し、可能な回答を定義すると、Jevはコードで直接使用できる選択肢、スコア、確率を返します。APIはそれらの回答をJSONとして配信します。最近Jevについて聞かずに済んでいるなら、あなたが隠れている岩は非常に遮音性が高いのでしょう。
Jevは、AIの出力をコードで使いやすくするための、より広範な取り組みの一部です。Outlines from .txtのような他のツールは、制約付きデコーディングを使用して既存の言語モデルにスキーマに準拠した出力を生成させます。TypeSafeは異なるアプローチを取りました。その発表では、新しいモデルアーキテクチャ、並列サンプラー、およびReinforcement Learning for Calibrated Decisionsと呼ばれるトレーニング方法について説明しています。Jevは確率を並列に生成し、トークンごとに回答を生成する手間を省きます。TypeSafeは、その意思決定ワークフローにおいて、汎用LLMと比較して速度とコストで大幅な改善を報告しています。
Jevは新しいプリミティブであり、それが何を実現可能にするかの全容はまだ誰も知りません。この記事は現時点での私たちの考えを反映したものであり、進化していくと予想されます。しかし、すでに強力なパターンがいくつか明らかになっています。TypeSafeのドキュメントにはいくつか記載されています。Speculative fan-outは、推測的なものも含めて一度の呼び出しで多くの質問を行い、コードがどの回答が関連性があるかを決定できるようにします。Confidence-gated routingは、信頼度を第二の意思決定軸として扱い、Jevが不確かな場合にコードが異なるパスを取れるようにします。Composite scoringは、判断の複数の次元を単一のスコアに組み合わせます。Intent routingは、ユーザーが何を求めているかを分類し、リクエストを正しいハンドラーに送信します。
これらのパターンを組み合わせることで、つい最近まで決定論的なものしか実用的ではないと考えられていた場所に、根本的に確率的なワークフローとパイプラインへの道が開かれます。達成できる洗練度は驚くべきものです。
このようなパイプラインは大量の構造化データを移動させますが、構造とパフォーマンス、効率性を組み合わせたもう一つのテクノロジーであるApache ArrowとJevがどのように連携できるかについて、私たちは興味をそそられました。Stop paying the JSON taxでは、ArrowがJSONへの変換と逆変換を回避することでデータパイプラインを高速化できる方法を説明しました。ここではそれが可能でしょうか?
Jevの回答をArrowとしてモデリングする
その疑問を探るために、まずJevの回答を表すArrowスキーマを設計しました。Jevには3つの質問タイプがあり、それぞれ異なる回答形状を持ちます。
| 質問タイプ | 返されるもの |
|---|---|
| Choice | 選択されたオプション、すべてのオプションの確率、および信頼度スコア。 |
| Noul | はい/いいえの質問に対する回答が「はい」である確率。個別の信頼度フィールドはありません。 |
| Score | 順序付けられたレベル上の位置。レベル間に位置することも可能。各レベルの確率、信頼度、およびレベルを説明する凡例。 |
Jevの回答をArrowの列として表現することを選択しました。質問の定義は、推論が開始される前に列の型を教えてくれます。ChoiceのラベルとScoreの凡例は可能な回答を説明するため、スキーマのフィールドメタデータに配置できます。予測と確率はデータバッファに入ります。Arrowの拡張型を使用すると、通常のArrowストレージ型にその意味論的な意味を添付できます。
Choice
struct<
choice: uint8 not null,
confidence: float64 not null,
probabilities: fixed_size_list<item: float64 not null>[N] not null
> not null
metadata: {"labels":["returns","shipping","billing","other"]}
Noul
float64 not null
metadata: {}
Score
struct<
score: float64 not null,
confidence: float64 not null,
probabilities: fixed_size_list<item: float64 not null>[N] not null
> not null
metadata: {"legend":["Can wait","Within a few days","Today"]}
Nは選択肢またはスコアレベルの数です。Choiceは共有ラベルへの1バイトインデックスを格納します。固定サイズの確率ベクトルは行ごとのオフセットを必要とせず、64ビット浮動小数点数はTypeSafe Python SDKが返す値を保持します。スキーマメタデータは、選択肢インデックスとスコアレベルの意味を提供します。値とメタデータを組み合わせることで、元の各回答オブジェクトを再構築するのに十分です。
TypeSafe APIは現在、これらの回答をJSONとして返します。もしこのスキーマを使用して直接Arrowを返す場合、pandas、Polars、DuckDB、Apache DataFusionのようなツールは、まずJSONを逆シリアル化して型付き列を再構築することなく、結果を消費できます。互換性のあるコンシューマーは、コピーせずにArrowバッファを使用できます。
これはすでに構造化データを交換する一般的な方法です。Databricks、Snowflake、ClickHouseは、HTTP経由でArrow形式でクエリ結果を返すことができます。Hugging Face Datasetsは内部でArrowを使用しており、Arrowテーブルを直接取得できます。JevにArrow出力オプションを提供することで、その回答を同じデータワークフローに参加させることができます。
1つの状態から多数へ
Jevは現在Arrow出力を提供していないため、もし提供した場合にTypeSafe APIを使用することがどのようになるかをシミュレートすることが目標でした。それは、Jevを運用レイヤー(一度に1つのインタラクションで意思決定を行う場所)から、作業単位がテーブル全体である分析レイヤーに移行させることを意味しました。そこで、リクエスト形式に関する、より基本的な問題に直面しました。
A TypeSafe APIリクエストには、state(評価するコンテキスト)とquestions(それについて行うべき判断のマップ)が含まれています。このAPIは、1つの状態について複数の質問をすることに素晴らしく設計されています。しかし、多数の独立した状態について同じ質問セットを行うためのネイティブなバッチ操作がありません。
例えば、ライブの顧客インタラクションを考えてみましょう。インテントを特定し、緊急度をスコアリングし、払い戻し適格性をチェックし、不正の兆候を探したいかもしれません。コンテキストを一度送信し、それらの質問すべてをまとめて行うことができ、Jevはそれらを並列に独立して評価します。ドキュメントはこの機能をうまく活用しています。しかし、それらの判断をライブアプリケーションで信頼する前に、検証したいでしょう。その一部は、Jevが見る可能性のある状態の範囲全体で生成されるべき確率について推論することです。しかし、代表的な過去の顧客インタラクションのサンプルに対して実行し、既知の結果と比較したいとも思うでしょう。それが私たちの関心のあるバルクワークロードです:多数の状態、固定された質問セット。Jevの速度と価格設定は、その作業に適しています。障害はAPIです:バルクエンドポイントがないため、状態ごとに数千または数百万の個別のAPI呼び出しを行う必要があります。
Jevaroの構築
実験を諦める準備ができていなかったため、Jevaroを構築しました。これはPythonとJavaScriptクライアントを備えた小さなPythonプロキシサーバーです。1つのリクエストで複数のstatesと共有されたquestionsマップを受け入れ、各状態に対してJevを呼び出し、上記のスキーマを使用したArrow IPCストリームを返します。結果は入力順に到着します。スキーマはすぐに送信され、回答はその順序で利用可能になり次第続きます。
スループットの向上には、いくつかのチューニングラウンドが必要でした。新しい接続を繰り返し開くことは、ネットワークとTLSのセットアップ時間を追加します。次のリクエストを送信する前に各回答を待つことは、呼び出しが重複するのを防ぎます。長寿命のHTTP/2接続プールを再利用し、非同期リクエストのウィンドウを保留状態にし、結果バッチを書き込む前にそれを補充しました。SDKの再試行は、切断された接続を回復し、レート制限と過負荷応答に対してバックオフします。これらすべてが、結果の入力順序を維持します。
そのチューニングの後でも、各状態は個別のアップストリームHTTPリクエストとJSON応答を必要とします。APIオーバーヘッドとJSON変換の繰り返しをすべて回避することで、ネイティブなバルク呼び出しが直接Arrowを返す場合、スループットが桁違いに向上すると予想されます。最低限、ボトルネックをAPIオーバーヘッドから推論自体にシフトさせることができます。
今のところ、Jevaroはインターフェースを実験することを可能にします。リクエストロジックを各SDKに直接配置することもできましたが、バッチ処理プロキシサーバーは、同時実行性、再試行、順序付け、およびArrowシリアライゼーションの実装を1つにまとめます。ブラウザクライアントもTypeSafeキーを受け取らずに使用できます。コストは追加のプロセスとネットワークホップですが、同じリクエスト最適化をクライアントで実行することも可能です。
PythonとJavaScriptからのJevaroの使用
uvで試すには、TypeSafe APIキーを設定してサーバーを起動します。
$ export TYPESAFE_API_KEY="your-api-key"
$ uvx jevaro-server
それを実行したままにしておきます。これをexample.pyとして保存し、別のターミナルでuv run --with jevaro example.pyを実行します。
from jevaro import Noul, TypeSafeClient
with TypeSafeClient(base_url="http://127.0.0.1:8000") as client:
with client.system_one(
states=["Please refund the shoes.", "Where is my parcel?"],
questions={"refund": Noul(instructions="Is a refund being requested?")},
) as reader:
print(reader.schema)
for batch in reader:
if batch.num_rows:
print(batch.to_pylist())
readerはPyArrowのRecordBatchReaderです。これはスキーマと各状態の払い戻し確率を表示します。代わりにPyArrowテーブルを収集するには、コンテキストマネージャー内でループをtable = reader.read_all()に置き換えます。
JavaScriptの場合、npm install jevaroを実行し、これをexample.mjsとして保存し、node example.mjsを実行します。
import { TypeSafeClient, noul } from "jevaro";
const client = new TypeSafeClient({ baseURL: "http://127.0.0.1:8000" });
const reader = await client.systemOne({
states: ["Please refund the shoes.", "Where is my parcel?"],
questions: { refund: noul("Is a refund being requested?") },
});
try {
console.log(reader.schema.toString());
for await (const batch of reader) {
for (const row of batch) console.log(row.refund);
}
} finally {
await reader.cancel();
}
JavaScriptクライアントはApache ArrowのAsyncRecordBatchStreamReaderを返します。SDKはブラウザでも動作します。
スループットとコスト
Jevaroのスループットを測定するために、10,000件の合成顧客メッセージのバッチをテストしました。各メッセージは、部署のChoice、緊急度のScore、および払い戻しが要求されたかどうかのNoulで評価されました。最も速い実行では、10,000行すべてを21.5秒で返しました。これは約毎秒464状態に相当します。クライアントは34ミリ秒後にスキーマを受け取り、290ミリ秒後に最初の回答行を受け取りました。経過時間には、アップストリーム呼び出し、再試行、およびローカルでの完全なArrow結果の受信が含まれます。ディスクへの保存はその後に行われます。TypeSafe APIのレート制限は現在頻繁に変更されているため、スループットは異なる場合があります。報告されたトークン使用量とTypeSafeの公開価格に基づくと、推定コストは30,000回答で0.20ドルでした。
Jevは、10,000件の個別のAPI呼び出しというオーバーヘッドを考慮すると、このワークロードを安価かつ比較的迅速に処理しました。これは、バルクAPIが直接Arrowを返す場合にどれだけ速くなるかはまだわかりません。Jevaroは依然として状態ごとに1回のAPI呼び出しを行い、TypeSafe APIは各応答をJSONとしてシリアライズします。Jevaroはそれらの応答を解析し、Arrow配列を構築します。この変換を最適化し、ユーザーコードから移動させましたが、依然として発生します。
そのオーバーヘッドを削除するには、バッチ処理とArrow出力がTypeSafe API自体で行われる必要があります。TypeSafeチームと協力してネイティブなバルクエンドポイントをテストし、その違いを測定したいと考えています。それまでの間、Jevaroを洗練し続けます。Arrow入力を追加し、進化するAPIレート制限への適応を改善し、出力レコードバッチサイズのさらなる実験を行います。JevへのArrowインターフェースに何を期待しますか?Issueを開いて教えてください。
明確にするために、TypeSafe APIに対する私たちのウィッシュリストは狭いものです:Arrowを返すバルクエンドポイント。Jevに関する他のすべては私たちを興奮させており、特に確率的な決定と決定論的なデータ処理を組み合わせたパイプラインの見通しはそうです。私たちはColumnar Gatewayにその種の新しい機能の一部を構築しています。
次のステップ
- あなた自身の状態と質問でJevaroを試してください。
- Gatewayの早期アクセスにサインアップしてください。