Jevotron: コマンドラインから複数のJevインテグレーションを実行
Jevotron: Multiple Jev integrations from the command line (cmungall.github.io)
要約
Jevotronは、コマンドラインで手軽に異常検知を実行できるツールです。ファイルと簡単な指示を与えるだけで、フィールドレベルの異常スコア、レビュー用キュー、キャッシュ機能を提供します。CSV、YAML、JSONなど多様なフォーマットに対応し、設定も容易です。
全文翻訳
コマンドラインでのワンショット異常検知¶
jevotron / airports.csv
$ jevotron scan airports.csv --guidance "Check airport locations."
01 / PREVIEW
入力内容を確認する¶
API呼び出しを行う前に、チャンク、フィールドパス、および正確なモデルリクエストを確認します。
02 / SCAN
全エントリを評価する¶
Jevは選択されたフィールドをまとめてスコアリングします。各エントリは同じガイダンスとオプションの例を受け取ります。
03 / REVIEW
警告から始める¶
疑わしいエントリをソートしたり、CSVにエクスポートしたり、JSONLを既存のシェルワークフローにパイプしたりできます。
小規模なセットアップ。便利なデフォルト。¶
CSV、YAML、JSON、TOML、テキスト、OBO、その他が、gzipファイルを含め、そのまま動作します。フォーマットリファレンスには、デフォルトとフォーマット固有のオプションが記載されています。--fieldでフィールドを選択し、--guidanceで説明文を追加して実行します。--guidance-fileからより長い指示を取得できます。プロジェクトでカスタムパーシングや再利用可能な設定が必要な場合は、ローカルのPython設定が利用可能です。
変更されていない入力は、その評価を再利用します。 SQLiteは、成功した各結果を到着時に保存します。ファイルの順序を変更したり、レポートしきい値を変更したり、失敗した実行を再開したりしても、変更されていないエントリの再評価は行われません。
可視的な証拠を備えたレビューエイド。 レポートには、各フィールドの確率、エントリスコア、ソースの場所、および評価日時が保持されます。警告スコアは、最も高いフィールド異常確率であり、しきい値はユーザーが選択します。
完全な例を試す¶
| 例 | 実行内容 |
|---|---|
| 空港 / CSV | 公開データ内の2つの注入された国エラーを見つけ、バージョンを比較します。 |
| 在庫 / YAML | 作成したルールと選択した模範例を在庫記録に適用します。 |
| 測定単位 / OBO | 独立したスタンザ内の定義と繰り返される同義語をスコアリングします。 |
| エージェントトレース / JSONL | 公開エージェントトレースと個々のステップを分類し、公開ラベルと比較します。 |
エージェントトレース:測定されたパイロット¶
24件の公開トレースの小規模で長さフィルタリングされたサンプルで、jtは163件のステップ品質ラベル中130件(79.8%)を一致させました。有害ステップの精度は89.7%、リコールは70.3%でした。この例では、元のメッセージとツール定義を使用し、人間によるラベルはモデルから除外しています。