HN 日本語サマリー

← 一覧へ戻る
プログラミング

Jevotron: コマンドラインから複数のJevインテグレーションを実行

Jevotron: Multiple Jev integrations from the command line (cmungall.github.io)

12 pointsby chrismungall1 コメント

要約

Jevotronは、コマンドラインで手軽に異常検知を実行できるツールです。ファイルと簡単な指示を与えるだけで、フィールドレベルの異常スコア、レビュー用キュー、キャッシュ機能を提供します。CSV、YAML、JSONなど多様なフォーマットに対応し、設定も容易です。

全文翻訳

コマンドラインから手軽に異常検知を実行¶ Jevotronにファイルと簡単な指示を与えるだけで、フィールドレベルの異常スコア、レビュー用キュー、そして次の実行をより安価にするキャッシュが得られます。 最初のスキャンを実行する¶ コマンドを見る¶ スキルをインストールする¶ jevotron / airports.csv $ jevotron scan airports.csv --guidance "Check airport locations." まず、APIキーを設定する¶ TypeSafeダッシュボードからキーを取得し、シェルに設定します: export TYPESAFE_API_KEY="your-api-key" 既に設定済みですか? スキャンする準備ができました。 プレビューはキー不要です。 APIキーの設定 → 実際の空港の結果を見る → 01 / PREVIEW 何が入力されるか確認する¶ API呼び出しを行う前に、チャンク、フィールドパス、正確なモデルリクエストを検査します。 ファイルをプレビューする → 02 / SCAN すべてのエントリを評価する¶ Jevは選択されたフィールドをまとめてスコアリングします。各エントリは同じ指示とオプションの例を受け取ります。 フィールドを選択する → 03 / REVIEW 警告から始める¶ 疑わしいエントリをソートし、CSVにエクスポートするか、JSONLを既存のシェルワークフローにパイプします。 レビューキューを構築する → 簡単なセットアップ。便利なデフォルト。¶ CSV、YAML、JSON、TOML、テキスト、OBOなど、gzipファイルを含め、すぐに利用できます。フォーマットリファレンスには、デフォルトとフォーマット固有のオプションが記載されています。 --fieldでフィールドを選択し、--guidanceで一文を追加して実行します。より長い指示は--guidance-fileから取得できます。 プロジェクトでカスタム解析や再利用可能な設定が必要な場合は、ローカルPython設定が利用可能です。 変更されていない入力は、その評価を再利用します。 SQLiteは、成功した各結果が到着次第保存します。 ファイルの順序を変更したり、レポートしきい値を変更したり、変更されていないエントリを再評価せずに失敗した実行を再開したりできます。 目に見える証拠付きのレビュー補助。¶ レポートには、各フィールドの確率、エントリスコア、ソースの場所、評価日が保持されます。警告スコアは、最も高いフィールド異常確率であり、しきい値を選択します。 完全な例を試す¶ 例¶ 空港 / CSV¶ 公開データに挿入された2つの国エラーを見つけ、バージョンを比較します。 在庫 / YAML¶ 記述されたルールと選択された例を在庫レコードに適用します。 測定単位 / OBO¶ 独立したスタンザ内の定義と繰り返し同義語をスコアリングします。 エージェントトレース / JSONL¶ 公開エージェントトレースと個々のステップを分類し、公開ラベルと比較します。 エージェントトレース:測定されたパイロット¶ 24の公開トレースの小さな、長さでフィルタリングされたサンプルで、jtは163のステップ品質ラベルのうち130(79.8%)を一致させました。有害ステップの精度は89.7%、リコールは70.3%でした。この例では、元のメッセージとツール定義を使用し、人間によるラベルはモデルから除外しています。 トレース例を試す → 完全な分析と制限を読む →