Senior SWE-Bench: シニアエンジニアとしてエージェントを評価するオープンソースベンチマーク

Senior SWE-Bench エージェントをシニアエンジニアのように扱っているのに、なぜジュニアエンジニアのように評価するのでしょうか？ 01 シニアエンジニアは、過度に詳細な要件なしに機能を構築します Senior SWE-Benchの機能タスクは、過度に詳細な要件ではなく、自然言語メッセージのように読める現実的な指示を持っています。これらのタスクを確実に評価するために、我々は専門家が設計したレシピを使って、提出されたソリューションに適応する振る舞いテストを作成する検証エージェントを導入します。 02 シニアエンジニアは、振る舞いレポートからランタイム調査が必要なバグを解決します Senior SWE-Benchのバグタスクは、厄介なユーザーレポートを反映し、サービスの起動から微妙なランタイム問題のデバッグまで、調査に焦点を当てています。これらは、解決に重要なランタイム調査（例：ログ、プロファイリングデータ、再現手順）が必要だったPRから得られています。 03 シニアエンジニアは、指示されなくても適切なコードを出荷します Senior SWE-Benchは、ランタイムの正しさテストと、観測されたコードベースの実践に基づくいくつかの品質メトリクスを組み合わせて、洗練された解決策を評価します。さらに、検証者とバリデーションは、指示で明示されていないロードベアリングなコードベースの実践に対してテストできます。 検証エージェント、テイストスコアリング、品質管理プロセスなど、当社の技術的貢献の詳細については、ブログ記事をお読みください→ 過度に詳細な 6,008文字・約39個のコードシンボル swe-bench-pro/instruction.md ### BookWormにGoogleブックスをメタデータソースとして追加し、フォールバック/ステージングインポートに対応させる ### 問題点/機会 BookWormは現在、メタデータの主要ソースとしてAmazonとISBNdbに依存しています。これにより、特にISBN-13のみの書籍の場合、メタデータが欠落している、形式が不正である、または不完全であるという問題が生じます。その結果、プロミスアイテムまたは`/api/import`経由で提出された不完全なレコードは、エンリッチメントに失敗し、Open Libraryに低品質なエントリが残る可能性があります。この制限は、データ品質と、特に一般的でないタイトルや国際的なタイトルにおけるユーザーのインポート成功率に影響を与えます。 ### 正当化：なぜこれに取り組むべきか、測定可能な影響は何か？ Googleブックスをフォールバックメタデータソースとして統合することで、Open Libraryがより豊富なエディションデータを補完し、ステージングする能力が向上します。これにより、インポートされた書籍の完全性が向上し、メタデータ不足によるインポート失敗が減少し、インポート体験に対するユーザーの信頼が高まります。影響は、インポート成功率の向上と、「Book 978...」のようなプレースホルダーエントリの頻度減少によって測定可能です。 ### 成功の定義：問題が解決されたとどのように判断するか？ - BookWormがISBN-13を使用してGoogleブックスからメタデータを取得し、ステージングできること。 - 自動テストが、以下を含むさまざまなGoogleブックスの応答の正確な解析を確認すること： - 利用可能なフィールド（タイトル、サブタイトル、著者、出版社、ページ数、説明、発行日）の正しいマッピング。 - 欠落または不完全なフィールド（例：著者なし、ISBN-13なし）の適切な処理。 - Googleブックスがゼロまたは複数の結果を返した場合に結果を返さないこと。 ### 提案 BookWormにGoogleブックスをフォールバックメタデータプロバイダーとしてサポートを導入します。Amazonのルックアップが失敗した場合、またはISBN-13のみが利用可能な場合、BookWormはGoogleブックスAPIからメタデータを取得し、インポートのためにステージングを試みるべきです。これには、ソースロジック、メタデータ解析の更新、および`google_books`からのレコードが正しく処理されることの確認が含まれます。 要件： - `openlibrary/core/imports.py`のタプル`STAGED_SOURCES`には、Googleブックスからのステージングされたメタデータがインポートパイプラインによって認識され、処理されるように`