HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Senior SWE-Bench: シニアエンジニアとしてエージェントを評価するオープンソースベンチマーク

Senior SWE-Bench: open-source benchmark that assesses agents as senior engineers (senior-swe-bench.snorkel.ai)

56 pointsby matt_d36 コメント

要約

Senior SWE-Benchは、エージェントをジュニアエンジニアではなくシニアエンジニアとして評価するためのオープンソースベンチマークです。このベンチマークは、自然言語の指示で機能を構築するタスク、ランタイム調査が必要なバグ修正タスク、そしてコード品質も評価する採点基準によって、エージェントの実際のエンジニアリング能力を測ります。これにより、AIエージェントがより実践的な問題解決能力を持つかを評価することが可能になります。

全文翻訳

Senior SWE-Bench

1

BookWormにGoogle Booksをメタデータソースとして追加し、フォールバック/ステージングインポートを改善

2

3

問題 / 機会

4

5BookWormは現在、メタデータのプライマリソースとしてAmazonとISBNdbに依存しています。これは、メタデータが欠落している、破損している、または不完全である場合に問題となります。特にISBN-13のみを持つ書籍では顕著です。その結果、Promiseアイテムや/api/import経由で送信された不完全なレコードは、リッチ化に失敗し、Open Libraryに低品質なエントリが残ってしまう可能性があります。この制限は、データ品質とユーザーのインポート成功率に影響を与え、特に一般的でないタイトルや国際的なタイトルで問題となります。

6

7

正当化: なぜこれに取り組むべきか、そして測定可能な影響は何か?

8

9Google Booksをフォールバックメタデータソースとして統合することで、Open Libraryはリッチなエディションデータを補完し、ステージングする能力が向上します。これにより、インポートされる書籍の完全性が向上し、メタデータが少ないことによるインポート失敗が減少し、ユーザーのインポート体験に対する信頼が高まります。この影響は、インポート成功率の向上と、「Book 978...」のようなプレースホルダーエントリの頻度の減少によって測定可能です。

10

11

成功の定義: 問題が解決したとどのように判断できるか?

12

13- BookWormがISBN-13を使用してGoogle Booksからメタデータを取得し、ステージングできるようになる。

14

15- 自動テストにより、多様なGoogle Booksのレスポンスが正確に解析されることが確認される。これには以下が含まれる:

16

17 - 利用可能なフィールド(タイトル、サブタイトル、著者、出版社、ページ数、説明、公開日)の正しいマッピング。

18

19 - 不足または不完全なフィールド(例: 著者なし、ISBN-13なし)の適切な処理。

20

21 - Google Booksがゼロまたは複数の結果を返した場合に、結果を返さないこと。

22

23

提案

24

25BookWormにGoogle Booksをフォールバックメタデータプロバイダーとしてサポートを追加します。Amazonのルックアップが失敗した場合、またはISBN-13のみが利用可能な場合、BookWormはGoogle Books APIからメタデータを取得し、インポートのためにステージングを試みるべきです。これには、ソースロジック、メタデータ解析の更新、およびgoogle_booksからのレコードが正しく処理されることの確認が含まれます。

26

要件:

28- openlibrary/core/imports.pyのタプルSTAGED_SOURCESには、"google_books"を有効なソースとして含める必要があります。これにより、Google Booksからのステージングされたメタデータがインポートパイプラインによって認識され、処理されるようになります。

29

30- BookwormメタデータをステージングするためのURLは "http://{affiliate_server_url}/isbn/{identifier}?high_priority=true&stage_import=true" です。ここで、affiliate_server_urlはopenlibrary/core/vendors.pyからのもので、identifierパラメータはISBN 10、ISBN 13、またはB*ASINのいずれかです。

31

32- openlibrary/plugins/importapi/code.pyでsupplement_rec_with_import_item_metadataを使用してレコードを補完する場合、source_recordsフィールドが存在する場合、既存の値を置き換えるのではなく、新しい識別子を追加(拡張)する必要があります。

33

34- scripts/affiliate_server.pyでは、stage_from_google_booksという名前の関数が、指定されたISBNのメタデータをGoogle Books APIを使用して取得およびステージングしようとし、成功した場合はBatch.add_itemsを使用してメタデータを対応するバッチに追加して永続化する必要があります。

35

36- scripts/affiliate_server.pyのアフィリエイトサーバーハンドラーは、Amazonから結果が得られないISBN-13識別子に対してGoogle Booksにフォールバックする必要があります。ただし、クエリパラメータhigh_priority=trueとstage_import=trueの両方がリクエストで設定されている場合に限ります。

37

38- Google Booksが単一のISBNクエリに対して複数の結果を返した場合、ロジックは警告メッセージをログに記録し、信頼性の低いデータの導入を避けるためにメタデータのステージングをスキップする必要があります。

39

40- Google Booksのレスポンスから解析およびステージングされるメタデータフィールドには、少なくともisbn_10、isbn_13、title、subtitle、authors、source_records、publishers、publish_date、number_of_pages、およびdescriptionが含まれ、Open Libraryのインポートシステムが期待するデータ構造と一致する必要があります。

41

42- scripts/promise_batch_imports.pyでは、不完全なレコードをリッチ化する際に、以前のAmazonのみのロジックの代わりにstage_bookworm_metadataが使用されるように、ステージングロジックが更新される必要があります。

43

導入された新しいインターフェース:

45関連性のないファイルからのエントリを削除した新しい公開インターフェースを以下に示します。

46

関数: fetch_google_book

47場所: scripts/affiliate_server.py

入力: isbn (str) — ISBN-13

出力: HTTP 200の場合はGoogle Books APIからの生のJSONレスポンスを含む辞書、それ以外の場合はNone

説明: 指定されたISBNのGoogle Books APIからメタデータを取得します。

52

関数: process_google_book

54場所: scripts/affiliate_server.py

入力: google_book_data (dict) — Google Booksから返されたJSONデータ

出力: 成功した場合は正規化されたOpen Libraryエディションフィールドを含む辞書、それ以外の場合はNone

説明: Google Books APIデータを正規化されたOpen Libraryエディションレコードに処理します。

58

関数: stage_from_google_books

60場所: scripts/affiliate_server.py

入力: isbn (str) — ISBN-10またはISBN-13

出力: メタデータが正常にステージングされた場合はTrue、それ以外の場合はFalse

説明: 指定されたISBNのGoogle Booksからメタデータを取得してステージングし、見つかった場合はインポートバッチに追加します。

63

関数: get_current_batch

66場所: scripts/affiliate_server.py

入力: name (str) — "amz"または"google"のようなバッチ名

出力: 指定された名前に対応するBatchインスタンス

説明: ステージングアイテム用のバッチオブジェクトを取得または作成します。

70

クラス: BaseLookupWorker

72場所: scripts/affiliate_server.py

説明: APIルックアップワーカーのベーススレッディングクラス。提供された関数を使用してキューからアイテムを処理します。

74メソッド: BaseLookupWorker.run(self)

76場所: scripts/affiliate_server.py

説明: キューからアイテムをループで処理し、取得した各アイテムに対してprocess_itemコール可能を呼び出す公開メソッド。

77

クラス: AmazonLookupWorker

79場所: scripts/affiliate_server.py

説明: Amazon APIルックアップをバッチ処理および実行するスレッドワーカー。BaseLookupWorkerを拡張します。

81メソッド: AmazonLookupWorker.run(self)

82場所: scripts/affiliate_server.py

説明: キューから最大10個のAmazon識別子をバッチ処理し、Amazonバッチハンドラーを使用してそれらをまとめて処理し、API制約に従ってタイミングを管理する公開メソッドオーバーライド。