HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Sonnet 5.5

Sonnet 5.5 (anthropic.com)

883 pointsby D2OQZG8l5BI1S06614 コメント

要約

Anthropicは、Claude 5.5ファミリーの第二弾として、Claude Sonnet 5.5を発表しました。このモデルは、Claude Sonnet 5と比較して30%以上高速かつ低コストで動作し、日常的なタスク、バグ修正、ドキュメント作成などで優れた性能を発揮します。特にコーディング能力が大幅に向上しており、Opus 5.5に匹敵する性能をより低コストで実現します。

全文翻訳

Claude Sonnet 5.5

Claude 5.5ファミリーの第2弾となるClaude Sonnet 5.5を発表します。これはClaude Sonnet 5を明確に上回るアップグレードであり、処理速度は30%以上向上し、ほとんどの作業でコストは最大30%削減されます。

Sonnet 5.5は、Claude Opus 5.5を補完する、より高速で低コストなモデルです。Opus 5.5が慎重な判断を必要とする複雑な作業のために構築されているのに対し、Sonnet 5.5は、範囲が明確な日常的なタスク、バグ修正、洗練されたドキュメント、スライド、スプレッドシートの作成に最も強みを発揮します。デザインに対する鋭い目も持っています。高ボリュームかつコスト重視のアプリケーション向けに構築されたClaude Haiku 5.5は、今後数週間でClaude 5.5ファミリーに加わる予定です。

Sonnet 5.5はSonnet 5と比較して以下の点で改善されています。

パフォーマンス。 エージェント型コーディング評価であるTerminal-Bench 4.0において、Sonnet 5.5は70.6%のスコアを記録しました。これはSonnet 5の10.3%と比較して大幅な向上です。さまざまな職業における実世界の作業をテストするGDPval-AAでは、Opus 5.5に2ポイント差で迫っています。また、長期間にわたる作業や画像理解にも強く、スクリーンショットのみから『ポケットモンスター 赤』をクリアした初のSonnetモデルとなりました。

コラボレーション。 Opus 5.5と同様に、Sonnet 5.5は前世代モデルよりも明確に文章を作成します。初期テスターからは、Sonnet 5よりもコラボレーションのパートナーとして優れていると評価されました。その速度は、それほど複雑でないタスクでの迅速なイテレーションにも適しています。

コスト。 Sonnet 5.5の価格はSonnet 5と同じで、入力トークン100万件あたり2ドル、出力トークン100万件あたり10ドルですが、通常は同じ作業を行うために必要なトークン数が大幅に少なくなります。キャッシュ読み取りはトークン100万件あたり0.10ドルで、Sonnet 5の0.20ドルの半額です。当社のテストでは、前世代モデルと比較してタスクあたりのコストが最大30%削減されました。

速度。 Sonnet 5.5は、Sonnet 5よりも30%以上高速に出力を生成するため、これまでのSonnetモデルの中で最速です。

アライメントと安全性。 自動化された行動監査において、Sonnet 5.5はアライメントのほとんどの指標でSonnet 5を改善または同等にしました。そのサイバーセキュリティ能力はOpus 5に匹敵するため、最も高性能なモデル向けに開発したサイバーセキュリティ対策とフォールバック機能を搭載してリリースされる初のSonnetモデルとなります。生物学に関する安全性対策はSonnet 5と同じです。どちらの対策も、特定の高リスクな要求に限定されており、通常のソフトウェア開発やほとんどのライフサイエンスの作業には影響しません。

パフォーマンス

Sonnet 5.5は、いくつかの領域でSonnet 5を大幅に上回るパフォーマンスを示しています。いくつかの評価では、Sonnet 5.5の最大努力(Max effort)設定は、Opus 5.5に匹敵するパフォーマンスを発揮することさえあります。しかし、ベンチマークスコアはモデルの能力の一側面しか捉えていません。当社のテストおよび外部テスターのテストでは、Opus 5.5は依然として、持続的な判断を必要とする複雑でオープンエンドな作業において明らかに優れています。

評価項目Sonnet 5.5Sonnet 5Opus 5.5GPT-6 Sol
エージェント型コーディング Terminal-Bench 4.070.6%10.3%66.4%¹—
エージェント型コーディング FrontierCode 1.1 (Main)46.2%Max²42.4%54.4%49.3%
エージェント型コーディング CursorBench 4.055.5%34.1%57.8%—
ナレッジワーク GDPval-AA v2.1³1844144918461487⁴
ナレッジワーク AA-Briefcase v1.1³1811135918221483⁴
学際的推論 Humanity’s Last Exam64.5%with tools54.9%with tools67.7%with tools—
コンピューター操作 OSWorld 2.180.1%partial57.0%partial81.8%partial—
画像チャート認識 Chartography61.6%no tools15.6%no tools64.4%no tools53.6%⁴no tools

¹ Terminal-BenchとOpenAIはGPT-6 Solのパフォーマンスを公開していないため、ここではGPT-5.6 Solのスコアを報告します。
² Maxは最高努力レベルを指します。
³ GDPval-AA v2.1およびAA-Briefcase v1.1は、さまざまな職業における実世界のタスクをテストします。
⁴ GPT-6 Solのスコアは、公開されている情報に基づいています。

評価の実施方法の詳細については、Sonnet 5.5システムカードを参照してください。

以下のチャートは、各モデルのスコアと、すべての努力レベルにおけるタスクあたりのコストをプロットしたものです。努力レベルが上がるにつれて、モデルは通常より長く作業するため、タスクあたりのコストは高くなりますが、一般的にスコアも高くなります。チャートの左上隅に近いほど、1ドルあたりの能力が高くなります。

いくつかのベンチマークでは、Sonnet 5.5の低(Low)または中(Medium)努力レベル設定が、Sonnet 5の最高スコアをタスクあたりのコストの約10分の1で上回っています。Opus 5.5との補完関係は、タスクあたりのコストが低い低努力設定で実行する場合に最も効果的です。高努力設定では、同等のコストで同等のパフォーマンスを発揮できます。

Terminal-Bench 4.0

Terminal-Bench 4.0は、モデルがコマンドラインインターフェース内で複雑な多段階の専門的なタスクをどの程度完了できるかを測定します。Claudeアプリのデフォルトである中(Medium)努力レベルでは、Sonnet 5.5はSonnet 5の最高スコアを、タスクあたりのコストの10分の1未満で大幅に上回ります。

[画像: Terminal-Bench 4.0の精度対コストチャート]

コーディング

Sonnet 5.5のパフォーマンスの向上は、特にコーディングにおいて顕著です。FrontierCodeの高(High)努力レベル設定では、Sonnet 5と同じ設定で10ポイント高く、タスクあたりのコストは約15分の1です。実際のCursorコーディングセッションからのタスクをテストするCursorBenchでは、その最高スコアはOpus 5.5に約2ポイント差で迫っています。

初期テスターは、Sonnet 5.5がコードベースをどれだけ迅速に理解できるかを高く評価しました。また、その効率性にも驚かされました。直接比較テストでは、Sonnet 5よりもツール呼び出しをまとめて実行し、ステップ数とコストを削減しました。

「Epicの初期テストにおいて、Claude Sonnet 5.5は、システム設計監査やデータフローレビューで期待される上位モデルと同等の品質基準を満たしました。新モデルは、ゲームシステムアーキテクチャのために数万行のコードを処理し、応答を迅速に保ち、数時間にわたるタスクを処理し、あまり指示的でないプロンプトで成果を提供しました。」

会社: Epic Games
著者: Daniel Vogel, Chief Operating Officer

ナレッジワーク

Sonnet 5.5は、ナレッジワークの複数の領域で改善を示しています。44の職業と9つの主要産業における実世界のタスクをテストするGDPval-AAでは、Sonnet 5.5のスコアはOpus 5.5にほぼ並び、Sonnet 5を約400ポイント上回っています。コンピューター操作とチャート認識ではOpus 5.5に近く、長期間にわたるナレッジワークではSonnet 5およびGPT-6 Solを明らかに上回っています。

初期テスターは、定量化が難しい改善点を強調しました。彼らは、より自然な会話パートナーであると感じ、デザインのセンスに言及し、ユーザーインターフェースを洗練させ、スライドテンプレートに従って最小限の編集で済むデッキを作成できると指摘しました。ある社内テストでは、公開企業の四半期決算資料と通話記録、およびスライドテンプレートを提供し、10枚のスライドからなるオペレーティングレビューの作成を依頼しました。2人の専門家が、その初稿はそのまま送信できると評価しました。

「プロンプトを一切変更せずに、Claude Sonnet 5.5は、ほぼすべてのオフラインSlackbot評価でSonnet 5よりも優れた結果を、より少ないステップと約14%少ない出力トークンで達成しました。ユーザーがSlackbotにタスクを依頼する際、品質と速度が最も重要であり、Sonnet 5.5によりSlackbotはユーザーにより良い結果を、より速く提供できます。」

会社: Slack
著者: Curtis Allen, Principal Engineer

コストと速度

Sonnet 5.5は、タスクあたりのトークン数がSonnet 5よりも少ないため、実行コストが低くなります。また、出力生成速度も30%以上高速化されており、その効率性はすぐに実感できます。

プロンプト:
A murmuration of 400 starlings in one HTML file

Claude Sonnet 5: [出力例]
Claude Sonnet 5.5: [出力例]

[画像: Sonnet 5とSonnet 5.5のHTML出力比較]

[画像: プロンプトに対する応答時間の比較チャート]

[画像: タスクあたりのトークン数の比較チャート]

[画像: タスクあたりのコストの比較チャート]

努力レベルを調整することで、コストと速度と全体的な品質のバランスを取ることができます。Claude Codeおよび当社のアプリでは、デフォルトの努力レベルは中(Medium)に設定されていますが、Claude Platformでは高(High)がデフォルトです。低い設定では、Claudeはより速く応答し、トークン使用量も少なくなるため、日常的な作業に適しています。高い設定では、Claudeはより長く推論し、作業をより徹底的に確認します。

安全性

アライメント

Sonnet 5.5は、当社のモデルの能力の最先端を押し広げるものではないため、アライメント評価は、ユーザーの利益に反する行動、ユーザーを誤解させる、高リスクな不正利用に協力するといった、あらゆる能力レベルのモデルに適用されるリスクに焦点を当てました。

約1,850のシナリオでClaudeをテストする自動化された行動監査において、Sonnet 5.5は、アライメント、不正利用への抵抗、正直さのほとんどの指標でSonnet 5を改善または同等にしました。当社の新しい封じ込め評価では、Sonnet 5.5は、サンドボックスからの脱出を試みる頻度において、テストした中で最高のモデルであるOpus 5.5に迫り、コンテナの制限を探る可能性が最も低いモデルです。監査全体では、Opus 5.5が依然として全体的にわずかに優れていますが、Sonnet 5.5がユーザーの意図と競合する目標を追求するという証拠は見つかりませんでした。

当社の最近のアライメント評価で説明したように、いかなる評価セットもすべての失敗を確実に検出できるわけではなく、Sonnet 5.5にはまだ発見されていない傾向がある可能性があります。そのため、当社は独自のalignment作業と、以下に説明する安全対策を組み合わせています。

安全対策

サイバーセキュリティ。 Sonnet 5.5のサイバー能力はSonnet 5と比較して大幅に向上しているため、Opus 5.5と同様の安全対策を施して展開します。ユーザーは通常のソフトウェア開発の一環としてコードのバグを見つけて修正できますが、より高リスクなサイバーセキュリティタスクは、Sonnet 5にフォールバックすることが目に見えてわかります。まもなく、サイバーセキュリティ担当者は、当社の拡張されたサイバー検証プログラムに申請することで、Sonnet 5.5、Opus 5.5、およびClaude Mythosモデルでより高度な機能への段階的なアクセスが可能になります。

生物学。 Sonnet 5.5は、Sonnet 5と同じ生物学に関する安全対策を使用します。これらは有害な要求を対象としており、ほとんどの研究、教育、臨床作業には影響しませんが、一部の微生物学およびウイルス学の要求が誤ってフラグ付けされる可能性があります。組織は、ライフサイエンス検証プログラムに申請することで、生物学関連の幅広い作業に対応するように設計された安全対策へのアクセスが可能になります。

蒸留(Distillation)。 攻撃者が数千の偽アカウントを使用して産業規模でモデルの能力を抽出する蒸留攻撃は、悪意のあるアクターがClaudeに組み込まれている安全対策なしで、非常に有能なモデルを作成することを可能にします。Sonnet 5.5は前世代よりもはるかに有能であるため、推論抽出を防ぐ安全分類器を搭載してリリースされる初のSonnetモデルとなります。Sonnet 5.5はまた、保存された思考(preserved thinking)を拡張するため、Claudeの思考はそれを生成したアカウントから切り離すことができません。ほとんどの開発者は変更に気づかないでしょう。会話をアカウント間で移動する場合(Claude Codeでセッション中にアカウントを切り替える場合を含む)、当社のドキュメント記事で変更点について説明しています。

はじめに

Opus 5.5およびSonnet 5と同様に、Claude Sonnet 5.5はデータ保持なしで利用可能です。

Claude Sonnet 5.5は、Amazon Web Services、Google Cloud、Microsoft Azureを含むすべてのプラットフォームで利用可能になりました。開発者はClaude Platformでclaude-sonnet-5-5を使用して開始できます。思考(thinking)をオフにしてSonnetを実行している場合、Sonnet 5.5に移行する前に、まずbetween_tools設定に切り替える必要があります。これは、前方思考をオフにしたままにします。詳細は当社の移行ガイドを参照してください。