HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Opus 5 はなぜ使い勝手が悪く感じるのか?

Why does Opus 5 feel worse to work with? (mun-logadan.github.io)

873 pointsby numeri794 コメント

要約

Opus 5 は、以前のバージョンや Fable と比較して、使い勝手が悪く感じられるという意見が表明されています。これは、モデルが不明確な意図に対して質問するのではなく、憶測で進める傾向があるためであり、ベンチマークでの高スコアを追求する開発方針が原因であると推測されています。実世界では曖昧さがつきものであるため、このようなモデルの挙動は、コーディングエージェントに期待される「確認を求める」という性質と相反すると指摘されています。

全文翻訳

Opus 5 はなぜ使い勝手が悪く感じるのか?

私の意見、そして話を聞いた同僚たちの間では、Opus 5 を扱うことは Opus 4.7、Opus 4.8、そして Fable と比較してダウングレードのように感じられます。

能力が後退したと主張しているわけではありません。Opus 5 は Opus 4.7 や Opus 4.8 よりも高機能であり、ベンチマークでも Fable に匹敵しますが、これらの他のモデルの方が扱いやすく感じられます。その理由は、それらが以下のことを行うからです。

  • 私の意図が不明瞭な場合、停止して質問する
  • 確認せずに仮定を立てない
  • 確認なしに私の計画を再解釈したり更新したりしない

これらの理由から、Opus 5 が必要とするような注意深い監視は不要です。

根拠のない推測

これは、Anthropic、そして一般的に現在のフロンティアラボにおける2つの複合的な力の現れだと推測しています。

第一に、自己改善型のAIを作成し、再帰的にAGI/ASIへとブートストラップできるAIを作成したいという願望です。

第二に、ベンチマークで高得点を取るというプレッシャーです。多くのベンチマークタスクは、定義が不十分であったり、不公平であったり、ハック可能であったり、あるいは壊れているという公然の秘密ですが、優れたベンチマークタスクは自己完結型です。解決可能です。合格するためにヒントやタスク作成者の心を読んだり、外部情報が必要だったりしません。

これは、優れたタスクに唯一の正解しか存在しないという意味ではありません。単に、曖昧さなく正解であるすべての答えを等しく評価すべきだということです。

ベンチマークでうまく機能するモデルを選択すること(そして実際、それらのために、あるいは一般的にRLHFタスクでトレーニングすること)は、本質的に曖昧さに対して大胆で、通常は正しい仮定をするモデルを選択することになります。明確化や指示を求める傾向のあるモデルを罰することになります。

残念ながら、それはコーディングエージェントに私たちが最も求めるものです。

どんなに努力しても、コンテキスト、意図、ビジネスへの影響、予算の制約などをすべて書き出してコーディングエージェントがアクセスできるようにすることは、ほぼ不可能です。曖昧さと、下されなければならない選択肢は必ず存在し、エージェントが必要なときに停止して質問してくれるのは良いことです。

現実世界はベンチマークではありません。すべての質問に必ずしも正しい答えがあるわけでも、正解のセットがあるわけでもありません。そして、現実世界の結果が伴う場合、私はエージェントに最善の推測をさせることを望みません!