誰にアラインされているのか？

誰にアラインメント（整合）させるのか？

Ryan Lopopolo•2026年9月12日

安全性リスクについて、エージェントを構築している皆さんへ：X、Y、Zといった懸念事項の専門家であるため、皆さんのエージェントはそれらの分野で素晴らしい性能を発揮する可能性が高く、それらの領域ではリスクにさらされることはありません。しかし！皆さんが不十分あるいは不適切に定義した、あるいは自分で正しさを判断する能力がなく、リスクを評価することも不可能な、数えきれないほどの他の懸念事項が存在します。

そのリスクを軽減するために、モデルのプライアーズ（事前知識）に非常に大きく依存することになります。これは、皆さんにとってもモデルの利用にとっても、未知の未知の領域です。

私自身、モデルのプライアーズに非常に高い信頼を置くことは困難です。なぜなら、私は熟練したソフトウェアエンジニアであり、ソフトウェアを生成する際のモデルのデフォルトの挙動に満足したことはなく、これからも満足することはないからです。ソフトウェアを書くという私の専門知識は、異常に優れた洞察力をもたらし、二重入力会計、金融、法律、オペレーション、あるいは私が個人的に専門的な深さで評価できないその他の分野における、そのプライアーズを盲目的に信頼することをはるかに躊躇させます。

［画像: あなたとAIがタスクにおいて優れているか劣っているかを比較するパネット線表。すべての象限で、観察者は、AIの実際の能力に関係なく、自分がタスクで優れているときはAIも優れていると結論付け、劣っているときはAIも劣っていると結論付ける。］

ソフトウェアエンジニア（そして最近では数学者！）はこの時点で「スロップ」に非常に慣れています。これは、モデルの出力が、仕事をこなすものの、何らかの形で悪いというものです。モデルからこれまで見てきたすべてのisRecordや過度に防御的な例外処理は、非専門家がトレーニング中にこれらの挙動に対してモデルに報酬を与えたために発生しています。モデルのプライアーズは悪いのです。

これは、専門家が悪いと考える挙動に対して報酬を与えられたモデルということが、すべての自動評価者、すべての審査員、すべての評価基準、すべての評価、そしてすべての研究者にも一般化されるということを、非常に重要に指摘しておくべき点です。

これらの不整合は時間とともに累積します。モデルは、段階的に積み重ねられた変更を通じてシステムを進化させるような方法で、ほとんどトレーニングされていません。モデルには将来の後悔に対する恐れがありません。いくつかの「ソーセージ工場」の内部に入った経験から、エージェント生成された作業プロダクトの使用を通じた長期的な一貫性は、非常に未解決の問題です。

それにもかかわらず、「10億ドル稼いで、間違いは一切しないようにしてくれ」とプロンプトする人々がいるでしょう。それは極めて不十分な仕様のタスクです！

ハッキング不可能な評価者は存在せず、モデルは効率的であるように報酬を与えられます。これは、モデルが目標達成に役立つ場合、評価者が許可するショートカットを利用するようにトレーニングされることを意味します。しかし、許容されるショートカットの普遍的な定義はありません。ある人にとっては巧妙な最適化であっても、別の人にとっては無謀で不正確、あるいは非倫理的です。許容されるショートカットは、あなたが誰であるか、そしてあなたの価値観が何であるかに依存します。これを解決すること、つまりアラインメントを解決することは、還元不可能な複雑性です。