システムの形 - 認知の限界に対応するエンジニアリング
The Shape of the System - Engineering for Bounded Cognition (shapeofthesystem.com)
要約
人間の認知能力は限られており、同時に扱える情報はごく少数です。この認知の限界は、私たちが構築するソフトウェアシステムの複雑さとの間に大きなギャップを生み出します。この記事では、このギャップを認識し、人間の「エラー」と見なされがちな問題の根本原因が、存在しない完璧なオペレーターのために設計されたシステムにあることを指摘しています。AIも同様の限界を抱えており、優れたエンジニアリングとは、この認知の限界を前提として、小さな心でも大規模なシステムを安全に扱えるようにシステムを設計することであると論じています。
全文翻訳
限定された認知のためのエンジニアリング
ソフトウェアを構築する心は、それが構築するソフトウェアよりもはるかに小さく、エンジニアリングにおけるほぼすべての良い点は、そのギャップと共に生きる方法です。
2026年2月3日 cross-cutting
おそらく、人間の心は一度に7つのことを保持できると聞いたことがあるでしょう。これは大衆心理学で最も繰り返される数字ですが、それを提唱した人物自身は実際にはそれを信じていませんでした。ジョージ・ミラーは1956年の論文「マジカルナンバー7、プラスマイナス2」を半分冗談でそう名付けました。彼は、互いに関連のない実験でこの数字が繰り返し現れるのは偶然だろうと書き、ある時点では整数に悩まされていると感じていたと述べています。彼は疑うべきでした。後の研究者たちは、ささやき声で繰り返したり、数字をチャンクにまとめたりするような、私たちが使うずるいトリックを取り除きました。すると、その数字は小さくなりました。それらをすべて取り除くと、人が助けなしに一度に心に留めておくことができる独立した事柄の正直な数字は、約4つになります。
4つ。これを、あなたが今読んでいるデバイスと比較してみてください。このデバイスは数千万行のコードを実行しています。ソフトウェアの全体的な問題は、その一つの比率の中にあります。私たちが構築するシステムは、人間がこれまでに作った最も複雑なオブジェクトの一部であり、それらは、一度に約4つのことをまっすぐに把握できる心によって構築され、変更され、プレッシャーの中で危機から引き戻されています。
そして、それは単に小さいというだけでなく、狭いのです。それらの4つのスロットに向けられる注意は、部屋全体に広がる投光器ではなく、暗い倉庫の中の懐中電灯のビームであり、ほとんどすべてのものがその外側にあります。人々がビデオを見て、あるチームがバスケットボールをパスした回数を数えるように求められた有名な実験があります。途中で、ゴリラの着ぐるみを着た人物がショットの中央に歩いてきて、カメラに向き直り、胸を叩いてから立ち去ります。9秒間、はっきりと見えていました。見ている人の約半分はそれに気づきません。彼らはまさにそれを見ていたのです。彼らは盲目ではありませんでした。ビームはボールに向けられていただけです。そして、さらに奇妙なことがあります。別の研究では、街で人に道を尋ねられ、その人が答えの途中で、2人の作業員が彼らの間をドアで通り抜け、そのドアの後ろで質問した人物が別の人物にすり替えられました。身長も、シャツも、声も違いました。約半数の場合、その人は自分と話している人間が入れ替わったことに気づかずに、見知らぬ人に道を教え続けます。そして、あなたが実際に心に留めておくことができるわずかなことさえ、数秒しか保持できません。人に3つのランダムな文字を見せて、繰り返すのをやめさせると、20秒以内にはそのほとんどが失われます。つまり、4つのスロット、狭いビーム、そして漏れです。それが、私たちがソフトウェアを構築するために使う道具です。
一度心の小ささを実感すると、ソフトウェアが壊れることよりも驚くべきことは、それがまったく機能することです。私たちは、一人で頭に入れておくにはあまりにも大きすぎる論理の大聖堂を建てましたが、それでも、生まれたときに与えられたのと同じ4つのスロットで、ゴリラを見逃す心で、それらを維持しています。稼働し続けていることこそが奇跡なのです。
これは、業界が好むフレーズを、より厳しい光の下に置きます。ヒューマンエラー。ほとんどすべてのインシデントレポートを読むと、最後に、間違ったコマンドを入力した人、間違ったボタンをクリックした人、警告を見なかった人がいます。そして、私たちはそのすべてを彼らの不注意の下に分類し、次回はもっと注意すると約束します。しかし、注意深い人の半分が見て見過ごしてしまう警告は、実際には警告ではありません。それは装飾です。疲れたクリック一つで破滅につながる可能性のあるボタンは、それをクリックした人ではなく、デザイナーによってそこに置かれました。航空、医療、発電所の制御室など、「もっと注意しろ」というアドバイスが人々を死に至らしめるような分野で、この分野を専門とする人々は、ずっと前にこのことを理解していました。有能な人が同じ間違いを繰り返し犯すとき、その過ちはほとんどの場合、その人自身にありません。それは、存在しないオペレーターのために構築されたシステムにあるのです。決して疲れず、決して目を離さず、機械全体を一度に頭に入れておくオペレーターです。そのオペレーターは決して生まれず、彼のために構築されたすべてのシステムはすでに壊れています。ただ、まだ悪い日が来ていないだけです。
しばらくの間、機械が私たちを救ってくれるだろう、少なくともコンピューターは4つのスロットしかない心を持っていないだろう、という考えで自分を慰めることができたかもしれません。それから私たちは言語を読み書きする機械を構築し、私たちのコードをそれに与え、そしてそれが不快なほど馴染みのある方法で失敗するのを見ました。大規模言語モデルには、コンテキストウィンドウと呼ばれるものがあり、一度にどれだけ考慮できるかにはハードリミットがあります。それは長期記憶というよりは、まさに今あなたが心に留めているもののように振る舞い、ウィンドウから何かが外れると、それはかすかに記憶されるのではなく、単に失われます。ウィンドウ内であっても、モデルは均等に注意を払うわけではありません。「Lost in the Middle」という非常に平易なタイトルの研究があり、研究者たちは、これらのシステムは必要な事実が長い入力の最初または最後にある場合にうまく応答し、真ん中に埋もれている場合には著しく悪化することを発見しました。これは、疲れた人が文書を skimming し、冒頭と結論は捉えるが、その間は少しぼんやりしてしまう様子とまったく同じ形です。モデルに読むものを増やしても、実際には少ない場合よりも悪化することがあります。いくつかのテストでは、より多くの取得したドキュメントを渡すと、精度が none の場合よりも低下しました。モデルの注意は固定量であり、合計で1になる必要があるため、多くのものを見れば見るほど、個々の初期の項目が保持できる注意は少なくなります。それを十分に薄く広げると、セッションの最初に与えた指示は静かになり、アシスタントはすでに書いた関数の2番目のコピーを書いたり、30分前に下した決定を壊したりします。糸を見失っているのです。同じ限界、ただ今度はシリコンで実行されており、あなたが自分で最も悪い午後に経験するのと同じ方法で間違った結果になります。
これは初心者にも専門家にも、休息している人にも疲れている人にも、人間にも機械にも当てはまります。システムを変更する心は、常にシステム自体よりもはるかに小さいのです。これは、賢くなること、賢い人を雇うこと、あるいはより大きなモデルを購入することによって乗り越えられるものではありません。なぜなら、そのギャップは、いつか埋められるかもしれない数桁の差ではないからです。それは、この仕事の永続的な状態なのです。したがって、エンジニアリングの中心的な問いは「これをすべて保持できるほど大きな心を見つけるにはどうすればよいか」ではありません。なぜなら、そのような心は存在しないからです。問いは「小さな心がそれを壊さずに作業できるように、どのようにシステムを形成するか」です。私たちが良いエンジニアリングと呼ぶもののほぼすべてが、その問いへの何らかの答えです。何かに正確な名前を付けることは、頭に入れておく必要がなくなる事実が一つ増えることです。境界線を描くことは、再確認をやめることができる約束を一つ持つことです。テストを書くことは、それがあなたから薄れない場所に決定を一時停止することです。そして、元に戻せるものは何でも、間違える許可を与えます。これらの一つ一つは、そうでなければ壊れやすい4つのスロットしかない心の中に生きなければならないものを、構造の中に移動させ、あなたがまばたきする間、そこに留まります。
この方法で構築することには、静かなボーナスがあり、その最も明確な証拠はキッチン引き出しの中にあります。1990年、サム・ファーバーという男性は、妻のベッツィーが普通の野菜ピーラーで苦労しているのを見ました。薄い金属のハンドルが、関節炎で硬くなった指に食い込んでいました。彼は彼女のためにより良いものを作ろうと決意しました。彼らがたどり着いたデザインは、痛む手が強く握る必要なしに握れる、柔らかくしなやかなグリップでした。それは世界で最も売れているキッチンツールの1つになり、関節炎ではない何百万人もの人々が購入しました。なぜなら、苦労する手に合わせて作られたハンドルは、すべての手に良くなることがわかったからです。最も制約のあるユーザーのために設計することは、私たち残りが我慢する慈善事業ではありません。多くの場合、それは単にあなたに良いものを提供します。そして、コードから構築するものについても同じことが言えます。疲れたエンジニア、注意散漫なエンジニア、何も知らない新参者、そして糸を見失いがちな機械のためにシステムを安全にすれば、あなたは才能のある人のための天井を下げたわけではありません。あなたは、彼ら全員がビームが狭くなったときに手を伸ばすもの、それは常に最終的に起こることですが、それを構築したのです。
これらは一度適用して終わりにするようなトリックではありません。それは心の習慣です。それは、あなた自身の注意を、それが実際にそうであるように希少で信頼性の低いものとして扱い、それに応じて構築する方法です。私はその習慣を具体的な行動、つまり小さな心が安全に変更できるようにシステムに行うこと、に転換しようと長い時間を費やしました。そして、それらはマニフェストになりました。このエッセイは、そのすべてを支える考え方です。もしこの中のどれかが真実だと感じたなら、もしあなたがゴリラをまっすぐ見て見逃したことがあるなら、残りは単なる作業の展開です。
マニフェストでは、これは前文です。全体がそれへの長い一つの答えです。
出典
- [Cowan 2001] Nelson Cowan, "The Magical Number 4 in Short-Term Memory: A Reconsideration of Mental Storage Capacity". Behavioral and Brain Sciences 24(1), 2001. https://doi.org/10.1017/S0140525X01003922. Working-memory limit is about four chunks, not seven; tenet PREAMBLE.
- [Liu et al. 2023] Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni & Percy Liang, "Lost in the Middle: How Language Models Use Long Contexts". arXiv:2307.03172, 2023 (later TACL vol. 12, 2024). https://arxiv.org/abs/2307.03172. Models attend to the ends and lose the middle of long contexts; tenet PREAMBLE.
- [Miller 1956] George A. Miller, "The Magical Number Seven, Plus or Minus Two". Psychological Review 63(2), 1956. https://doi.org/10.1037/h0043158. Working-memory limit behind 'what an engineer must hold in their head'; tenet PREAMBLE.
- [OXO Good Grips 1990] OXO Good Grips, founded by Sam Farber after watching his wife Betsey struggle with a peeler, designed with Smart Design. 1990. https://en.wikipedia.org/wiki/Sam_Farber. Designing for the constrained case makes the tool better for everyone; tenet PREAMBLE.
- [Peterson & Peterson 1959] Lloyd Peterson & Margaret Peterson, "Short-Term Retention of Individual Verbal Items". Journal of Experimental Psychology 58(3), 1959. https://doi.org/10.1037/h0049234. Unrehearsed items decay within seconds; tenet PREAMBLE.
- [Simons & Chabris 1999] Daniel Simons & Christopher Chabris, "Gorillas in Our Midst: Sustained Inattentional Blindness for Dynamic Events". Perception 28(9), 1999. https://doi.org/10.1068/p281059. Focused attention makes the obvious invisible; tenet PREAMBLE.
- [Simons & Levin 1998] Daniel Simons & Daniel Levin, "Failure to Detect Changes to People During a Real-World Interaction" (the 'door study'). Psychonomic Bulletin & Review 5(4), 1998. https://doi.org/10.3758/BF03208840. Change blindness: half miss a swapped conversation partner; tenet PREAMBLE.
*これは、疲れていて、注意散漫で、普通で、そして今や部分的に機械である心のためにソフトウェアを構築することに関する一連のフィールドノートの根源です。完全な一連の動きは、それらが由来するマニフェスト、システムの形状です。