私はコンピューターの盲導犬

私はコンピューターの盲導犬

［画像: ロボットに蓋を掴んでほしい場所を指し示す絵を描く。］

私が赤丸で囲んだ場所で蓋を掴んでください。

かつて私はインターネット上で人と議論していた。6往復ほどのやり取りをすると、相手が思考 incapable な人物だと気づく。これは、LLMに自分の望むことをさせるよりも、よほど心地よい経験だ。

私はロボットのコードを書いている。いや、今は2026年なので、最近ではLLMにロボットのコードを書かせることもある。自分で手書きすることも多いが、LLMコーディングアシスタントの無限の忍耐力は、コーディングの最も退屈な作業を軽減してくれることに気づいた。ロボットは実物なので、デバッグのゴールドスタンダードは視覚化だ。つまり、ロボットが指定された問題を解決するのを見せてもらい、自分の目で結果を検査するのだ。

視覚化によるデバッグは、ロボットコードを書く上で最も厄介な部分の一つになりがちだ。なぜなら、得られる最良のワークフローは、単にいくつかのマジックナンバーを書き出し、ソフトウェアを再実行し、出力画面をズームして回ることだからだ。結果が良くない場合は、新しいマジックナンバーを入力して、最善を祈る。

［画像: ロボットが蓋を間違った場所で掴んでしまう。］

そこじゃない。私が囲んだ場所の縁で蓋を掴んでください。

すでにLLMに退屈な作業を任せるのが好きなので、コーディングアシスタントにすべてやらせることができるか試してみることにした。結局、これらのモデルにはすでに画像エンコーダーが搭載されており、私のビジュアライザーツールにはMCPサーバーが搭載されている。もしLLMがデバッグループを私に代わって行ってくれるなら、休憩室の残り物のピザの確保のような、より良いタスクに進むことができる。

［画像: ロボットが再び間違った場所を掴んでしまう。］

それは少し改善された。グリッパーを下げて、縁の方に回転させて。

これまでの私の経験は、あまり楽しいものではなかった。テキストでのトレーニングをどれだけ行っても、言語モデルは正常に動作するロボットがどのようなものかという良い感覚を得られないようだ。それに加えて、コーディングアシスタントがGUIソフトウェアを制御するために公開されているツールは、せいぜい限定的だ。私はデバッグビューアをズームして、シーン内の1つのスポットに5秒で飛び込むことができるが、MCP搭載のアシスタントにとっては、シーン内の正しいビューに到達するだけで5分かかる。だから、LLMに視覚的にデバッグするように頼むと、私はほとんどの場合、30分待ってから、新しい、やはり間違った答えを得るだけだ。

残っているのは、可能な限り最も愚かなワークフローだ。自分でデバッグビューアを起動し、奇妙な間違いを探し回り、スクリーンショットを撮って、言語モデルに今回どれだけひどく失敗したかを伝える。最終的には、自分でデバッグ作業のすべてを行うことにした。そうすれば、少なくとも楽しい部分も自分でできるだろう。

［画像: ロボットが最後の最後に間違った場所を掴んでしまう。］

ああ、もうダメだ。