HN 日本語サマリー

← 一覧へ戻る
プログラミング

私はコンピューターの盲導犬

I'm a seeing-eye dog for a computer (claytonwramsey.com)

56 pointsby claytonwramsey37 コメント

要約

ロボットのコーディングにおいて、LLM(大規模言語モデル)をデバッグ支援に活用しようとした筆者の経験談です。LLMの忍耐力は退屈な作業を軽減する一方で、ロボットの動作を視覚的にデバッグする際の、GUI操作の遅さや不正確さから、期待通りの成果は得られませんでした。最終的には、筆者自身がデバッグ作業を行う方が効率的であるという結論に至りました。

全文翻訳

赤い丸で囲んだ部分の蓋を掴んでください。 昔はインターネットで人と議論していましたが、6往復くらいすると、相手が思考 incapable な人間だと気づきます。これは、LLMに意図したことをやらせるよりは、より快適な体験です。 私はロボットのためにコードを書いています。というより、今は2026年なので、最近はLLMにロボットのためにコードを書かせることもしています。 私はしばしば自分でコードを手書きしますが、LLMコーディングアシスタントの無限の忍耐力が、コーディングの最も退屈な作業を軽減してくれることに気づきました。 ロボットは実物なので、デバッグのゴールドスタンダードは可視化です。つまり、指定した問題をロボットが解決するのを示し、結果を目で確認します。 可視化によるデバッグは、ロボットコードを書く上で最も面倒な部分の一つになりがちです。なぜなら、得られる最良のワークフローは、単にいくつかのマジックナンバーを書き出し、ソフトウェアを再実行し、出力の周りをズームして回ることだからです。 結果が良くない場合は、新しいマジックナンバーを入力して祈るだけです。 そこではありません。 唇の端、丸で囲んだ部分の蓋を掴んでください。 すでに退屈な作業をLLMに任せるのが好きなので、コーディングアシスタントにすべてやらせることができるか試してみることにしました。 結局のところ、これらのモデルにはすでに画像エンコーダーが付属しており、私のビジュアライザーツールにはMCPサーバーが付属しています。 LLMがデバッグループを私に代わって行ってくれるなら、休憩室の残り物のピザの確保のような、より良いタスクに進むことができます。 それは少し良くなりました。 グリッパーを下げて、唇の方にひっくり返してください。 私のこれまでの経験は、あまり楽しいものではありませんでした。 テキストでのトレーニングがどれだけ行われても、言語モデルは正常で機能するロボットが何をするのかについて、良い感覚を持つことができないようです。 それに加えて、コーディングアシスタントがGUIソフトウェアを制御するために公開されているツールは、せいぜい限定的です。 デバッグビューアの周りをズームして、シーンの一箇所に5秒で飛び込むことができますが、MCP搭載のアシスタントにとっては、シーン内の正しいビューに到達するだけで5分かかります。 そのため、LLMに視覚的に問題をデバッグするように依頼すると、ほとんどの場合、30分待ってから、新しい、やはり間違った答えを得るだけです。 残っているのは、最も愚かなワークフローだけです。自分でデバッグビューアを起動し、奇妙な間違いを探し回り、スクリーンショットを撮って、言語モデルに今回どれだけひどく失敗したかを伝えます。 結局、私は自分でデバッグ作業をすべて行うことにしました。そうすれば、少なくとも楽しい部分も自分でできるからです。 ああ、もうダメだ。