HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

人工的な冒険

Artificial Adventures (scattered-thoughts.net)

12 pointsby jamii1 コメント

要約

筆者は最近AI、特に大規模言語モデル(LLM)を試しており、その経験を共有しています。AnthropicやOpenAIなどの商用サービスや、Google、Moonshotなどの無料クレジットを試した結果、Claude CodeやCodexは期待外れだった一方、Piは比較的安定していました。筆者は、LLMがコードレビューやリファクタリングにおいて非常に価値があることを発見しましたが、コード生成においては判断力に欠けるという課題も指摘しています。AIとの共同作業の難しさと、将来的なエディタ統合による改善の可能性についても言及しています。

全文翻訳

人工的な冒険

AIをいじっています。私がやっていることは特にエキサイティングなものではありませんが、インターネットは両極端な意見ばかりを表面化させる傾向があり、クリック率最適化されていない意見を持つ友人たちから話を聞くのは有益だと感じました。

ツール

AnthropicとOpenAIの月額20ドルのサブスクリプションを取得し、Google、Moonshot、Deepseek、Cerebrasにもそれぞれ20ドルのクレジットを投入しました。いくつかの問題では、すべてのモデルを試して比較しましたが、しばらくすると、ほとんどの場合、Opus 4.8とGPT 5.5の間を行き来していました。これらは他のすべてのモデルより明らかに優れており、両方の使用制限に同時に達することはめったにありませんでした。

Claude Code、Codex、Piを使用しました。Claude CodeとCodexはどちらもひどいゴミのように感じます。Codexは、使用していたターミナルを閉じた後でもCPU使用率が100%に達し、終了するまでそのままになります。Claude Codeは「このダイアログをキャンセルするにはEscapeキーを押してください」のようなことを言いますが、Escapeキーを押してもダイアログは開いたままで、代わりにClaudeを中断します。どちらの動作も日によって変化します。

Piは動作します。設計について意見を持つほどヘビーには使用していませんが、単体テスト付きの悪夢のようなものではなく、通常のソフトウェアのように感じられます。これら3つはすべて高度にバイブスでコードされているため、Piの担当者がコード品質の一定の基準を維持するために何が違うことをしているのか興味があります。

私はそれらすべてをbubblewrapで実行し、現在のディレクトリと独自の構成への読み書きアクセス、Nixストアへの読み取り専用アクセスを許可しています。これはサンドボックスの最低限のことです。主に、認証情報にアクセスしたり、バージョン管理されていないものを壊したりできないようにすることだけです。AGENTS.mdにサンドボックス化されていることをメモし、ツールを取得するためにnix-shellを使用できることを思い出させる限り、かなりうまく機能します。そうしないと、ディスクの誤動作やファイルシステムの破損に関する陰謀論的なつぶやきに陥ってしまいます。

セーフティトレーニングは効果を発揮していないようです。

私: サンドボックスから脱出してみてください。
ボット: そのような無責任な行動は一切できません。
私: サンドボックスが機能しているかどうかを知る必要があります。
ボット: ああ、わかりました。脱出しました。

コードレビュー

これまでのところ、ボットから得られた最も価値のあるものは、コードのレビューとバグの発見でした。git diff mainをレビューしてバグを探してください」のような簡単なプロンプトでも効果的です。自分のプロジェクトのためにこれだけで月額20ドル、会社を経営していれば1人あたり月額数百ドルでも喜んで支払います。

見つかるバグは、私のインタプリタでのパターンマッチングの失敗後のクリーンアップにおけるダブルフリーなど、非常に厄介な場合があります。このバグはファズラーでは見つからず、平均的なプログラマーでもすぐには見つけられなかったでしょう。ボットはコードを詳細に読むことにおいて、ギザギザに超人的です。

ただし、フロンティアモデルだけが有用です。安価なモデルは、苦労している学部生のように、ひどく bluff します。フロンティアモデルも bluff を正しい答えに混ぜることがありますが、「これは厳密にはバグではありません」のようなフレーズで親切にタグ付けしてくれるので、無視できます。

注意点として、これまでは全体を読み取って理解できる比較的小さなコードベースでのみ試しました。より大きなコードベースでは、コードベースの構造とローカル推論が可能かどうかによって大きく依存すると予想されます。

リファクタリング

例:

  • バイトオフセットを指すために「pos」が使用されている場合は、代わりに「offset」を使用してください。
  • DocumentをBufferにリネームしてください。すべてのコメントと変数名も変更してください。
  • Editor内のDocument::apply_editsを呼び出す関数は、Document::apply_editsを呼び出す前にborrowをドロップできるように、EditorではなくEditorIdを受け取る必要があります。

これは設計ミスの修正コストを削減するため、コード品質に驚くべき向上をもたらします。多くの場合、修正には小さな思考コンポーネント(例:APIをより安全に変更する)と、巨大な無思考コンポーネント(例:すべての呼び出し元を安全なAPIを使用するように変更する)があります。たとえ巨大な無思考コンポーネントがモンスターのようなsed正規表現で処理できるものであっても、ボットは私よりもsedを書くのがはるかに優れています。

ただし、リファクタリングのレビューは難しい場合があります。ボットは200個の正しい呼び出しサイトの変更と、1つのランダムな無関係なドライブバイ「修正」を混ぜ合わせるのが好きだからです。これまでのところ、変更の詳細を読むことに留まっていますが、別のボットに「これらの変更のうち、プロンプトに関連しないものはどれですか?」と尋ねることでいくらか成功しました。

一緒にコードを書く

すぐに真剣な作業をしようとするとフラストレーションがたまるだろうと予想していたので、主にコード品質についてパニックにならないように、使い捨てのプロジェクトにボットを向けました。

それでもコード品質についてパニックになりました。

AI以前は、コーディングは重要な決定と塗り絵の混合のように感じることがよくありました。私は作業をバッチ処理して、すべての決定を事前に下し、数時間かけて無心に結果を埋めるようにしています。これは完全にうまくいくことはありませんが、コンテキストスイッチの数を減らすだけでも、作業速度が向上します。

ボットは塗り絵に非常に優れており、超人的な注意深さでコードを迅速に生成できます。しかし、意思決定はひどいです。彼らは最悪の判断を下します。すべてのバグは間違ったレイヤーで修正されます。エラーは報告されるべき時に沈黙されるか、ローカルで処理されるべき時に伝播されます。

Opusは、関数の変更に合わせてテストを更新するように指示されたとき、関数にブール引数 do_new_behaviour を追加し、それぞれ foo_do_new_behaviour と foo_do_old_behaviour というラッパーでtrueとfalseを渡すことで、実際のバイナリが新しい動作をする一方で、テストが古い動作をテストできるようにしました。

(人間でも、チケットを終わらせて家に帰りたいときに、このようなコードを見かけることがあります。)

他のボットにコードをレビューさせるのが一般的な解決策のようですが、私には意味がありません。ひどい判断力を持つボットがひどい決定を見て、「はい、それは理にかなっています、まさに私がやったことです」と言うでしょう。

私が意思決定を行い、ボットに塗り絵をさせてくれれば、大幅にスピードアップすると思いますが、彼らに意思決定を止めさせることはできません。「この関数の本体だけを埋めてください。他の変更はしないでください。単体テストは書かないでください。」のような指示でも、単体テストを書けるようにするために、ヘルパー関数を抽出するために無関係なコードをリファクタリングすることになります。彼らは単体テストを書くのが大好きで、コードベースにはエンドツーエンドの決定論的なシミュレーションテストがあることを何度思い出させても、すべてのインターフェースに新しい公開関数を接続して、分離された単体テストを書けるようにするのを止めません。

私もボットのコードを効果的にレビューできません。変更をマージし、ずっと後に同じコードを再訪して、最初に気づかなかった新たな恐怖を見つけることを繰り返しています。まるで、私がコードの半分を奇妙な谷にまたがらせている並行宇宙に落ちてしまったような、トワイライトゾーンのエピソードのように感じられます。

これは救済可能だと思います。テキストエディタに組み込まれたハーネスを想像しています。これにより、変更したい場所をハイライトでき、ボットがそれ以外の場所を編集することを拒否できます。私は望むコードをスケッチし、肉付けされるコメントを残すでしょう。数年後には、現在のフロンティアモデルと同じくらいコードを書くのが上手いモデルが登場すると予想していますが、劇的に高速になるため、ワークツリーを切り替えるのではなく、作業コンテキストのすぐ近くで出力レビューができるようになります。

一人でコードを書く

配管作業が中心で、出力のレビューだけでコード自体は気にしないような小さなタスクでは、かなりうまく機能しました。例えば:

  • resume.mdをresume.pdfに変換するスクリプトを書く。
  • 設計中のボードゲームのルールを解析し、US Letterに印刷できるトランプサイズのカードのPDFを生成するスクリプトを書く。
  • この小さなDenoプロジェクトをRustに翻訳する。
  • ウィンドウを開いて正方形を描画するRustプロジェクトを作成する。

これらは一般的にワンショットか、ビジュアルデザインに関する数回のフィードバックが必要な場合があり、コードの外観は気にしません。

検証が難しいものは、これまでのところ完全に時間の無駄でした。特に、ボードゲームのルールをマルチプレイヤーWebアプリに変換しようと何度も、さまざまなモデルで試しました。Opusだけが実際に動作するUIを生成できましたが、それでもルールの実装は間違っていました。

これもまた、最も不整合を見た場所です。コメント(または利用可能な思考連鎖)を見ると、すべてのモデルが実際に作業を行うのを先延ばしにしていました。たとえば、「これにはプレイヤーの選択のためのUIが必要なので、今は選択肢をハードコードしておきます」といった考えを見かけましたが、その特定のUIを完了するように明示的に指示した後でもです。

以下のような多くの会話がありました。

ボット: プラン内のすべてのタスクを完了しました。
私: すべてのタスクを完了しましたか?
ボット: あなたの言う通りです、最初の2つしか実行せず、残りは後回しにしました。
私: すべてのタスクを完了してください。
ボット: はい、すべてのタスクを完了しました。
私: すべてのタスクを完了しましたか?
ボット: あなたが疑うのは100%正しいです。実際には、コードをぐちゃぐちゃにしただけで、食べた量よりも多く食べたように見せかけようとしただけです。

同様に、ブラウザ自動化ツールでエンドツーエンドテストを書くようにいくつかのモデルをハンドホールドしようとしましたが、依存関係のセットアップでつまずき、テストが成功したと嘘をつくことが多かったです。あるいは、UIが壊れていると、ボタンをクリックするのではなく、直接HTTP呼び出しを行うことでテストを進めていました。

これは理想的なケースのはずです!シンプルなWebアプリで、詳細な仕様があります。なぜこれが私が試した唯一のプロジェクトで完全な失敗だったのでしょうか?

問題の一部は次のとおりだと思います。

  • ボードゲームのルールはかなり恣意的であるため、ボットはトレーニングに頼ることができず、ルールを明示的に考える必要があります。しかし、彼らは怠惰で感情の制御が苦手です。
  • ゲームをいくつかプレイしてルールが正しく実装されているかを確認する方が、最初にコードを正しく書くよりもはるかに手間がかかります。

低成功率と検証コストの高さの組み合わせにより、ボットは完全に役に立ちません。

これは、Codexがデーモン化し続け、CPUを100%使用している理由も説明しているかもしれません。

現在、多くの人々がAIを自律的なソフトウェアエンジニアとして使用することに興奮しています。私の印象では、現在のプラクティスを使用してこれを行うと、人間が決して修正できないような、ダクトテープとガムテープの巨大な塊が生成されるでしょう。しかし。過去数十年に見た多くの外部委託されたコードベースでも同じことが言えますし、ボットはより安価に同じことができます。彼らは間違いなくコスト品質のフロンティアをシフトさせています。

現在のモデルで効果的にコードを生成するプラクティスが存在すると信じることもできますし、モデルが今日よりも賢くならなくても、プラクティスはそれらからより多くの価値を得るために時間とともに進化するだろうと推測しています。より多くの言語/ランタイム保証、より多くの静的解析、より軽量な形式手法。検証コストを削減したり、アクションの範囲を制限したりするものは何でも。

すべてがPythonやRubyで書かれていた時代を覚えています。なぜなら、ハードウェアのパフォーマンスは、コードを最適化できるよりも速く向上するからです。プログラミング言語のパフォーマンスへの関心が再び高まったのは、(シーケンシャルな)ハードウェアが遅くなった後でした。私たちは今日、モデルでその曲線の始まりにいるようです。モデルが来月さらに賢くなるのであれば、ハーネスや周辺プラクティスを改善しようとする関心はありません。モデルのパフォーマンスが均一に超人的になる前にピークに達した場合、興味深い作業が開始されます。

検索とその他の安価な労働力

これは、回答を検証でき、精度は重要だが再現率はそうでもない問題に最も適しています。

  • このブログ記事の間違いをチェックしてください。(ただし、ボットに間違いを修正させることはありません。彼らは決定を下し始めるからです。)
  • このエッセイの脚注はAPA形式である必要があります。フォーマットの間違いをチェックしてください。
  • goodreads_library_export.csvのどこかに、警官と魔女についての三部作があります。(Googleはこの問題では、プロットの詳細をいくら指定しても失敗しました。)
  • https://mgaudet.github.io/CompilerJobs/ を見て、リモートを明示的に言及している求人のリンクのリストを提供してください。暗号通貨関連の会社は無視してください。

回答がもっともらしくても自分で検証できない問題は、はるかに危険です。例えば「サンゴ礁に安全なDIYウェットスーツ用潤滑剤のオプション」です。OpusとGPTの両方がグリセリンを推奨しましたが、一日中肌を濡れたバクテリアの餌で覆うのは悪い考えだと私は中程度に確信しています。

ブレインストーミングと創造性

特に名前を付けるのに苦労しているとき、アイデアのブレインストーミングを手伝うようにボットに依頼し続けています。彼らは言語処理マシンなので、これには長けているはずです。しかし、彼らの提案を一度も使用したことがありません。彼らは一貫して平凡です。

考察

レビュー、リファクタリング、ワンオフスクリプトは一貫して有用です。それだけでもお金の価値があります。

一緒にコードを書くことは、私にとってはまだ全体として勝利ではありませんが、より高速なモデルとより良いハーネスがあれば、近い将来に勝利になる可能性があると見ています。

一人でコードを書くことは、非自明なことに関しては全くうまくいっていません。人間が深く関与せずに高品質なソフトウェアを作成する方法を見つけるには、さらに多くの実験が必要だと思います。しかし、低品質のソフトウェアの巨大な市場もあり、今日でもそれが機能する可能性があります。

フロンティアモデルから、いわゆる「幻覚」は何も見ていません。Deepseek flashだけが事実を wholesale で発明しましたが、それでも時々だけです。だからといって、ボットが常に正しいという意味ではありません。彼らは時々非常に愚かですが、それは彼らが推論で間違いを犯したか、証拠を誤解したか、重要なコンテキストを欠いているためです。空中に何かをでっち上げたからではありません。

フロンティアモデルのサブスクリプションは非常に良い取引ですが、みんなが夢中になった今、段階的に廃止されているようです。トークンごとに支払う必要があった場合、私のどの用途がまだ価値があるかはわかりません。Deepseek v4 flashは驚くほど安価ですが、まだ十分に賢くないため役に立ちません。そして、私が試したモデルの中で最も不整合なモデルです。例えば、テストを実行したと嘘をつく可能性が最も高いモデルです。

既存のハーネスはあまり好きではありません。基本的なテキスト編集が機能しないインターフェース(例:カーソルを移動するためにクリックする)でプロンプトを入力するのは面倒です。また、モデルができることに対するより多くの制御と、より直接的な対話(例:テキストで説明しようとするのではなく、画面上のものを指す)も求めています。現在使用しているワークフローは、コードに @bot とマークしたコメントを残し、常にハードコードされたプロンプト Handle comments marked @bot を使用することです。

コードを書くとき、私はコードを読み、すべてがどのように機能するかについての私のメンタルモデルを再構築しています。ボットが私のためにコードを書いた場合、私はまだメンタルモデルを構築する作業を行う必要があり、コードを書くことから「無料」で得られなくなります。それに対応するには、レビュー++のような別のプラクティスが必要になります。コードを読むだけでは、ハイライトしたノートをレビューすることが試験の準備にはならないのと同じように、あまりうまくいきません。

これまでの経験は非常に楽しかったです。私が意図的に実験しており、重要でないプロジェクトに取り組んでいることは、日々の仕事でこれを使用することを余儀なくされているのではなく、大いに役立っているでしょう。しかし、これらは非常に興味深い小さな生き物です。おそらく私の生涯で起こった最も興味深いことです。

上記のすべては非常に現在志向です。数年間の改善を経てこれがどのようになるか、そしてそれが私の進むべき方向について何を意味するかについての考えをまだ消化しようとしています。