AIプログラミングの正直なレビュー
An Honest Review of AI Programming (mropert.github.io)
要約
LLMは職場に浸透しており、特に経営層からの指示でAIツールの導入が進んでいます。著者は当初AIツールに懐疑的でしたが、過去3ヶ月間ClaudeなどのLLMを仕事で利用した結果、コード生成以外では有用性を見出しました。LLMは本質的に高度な自然言語処理モデルであり、マーケティング用語に惑わされず、その能力と限界を理解することが重要です。LLMは、特に社内ナレッジベースの検索において、複数の検索クエリを並列実行し要約する能力を発揮しますが、ハルシネーション(幻覚)のリスクには注意が必要です。
全文翻訳
AIプログラミングに関する正直なレビュー
Claudeのサブスクリプションを与えられ、トークンを最大化するように指示されたので、公平に試してみることにしました。
最近ではLLMを避けるのが難しくなってきています。ソーシャルメディアを避けたとしても(あるいは、ゴミ工場の大半を避けるようなフォローリストをキュレーションしたとしても)、ニュースで鵜呑みにされるような大げさなマーケティング声明を無視したとしても、それは職場にまでやってくるでしょう。過去のマイクロサービスやNoSQLのような銀の弾丸とは異なり、AIの導入は、経営層の多くがエンジニアリングの仕事をしたことも、あるいはそのために勉強したこともないにもかかわらず、多くの場所でトップレイヤーから義務付けられているようです。
このアプローチがすぐに私の反骨精神を刺激し、AIツール全般に対して非常に抵抗感を持つようになったことは認めます。人生で一度もコードを書いたことのない人が、私のエンジニアリングの仕事に何を使うべきかを指示してくることを、私は信じられません。これはマイクロマネジメントの最も末期的なケースのように聞こえますし、それは決して良いことではありません(個人的に侮辱的であることに加えて)。
いずれにせよ、過去3ヶ月間、仕事でClaudeとその仲間たちを使ってきましたが、ある程度役立つことを見出したことを認めざるを得ません。ただし、コードを書かせるのはやめましょう。コードを書かせるのはやめてください。しかし、それは先走っています。
人工「知能」
おそらくあなたはこれを百万回聞いているでしょうが、人工知能は本当に賢くはありません。すべてはマーケティングとバズワードです。私たちが本当に持っているのは、(非常に)大規模な自然言語処理に特化したニューラルネットワークだけです。
私たちがコンピューター上で人間が行うことの多くは、テキストを使って双方向にコミュニケーションすることであることが判明しました。そのモデルは、クエリを解析し、確率的ヒューリスティックに基づいてテキスト応答1を生成するか、あるいは従来の方法で実行できるコマンドラインを出力し、その結果をモデルにフィードバックして、何らかの終了条件に達するまでループさせることができます。
これは本質的に悪いということではありません。しかし、魔法でもありません。「エージェンティックワークフロー」(あるいはこの記事を読んでいる時点で彼らがそう呼んでいるもの)は、すべてのソフトウェアの問題は、さらなる間接層を追加することで解決できるという認識であり、LLMも例外ではありません。ニューラルネットワークの出力が、より多くの入力を提供することで改善されるのであれば、より多くの入力を接続してください。そして、それがどのような入力であるかを判断する最良の方法は、モデルにクエリを実行させてコマンドを生成させ、それをsystem()でパイプすることであるならば、そうすればよいのです。
しかし、この記事の残りの部分では、ユーザーの視点に焦点を当てましょう。
家にはGoogleがある…
インターネット上には、非常に価値のあるものがたくさんあります。そして、既存の記録をそのまま維持するというまともな仕事をしていると仮定すれば、公開知識の総量は増える一方です(しかし、ネタバレ注意ですが、ただし書きがあります)。問題はその発見です。これは新しいことではありません。私は「google」という新しいものを試すように最初に勧められた時代を覚えているほど古いです。しかし残念ながら、2000年代の黄金時代からかなり悪化しています。彼らはしばらくの間、SEOとの戦いを続けており、勝っているようには見えません2。
AIが登場し、助けにも障害にもなっています。検索ツールとして、自然言語で表現された的確な質問に答えるのに役立つことが多く、特に会話能力があれば、回答を洗練させたり、現在のコンテキストを念頭に置いてフォローアップの質問を提起したりできます。実際には、これは一連の検索を実行し、上位N個のリンクをざっと見て、全体像を把握できたと思うまで繰り返すことに相当します。長いテキストの短い要約を書くことは、LLMが最も得意とすることのようです。そのため、プロセスを自動化するために使用するのは理にかなっています。さらに、複数の検索のクロールと要約は本質的に並列処理可能なジョブなので、十分なコンピューティング能力があり、要約が幻覚でないと仮定すれば、効率性がもたらされることは容易にわかります。これら両方の点については、後で詳しく説明します。なぜなら、それらは非常に重要だからです。
障害となる側面はもちろん、LLMがインターネットにあふれる単語のサラダのコストを下げ、すでに不安定な情報の海を希釈していることです。Freya Holmérは、終わりのないSEO競争において、AI生成コンテンツでウェブを汚染することの影響について、非常に良いビデオを公開しました。手作業で情報を検索することは、特に特定のトピックについて評判の良いソースをすでに知っている場合は、今日でも選択肢です。しかし、そうでない場合、ゴミと実際のデータを仕分けるには細心の注意が必要であり、どのソースを保持し、どれを破棄するかを指示できない場合、LLMループで自動化しても役立たない可能性があります。幻覚について話す前にさえ、LLMが生成した要約は、それが取り込んだソースと同じくらいしか良くありません。
…そして今、職場にもGoogleがある
LLMループが検索に役立つと私が発見した特定の分野で、これまであまり議論されてこなかったのは、社内のナレッジベースです。どこで働いていても、おそらくウィキ、Slackの会話、Googleドライブ、Confluenceのページなどの組み合わせがあり、そこに多くの良い情報が眠っていますが、誰もそれを見つけられないようです。私はそれらの「エンタープライズソリューション」の中には、1週間前に閲覧したページを、タイトル(またはタイトルだと思っていたもの)を検索バーに入力しても見つけられないほど悪いものもありました。私は社内の技術記事をいくつか書きましたが、それらは私が技術グループチャットで初めてリンクしたときにブックマークを保持していた人以外、誰も見つけられなかったと確信しています。
過去数ヶ月間、会社に新しく入ったにもかかわらず、私の入社以前に書かれた多くの回答を見つけることができました。「AI Google検索」が複数のクエリを並列実行して回答を要約するのと同じように、Claudeとその仲間たちは、私の自然言語の質問を、おそらく同義語の検索クエリのリストに変換し、何かが見つかるまで実行します。特にエンジンの特定の境界ケースに遭遇したときに非常に役立ちました。誰かがそれを報告したことがあるか、回避策を提供したか、なぜそのように動作する必要があったのか議論したかなどを素早く検索できました。技術的な問題に遭遇するたびに、それが以前に議論された可能性が高く、その会話を見つけることができれば、はるかに良いスタートを切ることができます。
これは技術的には新しい技術ではありません。Googleとその仲間たちが長年効率的であった理由の1つは、ページのキーワードメタデータを構築する際に自動的に同義語を生成することです。あなたの会社のウィキやチャット検索機能はおそらくそうではありません3。私は、数年前のSlackの会話ログに、LLMで検索しない限り、あるいはより経験豊富な同僚がそれを覚えていて教えてくれない限り、アクセスが非常に困難な価値が大量に眠っていると推測しています。
さて、何十年も前の基本的な検索エンジンの技術を実装できるのに、会社のウィキを検索するために高価なLLMを実行するのは、技術的な観点から効率的でしょうか?いいえ、そうではないと確信しています。Googleが20年前にやったようにコンテンツをインデックス化することは、コンピューティング能力の点ではるかに効率的なソリューションになるでしょう。しかし、ユーザーの視点からは、「UI」を検索しても、ページに「User Interface」と書かれているために結果が得られないという状況を試すよりもはるかに望ましいです。
幻覚と偽陽性
LLMが回答を見つけたら、通常は一次ソースを確認するのが良い習慣です。その記事、ドキュメント、またはチャットログを読むことで、回答が幻覚ではなかったことを確認できます。
幻覚はLLMの動作の固有の特性です。トークン生成は論理や真実に基づいているのではなく、統計に基づいています。私の理解では、それを完全に回避する方法はありません。Copilotの無料版(かなり悪い)からClaudeの最も高価な有料モデルまで、すべてのモデルで経験しました。
CMakeやVulkan、Xcodeの特定のニッチな機能について質問するなど、これまで回答されていない非常に具体的な質問をした場合に、最も頻繁に発生しました。「それはできません」と答える代わりに、存在しないボタンをクリックするように勧めたり、存在しないフィーチャーフラグを有効にするように提案したりする、最も確率的な回答が得られました。
この全体は、問題領域について一般的に知識があるが、あなたが使用している特定のソフトウェアやライブラリについては詳しくない人に尋ねるようなものです。彼らは「ええ、それはできるはずのことのように聞こえますね」と答えるでしょう。なぜなら、それは妥当な期待のように思え、おそらく類似製品にはそのような機能があるからです。LLMがコードを書くときに存在しないAPIを呼び出そうとするのと同じ理由だと推測します。なぜなら、他の言語に基づくと、C++コンテナには.sort()関数があるべきだからです。C++はコンテナ、イテレータ、アルゴリズムを強く区別するため、そうではありませんが、LLMは(マーケティングで「推論」と呼んでいるにもかかわらず)第一原理から推論しません。
これは、常に一次ソースまたは引用を求めることで部分的に改善される可能性がありますが、正しい結果を得るためにクエリに魔法の呪文を追加しなければならないという考えは好きではありません。「間違いなく」というミームをからかうのは面白いですが、同様のことを真剣に考慮し始めるとそうはいきません。さらに、モデルは毎年かそれ以下で新しいリリースがあるように見えるため、ユーザーはすべての儀式を改訂する必要があるか(または、エンジニアが理由を覚えていないまま行う無意味な儀式になるのを見る)でしょう。
私が気づいたもう一つの問題は、コネクタを使用すると、LLMが自分自身にフィードバックを返し始めるのが比較的簡単であることです。例えば、クライアントのために書いていた推奨事項の過去の言及を見つけるように求められたとき、Claudeはそれが過去のレポートによって裏付けられていると断言しました…最終的に、それらのうちの1つが私が実際に書いていたものだったことが判明するまで。ソースの内訳を持っていたので、それをキャッチするのは簡単でしたが、もしそれが私に数値だけを与えていたら、自己強化ループを簡単に作成できたでしょう。同様に、同僚が同じデータベースをクエリングして私の作業中のレポートを見つけた場合、彼らの要約はそれを絶対的なものとして受け取った可能性があります。繰り返しますが、これらのロボットは賢いとは程遠く、しばしば非常に愚かな仮定を避けるために、非常に基本的なことを明確にする必要があります。
そのトピックを締めくくるために、私はまた、別のLLMに接続するコネクタで電話ゲームのリスクがあることに気づきました。一度、Claudeが、ある技術設計がチームによる意図的な選択の結果であるという具体的な証拠があると私に伝えてきましたが、それは別のAIの要約を鵜呑みにしたものであり、実際の一次ソースは公開フォーラムでそのモジュールがそのように機能する理由を推測していた2人のユーザーでした。これもまた、データを要約するのは得意ですが、どのデータを選択するかを信頼するのは常に得意ではないツールです。
コーディング?
この段落まで、私のユースケースは研究に焦点を当てていました。しかし、コードを書くことについてはどうでしょうか?結局のところ、それは次の大きなこと™️であり、もうすぐ来るはずですよね?簡単に言うと、あまり良くありません。
LLMがコード変更の研究や計画に役立つことを見出した一方で、実際にコードを書かせる試みは非常に平凡でした。生成には時間がかかり、コストがかかり、結果は平凡でした。
あるユースケースでは、長い議論の後、最適化のリファクタリングを依頼しました。それは、MonoBehaviourから派生したオブジェクトのUpdate()メソッドを削除し、それらのオブジェクトをマネージャークラスが所有するList<Foo>内に配置し、マネージャー内でforループとして同等の更新を実行するというものでした。これは、Unityゲームで、多くの同種のオブジェクトがある場合に、C++部分からマネージドC#スクリプトへの(仮想)呼び出しのコストを回避するための一般的な最適化です。
Claudeは、それを実行する代わりに、OnUpdate()メソッドを持つGameUpdateableという基底クラスを作成し、Fooをそこから継承させ、配列をマネージャー内のList<GameUpdateable>として格納し、GameUpdateable.OnUpdate()を呼び出すループを作成しました。これは一部のC#バックエンドでデビュート化できる可能性があり、純粋なC#呼び出しはC++からC#への呼び出しと比較して依然として有利ですが、それでも私が依頼したよりも複雑で過剰に設計されたソリューションでした。「ただそれをやる」のではなく、Claudeは不必要にOOPデザインパターンを適用することを決定しました。そして、それはそれほど難しいことではありませんでした。変更は2〜3ファイルに限定されていました。
調査によると、これはゲーム開発(そしてある程度はすべてのネイティブプログラミング)のトレーニングデータが貧弱であるためである可能性が高いです。OOPを重視する言語がトレーニングデータの大部分を占めています。フィルタリング重みを適用した後でもです。
さらに悪いことに、ゲームに関しては、一次ソースはほとんど利用できません。オープンソース化された最後のAAAゲームはDoom 3で、2004年にリリースされたタイトルで、22年前です。マルチスレッディングさえありません4!長年にわたりGithubでリリースされた他の古典的なタイトルは、通常90年代のもので、ソフトウェアラスタライゼーションや、運が良ければ固定パイプラインOpenGL 1.2を備えています。
今日、LLMにゲームコードを書くように依頼した場合、それがゲームでトレーニングされたとしても、ホビープロジェクト、ゲームジャム、チュートリアルデモでトレーニングされた可能性が高いです。
カスタムエンジンと独自のスクリプト言語で作業している友人は、LLMから得られるスクリプトのほとんどが、彼らが内部で書く方法とは全く異なると言いました。なぜなら、彼らの社内スクリプト言語で利用可能なトレーニングデータは、モッドにしか見つからないからです。
ああ、そして高価だと言ったとき、出力は入力の5〜10倍のトークンを使用すること(または、出力トークンの価格が入力の5〜10倍であること、つまり同じこと)を覚えておいてください。したがって、要約の作成はそれほどトークンを消費しませんが、コードの作成を依頼することはその逆です。
コーディングアシスタント
最近、イギリスの経営コンサルタント、Stafford Beer5の研究を読んでいました。彼の経営サイバネティクス6という分野全体は、マネージャー(そしてより大きなスケールでは会社)が、自身の業務、顧客、サプライヤー、および結果に影響を与える可能性のあるその他の要因に関する情報を処理する能力によって、良い意思決定を行う能力が制限されているという考えによって、非常に大まかに要約できます。重要な要因の1つは、状況が変化するにつれて常に多くの情報(信号)が入ってくるため、処理できないものはドロップされる可能性が高く、あまりにも多くがドロップされた場合(例えば、すべての入力を緑または赤の信号に還元するという極端なケース)、悪いことが起こるということです。重要なものを見逃さないためには、行動するデータに十分な多様性が必要です。
同様の(しかし不完全な、認めますが)アナロジーでは、新しいコードベースに飛び込むには、正しい判断を下すために大量のデータを処理する必要があります。これは、仕事やプロジェクトを変更するたびに発生し、コンサルティングビジネスにいる場合はかなり頻繁に発生する可能性があります。そのため、短時間でプロジェクトに影響を与えようとするとき、吸収できる情報の量によってしばしば制限されます。そのような環境では、コードを探索し、糸を引いてどこにつながるかを見るのを助けるLLMがいると、非常に役立つかもしれません。おそらく、彼らにすべてをやらせようとするのではなく、元の「AIコーディングアシスタント」という名前を維持すべきだったのでしょう…
バグ修正の支援にそれを使用しましたが、私がよく知らない分野では、コードの理解を助けてくれたため役立ちましたが、ここでもすべてを二重にチェックする必要性を強調する必要があります。私は以前に経験したことに関しては、しばしば無意味な主張を見分けることができますが、新しいトピックについてははるかに危険です。
例を挙げると、私の個人的なレンダリングプロジェクトで試してみましたが、理解しようとしていたバグについては、結果はまちまちでした。
最初のバグは、手の向きの混同によるカリングバグでした。私のように、それに関する第一原理の数学を学ぶことを頑なに拒否していなければ、見つけるのはかなり簡単でした。グラフィックスを数年やっている人ならすぐに気づいたでしょう。修正コードを書くように依頼したところ、教科書的な解決策が出てきましたが、Claudeがソースをコンテキストとして解析していたにもかかわらず、私がインスピレーションを得ていたプロジェクトよりもはるかに非効率的でした。
2つ目はPBRライティングの問題で、ライティング全体を書き直し、メインライトの位置を移動し、環境ライティングを追加することを提案されました。数時間後、アセットの1つに欠陥のあるメタリック/ラフネステクスチャがあり、ライティングコードをいくら変更しても適切に修正できないという結論に至りました。これもまた、そのトピックの専門家でない場合、自信を持って聞こえるLLMに迷ったままにされるのは簡単です。
最近、この引用をよく心に留めています。
AIが私の専門分野について誤った情報や不正確な発言を常に提供しているのは興味深い。幸いなことに、それは非常に役立ち、私がほとんど知らないトピックについては常に正しい。— pikuma.com (@pikuma) 2026年6月19日
持続可能性
AI企業はすべてお金を失っています。もちろん、最終的に利益を上げ、投資から莫大なリターンを得るという約束はありますが、今のところそうではありません。得られるトークンはわずかな利益を生んでいますが7、全体としては赤字で運営されています。ハードウェアが安くなることはなく、モデルは常にトレーニングされ続ける必要があることを考えると、現在の価格が持続可能であるようには見えません。
つまり、LLMは将来的に安くなるのではなく、より高価になる兆候があるということです。仕事の助けとなるために購入またはレンタルできる他のツールと同様に、コスト対効果の計算を念頭に置く必要があります。そして今のところ、AIの使用を義務付けた企業を除いて、それが起こっているようには見えません。そして数ヶ月後に請求書が届くと、反対の命令が出されるでしょう。
過去には、月額約20ユーロのプロファイリングツールのライセンスを毎年更新するために議論する必要がありました。今では、プログラマーでない人も含め、会社の全員がClaudeのサブスクリプションを取得していると聞いています。これは私を困惑させる種類の決定です。経営陣は、エンジニアが必要だと言うツールにお金をかけることを信頼しませんが、それから誰もが、要求していない光沢のある高価なおもちゃを使わなければならないと言います。
平均的なプログラマーにとって、LLMサブスクリプションはプロファイラーライセンスよりも汎用性があるでしょうか?おそらく。私は、馴染みのない分野でのリサーチをスピードアップするのに役立つと感じました。もし私が常に同じプロジェクトに取り組んでいたとしたら、毎日それを使うでしょうか?おそらく使いません。私のコーディング方法を根本的に変えましたか?実際にはそうではありません。プログラマーを置き換えるつもりですか?私はそうは思いませんし、現時点では決してそうならないだろうと真剣に疑っています。
そして、あまり気にしたくない定型コードを書くためにそれを使用することが多いことに気づいたら、おそらくより良いAPIに投資する必要があるでしょう。
1: LLMは画像や動画フォーマットも生成できることは知っています。しかし、この記事の目的の範囲外です。また、結果はひどいです。AI「アート」は私の本では論外です。
2: 料理が好きで、オンラインでレシピを検索することがあるなら、私が何を意味するか正確にわかるでしょう。
3: 一方、電子メールは、Outlook内の何かを見つけるためにGoogle Desktopをインストールしなければならなかった時代から進歩が見られます。おそらく、今日の最大の電子メールプロバイダーは検索エンジンとAI研究部門も運営しているためでしょう。
4: 2012年に作成されたBFG版にはいくつかありますが、新しいゲームというよりはポートです。
5: 「システムの目的はそれがすることである」というフレーズを聞いたことがあるなら、それは彼のことです。
6: BeerはW. Ross Ashbyに影響を受けました。Ashby自身はClaude Shannonの研究に基づいていました。はい。あなたのLLMの名前の由来であるClaudeです。ある意味、私たちは円環を一周しました。
7: つまり、モデルの直接的な実行コストのみを考慮すれば収益性があるという意味で、これには多くのR&Dとハードウェアの支出は含まれていません。