AI・機械学習
まだ私の仕事をこなせない:4年間の目標移動 (2022–2026)
It Still Can't Do My Job: Four Years of Moving Goalposts (2022–2026) (publicznyprofil.github.io)
要約
この記事は、2022年末から2025年半ばにかけてのAIのソフトウェア開発における能力の進化を、世間の認識と期待(目標移動)の変化を追うことで辿ります。当初は単なる「パーティートリック」と見なされていたAIは、コード生成、試験合格、デモの実行といった段階を経て、徐々に実用的なツールへと進化しましたが、そのたびに「本物の仕事」という目標はさらに先に移動しました。しかし、2025年7月にはAIツールを使用した開発者が遅くなるという研究結果も出ましたが、同時にAIが数学オリンピックで成果を出すなど、AIの進化は止まらないことを示唆しています。
全文翻訳
まだ私の仕事をこなせない
4年間の目標移動、証拠付きで
私は2022年12月にメモを取り始めました。主に、パニックがなぜ過剰だったのかを記録するためです。メモはこれになりました。オレンジ色の箱の中の引用は本物です。自分で調べることができます。灰色のコメントは、数千のコメントセクションからの要約です。あのコメントセクションのことです。あなたもいくつか書いたかもしれません。私も書きました。
2022年11月
パーティートリック
ChatGPTが水曜日にローンチされます。週末までには100万人のユーザーを獲得し、私のフィード全体がコンパイルできないコードについて謝罪するスクリーンショットで埋め尽くされます。関数をでっち上げ、API全体を幻覚します。10代の頃に一昼夜で作るようなゲーム、Snakeを要求しました。それは私に、最初の移動で自分自身を食べてしまうヘビを与えました。ローンチから5日後、Stack Overflowはそれを禁止します:「ChatGPTによって生成された回答の平均正答率が低すぎるため、ChatGPTによって作成された回答の投稿はサイトに実質的に有害です。」
Stack Overflowの一時的なポリシー、2022年12月5日
判定は簡単でした。そしてそれは私の判定でもありました:コンパイラに会ったことのないシニア開発者のように聞こえるように学習した、確率的オウムです。
目標移動
それが作り出すのをやめるまで私に電話してください。それはSnakeさえもできない。
2023年3月
試験シーズン
GPT-4が出荷されます。1回のプロンプトで、動作するSnakeが得られます。4ヶ月前に顔面蒼白になったのと同じゲームです。コメントセクションは即座に調整され、決して遅くなることはありません:「それはただの簡単なゲームだよ、兄弟。GitHubには1万個のSnakeチュートリアルがある、文字通りコピー&ペーストだ。トレーニングデータにないことをするまで私を起こしてくれ。」
コメントセクション、2023年春、要約
その間、パーティートリックは試験に合格し始めます。OpenAIは、司法試験で90パーセンタイルを主張します。Microsoftの研究者は、「人工汎用知能の火花」というタイトルの論文を発表します。本物のタイトルを持つ、本物の論文です。公平を期すために、懐疑論者はここでパンチを食らわせました。後の再評価では、司法試験は60パーセンタイルに近く、実際に合格した人々の間では約48パーセンタイルであることが示されました。両陣営が数字を投げつけていました。改善し続けるものに数字を投げつけていたのは、片方の陣営だけでした。
目標移動
トイスクリプトや試験はエンジニアリングではありません。それが本物のものを構築するまで私に電話してください。例えば、まともなゲームを。3Dで。
2024年3月
演出されたデモ
Cognitionというスタートアップが、「最初のAIソフトウェアエンジニア」であるDevinを発表します。デモビデオは1週間 everywhere です。1ヶ月後、Carl Brown(YouTubeチャンネル:Internet of Bugs)というベテラン開発者が、ほぼフレームごとにそれを検証します。印象的な部分はキュレーションされていました。DevinはデモのUpworkタスクを実行しませんでした。それは独自のバグを生成し、それを英雄的に修正しました。懐疑論者は当然の勝利を祝います。私はそのテイクダウンを2回見ました。それは素晴らしい気分でした。
その同じ春、NvidiaのCEOはドバイのステージに立ちます:「私たちの仕事は、誰もプログラミングする必要のないコンピューティング技術を創造することであり、プログラミング言語は人間であることです。世界中の誰もが今やプログラマーです。」
Jensen Huang、World Governments Summit、2024年2月
その年、私が知っているプログラマーは誰も辞めませんでした。しかし、私が知っている誰もが静かにCopilotをインストールしました。
目標移動
デモは演出されています。それが実際の開発者がそれを実際の仕事で、毎日使うようになるまで私に電話してください。
2024年10月
決算説明会
「Googleの新しいコードの4分の1以上はAIによって生成され、その後エンジニアによってレビューおよび承認されています。」
Sundar Pichai、Alphabet決算説明会、2024年10月
コメントセクションは瞬きしません。「それはただのオートコンプリートの受け入れ指標だ。定型文はカウントされない。その半分はインポート文だ。」そして、まあ、そのうちの一部はおそらくそうでしょう。しかし、「Googleの4分の1」は、パーティートリックと呼び続けるには奇妙なことです。
目標移動
行を生成することが仕事ではありません。それがチケットを受け取り、機能をリリースするまで私に電話してください。
2025年2月
バイブス
「私は『バイブコーディング』と呼ぶ新しい種類のコーディングがあります。それは、バイブスに完全に身を委ね、指数関数を受け入れ、コードの存在さえ忘れることです。」
Andrej Karpathy、2025年2月2日
3週間後、Pieter Levelsはマルチプレイヤー3Dフライトシミュレーターを実体化させます。彼は約3時間かかります。彼はゲーム開発の経験がゼロです。彼はそれをfly.pieter.comでオンライン公開します。2023年の目標移動を覚えていますか?まともなゲーム、3Dで?ここにあります。彼は実際の顧客に29.99ドルの戦闘機と風船広告を販売し、17日間で年間100万ドルの収益率を主張します。
コメントセクションは正確に何をすべきかを知っています:「それはバイブがないよ、兄弟。楽しいゲームのように感じさえしない。浮遊感のある物理、アセットフリップグラフィックス、ゼロのゲームデザイン。これはStripeアカウント付きの技術デモだ。」
コメントセクション、2025年3月、要約
同じシーズン:ZuckerbergはJoe Roganに、Metaは1年以内に「中堅エンジニア」のようにコーディングするAIを期待していると語ります。Dario Amodeiは、AIが6ヶ月以内にコードの90パーセントを書くかもしれないと言います。そしてバイブコーディングは独自の災害ジャンルを成長させます。漏洩したAPIキー。広く開かれたデータベース。「私のアプリがハッキングされたが、どこを見ればいいかわからない」という事後分析。シニアたちは感心しておらず、彼らは証拠を持っています。スロップは本物です。セキュリティホールは非常に本物です。
目標移動
おもちゃやプロトタイプ、確かに。それが本番環境に触れて生き残るまで私に電話してください。
2025年7月
懐疑論者が正しかった月
METRという研究グループは、16人の経験豊富なオープンソース開発者を集め、彼らに自分の成熟したリポジトリでAIツールを与え、測定します。開発者はAIを使用すると19パーセント遅くなります。彼らは20パーセント速くなったと信じていました。時計を見た後でさえ。コメントセクションはそれをむさぼり食い、彼らはそれを獲得しました。Devin以来、懐疑論者にとって最高の日です。
同じ月:OpenAIとGoogle DeepMindの両方が、国際数学オリンピックで金メダルを獲得します。6問中5問を、人間の制限時間内に、平易な言葉で解決します。両方のことが同時に起こります。それが誰も座って考えたくない部分です。
目標移動
1ヶ月間、誰も何も動かす必要はありませんでした。
2026年7月
今やエージェントは数時間 unattended で実行されます。プルリクエストを開きます。プルリクエストはマージされます。あなた方の何人かは、気づかずに今週1つレビューしました。Stack Overflowの質問数は、私がコーディングを学んだ頃に戻っています。質問が解決されたからではありません。誰もフォーラムに質問しなくなったからです。おそらく現在の目標移動は維持されるでしょう。上記の各エントリも維持されていたことを指摘するだけです。それぞれ約18ヶ月間。
目標移動
私たちのレガシーコードベースを処理するまで私に電話してください。説明責任を負わせることができるまで。何を構築すべきかを知っているまで、単にどうやってではなく。
あなた方は今ここにいる
これより下の線は何も起こっていません。それは推測です。自由に笑ってください。人々はこのページの上の半分も笑っていました、そして私はスクリーンショットを持っています。
~2027年(予測)
ワンショットゲーム、今度こそ本物
1回のプロンプトで、洗練された、プレイ可能なオープンワールドゲームが返されます。一貫したアートディレクション。調整された物理。動作するマルチプレイヤー。サウンドトラック。浮遊感のある技術デモではありません。あなたの子供が1ヶ月間プレイするようなものです。「魂がないよ、兄弟。本物のゲームは、デザイナーが何年も苦しんで生まれるものであって、プロンプトから生まれるものではない。」これは、良いライティングを備えた手続き的に生成されたスロップだ。それに含まれるオリジナルのメカニックを一つでも挙げてみてくれ。
コメントセクション、2027年、予測
目標移動
リミックスは創造ではありません。それが本当に新しいものを作るまで私に電話してください。
~2028年(予測)
レガシーコードベース
エージェントは15年前のモノリスを消化します。コメントに「削除しないでください」と書かれたcronジョブがあるものです。文書化されていないビジネスルールをマッピングし、四半期かけて全体をリファクタリングし、テストはすべてグリーンです。大きな目標移動は火曜日に静かに倒れます。「それはビジネスを理解しなかった、兄弟、それはGitHubにプッシュされたすべての移行をパターンマッチしただけだ。」コンサルタントなら、請求書ロジックがそのように機能する理由を尋ねただろう。それは決して理由を尋ねなかった。
コメントセクション、2028年、予測
目標移動
システム全体をエンドツーエンドで所有するまで私に電話してください。ページャーとすべて込みで。
~2030年(予測)
ページャー
オンコールローテーションはモデルです。インシデントが発生し、診断され、修正され、人間が起きる前に事後分析が行われます。稼働時間が改善されます。これに取って代わられた人々は、正しく、システムを稼働させ続けることは決して難しい部分ではなかったと指摘します。今やそれは私たちの多くです。Opsは常に自動化可能でした。