まだ私の仕事をこなせない:4年間の目標移動 (2022–2026)
It Still Can't Do My Job: Four Years of Moving Goalposts (2022–2026) (publicznyprofil.github.io)
要約
この記事は、2022年末から2025年半ばにかけてのAIのソフトウェア開発における能力の進化を、世間の認識と期待(目標移動)の変化を追うことで辿ります。当初は単なる「パーティートリック」と見なされていたAIは、コード生成、試験合格、デモの実行といった段階を経て、徐々に実用的なツールへと進化しましたが、そのたびに「本物の仕事」という目標はさらに先に移動しました。しかし、2025年7月にはAIツールを使用した開発者が遅くなるという研究結果も出ましたが、同時にAIが数学オリンピックで成果を出すなど、AIの進化は止まらないことを示唆しています。
全文翻訳
まだ私の仕事はできない
ゴールポストの移動4年分、証拠付き
メモを取り始めたのは2022年12月で、主にパニックが過剰である理由を記録するためでした。そのメモがこれになりました。オレンジ色のボックス内の引用は本物です。検索すれば見つかります。灰色のコメントは、数千のコメントセクションから要約したものです。あのコメント欄のことです。あなたもいくつか書いたかもしれません。私も書きました。
2022年11月
パーティートリック
ChatGPTが水曜日にローンチされ、週末には100万人のユーザーを獲得し、私のフィードはコンパイルできないコードに対する謝罪のスクリーンショットで埋め尽くされました。関数をでっち上げ、API全体を幻覚しました。ティーンエイジャーの頃に一昼夜で作るゲーム、Snakeを要求しました。それは、動いた瞬間に自滅するヘビを生成しました。ローンチから5日後、Stack Overflowはこれを禁止しました:
"ChatGPTから得られる回答の平均的な正答率が非常に低いため、ChatGPTによって作成された回答の投稿は、サイトに実質的な損害を与えます。"
Stack Overflowの一時的なポリシー、2022年12月5日
結論は簡単でした。そして私の結論も同じでした:コンパイラに一度も会ったことがないのに、シニアデブのように聞こえるように学習した確率的オウム。
ゴールポスト
作り話をやめたら教えてくれ。Snakeすらできないんだから。
2023年3月
試験シーズン
GPT-4が出荷されました。1回のプロンプトで、動作するSnakeが手に入ります。4ヶ月前に失敗したのと同じゲームです。コメント欄は即座に調整され、決して止まることはありませんでした:
一方、パーティートリックは試験をパスし始めました。OpenAIは、司法試験で90パーセンタイルを達成したと主張しています。Microsoftの研究者は、「人工汎用知能の火花」というタイトルの論文を発表しました。本物の論文で、あの本物のタイトルです。公平を期すなら、懐疑論者もここでパンチを繰り出しました。その後の再評価では、司法試験の成績は60パーセンタイルに近く、実際に合格した人々の中では約48パーセンタイルでした。両陣営が数字を投げつけていました。投げつけていたのは、改善し続けるものに対してだけでした。
ゴールポスト
おもちゃのスクリプトや試験はエンジニアリングではありません。何か本物のものを構築できるようになったら教えてくれ。例えば、ちゃんとした3Dゲームとか。
2024年3月
ステージングされたデモ
Cognitionというスタートアップが「初のAIソフトウェアエンジニア」であるDevinを発表しました。デモ動画は1週間 everywhere で話題になりました。1ヶ月後、Carl Brown(YouTubeチャンネル:Internet of Bugs)というベテラン開発者が、ほぼフレームバイフレームで検証しました。印象的な部分はキュレーションされていました。DevinはデモのUpworkタスクを完了しませんでした。自分でエラーを生成し、それを英雄的に修正しました。懐疑論者は、当然の勝利を祝いました。私はその解説動画を2回見ました。気分は最高でした。
同じ春、NvidiaのCEOがドバイのステージに立ちました:
"私たちの仕事は、誰もプログラミングする必要のないコンピューティング技術を創造することであり、プログラミング言語は人間であるということです。世界中の誰もが今やプログラマーなのです。"
Jensen Huang、World Governments Summit、2024年2月
その年、私が知るプログラマーで仕事を辞めた人はいませんでした。しかし、私が知る全員が、静かにCopilotをインストールしました。
ゴールポスト
デモはステージングされたものです。実際開発者がこれを日常的に実務で使うようになったら教えてくれ。
2024年10月
決算説明会
"Googleにおける新規コードの4分の1以上がAIによって生成され、その後エンジニアによってレビューされ、受け入れられています。"
Sundar Pichai、Alphabet決算説明会、2024年10月
コメント欄は瞬きもしません。それは単なるオートコンプリートの受け入れ率です。定型文はカウントされません。その半分はインポート文です。そして、まあ、おそらくその一部はそうでしょう。しかし、「Googleの4分の1」というのは、パーティートリックと呼び続けるには奇妙な数字です。
ゴールポスト
行を生成することが仕事ではありません。チケットを受け取って機能をリリースできるようになったら教えてくれ。
2025年2月
バイブス
"私が『バイブコーディング』と呼ぶ新しい種類のコーディングがあります。それは、バイブスに完全に身を委ね、指数関数を受け入れ、コードの存在すら忘れてしまうようなものです。"
Andrej Karpathy、2025年2月2日
3週間後、Pieter Levelsはマルチプレイヤー3Dフライトシミュレーターを実体化させました。彼は約3時間でそれを成し遂げました。彼はゲーム開発の経験がゼロです。彼はそれを fly.pieter.com でオンライン公開しました。2023年のゴールポストを覚えていますか?ちゃんとした3Dゲーム?ここにあります。彼は実質的な顧客に29.99ドルの戦闘機と飛行船広告を販売し、17日間で年間100万ドルの収益率を主張しています。コメント欄は、何をすべきかを正確に知っています:
同じシーズン:ZuckerbergはJoe Roganに、Metaは1年以内に「中堅エンジニア」のようにコーディングするAIを期待していると語りました。Dario Amodeiは、AIが6ヶ月以内にコードの90パーセントを書くかもしれないと述べています。そしてバイブコーディングは、それ自身の災害ジャンルを成長させます。漏洩したAPIキー。広く開かれたデータベース。「私のアプリがハッキングされたが、どこを見ればいいかわからない」というポストモーテム。シニアたちは感心しておらず、彼らも証拠を持っています。スロップは本物です。セキュリティホールも非常に本物です。
ゴールポスト
おもちゃやプロトタイプは確かに。本番環境に触れて生き残れるようになったら教えてくれ。
2025年7月
懐疑論者が正しかった月
METRという研究グループは、経験豊富なオープンソース開発者16人を集め、彼らに成熟したリポジトリでAIツールを使わせ、その効果を測定しました。開発者はAIを使用した場合、19パーセント遅くなりました。彼らは20パーセント速くなったと信じていました。時計を見てもなお。コメント欄は喜び、彼らはそれを獲得しました。Devin以来、懐疑論者にとって最高の1日でした。
同じ月:OpenAIとGoogle DeepMindは、国際数学オリンピックで両方とも金メダルを獲得しました。6問中5問を、プレーンな言語で、人間の制限時間内に解決しました。両方の事柄が同時に真実です。それが誰も受け入れたくない部分です。
ゴールポスト
1ヶ月間、誰も何も動かす必要はありませんでした。
2026年7月
現在
エージェントは数時間 unattended で実行されます。プルリクエストを開きます。プルリクエストはマージされます。あなたの中には、気づかずに今週1つレビューした人もいるでしょう。Stack Overflowの質問数は、私がコーディングを学んだ頃の水準に戻りました。質問が解決されたからではありません。フォーラムに質問する人がいなくなったからです。
おそらく現在のゴールポストは維持されるでしょう。しかし、上記のすべてのエントリも維持されていたことを指摘しておきます。それぞれ約18ヶ月間。
ゴールポスト
レガシーコードベースを扱えるようになったら教えてくれ。責任を負えるようになったら。何を作るべきかを知っているようになったら、ただどう作るかだけでなく。
YOU ARE HERE
この線より下のものはまだ起こっていません。推測です。自由に笑ってください。このページの上の半分も笑われましたが、私はそのスクリーンショットを持っています。
~2027年(予測)
ワンショットゲーム、今度こそ本当に
1つのプロンプトで、洗練された、プレイ可能なオープンワールドゲームが返されます。一貫したアートディレクション。調整された物理演算。動作するマルチプレイヤー。サウンドトラック。浮遊するテックデモではありません。あなたの子供が1ヶ月間プレイするようなものです。
ゴールポスト
リミックスは創造ではありません。本当に新しいものを作れるようになったら教えてくれ。
~2028年(予測)
レガシーコードベース
エージェントが15年前のモノリスを消化します。「削除しないで」というコメントで維持されているcronジョブがあるものです。文書化されていないビジネスルールをマッピングし、四半期かけて全体をリファクタリングし、テストは常にグリーンです。大きなゴールポストは火曜日に静かに倒れます。
ゴールポスト
システム全体をエンドツーエンドで所有できるようになったら教えてくれ。ページャー付きで。
~2030年(予測)
ページャー
オンコールローテーションはモデルとなります。インシデントが発生し、診断され、修正され、人間が起きる前にポストモーテムが作成されます。アップタイムが改善されます。これに取って代わられた人々は、正しく指摘します。システムを稼働させ続けることは、決して難しい部分ではありませんでした。今では、その多くが私たちです。
ゴールポスト
アイデアを思いつくようになったら教えてくれ。
~2033年(予測)
ファウンダー
AIが満たされていないニーズに気づき、製品を構築し、顧客を見つけ、従業員ゼロで会社を評価額10億ドルまで成長させます。同じ週に最後のシンクピースが出版されます。議論は鉄壁です:それはまだただの派手なオートコンプリートです。
ゴールポスト
私に電話してくれ。
ゴールポストの墓場
- Snakeすら書けない。2022年~2023年
- Snakeは簡単だろ。チュートリアルとベンチマークを記憶してるだけだ。2023年~2024年
- デモはステージングされている。実際開発者は使わないだろう。2024年
- 本物の製品は作れない。例えば3Dゲームとか。2023年~2025年
- チケットを受け取って機能をリリースできない。2024年~2025年
- プロトタイプのみ。本番環境には絶対に使えない。2025年~2026年
- レガシーコードベースを扱えない。責任を負えない。何を作るべきか分からない。現在の担当者
- 魂がない。何も欲しない。クラフトビールを飲まない。予約済みのプロット