HN 日本語サマリー

← 一覧へ戻る
プログラミング

コードレビューは(自動化可能な)検出以上のものがある

There is more to code review than (automatable) detection (adaptivecapacitylabs.com)

165 pointsby utiiiD117 コメント

要約

「コーディングエージェントが人間の検査に取って代わる、コードレビューの終焉」という論文は、LLMベースのエージェントがコードレビューの目的(欠陥検出、スタイル適用、知識移転、認識)を達成できると主張し、人間によるレビューの必要性を否定しています。しかし、この記事は、人間のレビューアの「理解できない」という混乱、変更の必要性への懐疑、欠けているものへの気づき、コードの作者によるレビューの精査度合いの変化、文脈知識、そして責任感といった、関数に還元できない重要な側面を指摘し、エージェントが人間を完全に置き換えることはできないと論じています。

全文翻訳

コードレビューは(自動化可能な)検出だけではない

論文「The End of Code Review: Coding Agents Supersede Human Inspection」の要旨は、読者に次のような光景を描き出します…

要旨 – コードレビューは、1976年にFaganがコードインスペクションを形式化した以来、ソフトウェア開発における主要な品質ゲートとなっています。50年もの間、マージ前に同僚の変更を人間が検査しコメントすることは、あらゆる規模の組織で中核的な実践となってきました。コーディングエージェントは、ソフトウェアを読み、書き、テストし、修復することができる、大規模言語モデル(LLM)ベースの自律システムです。私たちは、コーディングエージェントが、従来の人間によるコードレビューがもはやソフトウェア品質パイプラインの必須コンポーネントではなくなる能力の閾値を超えたと主張します。私たちの議論は、2つの主張に基づいています。コードレビューのすべての表明された目標は、より低いコストとより高いスループットでエージェントによって達成できること。エージェントがコードを書き、人間が必須のレビュー担当者であり続けるというナイーブな統合は、意味のある保証を提供せず、AI支援スループットでスケールしないため、行き止まりです。

この記事は構成がよく、研究論文を読むことに慣れていないエンジニアにとっては非常にわかりやすいです。しかし、その議論は根本的に問題のあるフレームワーク、すなわち代用神話に依存していると私は思います。

著者は、ピアコードレビューを、欠陥検出、スタイル強制、知識移転、および認識という4つの表明された機能に分解します。そして、エージェントがそれぞれを実行できると主張します。結論はもちろん、エージェントがこれらの各機能を実行できるのであれば、エージェントは人間のレビュー担当者を置き換える能力があるということです。

私はこれが、機能に還元できない、ピアコードレビューのいくつかの重要な側面を見落としていると考えています:

ピアレビュー担当者の混乱

経験豊富なエンジニアが差分を読んで「これは理解できない」と言うとき、その混乱こそが発見です。それは、コードが複雑すぎる、抽象化が間違っている、あるいは意図が不明確であることを意味します。LLMは、コードを処理できるという意味で、常にコードを「理解」します。それは、正当な人間の理解不能というシグナルをあなたに与えることはできません。この記事は、理解可能性をスタイル以上のものとして扱っています。そうではありません。それは創発的な特性であり、成果物を理解しようとする人と成果物自体の間の相互作用に現れます。

その変更が本当に必要かどうかについての限定的な懐疑論

変更の存在自体に疑問を呈すること、例えば:

「これは実際には2つのPRであるべきではないか?」

または

「これは問題の根本ではなく、症状を解決しているだけだ」

これらは、意図、スコープ、および変更の適切さに関する質問です。それらはすべて、コードが「正しい」かどうかの前に来ます。この記事のフレームワークは、a) レビューされているコード変更が必要であり、b) レビューの主な目的は検証であると仮定しています。

しかし、本番環境に触れたことがある人なら誰でも、コードレビューは、変更が必要かどうかを異議を唱えることが期待できる最後の(あるいは唯一の)瞬間であることが多いことを知っています。

そこにないものを見る能力

人間のレビュー担当者は、API契約が変更されたがエラー処理は変更されていないことに気づくことができます。彼らは欠落しているものに気づくことができます。つまり、存在することが期待されているが、存在しないものを認識できるということです。この記事はこれを全く認識していませんが、不在盲視がまさにLLMが非常に苦手とする失敗のクラスであるということを考えると、特に興味深いです。

エージェントは存在するものをレビューしますが、専門知識を持つエンジニアは欠落しているものを容易に認識できます。

誰がコードを書いたかは、レビューの精査に影響します

ピアコードレビュー担当者は、しばしば同僚であるコードの作成者との過去の経験から来る、ある種の調整された注意を持っています。例えば、経験の浅いエンジニアが、例えば決済モジュールに初めてコミットした場合、ベテランの「グレービアード」エンジニアのルーチンリファクタリングよりも異なる注意を受ける可能性が高いです。

レビュー担当者は通常、状況の誰が、何を、いつ、どこでを、リスクがどこにあるかという自身の経験と照合します。
この記事は、すべての差分を同等の入力として扱っているようです。

コードレビューは双方向的で建設的です

私には、この論文は知識移転を単なる情報伝達に還元しているように思えます。エージェントは単に「説明を生成」します。しかし、コードレビューでの議論は共同の 認知的活動です。ピアレビュー担当者は作成者のアプローチについて学び、作成者はレビュー担当者の質問を通じて学び、その結果は、議論の前にどちらの当事者も持っていなかった共有された理解になります。

これは単なる伝達ではなく、共同作業です。エージェントの要約は、両方の参加者のメンタルモデルを変更する会話の代わりにはなりません。

リポジトリの外に存在する運用コンテキスト

「先週火曜日にこのサービスでインシデントが発生しました。」

「このダウンストリームコンシューマーを所有するチームは、そのインターフェースを非推奨にしようとしています。」

「法務部から、このフィールドをログに記録しないように言われました。」

人間のレビュー担当者は、自分たちが認識しているよりもはるかに多くのコンテキスト知識を持っています。人々は、組織の現在の状態、最近の出来事、およびテスト、ドキュメント、バージョン管理にキャプチャされていない非公式な合意を理解しており、これらがレビュー対象のコードにどのように影響するかを認識できます。これは非常に頻繁に起こるため、ほとんど見えなくなっています。

この記事は、コードベースが完全なコンテキストであると仮定しています。そうであることは決してありません。

コードに対する説明責任は、単なる官僚的な形式ではありません

この記事は、人間の責任をコンプライアンスの成果物、つまり法的またはその他のルール関連の目的のための「指名された人間」として扱っています。しかし、変更を承認することに個人的に責任があることを認識していることは、レビューの方法を形作ります。それは「スキン・イン・ザ・ゲーム」です。プルリクエストに「サインオフ」するエージェントは、いかなる結果も負わず、真剣な評価を促進するインセンティブ構造も持っていません。論文は倫理的な懸念を議論セクションに含んでいますが、それは「要件エンジニアリングとデプロイメント後の監視」にリダイレクトされており、これは私には問題を先送りするごまかしのように思えます。

この記事に対する私の最も根本的な問題は、コードレビューを第一に検出プロセスであると仮定していることです。つまり、欠陥、スタイル違反、セキュリティ問題などを見つけ、それらをより速く、より安価に検出することが普遍的に良いという仮定です。

しかし、コードレビューは調整プロセス、意味把握プロセス、そしてガバナンスプロセスでもあります。

代用神話は、しばしば同じように展開します:

  1. まず、仕事における人間の貢献を測定可能な機能に分解します。
  2. 機械がそれ自身の測定可能な機能で、この人間の貢献を再現できることを示します。
  3. 人間は不要であると宣言します。

このアプローチはしばしば同じ点で崩壊します。最も重要だった人間の貢献は、機能間の統合でした。人々が予期しない状況やコンテキストに適応し、期待される社会的説明責任を果たす能力です。

そのような状況での適応能力は、上記のステップ1の元の分解では考慮されていません。
私は、元の記事でも考慮されていなかったと思います。