HN 日本語サマリー

← 一覧へ戻る
プログラミング

形式検証に対する異議:50年後の考察

The Case Against Formal Verification, 50 Years Later (ivan-gavran.github.io)

78 pointsby ghuntley72 コメント

要約

この記事は、1979年の論文「Social Processes and Proofs of Theorems and Programs」で唱えられた形式検証への反対論を、近年のAI技術の進展を踏まえて再検討しています。AIコーディングエージェントの登場が検証の必要性を高め、そのプロセスを容易にし、ソフトウェアの正確性保証にビジネス上の新たな価値をもたらしていると論じています。著者は、論文の議論を分析し、AIと現代のツールが形式検証の状況をどのように変えているかを考察しています。

全文翻訳

形式検証に反対する議論、50年後の検討

エンジニアたちがソフトウェア検証に熱狂しています。これは驚きかもしれませんが、検証はこれまで、せいぜい非常にニッチなケースでしか有用でない(最悪の場合、非現実的、無用、あるいは時間の無駄)と考えられてきました。それにもかかわらず、その周りの熱狂は明らかです。Google Trendsは過去2年間で形式検証/形式手法の検索数が大幅に増加したことを示しており、誰もがLeanを学んでおり、新しい仕様言語が定期的に登場し、主要なアプリケーションのエンドツーエンド検証の取り組み(例: Signal Shotプロジェクト)が行われています。

この熱狂の主な原動力はAIコーディングです。第一に、AIエージェントは、それらが書くプログラムに対する我々の理解に穴を残し、それゆえ、正しさの保証のための他の手段の必要性を生み出します。第二に、AIは検証自体をより速く、実世界のソフトウェア開発に組み込みやすくします。第三に、そしておそらくビジネスにとって最も重要なのは、プログラムを書くことが超高速化されれば、将来のすべての利益はソフトウェアの正しさの保証の分野に来るということです。

AntithesisのWill Wilsonは、彼の講演「We won, what now?」で、この伝統的にニッチな分野の勝利を宣言しています(この講演は、Bug Bash 2026のオープニングとして行われ、素晴らしい内容で、主流採用が進む検証コミュニティの将来についていくつかの良いアイデアを提供しています)。

その勝利の文脈において、形式検証に反対する古典的な論文の一つであるSocial Processes and Proofs of Theorems and Programsに戻るのは興味深いことです。1979年に書かれたこの論文の著者たちは、次のように述べています。

“私たちは、…プログラム検証は失敗する運命にあると信じています。それがプログラムに対する誰かの信頼にどのように影響を与えることができるのか、見当もつきません。”

この記事では、論文の議論を一つずつ検討し、最近の(もしあれば)発展がそれらを無効にするかどうかを検証します。これは、完全に真剣なものではなく、楽しい演習です。論文は、すべての形式手法の取り組みが破滅するとは主張していません(ただし、完全な検証のみを対象としています)。さらに、検証がソフトウェアエンジニアリングの通常のの一部になるかどうかは、はるかに不明確です(私たちが目にしているのは、関心の初期兆候にすぎません)。それにもかかわらず、50年前に根本的な障害と見なされていたものを2026年に再検討することは、有用で興味深いものとなるでしょう。

この議論において、論文の著者たちは、プログラミングが数学のように、各プログラムが証明を必要とする定理に対応するという考え方に反対しています。彼らはこう言います。待ってください、数学でさえ、定理の証明がプロセスの終わりではありません。むしろ、証明は最初のステップであり、コミュニケーションの手段です。本当に重要な部分は、他の数学者が証明を内面化し、その主張が数学の他の分野や物理的現実に接触したときに起こります。このプロセス全体が、主張の信頼性に貢献します。

ここには反論の余地はありません。プログラムの証明は、数学と正確に対応する必要はありません。(この議論は、ソフトウェア検証の基本ではなく、特定の動機に対するものです。)

議論2: 仕様の問題

議論の最初の部分は次のようになります。ある現実世界の要件があり、それは非形式的です(関係者は、その要件が何であるかについて共有された直感的な理解を持っています)。この直感的で非形式的な要件を形式仕様に変換する必要がありますが、それ自体が非形式的なプロセスです。この検証されていないプロセスで、多くのことが失われたり誤解されたりする可能性があります。

それは妥当な点です。反論としては、仕様は実装よりも非形式的な要件に近い(したがって、間違いは発見しやすい)ということです。さらに、現代の仕様言語(Quintなど)は、仕様とそのすべてのエッジケースをインタラクティブに検査し、それが本当に我々の直感に対応していることを確認することを可能にします。


議論の第二の部分は、仕様が実装から独立している場合にのみ価値があると言います。ソフトウェア開発の反復的な性質を考えると、それはほぼ不可能です。独立性が失われると、私たちは実際には仕様と実装を調整しているだけであり(そして両方に同様の間違いを導入する可能性があります)。

これは過去でさえ強い議論ではなかったと思いますし、特にコーディングエージェントがループにいる場合はなおさらです。追加の理解が得られるときはいつでも、それは開発プロセス全体にとって良いことです。最終的な裁定者である人間は、仕様を変更する方向を決定し、初期の仮定を再検討します。コーディングエージェントは、コードを生成および変更し、証明を生成することを許可されるかもしれません。しかし、仕様を変更する必要がある場合、最終的な裁定者として、人間だけがそれを実行できます。なぜなら、何が正しいかを定義するのは人間だからです。これは議論2の最初の部分に戻ります。

議論3: 完全自動検証は手の届かないところにある

コミュニケーションの手段としての検証の悪さについて論じた後、著者たちは完全自動検証機の可能性に注意を向けます(その場合、証明が同僚間の社会的プロセスを引き起こさなかったとしても、プログラムが正しく証明されたという事実に満足できるかもしれません)。著者たちは、完全自動検証機は決して構築されない可能性が非常に高いと主張しています。

その間、自動検証機の開発にはある程度の進展がありましたが、人間の努力(証明を書くか、モデルチェック用の適切なモデルを書くか)は依然として重要です。しかし、LLM搭載ツールはこのギャップを急速に埋めています。Igor Konnovは、彼の投稿「Formal proofs for distributed protocols with AI may be closer than you think」で、LeanでBen-Orプロトコルの安全性を証明した経験を説明しています。

議論4: 完全自動検証が可能になったとしても、それは有害である

著者たちは、単に「VERIFIED」または「NOT VERIFIED」と応答する検証機は理解に貢献せず、プログラマーはプログラムをさらにどのように変更すればよいか分からなくなるだろうと主張しています。さらに、検証されたプログラムを持つことは、他の防御層(例: モニタリング、レート制限など)へのインセンティブを減らす可能性があると主張しています。

これは弱い議論であり、自動検証が存在する場合の検証ツールやプログラマーの行動について、最悪の仮定に依存しています。

議論5: 実世界のシステムは仕様化するにはあまりにも複雑すぎる

アルゴリズムと実世界のシステムの間には、正しく指摘されているように、大きな違いがあります。アルゴリズムの仕様はしばしば簡潔で整然としていることが多いですが、実世界のシステムの仕様はアドホックで不安定で、複雑です。さらに、ほとんどの実世界のシステムでは、アルゴリズムはシンプルで容易であり(したがって、それらを検証することには大きな価値はありません)。

すべてのシステムが検証される必要はないのは事実です。しかし、過去数十年間および数年間で、より多くの検証を推進する変化があります。

  • ソフトウェアがクリティカルインフラストラクチャや金融の世界に入り込むにつれて、リスクは高まります。
  • コーディングエージェントが私たちが望むものを作成すると期待するなら、私たちが望むものを記述する方法をより良く知る必要があります。もちろん、これは常に形式仕様を必要とするわけではありませんが、コーディングエージェントと協力するときは、意図を正確に仕様化するという目標がより重要になります。(これは完全な検証を意味するものではありませんが、仕様の技術も形式手法ツールの1つです。)

議論6: ソフトウェアの信頼性は検証よりもはるかに多い

“プログラムを正しくしたいという願望は建設的で価値のあるものです。しかし、検証の単一的な見方は、実際の数学的証明の正しさの基準、または実際の工学的構造の信頼性の基準を受け入れることから生じる利益を見落としています。経済的制約内での実用性の追求、成功した設計を再利用することによるイノベーションの推進、同業者コミュニティの機能への信頼など、工学と数学を実際に機能させるすべてのメカニズムは、完全な検証可能性の無益な探求の中に隠されています。”

私はこの議論に完全に賛成です。確かに、システムの完全な検証は、信頼性に対処するための最良の方法であることはめったにありません。ソフトウェアの正しさに対する他のすべての努力も同様に価値があります。そして、これら2つは競合するものではありません。正しさをもたらすための最良の方法への注目の高まりが重要です。

結論

これは非常に楽しい論文でした。著者たちは、形式検証がすべての正しさの問題を解決する魔法の杖ではないという良い点を指摘しています。確かに、彼らが指摘するように、ソフトウェアの正しさには検証以上のものがたくさんあります。エンジニアリングプロセス、ビジネス上の考慮事項、追加の防御層などです。

完全な検証に焦点を当てているため、論文の著者たちは、形式手法のさまざまな部分が全体的な理解、より良い設計上の選択、またはより高い速度にどれほど役立つかを誤って却下しています。これらすべては、AIコーディングエージェントがコードを書くことで増幅され、人間は書くべきものを仕様化し、それが指定された仕様に従って書かれたかどうかを確認するタスクに残されます。これにより、コーディングエージェントの作業も容易になります。検証は、ループを閉じて、書いたものが正しかったかどうかを伝える方法を提供します。


FMの実務家であるThomas PaniとRanadeep Biswasの2名に感謝します。彼らとの論文およびこの記事に関する有益な議論に感謝します。形式手法を依然として無用だと考えている、バブルの外の人々からの意見も聞けると興味深いです。