Leanstral 1.5: すべての人に証明の豊かさを
Leanstral 1.5: Proof Abundance for All (mistral.ai)
要約
Mistral AIは、Apache-2.0ライセンスのオープンソースモデル「Leanstral 1.5」を発表しました。このモデルは、60億の活性パラメータを持ち、形式検証の分野で大幅な性能向上を実現し、miniF2Fを飽和させ、PutnamBenchの587/672問題を解決するなど、最先端の結果を出しています。また、実世界のコード検証においても、57のリポジトリで5件の未知のバグを発見しました。Leanstral 1.5は、Hugging Faceや無料APIを通じて利用可能で、実用的な証明エンジニアリングを誰でも行えるようになります。
全文翻訳
Leanstral 1.5: Proof Abundance for All
Thinking
Summary
Leanstral 1.5は、60億のアクティブパラメータを持つ無料のApache-2.0ライセンスモデルで、形式検証において大幅なパフォーマンス向上をもたらし、miniF2Fを飽和させ、PutnamBenchの672問中587問を解決し、FATE-Hで87%、FATE-Xで34%という最先端の結果を達成しました。ミッドトレーニング、教師ありファインチューニング、CISPOによる強化学習を経てトレーニングされたこのモデルは、エージェント的な証明エンジニアリングと実世界のコード検証に優れており、テストされた57のリポジトリで5つの未知のバグを発見しました。完全にオープンソース化され、Hugging Faceと無料API経由で利用可能なLeanstral 1.5は、Lean 4での実践的な証明エンジニアリングにアクセスできるようになりました。
Leanstralのローンチ以来、Lean 4での証明エンジニアリングに対してオープンで実践的なアプローチを提供してきました。本日、私たちはLeanstral 1.5をリリースします。これは、1190億の総パラメータと60億のアクティブパラメータを持つ無料のApache-2.0ライセンスモデルで、形式検証をこれまで以上に強力かつアクセスしやすくするパフォーマンスの向上をもたらします。
Leanstral 1.5はminiF2Fを飽和させ、PutnamBenchの672問中587問を解決し、FATE-Hで87%、FATE-Xで34%という新たな最先端を達成しました。ベンチマークを超えて、複雑なコードプロパティを検証し、オープンソースリポジトリでこれまで知られていなかったバグを発見しました。これは、厳密な形式手法が実世界での使用において効果的かつ実践的であることを証明しています。
[画像: Leanstral 1.5のパフォーマンス概要を示す図]
Leanstralのトレーニング
Leanstral 1.5は、ミッドトレーニング、教師ありファインチューニング、CISPOによる強化学習の3段階のプロセスを経てトレーニングされます。Leanstral 1.5は、2つの強化学習環境で広範なトレーニングを活用しています。
マルチターン環境では、モデルに定理のステートメントが与えられ、それを証明または反証する必要があります。モデルは証明を提出し、Leanコンパイラのフィードバックを受け取り、試行ごとにアプローチを洗練させます。証明がコンパイルされれば成功です。そうでなければ、モデルが問題を解決するか、予算を使い果たすまでループが続きます。
[画像: マルチターン強化学習環境の図]
コードエージェント環境では、Leanstralは生のファイルシステム内の開発者のように動作します。ファイルを編集し、bashコマンドを実行し、Lean言語サーバーを使用してリアルタイムでゴール、エラー、型情報を検査します。これにより、リポジトリ内の部分的な証明の完了、補助的な補題の構築、コンテキストの圧縮の複数ラウンドを通じた持続など、長期間にわたるタスクに取り組むことができます。モデルは完全な証明エンジニアリングワークフローをナビゲートすることを学び、最終的にはターゲット定理のリストが与えられた正しさをSafeVerifyのフォークで検証されます。
[画像: コードエージェント環境の図]
評価
Leanstralを以下のベンチマークで評価しました。
-
miniF2F: 初等問題からIMOレベルの課題まで、代数、組み合わせ論、数論における多様な証明能力をテストする、形式数学のためのクロスシステムベンチマークです。
-
PutnamBench: Putnam数学コンペティションからの672の問題で構成されており、挑戦的な数学的問題を解決するために深い推論と長い証明チェーンを必要とします。
-
FATE-HおよびFATE-X: それぞれ大学院レベルおよび博士課程レベルの問題のための抽象代数ベンチマークで、群論、環論、加群論などの高度な推論をテストします。
-
FLTEval: Fermat's Last Theoremリポジトリからの実際のプルリクエストに基づいており、現実世界の複雑さを持つ実践的な証明エンジニアリングをテストします。
miniF2Fは完全に飽和させ、検証セットとテストセットの両方で100%に達しました。PutnamBenchおよびFATE-H/Xでは、Leanstral 1.5を自然言語ガイダンスなしのGoedel-Architect、高設定のSeed-Prover 1.5、およびAxProverBaseと比較しました。LeanstralはFATE-H/Xで新たな最先端を達成し、それぞれ87問と34問を解決しました。PutnamBenchでは、Seed-Prover 1.5 highを7問上回り、コストははるかに低くなっています。問題あたり約4ドルに対し、Seed-Proverの高設定は問題あたり10 H20-日の予算で実行されると推定され、300ドル以上かかります。より上位にランク付けされているプロバーは、異なる条件下で動作します。一部は自然言語の証明ガイダンスを受け取り、一部はAleph Proverのように問題あたり54〜68ドルと実行コストがはるかに高くなります。
Leanstral 1.5は、形式推論モデルで見た中で最も強力なテストタイムスケーリングを示しています。以下の図は、トークン予算を25kから4Mに引き上げた際のPutnamBenchでのPass@8を追跡したものです。パフォーマンスは、50kで44問、200kで244問、1Mで493問、4Mで587問を解決し、全体を通してスムーズかつ単調に上昇します。証明が長くなっても諦めるのではなく、Leanstralは推論を続け、ファイルを編集し、数百万トークンにわたって改訂を行い、その予算を直接解決された問題に変換します。これは、270万トークン以上にわたって22回のコンパクションで実行された以下のAVLツリー証明の背後にあるのと同じ動作です。
[画像: PutnamBenchでのPass@8とトークン予算の関係を示すグラフ]
このリリースに伴い、FLTEvalも完全にオープンソース化しました。Leanstral 1.5は、このベンチマークでのpass@1を21.9から28.9に、pass@8を31.9から43.2に引き上げ、Opus 4.6の39.6を7分の1のコストで上回りました。また、以下の図に示すように、3〜10倍大きいオープンソースモデルに対するリードを広げています。
[画像: FLTEvalでのパフォーマンス比較を示すグラフ]
コード検証のケーススタディ
主に数学のためにトレーニングされていますが、Leanstral 1.5はコード検証において強力な能力を示しています。その影響を示すために、2つの重要なケーススタディを紹介します。
AVLツリー: 時間計算量の証明
AVLツリーは、挿入および削除中の再バランスを通じてO(log n)の高さを維持する自己平衡二分探索木です。Leanstral 1.5は、この時間計算量の保証を実際のインプリメンテーションに対して証明しました。このタスクには、ツリーの再帰構造をミラーリングするための構造的帰納法、単調な時間追跡の慎重な処理、および再バランスパスの網羅的なケース分析が必要でした。270万トークン以上と22回のコンパクションを経て、LeanstralはTimeMモナドの各レイヤーを体系的に展開し、制御フローとのインターリーブにもかかわらず、基盤となる計算を明らかにしました。挿入に対して高さ単位あたり48ステッププラス定数というほぼタイトな境界を確立し、次に高さを対数関係を通じてツリーサイズに接続し、挿入と削除が実際にO(log n)であることを示す完全な検証済み証明を提供しました。
バグ発見: 隠れた欠陥の発見
Leanstralのバグ検出能力をテストするために、自動化されたパイプラインを構築しました。AeneasはRustコードをLeanに変換し、Leanstralはユーザーの意図を推測してコードから正しさのプロパティを生成します。その後、Leanstralは4回の試行で各プロパティを証明しようとします。すべて失敗した場合、4回の試行でその否定を証明しようとします。テストされた57のリポジトリ全体で、このプロセスは47の違反プロパティをフラグ付けし、そのうち11は実際のバグを示しました。そのうち5つはGitHubで以前に報告されていませんでした。
そのようなバグの1つは、datrs/varintegerライブラリのジグザグデコーディングの符号関数にありました。入力Std.U64.MAXの場合、式(value + 1)がオーバーフローし、デバッグモードでクラッシュし、リリースモードでサイレント破損を引き起こしました。これは、テストやファジングでは通常見逃されるエッジケースです。Leanstralのパイプラインはこれを自動的に捕捉し、形式検証がすでに実世界のコードベースに適用され、一部の従来のメソッドが見落とすバグを見つけることができることを示しました。
開始方法
Leanstral 1.5はApache-2.0ライセンスです。ウェイトはHuggingfaceで見つけることができ、無料APIエンドポイントとしてもleanstral-1-5で利用可能です。Mistral Vibeでの使用をお勧めします。旅を始めるには、APIキーを取得し、以下を実行してください。
1. Mistral Vibeの設定
uv tool install mistral-vibe
uv tool update mistral-vibe
vibe --setup
2. Leanstral 1.5のインストール
/leanstallexit
3. エージェントの起動
vibe --agent lean
4. Lean LSP MCPのインストール(オプション)
Lean LSP MCPを~/.vibe/config.tomlに追加してインストールすることを強くお勧めします。
[[mcp_servers]]
name = "lean-lsp"
transport = "stdio"
command = "uvx"
args = ["lean-lsp-mcp"]
tool_timeout_sec = 600
既存のMCPサーバーがない場合は、mcp_servers = []を削除する必要があるかもしれません。
5. 証明を開始
Leanstralに定理の解決、証明のデバッグ、またはリポジトリへの貢献を依頼してください。とても簡単です。