AIを自動化する

Beagle SCM AIを自動化するA. Karpathyはかつて、OpenAIの研究者たちはAIを改善することによって実質的に「自分たち自身を自動化している」と述べました。現在、私はAnthropicのFableを使ってBeagle SCMを開発していますが、それはもちろん、大量のコードの些細なミスを見つけ、チケットを作成し、修正を行うことができる素晴らしいモデルです。それでも、昨日、それはプロジェクトにbuild/ディレクトリをコミットしてしまいました。二度もです。それは素晴らしいですが、不器用です。LLMの性質上、この問題はAIが進歩するにつれてなくなりません。それらは不正確で非決定的になる傾向があります。パーサー生成ツールのRagelは、瞬時に、決定論的に、形式的に正しい10 KLoCのパーサーを「コード」できます。Claudeはどうでしょうか？私の指示はすべて大文字で書かれています。「決して手動でパーサーを記述しないでください。それは拷問であり、誤りがあるでしょう。絶対にしないでください。」それでも試みるので、定期的にコードベースをスキャンして、手動パーサーの試みを見つけて削除するように指示しています。それはほとんど機能します。それはますます素晴らしくなりますが、不器用さは変わりません。 高価で、遅く、不器用だが素晴らしいLLMに対処する方法は、高速で強力で決定論的なツールを与え、そしてすべてを決定論的な形式ワークフローに組み込むことです。それをより速くし、適切なタイミングで関連性の高いものを見えるようにし、より不器用でなくし、自己修正できるようにします。この素晴らしいが、一貫性のない非決定性を、強力な決定論的なツールと等しく形式的なプロセスで挟み込みます。ツールとプロセスが可変である場合、この話はさらに面白くなります。もしClaudeが特定の行動シーケンスを頻繁に行いすぎるなら、それを自動化します。もしそれが繰り返し何かで失敗するなら、検証ステップを自動化します。本質的に、私たちはLLMがそれ自身を自動化し、単純で信頼性の高い決定論的なツールのために置き換えるようにします。 Beagle SCMは、LLMがJavaScriptで独自のルーチンをスクリプト化できるようにします。重い処理はすべてCで実装されており、ほとんど触られることはありませんが、ツールレイヤー(サンドイッチの下部)とワークフローレイヤー(上部)はすべてJavaScriptであり、ファイルシステムからコードを選択します。node_modulesスタイルです。ほぼすべての言語でソースファイルをトークン化し、ファイル履歴とコミット履歴を検査し、リンクをクロスチェックし、基本的にgitが内部的に到達できるほぼすべてのデータに到達できるgitフックを想像してみてください。それがBeagleです。