HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIを自動化する

Automating AI Away (replicated.live)

101 pointsby gritzko49 コメント

要約

AI、特に大規模言語モデル(LLM)は、コード生成やバグ発見において驚異的な能力を発揮する一方で、不正確さや非決定性といった課題も抱えています。これらのLLMの能力を最大限に引き出し、欠点を補うには、高速で決定論的なツールと、形式化されたワークフローを組み合わせることが重要です。Beagle SCMは、LLMがJavaScriptで自身のルーチンをスクリプト化できるようにすることで、LLM自身がより信頼性の高い決定論的なツールへと進化するプロセスを支援します。

全文翻訳

Automating away

[画像: Escher: Stars]

Escher: Stars

A. Karpathyはかつて、OpenAIの研究者たちはAIを改善することによって、実質的に「自分たち自身を自動化している」と述べました。現在、私はAnthropicのFableとBeagle SCMを開発していますが、これはもちろん、膨大なコードの中から些細なミスを見つけ、チケットを作成し、修正を行うことができる素晴らしいモデルです。それでも、昨日、それはプロジェクトにbuild/ディレクトリをコミットしてしまいました。二度も。素晴らしいのですが、不器用なのです。

LLMの性質上、この問題は、それらがさらに進歩しても消えていくものではありません。それらは不正確で非決定的な傾向があります。Ragelというパーサージェネレータは、瞬時に、決定論的に、形式的に正しい10 KLoCのパーサを「コード化」できます。Claudeはどうでしょうか?私の指示はすべて大文字で書かれています。「絶対に、手動で何かをパースしないでください。」それは苦痛であり、誤りにつながるでしょう、ただしないでください。しかし、それは試みるので、私は定期的に、手動でのパースの試みを見つけて削除するためにコードベースをスキャンするように指示しています。それはほとんどの場合うまくいきます。

それはますます素晴らしくなりますが、不器用さは増すばかりです。

高価で、遅く、不器用だが素晴らしいLLMに対処する方法は、高速で強力で決定論的なツールを与え、そしてすべてを決定論的なフォーマルなワークフローに組み込むことです。それをより速くし、適切なタイミングで関連するものを見えるようにし、より不器用でなくし、自己修正するようにします。その素晴らしくも一貫性のない非決定性を、強力な決定論的なツールと等しくフォーマルなプロセスで挟み込みます。

もしツールとプロセスを柔軟にできれば、この話はさらに面白くなります。そうすれば、Claudeがある一連のアクションを頻繁に行いすぎる場合、それを自動化します。もしそれが繰り返し何かで失敗する場合、検証ステップを自動化します。

本質的に、私たちはLLMに、シンプルで信頼性の高い決定論的なツールのために、自己を自動化させます。

Beagle SCMはLLMにJavaScriptで独自のルーチンをスクリプト化させます。すべての重い処理はCで実装されており、ほとんど触られることはありませんが、ツーリングレイヤー(サンドイッチの下部)とワークフローレイヤー(上部)はすべてJavaScriptであり、node_modulesスタイルでファイルシステムからコードを選択します。ほとんどすべての言語でソースファイルをトークン化し、ファイル履歴とコミット履歴を検査し、リンクをクロスチェックし、基本的にgitが内部的に到達できるあらゆるデータに到達できるgitフックを想像してみてください。それがBeagleです。

HN