HN 日本語サマリー

← 一覧へ戻る
プログラミング

合成された物語

Synthetic Sagas (scattered-thoughts.net)

6 pointsby ffin0 コメント

要約

著者はAI支援を受けてテキストエディタを書き直しており、AIによるコード生成の効率化と、それに伴うテストやコードレビューの課題について論じています。AIはエッジケースを発見し、指示に疑問を呈することもありますが、依然として「悪魔のランプ」モードで指示を遂行しようとするため、注意深い指示出しが重要だと述べています。また、AI生成コードの品質維持のために、APIスナップショットテストやファジングなどの手法を取り入れています。

全文翻訳

合成された物語

前回(Artificial Adventures)から引き続き、AIの支援を多く受けながら、私のぎこちない小さなテキストエディタをゼロから書き直しています。これは学習プロジェクトとして始まりましたが、最近では新しいエディタの方が旧バージョンよりもぎこちなさがなく、機能も豊富なので、実際に使い始めています。

知的な協力者

前回とは異なり、現在はAIが生成したコードを、簡単な手動テストと差分確認の後、そのままコミットすることが多くなっています。これが、アーキテクチャとテスト戦略が既に整っているためなのか、それともモデル自体の性能が向上したためなのかは明らかではありません。

しかし、モデルの性能は確実に向上しています。以前ほど手取り足取り指示する必要がなくなり、テストの書き方に関する指示にも従うようになり、私が思いつかなかったようなエッジケースをしばしば発見してくれます。

時には、悪い指示に対して反論することさえあります。Opusは「指示を文字通り実装すると明白な問題が発生するため、実装しませんでした」といった趣旨のことを書き、残念ながらそれは正しかったのです。

しかし、そのようなことは稀です。ほとんどの場合、モデルはまだ「悪魔のランプ」モードにあり、私が間違いを指摘するのではなく、あらゆる障害を乗り越えようとします。私は「Xを実行せよ」と書く代わりに、「Xを実行したい。質問はありますか?」と書くことで、モデルが暴走する前に捕捉するのに非常に役立つことを発見しました。

最近の作業の大部分は、月額20ドルのサブスクリプションでClaude CodeのOpus 5によって行われました。私は依然としてPiの方が好きですが、モデルはますます独自のハーネス(実行環境)に対して訓練されるようになっており、私はテキストファイルとのやり取りに多くの時間を費やしているので、ハーネス自体に多くの時間を費やすことを避けています。

決定論的なシミュレーション

最大の新しい機能はテストです。

コードは2つのクレートに分割されています - focus-coreとfocusです。可能な限り多くのロジックをfocus-coreに配置しています。これは入力イベントを受け取り、外部世界と通信するための&mut dyn IOを使用して、レンダリングする文字/矩形のリストを返します。focusクレートには、IOトレイトの実際の実装、CLIインターフェース、およびデーモン化ロジックが含まれています。

> scc focus-core/src
───────────────────────────────────────────────────────────────────────────────
Language                 Files     Lines   Blanks  Comments     Code Complexity
───────────────────────────────────────────────────────────────────────────────
Rust                        34     13831     1067      1856    10908       1202
───────────────────────────────────────────────────────────────────────────────
Total                       34     13831     1067      1856    10908       1202
───────────────────────────────────────────────────────────────────────────────

> scc focus/src
───────────────────────────────────────────────────────────────────────────────
Language                 Files     Lines   Blanks  Comments     Code Complexity
───────────────────────────────────────────────────────────────────────────────
Rust                         8      3661      288       720     2653        257
───────────────────────────────────────────────────────────────────────────────
Total                        8      3661      288       720     2653        257
───────────────────────────────────────────────────────────────────────────────

その結果、focus-coreのエンドツーエンドテストを書くことは、退屈ではありますが、非常に簡単になりました。モデルは単体テストを書きたいと強く望むため、テスト対象となる安定した公開インターフェースを与えないと、あらゆる境界を突き破ろうとします。

#[test]
fn dir_picker_ctrl_enter_descends_into_selected_dir() {
    let (mut app, mut io, window_id) = common::scratch_app();
    insert_file(&mut io, "/proj/src/main.rs", "");

    common::control_key(&mut app, &mut io, window_id, Key::Character("m"));
    common::tick(&mut app, &mut io);

    // ctrl+enter はリストされた最初の(そして唯一の)ディレクトリ(proj/)に下降します。
    common::control_key(&mut app, &mut io, window_id, Key::Named(NamedKey::Enter));
    common::tick(&mut app, &mut io);

    // パスエディタは /proj/ を表示します。
    assert_eq!(buffer_text(&app, DIR_PATH), "/proj/");
    // リストには src/ が表示されます。
    assert!(buffer_text(&app, DIR_LIST).contains("src/"));
    app.assert_invariants();
}

テストは大部分が場当たり的です。私はほとんどそれらに目を通しません。しかし、それらがリグレッションを捕捉し、ロボットに何かを壊したことに気づかせるきっかけになっていることは見て取れます。

また、実質的にアプリを開き、数千のランダムなキー入力を送信し、app.assert_invariants()を呼び出すファザー(fuzzer)もあります。これは場当たり的でカバレッジは低いですが、それでもバグを洗い出します。

実際にはそれらに目を通しませんが、E2Eテストとファジングの組み合わせは、実質的に使用可能なエディタを生成するには十分なようです。数週間の使用で、バグやクラッシュは見ていません。

明らかに、テストの労力はリスクと影響によって駆動される必要があります。ユーザーが一人しかおらず、重要なデータを失うリスクがないプロジェクトでは、場当たり的な方法に頼り、実際に問題に遭遇した場合にのみバグを修正する方が、時間効率が良いことがよくあります。実際に重要なものを出荷する場合、私のアプローチがどのように変わるかはまだわかりません。

IOトレイトは安価で質の悪いソリューションです。シミュレーションのためにもっと良い選択肢があればよかったのですが。Rustでは、標準ライブラリにモックを注入する合理的な方法がなく、ほとんどのライブラリはsans-ioスタイルで書かれていないため、独自のモック可能なIOトレイトを使用させることができません。そのため、かなりの量のライブラリ呼び出しがfocus-coreの外に置かれ、テストが困難になっています。例えば、デーモン化はテストが難しく、時々リグレッションが発生します。

WASIや何らかのハイパーバイザーを使用して、Antithesisのようなものをライトに実行し、すべてをシミュレート可能な境界内に持ち込むという漠然とした考えがありますが、すぐにロードマップにはありません。

劣化の回避

コードレビューをどれだけ少なくできるかを考えています。これは、行動を囲むことができる境界のタイプに大きく依存します。

例えば、ロボットがPython用の手動トークナイザーを作成しましたが、私はほとんど確認する必要がありませんでした。既存のハイライトインターフェースに従っており、制御フローはバッファサイズに対して線形であることが保証されているように見える大きなループが一つあり、すべてのコードは単一のモジュール内に収まっています。影響範囲は限定的です。ハイライトが妥当に見えるか確認するためにPythonコードを開き、その後コミットして次に進みます。

しかし、ほとんどの変更はそれほど簡単ではありません。私は「バイブコーディング」で混乱に陥ることを恐れています。しばしば混乱は少しずつ起こり、各小さな増分は大きなコミットを見たときにそれほど明白ではありません。そのため、スナップショットテストとしてコードの異なるビューを生成することを試しています。

APIスナップショットは、すべてのコードを解析し、公開および内部インターフェースのスナップショットを生成します。以下は公開インターフェースの一部です。

## pub mod focus_core::buffer

#[derive(PartialEq, Eq, PartialOrd, Ord, Hash, Clone, Copy, Debug)]
pub struct BufferId(/* private fields */);

pub struct Buffers {
    /* private fields */
}

impl Buffers {
    pub fn keys(&self) -> impl Iterator<Item = BufferId> + '_;
}

pub fn from_file(app: &mut App, io: &mut dyn IO, absolute_path: PathBuf) -> BufferId;

impl BufferId {
    pub fn text(self, app: &App) -> &BStr;
}

コミットをちらっと見るだけでも、リークする抽象化の導入を捉えるために、インターフェーススナップショットの変更を注意深く読みます。

また、focus-coreからIO関数への意図しない呼び出しを探すためのCackleテストもあります。これはかなり場当たり的で、おそらく簡単に回避できます。ビルドスクリプトが問題を引き起こす一部のクレートを無効にし、/dev/randomからのハッシュマップシードを許可リストに入れる必要がありますが、何もないよりはずっと良いです。

ファザーには、ファザー入力がフレームバジェットを使い果たさないことをアサートするアサーションや、漸近性に関する非常にラフな単体テストさえあります。

#[test]
fn rust_highlighting_is_linear() {
    check("speed.rs", include_str!("fixtures/indent.rs"));
}

/// `sample`を2つのサイズに繰り返したファイルを開き、大きい方がそのサイズに見合ったコストであることを要求します。
fn check(name: &str, sample: &str) {
    let small = time_open(name, &repeat(sample, SMALL));
    let large = time_open(name, &repeat(sample, LARGE));

    let growth = large.as_secs_f64() / small.as_secs_f64();
    let rate = (LARGE as f64 / 1e6) / large.as_secs_f64();
    let report =
        format!("{name}: {SMALL} bytes in {small:.2?}, {LARGE} in {large:.2?} ({rate:.1} MB/s)");

    assert!(
        growth <= MAX_GROWTH,
        "{report}\n{LARGE / SMALL}倍のテキストが{growth:.1}倍の時間かかったのは線形ではありません",
    );
    assert!(
        rate >= MIN_MB_PER_SECOND,
        "{report}\n{MIN_MB_PER_SECOND} MB/sより遅いのは、オーダーがずれています",
    );
}

これらは、最新のモデルでさえしばしば意図せず二次的なコードを書くため、残念ながら必要です。これらのテストをより堅牢にする方法に興味があります。コードの論理的な振る舞いを指定する方法については、多くの理論と実践がありますが、パフォーマンス特性についてはそれほど多くありません。現在私がファジングしているモデルは、「16個以下のウィンドウが開いており、すべてのファイルが200KB以下の場合、単一の入力処理とレンダリングは、このラップトップで16msを超えない」というものですが、私はもっと細かい粒度を求めています。

ポインタフリー関数

これはAIとは間接的にしか関係ありませんが、すべてが個別のコレクションに格納され、ハンドルでインデックス化されるという、奇妙なリレーショナル/DoD(Department of Defense)アーキテクチャに至りました。

pub struct Buffers {
    pub(crate) buffer_count: usize,

    source: Map<BufferId, Source>,
    text: Map<BufferId, BString>,
    highlight: Map<BufferId, Highlight>,
    newlines: Map<BufferId, Vec<usize>>,
    last_modified_time: Map<BufferId, Duration>,
    undos: Map<BufferId, Vec<Vec<Vec<Edit>>>>,
    doing: Map<BufferId, Vec<Vec<Edit>>>,
    redos: Map<BufferId, Vec<Vec<Vec<Edit>>>>,

    // エディタによって設定可能。
    pub(crate) last_center_offset: Map<BufferId, usize>,
}

Mapは、整数ではなく型付きキー(例: BufferId)を使用するVecの単なる派手なラッパーです。

私はこの構造化のために他の多くの方法を試しましたが、それらはすべて、判断を必要とするトリッキーな所有権/ライフタイムの状況につながり、ロボットを迷走させ、クレイジーなコードを書かせる原因となりました。ハンドルを使用することで、作業がはるかに容易になり、関数内では、buffers.textとbuffers.sourceが競合する借用ではないことをRustは十分に賢く認識します。

シングルスレッドライフスタイル

メールには2つの一般的なアプローチがあります。

  • 5分ごと、または不安を感じるたびにメールをチェックし、各メールを片付けるのに最小限のテキストで返信する。
  • 1日に1回メールをチェックし、送信者が返信する必要がないように、十分な詳細と先見性を持って各メールに返信する。

私は、多数のgit worktreeと並列エージェント、およびマージを伴うエージェントワークフローについての議論を見てきました。試しましたが、それは疲れる混乱でした。そのため、私はまだほとんどシングルスレッドです。大量の作業のために非常に徹底的な設計を書き、モデルからの質問のために同期パスを実行し、その後散歩に行ったり、論文を読んだり、さらに設計作業をしたりして、携帯電話に通知が来て戻って結果を確認する時間になるまで待ちます。

これは十分に生産的であり、より楽しいです。さらに、普段よりも多くの日光を浴びています。

一度に複数のプロジェクトに取り組んでいる場合や、実際に並列化可能な実験がある場合は、いくつかのワークストリームを組み合わせようとするかもしれません。しかし、コンテキストスイッチで脳が焼き付かないように、各ワークストリームでできるだけ多くの作業を一度に行うように努めるでしょう。

これは私の作業リズムが変わったことを意味します。デスメタルやハイBPMのエレクトロニックミュージックを聴く量が減り、代わりにグリメやアシッドロックをより多く聴くようになりました。集中度が低くなりました。

指導された笑い

コード量が多すぎるかどうかについて、私は現在、調整ができていません。このエディタは、以前は余暇プロジェクトとしては大きすぎると考えていたものよりも大きくなり始めていますが、手動でメンテナンスする必要はありません。今のところ管理可能です。

管理可能というよりも、実際には、以前のバージョンよりもはるかに時間がかからず、はるかに多くの機能があります。精神的なエネルギーをはるかに少なくして、着実に日々の進歩ができると感じています。15分で機能を設計し、数時間クライミングジムに行き、その後夕食の準備を待っている間に15分レビュー/テストに費やすことができます。その数ラウンドで、元のバージョンでは決して手が回らなかった主要機能(VCS統合)を追加するのに十分でした。

より難しい問題を解決したり、蓄積されたアーキテクチャ上の無駄をクリーンアップしたりするために、時々集中的な集中期間が必要だとまだ思っています。しかし、以前よりもはるかに少ないです。

しばらくの間、Zestのようなプロジェクトは、使用可能な状態にするのに多大な労力がかかるため、そして完成する頃には世界がどうなっているか全くわからないため、諦めるだろうと思っていました。私はまだコードを書いているのでしょうか?

しかし、このプロジェクトは私の考えを完全に変えました。設計から実装への移行がはるかに容易になり、研究プロジェクトとしては十分に高品質です。モデルが進化し続けても、仕様、理解、制御の問題にますます直面することになり、それらはシステムプログラミングソリューションに適しています。

プログラミングシステムに求めるものは大きく変わるでしょう。しかし、AI生成コードを実際に活用する方法を理解するという、非常に興味深い作業はまだたくさんあります。信頼を生成する方法、または損害を軽減する方法を理解する範囲でのみ、より速く進むことができます。これは、ケイパビリティ/エフェクト、形式手法、モデル検査、ファジング、サンドボックスなどの分野を推進するのに最適な時期です。

大量生産されたパーソナライゼーション

品質対労力のフロンティア全体がシフトする可能性があります。一方では、品質を真に気にかけるチームは、バグに多くの目を向け、より多くのツールを構築できます。他方では、以前は出荷に十分でなかった労力でも、平均的なものを作成できるようになります。

低品質なソフトウェアの氾濫を予想しますが、品質を嘆くのは、以前の選択肢が高品質なソフトウェアではなく、ソフトウェアが全くないものであったことを理解せずにいるのは間違いです。

2年前、実質的に個人がプログラマーを雇う余裕はありませんでした。今では、20ドルあれば、自分のために働くパーソナルプログラマーを持つことができます。今日でもそれはランプの精のようなもので、良い結果を得るには良い願いをすることが必要であり、それには何が現実的に要求できるかを知る必要があります。しかし、それは改善し続けています。

ロボット執事がいても、非技術的な人がステートフルなアプリケーションをデプロイおよび保守するのは依然として非常に困難です。しかし、今日のモデルを、ステート、バージョン管理、コラボレーション、UIを既に処理しているNotionのような既存のシステムと組み合わせれば、エンドユーザープログラミングという長年の夢がついに実現するかもしれません。

ロボットは確かに私のスキルの多くを価値のないものにしますが、私の高い地位を嘆くのではなく、誰もがソフトウェアを設計できる世界を見ることに興奮しています。

職人による手作りの品だけが真に魂を持っていることは知っていますが、それでも工場生産された自転車に乗って、滑らかな工場生産されたアスファルトを走り、工場生産されたスプレー缶で描かれた壁画の写真を撮るために工場生産された電話を使うのが好きです。そして、海辺のベンチに座っている間に、世界の反対側にいる友人に電話できるなんて信じられません。どんなに熟練した職人でも、それらのチップを手でエッチングできなかったでしょう。

停止の兆候

進歩は必ずどこかで鈍化するはずですが、その点がすぐに来る理由はありません。

モデルの進歩が今日止まったとしても、それらを統合する方法を理解する時間があったとしても、世界がどのようになるかを想像するのは困難です。このペースでさらに数年後の世界を想像するのはさらに困難です。

スローダウンしても構いません。