HN 日本語サマリー

← 一覧へ戻る
プログラミング

JoltのためのプログラムイメージとポータブルSchemeバックエンド

Program images and portable Scheme back ends for Jolt (yogthos.net)

4 pointsby yogthos0 コメント

要約

Joltに、プログラムの実行状態を保存・復元できる「プログラムイメージ」機能と、Chez以外のScheme処理系でも動作するポータブルなSchemeレイヤーが追加されました。プログラムイメージは、デバッグ時にエラー発生時の状態をそのまま再現して調査することを可能にし、共同作業やセッション状態の永続化にも役立ちます。ポータブルSchemeバックエンドにより、Joltはブラウザ上での実行も可能になりました。

全文翻訳

Jolt のプログラムイメージとポータブル Scheme バックエンド

最近、Jolt に2つの新機能が追加されました。どちらも Jolt とホストランタイムの結合を緩めたことから生まれたものです。1つ目は、Common Lisp や Smalltalk のスタイルでプログラムイメージをシリアライズする機能、2つ目は、Chez ランタイムから切り離されたポータブルな Scheme レイヤーを持つことです。これらの機能が Jolt に実質的にどのようなメリットをもたらすかを見ていきましょう。

イメージ:プログラムのブラックボックス

Web アプリケーションのような本番システムをサポートしたことがあるなら、良好なロギングの価値を知っているはずです。通常は、コードのあちこちにステートメントを散りばめ、検索可能な場所にデプロイし、問題が発生した際のパンくずとして使用します。システムにエラーが発生した場合、何が起こったのかを理解するために、まずそれが何をしていたのかを再構築する必要があります。もしロギングが重要な情報を捉えていなかった場合、調査は推測と、エラーを引き起こした状態を再構築しようとする試みに陥ります。これは、午前3時に本番環境がダウンした場合、特にフラストレーションのたまる経験になり得ます。

ロギングの難しさは、質問が何であるかを知る前に、それを推測させられることです。各ログ行は、事前に選択されたプログラム状態の投影であり、しばしば、呼び出しを書いたときに重要だと思われた2つか3つの要素で構成されています。実際の原因が4つ目の要素にあった場合、ログは何も価値のある情報を提供しません。値は失われており、たとえメモリ内にまだ存在していたとしても、それらにアクセスする方法はおそらくないため、後で別の質問をすることはできません。あなたが持っているのは、元のコードを書いたときに決定したレンダリングだけです。

その結果、人々は防御的に過剰にログを記録する傾向があり、これは別の種類の問題を引き起こします。つまり、ノイズを生み出し、トレースを困難にするログの量が増加し、しばしば実際に重要なフィールドを欠いているという事態になります。

しかし、もっと良い方法があり、ロギングに全く頼る必要がないとしたらどうでしょうか?これはまさに jolt.image が可能にすることです。事前に何を記録するかを選択する代わりに、エラー発生時のプログラムの全状態をディスクにダンプできます。その後、そのファイルをローカルマシンにコピーし、REPL で状態をロードして、何が起こったのかを調べるためにそれを突き詰めることができます。

これが実際にはどのように見えるかを示します。エラー発生時に状態をダンプするには、例外ハンドラで image/dump! を呼び出すだけです。

(try
  (process-batch! batch)
  (catch Exception e
    (image/dump! (str "crash-" (random-uuid) ".jimg")
                 {:error   (Throwable->map e)
                  :batch   batch
                  :pending @work-queue})
    (throw e)))

または、列挙を完全にスキップして、プログラム全体を取得します。

(catch Exception e
  (image/dump-world! "crash.jimg")
  (throw e))

dump-world! は var テーブルをウォークし、すべてのデータ var のルートを書き出すため、コードのどの部分もその状態が何で構成されているかを事前に宣言する必要がありません。イメージはアーキテクチャに依存しないため、arm64 サーバーで書き出されたイメージは x86-64 デスクトップでも正常に復元できます。ファイルをローカルマシンにコピーしたら、REPL で開くだけです。

$ jolt repl
user=> (require '[jolt.image :as image])
user=> (image/restore-world! "crash.jimg")
412
user=> (filter #(nil? (:price %)) @app.core/current-batch)
({:id 4182, :sku "B-77", ...})

返ってくるのは、問題が発生した時点でメモリ内に存在した値です。マップ、レコード、サイクル、共有構造は、それぞれのメタデータが付いた状態でそのまま保持され、関数も呼び出し可能な状態で返されます。名前付き関数はライブな関数に解決され、匿名クロージャはそのソースフォームとキャプチャされた値を保持して、復元時に再コンパイルされます。そのため、失敗した関数を、失敗したデータに対して REPL で実際に呼び出し、何が間違っていたのかを正確に確認できます。ログファイルよりも厳密に大きな範囲の質問をできるようになり、それらの質問を事前に知る必要もありませんでした。

プログラムイメージをブラックボックスレコーダーのように考えることができます。航空機が計器の状態を記録して、調査員が後で何を見るべきかを決定できるようにするのと同じように、プログラムイメージは問題のデバッグに必要なすべての情報を提供します。

ここで、鋭い読者は、ソケットやファイルポートのような、シリアライズできないオープンリソースをこのアプローチがどのように処理するかを尋ねるかもしれません。私が採用したアプローチは、デフォルトで dump-world! がそれらをスタブレコードとして書き出すようにすることでした。イメージが復元されたら、(image/stubs) を呼び出してリストアップし、それらを再オープンするリゾルバを登録するか、(image/register-stub-resolver! kind-or-pred f) を使用して REPL から手動でライブ値にスワップすることができます。

1つの制限は、コンパイル時定数に対するクロージャがダンプを拒否することです。なぜなら、定数はコンパイル済みコードに折りたたまれ、保存されたソースがそれを必要とする間は回復できないからです。partial や comp によって構築されたクロージャも、関連する理由で同じ問題を抱えています。イメージのヘッダーは読み取り時にチェックされるため、互換性のないビルドからの古いデータを受け取ることはありません。dump-world! は可能な限りすべてをダンプしますが、dump! はデフォルトで厳密であり、不完全なものを微妙に書き出す代わりに、問題のあるオブジェクトへのパスを指定します。これは、完全な状態が利用可能であることを明示的にしたい場合に役立ちます。

プログラムを誰かに送信する

ポストモーテムデバッグは明らかなユースケースですが、もう1つの興味深いアプリケーションはコラボレーションを促進することです。イメージは、他の人に渡せるプログラムの状態であり、いくつかの興味深い可能性を開きます。

教育目的では、これは、構築やシードなしで、実行中のシステムの途中に、実際のデータがロードされた状態で、誰かを直接置くことができることを意味します。「パイプラインが途中で実装されたイメージがこれです。ステージ2を見てみてください」と言えることを想像してみてください。バグレポートの場合、同僚はあなたの問題を正確に再現できます。なぜなら、彼らはあなたの状態をロードしているだけだからです。彼らはそれを突き詰め、何かを変更し、再度ダンプして、あなたに送り返すことができます。

これは、私たちが慣れているプログラムとの関係とは全く異なります。伝統的に、ソースコードは私たちがやり取りする成果物として扱われます。Jolt は、Smalltalk や Lisp マシンがどのように機能したか、そして save-lisp-and-die が今日でも Common Lisp でどのように機能するかという方向に針を動かします。プログラムは、実行できるレシピであるというよりも、進化させることができる生きたものなのです。

耐久性のあるセッション状態

もう1つの興味深いアプリケーションは、ユーザーがセッションを保存し、アプリを再起動したときに中断したところに戻ることができるデスクトップアプリのようなユースケースです。私は、それが実際にはどう見えるかを示すTodoMVC の例を作成しました。クリックしたり、タスクを追加・変更したりしてから、状態をダンプし、新しいインスタンスで再ロードできます。

ポータブル Scheme バックエンド

当初、Jolt の目標は Chez Scheme 上の Clojure 実装を構築することでした。しかし、Jack Rusher は、ポータブルなランタイムとコンパイラを切り出すことが可能であり、Chez を複数のターゲットの1つにするだけだと指摘しました。Gambit は2番目のホストの明白な選択肢でした。なぜなら、JavaScript バックエンドを持っており、ブラウザで Jolt を実行できるからです。もし公式ウェブサイトを訪れれば、Jolt がブラウザで実行されている、インタラクティブな REPL を試すことができます。

リファクタリングにより、コンパイラの Scheme 部分は3つの異なるレイヤーに分割されました。コアはポータブル Scheme で書かれており、コレクション、シーケンス、リーダー、プリンター、var、多重メソッドを実装しています。これは、真面目な実装であればどれでも変更なしで実行できる通常の Scheme です。

次にアダプター契約があり、ホストが透過的に表示されます。すべてのホスト機能は sa-* エントリポイントを通過し、契約ファイルには72の名前が階層にグループ化されています:system(クロック、環境、終了)、threads、eval、introspect(バックトレース用の継続フレーム)、ffi、native-compile、image。ターゲットは、階層を実装するか、正直にそれを低下させることができます。つまり、欠落している機能はメッセージを伝えるエラーを発生させるか、空を返します。この最後のプロパティは、部分的なポートを実際に使用可能にするための鍵となります。Gambit バージョンは ffi、native-compile、image を低下させて実行し、その機能を明示的に宣言しています。

最後に、ターゲット固有のファイルは、誰も共有できない2つの部分です。これらにはアダプター自体とハッシュカーネルが含まれます。例えば、Chez バージョンは他の Scheme では異なるスペルで書かれる unsafe fixnum 操作を使用します。コンパイラ側では、方言固有の違いはプリミティブテーブルを通過し、メインのエントリは unsafe-op 接頭辞です。そのため、それを空文字列にマッピングするターゲットは、安全か、ポータブルか、または遅いかを示すチェックされた操作をどこでも受け取ります。

方言固有の作業は、推測するよりも小さく、期待するよりも退屈です。ほとんどの場合、レコードを親タイプにマッピングすること、ハッシュテーブル API、fx 操作のスペル、エラーオブジェクトの形状、そしてハッシュ関数が Chez とビット同一の出力を生成するようにすることを含みます。Gambit ポートは約6,000行で、そのかなりの部分は、シード自体を含め、ゼロから書く必要があったのではなく、Chez 上で生成されています。既知の動作ビルドからシードをクロスミントすることは、新しいターゲットがブートストラップする必要がないようにするトリックです。

なぜ複数の Scheme が存在する価値があるのか

直接的なメリットはリーチです。Gambit は単一の JavaScript ファイルにコンパイルされるため、Jolt はブラウザで実行できるようになり、実際のコンパイラと標準ライブラリがクライアント上で直接評価されるサイトのフロントページで REPL を使用できるようになりました。それほど高速ではありませんが、デモとしては機能します。

Scheme は言語のファミリー全体であり、それぞれ異なるユースケースに最適化されたさまざまな方言があります。そのため、ここでのより深いメリットは、異なる賭けをした実装のエコシステムを開放することにあります。それらはすべてコア言語セマンティクスを共有しますが、各方言は言語に独自のひねりを加えて、さまざまなユースケースに最適化されたランタイムを提供します。Jolt は今やこのエコシステム全体に便乗し、その上に Clojure レイヤーを提供できます。

Chez は、高速で、比較的小さく、機能豊富で、実際のスレッド、FFI、ネイティブコンパイルを備えているため、優れたデフォルトとなります。Gambit は JavaScript と C に到達させます。一方、Stalin 系列の全プログラム最適化コンパイラは全く異なる提案です。それは、アグレッシブなクロージャと型解析を提供し、起動とフットプリントが支配的な制約のあるデバイスに配布される小さなバイナリに適した、非常に小さな出力を生成します。そのようなコンパイラは通常、ランタイム eval を全く持ちませんが、シードはすでに Chez 上でクロスミントされていることに気づくまで、それは disqualifying に聞こえます。これにより、コンパイラは1つの Scheme 上で動作し、生成されたプログラムは別の Scheme 上で実行できます。

重要な部分は、ターゲットとするホストに関係なく、プログラムは同じ Clojure であるということです。変化するのは利用可能な機能であり、それは各ランタイムで表現できることの明確な境界を提供する契約で述べられる必要があります。多くの既存の Scheme 実装のおかげで、同じコードがサーバー、ブラウザタブ、小さな静的バイナリとして実行されたり、既存のプログラムに埋め込まれたりできるようになりました。

プログラムは、それを開始したプロセスに閉じ込められるべきではありませんし、最初にコンパイルされたランタイムに結婚させられるべきでもありません。Lisp は常に柔軟であるように意図されており、Jolt はこの哲学を採用しています。