HN 日本語サマリー

← 一覧へ戻る
プログラミング

GleamがErlangソースコードへのコンパイルを停止

Gleam doesn't compile to Erlang source anymore (gleam.run)

299 pointsby ingve127 コメント

要約

プログラミング言語Gleamがバージョン1.19.0で、Erlangコードジェネレーターを大幅に更新した。以前はErlangソースコードを生成していたが、今後はErlangの抽象構文木(abstract forms)を生成するようになる。これにより、コンパイルパフォーマンスが向上し、デバッグ時のスタックトレースにおけるソースコードの行番号精度が向上した。また、JavaScriptターゲットのコード生成も改善され、パターンマッチングの最適化により、より効率的なJavaScriptコードが生成されるようになった。

全文翻訳

Gleam、Erlangソースコードへのコンパイルを終了

Gleamは、Erlang仮想マシンとJavaScriptランタイム向けの型安全でスケーラブルな言語です。本日、Gleam v1.19.0がリリースされましたので、新機能について見ていきましょう。

新しいコンパイルターゲット

過去数ヶ月にわたり、Giacomo CavalieriはGleamのErlangコードジェネレーターを完全に書き直し、全く異なる設計で、最も注目すべきは異なるフォーマットを出力するようにしました。以前はGleamはErlangソースコードを生成していましたが、現在はErlang抽象形式を生成します。

"Erlang抽象形式"は、Erlangコンパイラが使用する中間表現です。これは、Erlang構文を表すメタデータ注釈付きのツリーであり、通常はErlangのトークナイザーとパーサーを実行することによって生成されます。これはErlangの外部タームフォーマットを使用したバイナリエンコーディングを持ち、このバイナリフォーマットを使用することで、Erlangコンパイラの前半部分をスキップして、生成されたコードを直接ロードできます。

この新しいErlangコードジェネレーターは、いくつかの利点をもたらします。

  • コンパイラのパフォーマンスが向上し、Erlang上で実行されるGleamプロジェクトのビルド時間が大幅に短縮されました。

  • ランタイムで利用可能な位置メタデータが、コンパイラが生成するErlangソースコードではなく、元のGleamソースコードに対して正確になりました。これにより、例えばBEAMクラッシュレポートやスタックトレースの行番号は完全に正確になり、以前は最も近い関数を指すだけで不正確になる可能性があったものが改善されました。このメタデータは、edbのようなデバッガーでGleamの完全なサポートを可能にする可能性もありますが、私たちはまだこの作業を行っていません。

  • Gleamコンパイラのコード品質が向上しました。ErlangコードジェネレーターはGleamコードベースの中で最も古く、最も安定した部分の1つであったため、問題を引き起こしていたわけではありませんが、今日の標準や規約に準拠していませんでした。この新しい置き換えは優れており、コンパイラ全体として基準を引き上げていると言えます。

  • "トランスパイラ"という言葉を侮蔑的に使うのを二度と聞く必要がなくなりました。1

さて、どれくらい速いのか?

すぐにいくつかの数値を示しますが、ベンチマークは常に人工的であり、全体像を伝えるものではないことを覚えておいてください。このデータは良い導入または出発点になるかもしれませんが、十分に理解するには、さらなる調査と経験が必要です。

ベンチマークは、José Valimのlangcompilebenchプロジェクトに基づいています。José、ありがとう!これは、それぞれが"hello world"文字列を返す100個の関数を含む100個のモジュールをコンパイルするのにかかる時間を測定するものです。このテストプロジェクトの形状は、異なる言語間で簡単に再現でき、最も似たようなテストプロジェクトを作成できるため実用的ですが、各言語の機能のごく一部しかコンパイルされないため、伝えられることには限界があります。実際のプロジェクトではコードははるかに多様になり、異なる機能は異なる言語で異なるコンパイルコストを持ちます。

コードジェネレーターのリライトの最初の段階は、v1.18.0(前回のリリース)でリリースされたため、v1.17.0と新しくリリースされたv1.19.0を比較してみましょう。このグラフは、ベンチマークプロジェクトのコンパイルにかかった時間を示しており、少ないほど良いです。

0ms100ms200ms300ms400ms500msGleam v1.19Gleam v1.17

ご覧の通り、かなりの改善です!これはキャッシュなしの、ゼロからの完全なビルドです。Gleamのコンパイルはインクリメンタルであるため、通常の開発中はプロジェクト全体をコンパイルしないため、はるかに高速になります。

元のlangcompilebenchにはErlang、Elixir、Gleamのみが含まれていましたが、他の人気のあるプログラミング言語をいくつか追加して、Gleamが馴染みのある言語と比較してどれだけ速くコンパイルされるかの大まかな感覚を得られるようにしました。JavaScriptにコンパイルされるGleamも含まれています。結果は以下の通りです。

0ms200ms400ms600ms800ms1000msGleam (JavaScript)GoGleam (Erlang)ErlangJavaElixirElmRustC#TypeScript 7

覚えておいてください:これは人工的なベンチマークであり、これだけではこれらの言語について確固たる結論を導き出すには不十分です。とはいえ、これらの結果はGleamのコンパイルが非常に高速であることを示唆しており、Gleamプログラマーとしては、コンピューターを待つ時間がほとんどなく、Gleamの開発は非常に楽しいと言えます。

なぜBEAMバイトコードを直接ターゲットにしないのか?

Erlangコンパイラに渡されるソースコードからコンパイルするのではなく、Erlangコンパイラに渡される中間表現に移行しましたが、なぜErlangコンパイラを完全にバイパスしないのでしょうか?Erlangコンパイラよりも優れたパフォーマンスを発揮するBEAMバイトコードジェネレーターを作成することはできないでしょうか?おそらく、Gleamの型情報を使用して、より最適化されたコードを生成することもできるでしょう。

これらの利点を達成することは可能ですが、おそらく達成できないでしょう。ErlangソースやErlang抽象形式とは異なり、BEAMバイトコードは固定されておらず、変化しないものです。仮想マシンの新しいリリースごとにバイトコードを進化させ、改善し、新しい機能を追加したり、冗長になった機能を削除したりすることがあります。私たちはこの進化に常に追いつくことを約束し、来るべき変更に備えてErlangメンテナーと緊密に連携し、仮想マシンの新しいリリースに対応した新しいバージョンのGleamを用意する必要があります。また、Gleamのより強力な静的解析の助けを借りても、数十年にわたってErlangコンパイラに実装されてきた既存の最適化をすべて再現するにはかなりの労力が必要になります。

Gleamはスポンサーシップによってサポートされているコミュニティプロジェクトです。私たちは、企業や学術機関に裏打ちされた言語の財政のほんの一部しか持っていないため、リソースを最も効率的かつ持続可能な方法で使用する方法を慎重に検討する必要があります。Gleamはソフトウェア開発のための信頼できる基盤であり、私たちが下すすべての決定は、今後何年、何十年にもわたって有効でなければなりません。Erlang抽象形式へのコンパイルは、今日のGleamにとってコストとメリットのスイートスポットです。

この決定において、私たちは素晴らしい仲間にいます。私たちの敬愛する先輩言語であるElixirも、抽象形式を介してErlangにコンパイルされます。Elixirにとって十分であれば、Gleamにとっても十分です!

さて、その話はこれくらいにして、Gleam v1.19.0には他にもたくさんのことがあります。

JavaScriptの条件分岐(decision tree)代入最適化

Erlangコード生成だけでなく、JavaScriptにもいくつかの良い改善が見られました。

Gleamでは、case式を使用したパターンマッチングでフロー制御が行われ、ネストしたif文にコンパイルされます。パターンマッチングは宣言的なので、コンパイラはランタイムロジックを並べ替え、最適化して、できるだけ速く適切なブランチを見つけるために分割統治アプローチを使用できます。

John Downeyはこのプロセスを改善し、ネストしたif文を単一の条件に折りたたみ、中間変数を減らして、よりフラットなコードを生成しました。例えば、このGleamコードを見てみましょう。

pub fn go(x) {
  case x {
    Wibble(1, 2) -> 1
    _ -> 2
  }
}

以前はこの小さなGleamコードは、この驚くほど大きなJavaScriptコードにコンパイルされていました2。

export function go(x) {
  if (isWibble(x)) {
    let $ = x[0];
    if ($ === 1) {
      let $1 = x[1];
      if ($1 === 2) {
        return 1;
      } else {
        return 2;
      }
    } else {
      return 2;
    }
  } else {
    return 2;
  }
}

しかし、現在は次のように生成されます。

export function go(x) {
  if (isWibble(x) && x[0] === 1 && x[1] === 2) {
    return 1;
  } else {
    return 2;
  }
}

素晴らしい改善だと思います!驚くべきことに、これはコードバンドルのサイズにほとんど、あるいは全く影響を与えませんが(gzipは本当に魔法です)、生成されたコードはJavaScriptエンジンが最適化する分岐が少なくなります。

John、ありがとう!

リストリテラル最適化

それぞれの言語で構文は共有していますが、Gleamの不変永続リスト型は、JavaScriptの可変連続配列型と同じではありません。GleamコードがJavaScriptにコンパイルされるとき、リストリテラルはランタイムデータ構造を構築するJavaScriptコードにコンパイルされる必要があります。例えば、このGleamコードを見てみましょう。

let numbers = [1, 2, 3]

これは、JavaScript配列が構築され、Gleamリストに変換する関数に渡される、次のようなJavaScriptコードにコンパイルされます2。

const numbers = arrayToList([1, 2, 3])

このリリースでは、コンパイラは短いリストリテラルに対して異なるコードを生成するようになり、配列からの変換を行わない、より直接的なコードを生成します。

const numbers = prepend(1, prepend(2, prepend(3, empty)))

最新のJavaScriptエンジンでは、これによりパフォーマンスが向上し、特にLustreライブラリなど、多くの短いリストを使用するプロジェクトで効果的です。長いリストでは改善が見られなかったため、それらには配列からリストへのアプローチが引き続き使用されます。

この機能を提供してくれたGiacomo Cavalieriに感謝します!

TypeScript APIオーバーロード

JavaScriptにコンパイルする際、Gleamコンパイラは、プログラマー定義のデータ構造をJavaScriptから操作するための関数も生成します。これに加えて、コンパイラはTypeScript宣言ファイルを提供することもでき、単一のプロジェクトでTypeScriptとGleamの完全な統合を可能にします。

カスタム型の各型に対して提供される関数の1つは、値が特定のバリアントであるかどうかをチェックする関数です。例えば、次の型を考えてみましょう。

pub type Box(value) {
  Full(value)
  Empty
}

生成される関数は、このTypeScript宣言を持ちます。

export function Box$isFull(value: any): value is Full<unknown>;

鋭いTypeScriptプログラマーの読者は、ここに問題があることに気づくかもしれません。値がすでにBox<number>型であることがわかっている場合、この関数はコンテナ型をFullに絞り込むために使用できますが、numberの型パラメータはunknownに一般化され、型情報が失われます。これは非常に煩雑です。

Giacomo Cavalieriは、可能な限り型が保持されるように、定義にオーバーロードを追加しました。

export function Box$isFull<I>(value: Box$<I>): value is Full<I>;
export function Box$isFull(value: any): value is Full<unknown>;

Giacomo、ありがとう!!

その他のビルドツール向けの改善

Gleamユーザーは通常、gleam実行ファイルに含まれる公式ビルドツールを使用しますが、時には他のコンテキストでGleamコードをコンパイルして使用したい場合があります。例えば、ElixirまたはErlangプログラマーがGleamで書かれた依存パッケージを使用したい場合があります。これらは実行時にはゼロコストの相互運用性を持つため素晴らしく機能しますが、この段階に到達するのは難しい場合があります。なぜなら、ElixirとErlangの主要なビルドツールには、Gleamの組み込みサポートがないからです。

gleam実行ファイルは、他のビルドツールで使用するために、コンパイラ機能を提供するいくつかのコマンドを提供します。このリリースには、これらのコマンドのいくつかの改善が含まれており、ElixirのMixとErlangのrebar3でのGleamサポートの実現を目指しています。

Erlang仮想マシンは、すべてのパッケージにコンパイラバイトコードとともに.appリソースファイルが必要とします。以前はこれらのGleamサポートビルドツールがこれらを提供するべきでしたが、現在ではBEAMにコンパイルする際にgleamがそれらを生成します。

compile-packageコマンドに--no-devフラグが追加され、コンパイラはsrcディレクトリからのみコードをロードし、dev_dependenciesとしてリストされているパッケージをスキップするようになります。

export package-informationおよびexport package-interfaceコマンドは、以前はファイルに書き込む必要がありましたが、現在では標準出力に情報を表示できます。それに加えて、export javascript-preludeおよびexport typescript-preludeコマンドはファイルに書き込めるようになりました。

これらの追加機能を提供してくれたRodrigo Álvarezに感謝します!うまくいけば、すぐにElixirのMixビルドツールでGleamサポートが見られるでしょう。

言語サーバーラベルサポート

Gleamには優れた言語サーバーが組み込まれており、言語サーバープロトコルをサポートするすべてのエディターにIDE機能を提供します。おそらく、主要な機能の最後のピースは、フィールドと引数のラベルの完全なサポートでした。Alistair Smithがこれを修正し、ラベルの定義ジャンプ、参照検索、および名前変更のサポートを追加しました!Alistair、ありがとう。多くの人がこの時間節約機能に喜ぶだろうと知っています。

ブラウザでのGleamコードフォーマット

コンパイラのWebAssemblyビルドがあり、言語ツアーやプレイグラウンドでWebブラウザでGleamをコンパイルするために使用されています。John Downeyは、人々がブラウザ内でGleamコードフォーマッターを実行できるようにする新しいformat_source関数を追加しました。この機能は近いうちにプレイグラウンドに追加される予定です。John、ありがとう!

いつものように、より良いエラーメッセージ

エラーメッセージを可能な限り明確で役立つものにすることは、私たちにとって非常に重要です。物事がうまくいっているときのツールの使いやすさも良いですが、物事がうまくいっていないときに、その経験がプログラマーのストレスレベルを本当に助けたり損なったりすることができます。

特に間違いが何であるか、どこにあるかがわからない場合、小さな構文エラーは苦痛になることがあります。

0xda157は、gitマージコンフリクトマーカーがコード内で見つかった場合のエラーと、User(..lucy, score: 10)のようなレコード更新構文が元のレコードを間違った位置にUser(score: 10, ..lucy)のように記述した場合のエラーを特別に追加しました。また、+=や*=のような、Gleamに存在しない手続き演算子に対するエラーも追加しました。

n0kk23は、Javaのように他の言語では有効だがGleamでは無効な方法で|がパターンマッチングで使用された場合のために、カスタムで役立つエラーメッセージを追加しました。

Giacomo Cavalieriは、定数式で許可されていない二項演算子に対する役立つエラーメッセージを追加し、同時にこれらの間違いが存在する場合のコンパイラのフォールトトレランス3を改善しました。

Andrey Kozhevは、モジュールが同じパッケージ内の別のモジュールからプライベートな型または値を使用しようとしたときのエラーメッセージにコンテキストを追加し、それが存在することは知っているがプライベートであることを知らせます。これは、プログラマーが保守していないコードに関する情報を漏洩するのを避けるため、依存パッケージからのモジュールには提供していません。

そして最後に、James Dolanは、無効な型エイリアス定義が、エイリアスのすべての使用箇所にさらなるエラーの連鎖を引き起こすことができなくなったように、型チェッカーを改善しました。

Gleamのデバッグをますます容易にしてくれた皆さん、ありがとう。

その他

そして、バグ修正とエクスペリエンスの洗練に貢献してくれた皆さんに感謝します。

0xda157, Amr Kadry, Andrey Kozhev, Giacomo Cavalieri, Hari Mohan, Ian Chamberlain, Jack Programs, John Downey, Khalid Belkassmi E.H., Lillian Rose, Mar Bloeiman, mmustafasenoglu, Naomi Roberts, Rodrigo Álvarez, Senthilnathan, Surya Rose, および Vivid。

彼らが実装した多くの修正と改善の詳細については、変更ログを参照してください。

サポートのお願い

Gleamは企業によって所有されているわけではなく、完全にスポンサーによって支えられています。そのほとんどは月額5ドルから20ドルを寄付しており、Gleamは私の唯一の収入源です。

コアチームメンバーに適切に報酬を支払うという目標に向けて大きな進歩を遂げましたが、まだ道半ばです。どうか、プロジェクトまたはコアチームメンバーをサポートすることをご検討ください。

[画像: GitHub Sponsors]

すべてのスポンサーに感謝します!そして、トップスポンサーに特別な感謝を捧げます。


  1. "Transpiler"とは、ソースコードのような人間が読める形式を出力するコンパイラを意味します。響きの良い言葉ですが、ほとんどの場合、人々はそれを、あるコンパイラが何らかの意味で劣っていることを示唆するために使用します。これは非常に愚かなことです。人間が読める形式へのコンパイルには、コンパイラの実装が容易になるという要素は何もありません。その出力がきれいにフォーマットされることを気にするなら、バイナリ形式を使用するよりも難しいかもしれません。↩︎

  2. コードは明確にするためにわずかに編集されていますが、この改善に関連する部分は変更されていません。↩︎

  3. GleamのコンパイラはGleam言語サーバーの心臓部であるため、従来のコンパイラとは異なり、コードが無効な状態であってもコードに関する情報を提供できる必要があります。有効なコードのみが完全に分析可能であれば、プログラマーがリファクタリングやその他の大規模な編集の途中で言語サーバーは劣化したエクスペリエンスを提供することになります。↩︎