HN 日本語サマリー

← 一覧へ戻る
プログラミング

Emacs用のGPUバックエンドを構築しました

I built a GPU back end for Emacs (en.andros.dev)

167 pointsby andros83 コメント

要約

著者は、EmacsがCPUですべてのテキスト描画を行っていることに疑問を感じ、EmacsにGPUバックエンドを実装するプロジェクトに着手しました。最終的にmacOS用MetalとGNU/Linux用OpenGLのバックエンド、バッファ内ビデオプレイヤー、シェーダーベースのカーソル効果などを実現し、既存のEmacsの描画エンジンには手を加えず、プラットフォームに依存しない抽象化レイヤーを導入するアプローチを取りました。

全文翻訳

Emacs 用 GPU バックエンドを構築した方法

数ヶ月前、私はあるくだらない疑問に囚われました。なぜ私の Emacs は、GPU を搭載したノートパソコンを使っているにもかかわらず、すべてのテキスト描画を CPU で行っているのだろうか?そして、それは他の疑問へと繋がりました。なぜバッファ内で動画を再生できないのだろう?なぜアニメーションするカーソル効果が得られないのだろう?なぜバッファ間でクロスフェードできないのだろう?私は好奇心を満たす必要があったので、掘り下げ始めました。

AI を相棒にコードを読み始めました。すべてのグリフ、すべての下線、すべてのスクロールがプロセッサによって再計算され、再描画されていることを発見しました。Emacs の再描画エンジン (xdisp.c) は、他に選択肢がなかった時代に生まれ、その目的のためにミリメートル単位で調整されています。そして、誰一人として Emacs の半分を書き直すことなく GPU を滑り込ませることに成功していませんでした... 最近まで。

そこで、私は試みることにしました。週末の実験として始まったことは、macOS 用の Metal を使った完全なディスプレイバックエンド、GNU/Linux 用の OpenGL を使った 2 番目のバックエンド、バッファ内動画プレーヤー、シェーダーベースのカーソル効果、そして Cairo のパフォーマンスからソフトウェアの自由、人工知能の倫理に至るまで、Emacs 開発者メーリングリストでの 100 件以上のメッセージによる議論へと発展しました。

この記事は、私がその物語を語りたいと感じたから存在し、将来の実装に役立つかもしれません。最後に、私が得た教訓と、始めたときに予想していたものとは異なる結論を残します。

最初に正直な注意点があります。私はこのプロジェクトを、最初から最後まで LLM をコパイロットとして使用して構築しました。尋ねられたときに公の場で言ったように、ここでそう言います。私はこれに戻ってきます。なぜなら、それは旅全体の最も重要なプロットツイストであることが判明したからです。

フェーズ 1: アーキテクチャの決定

誰でも最初の本能は、macOS のコード、Cocoa バックエンド (nsterm.m) を開き、CoreGraphics の呼び出しを Metal の呼び出しに置き換えることから始めるでしょう。それが最も直接的な道です。そして、私がそうしないと決めたのはまさにそれでした。

そのアプローチの問題は、プラットフォームに縛られることです。「Emacs with Metal」と書けば、それは Mac 用の Emacs であり、それ以外のものではありません。プラットフォームごとに 1 つのドライバを持つことができるディスプレイバックエンドの抽象化を書きたいと思いました。そこで、ポストイットに 3 層アーキテクチャをスケッチしました。

    X["Redisplay engine(xdisp.c, untouched)"]:::core --> P["src/gfxterm.cNeutral drawing policy (plain C)"]:::policy
    P --> D["src/gfxdrv.hDriver interface (~25 operations)"]:::iface
    D --> M["src/mtlterm.m (macOS)Metal driver"]:::mtl
    D --> G["src/glterm.c (GNU/Linux, X11)OpenGL ES / EGL driver"]:::gl

    classDef core fill:#37474F,stroke:#263238,stroke-width:2px,color:#fff
    classDef policy fill:#00897B,stroke:#00695C,stroke-width:2px,color:#fff
    classDef iface fill:#7CB342,stroke:#558B2F,stroke-width:2px,color:#fff
    classDef mtl fill:#8E24AA,stroke:#6A1B9A,stroke-width:2px,color:#fff
    classDef gl fill:#D32F2F,stroke:#B71C1C,stroke-width:2px,color:#fff

アイデアは、すべての描画 ロジック(グリフ文字列がどのように構成されるか、波線の下線がどこに行くか、画像がウィンドウにどのようにクリップされるか、スクロールがどのように機能するか)は、プラットフォーム固有の行を 1 行も含まない、プレーン C ファイルに存在するというものです。そして、各プラットフォームは小さな契約のみを実装する必要があります。それは「このテクスチャをアップロードする」「このクワッドを描画する」「フレームを提示する」といった種類の約 25 のプリミティブ操作です。その契約が gfxdrv.h です。最初のドライバは Metal で、mtlterm.m になります。

黄金律、私が自分自身に課し、一度も破らなかったもの:xdisp.c は触らない。再描画エンジンは常にグリフ行列を計算します。既存の描画インターフェイスにフックするだけです。実験がうまくいかなかったとしても、Emacs は Emacs のままでした。

今思えば、これはプロジェクト全体で最良の決定でした!

フェーズ 2: Metal バックエンドとピクセルの支配

アーキテクチャが明確になったので、Metal に飛び込みました。技術的な計画は、現代のテキストレンダラーのそれでした。

  1. 各グリフを CoreText 経由でグレースケールテクスチャ(R8 フォーマットのグリフアトラス)に一度だけラスタライズします。
  2. そのアトラスをサンプリングするテクスチャ付きクワッドとしてテキストを描画します。
  3. 画像をテクスチャとしてアップロードします(PNG、JPEG、SVG、GIF)。
  4. GPU 上で、永続的なテクスチャにフレーム全体を合成し、提示します。

理論上は 2 日間の午後。実際には数週間。その理由は名前があります:ピクセルパーリティ。

私の成功基準は「見た目が良い」ではありませんでした。それは、結果が元の Cocoa バックエンドと ピクセルごとに同一である ことでした。GPU のオンオフで同じバイナリ、そしてその 2 つのキャプチャ間の差は実質ゼロである必要がありました。私は同じ Emacs を 2 回起動し、同じシナリオをロードし、両方で画面をキャプチャし、Python と PIL で比較するハーネスを構築しました。ベースラインでは、異なるピクセルの 0.055% のバーが着地し、そこから外れるものはすべて追跡すべきバグでした。

そのハーネスは執拗で、虫眼鏡で調べる必要があった多くの詳細を浮き彫りにしました。

  • インクの太さ。CoreText と私のシェーダーはアンチエイリアシングを異なる方法で適用していました。
  • レリーフカラー(ボタンの 3D 境界線とモードライン)が正しく表示されていませんでした。
  • グリフの垂直位置に オフバイワン がありました。

描画方法が、アプローチとアーキテクチャの両方で完全に異なることを過小評価すべきではありません。それがバグを微妙で検出困難にしています。

フェーズ 3: フリーズしたカーソル

すべてのバグの中で、最も多くを教えてくれたのはカーソルのバグでした。

アニメーションカーソル効果を求めていました:ジャンプ時に広がるリング、彗星のような軌跡、GPU がほぼ無料で処理できるような視覚的なキャンディです。フレームの上にコンポジタレイヤーとして実装し、下のバッファコンテンツには触れませんでした。タイピング中は完璧に動作しました... キーボードに触れるのをやめた瞬間、アニメーションは途中でフリーズしました。原因は Apple の同期メカニズム、CADisplayLink でした:アイドル時に死ぬ、ユーザー入力がない場合、Emacs のイベントループはそれを供給しません。タイピング中は、キーボードイベントが実行ループをポンプし、すべて正常に実行されていました。停止した瞬間、時計を動かす人はいませんでした。

解決策は、システムに依存するのをやめ、連続するすべてを Lisp タイマーに移動する ことでした。カーソル、バッファのクロスフェード、動画、すべてが Emacs Lisp の単一の「ポンプ」から進み、定期的にティックしてドライバに「すべてを進め、最大 1 回提示せよ」と指示します。後に、フェードがあるときは 60 Hz、そうでないときは 30 Hz の自動ペーシングで 3 つのタイマーを 1 つに統合し、アニメートするものが何もないときはオフになります。

[動画: カーソルアニメーションのデモ]

これが解決された後、macOS は完成しました。テキスト、装飾、画像、アニメーション GIF、行番号、カスタムビットマップ付きフリンジ、モードライン、ヘッダーライン、タブバー、Retina/HiDPI at 2x、4 つのカーソルタイプ、分割、動的な text-scale。すべてが Cocoa に対してピクセルパーフェクトでした。

今、GPU だけができることを追加する時が来ました。

  • バッファ内の動画
  • シェーダーベースのカーソル効果
  • バッファ切り替え時のクロスフェード。

[動画: バッファ切り替え時のクロスフェード]

実験として、Emacs 内に小さな YouTube フロントエンドさえ構築しました。動画を検索し、GPU がテキストの上にフレームを合成するバッファで直接再生しました。フレームがグラフィックカードによって描画されている場合にのみ可能な、楽しい小さな遊びです。

そして、バッファ切り替え時のクロスフェード、GPU では単なるシェーダーパスの 1 つであるスムーズなフェードです。

[動画: バッファ切り替え時のクロスフェード]

再描画エンジンが私のやっていることを知らず、気にしないので、比較的簡単でした。それらは GPU 上の単なる合成操作です。

フェーズ 4: パッケージングは仕事の半分

バイナリが私のマシンで動作することと、他の人がインストールできるものを持つことは、全く別の惑星です。このフェーズには華やかさはありませんが、丸一日を費やしました。

Apple の署名と公証は、それ自体が迷宮でした。そしてネイティブコンパイル(AOT ネイティブコンパイル)を追加したとき、約 1564 個の .eln ファイルが出現しました。これらも Mach-O コードであり、公証が受け入れるためにはすべて個別に、セキュアなタイムスタンプで署名する必要がありました。

署名および公証済みの最初のリリース、Homebrew cask を公開し、同僚と一緒に毎日使用し始めました。動作しました。私は幸せでした。難しい部分は終わったと思っていました。

それから Emacs メーリングリストで紹介することにしました。

フェーズ 5: emacs-devel、またはメールスレッドで謙虚さを学ぶ方法

2026 年 6 月 8 日、「GPU ディスプレイバックエンド、ニュートラルなドライバレイヤー付き(macOS 上の Metal)」という件名で emacs-devel に [RFC PATCH] を送信しました。私は慎重に構成しました。私は「Emacs with Metal」を売り込んでいるのではなく、抽象化 を売り込んでいました。ニュートラルな描画レイヤーと、小さな vtable の背後にある薄いプラットフォームごとのドライバ、Metal を最初のドライバとして、xdisp.c は触らず、自動ハーネスでパリティを確認し、FSF の著作権譲渡はすでに提出済みでした。

私の最初の間違いは、アイデア、設計、最小限のデモで RFC を送信するのではなく、完全なパッチを一度に送信したことでした。応答は迅速に来ました。

Sean Whitton は次のように書いています。

「通常、人々はリストの人々と設計上の問題を事前に議論することなく、一度にこのような大きなパッチを投稿しません。これを考慮すると、尋ねざるを得ませんが、これは LLM によって生成されたものではありませんよね?」

私は正直に答えました。

「100% LLM で作成されました。

これはかなり大きな追加であることは理解しており、却下されても気分を害しません。私の意図は、それが完全に開発されているので共有することでした [...] 他の同僚と一緒に毎日使用しています。」

Whitton の返信は丁寧で最終的でした。

「残念ながら、ポリシー上の競合があります。GNU プロジェクトは現在、LLM によって生成されたいかなる貢献も受け入れていません。いずれにせよ、Emacs への関心に感謝します。」

そして、マージされるかどうかの点では、プロジェクトは 1 日足らずで死にました。GNU プロジェクトは、今日現在、LLM によって生成された貢献を受け入れていません。以上です。技術的な議論は、それが厳格なポリシーと衝突する場合、重要ではありません。

私が予想しなかったのは、スレッドが閉じるどころか、3 つの方向に同時に開いたことです。

「研究対象」への転換

Dmitry Gutov は、来るべきもののトーンを設定しました。

「コードの貢献としては受け入れられませんが、ローカルで既に利用しているのであれば、研究対象としては有用かもしれません。ただし、Linux ポートでテストする方がより有用かもしれません。」

つまり、コードとしては受け入れられませんが、参照または実験としては価値があるかもしれません。そしてそこに、私が次に何をすべきかの種がありました。

自由の議論

そして Richard Stallman が介入し、スレッドの主題を「GPU 固有の機能を持たない GPU 固有のコード?」にフォークし、それを道徳的な問題に引き上げました。

「一般的に GPU はソフトウェアの自由にとって災害です。それはあなたのコンピュータを牢獄に変えます。」

後に、彼は主張を続けました。

「ユーザーに物理的な鎖をかけるわけではありませんが、ユーザーのコンピューティングにデジタルな鎖をかけます。GPU は、私たちが人々を解放するために戦っているもののかなりの部分です。」

全員がそれに同意したわけではありませんでした。Arsen Arsenović は、スレッドで最も鋭い技術的な反論で答えました。

「これは、軽薄な言葉の連想に基づいた奇妙な比較です。Vulkan や OpenGL などの GPU プログラミング API は [...] 完全にソフトウェアで実装でき、実際、Mesa では完全にフリーソフトウェアを使用して実装されているため、この観点から使用することに欠点はありません。」

そして Madhu は、議論の半分を解体する不快な事実を持ち出しました。

「Linux の最新(例えば 2021 年以降)の Intel マシンで X11 を使用している場合、2D グラフィックスのすべてはおそらく GPU バックエンドを経由しています。X11 ウィンドウは単なるテクスチャです。」

彼らは私が実証できることについて正しかったのです。私の OpenGL ドライバも Mesa のソフトウェアラスタライザー (llvmpipe) で動作します。実際、パリティスイートはそれでヘッドレスで実行されます。つまり、コードを実行するために非フリーの GPU ファームウェアを必要としません。私はスレッドでそう言いましたが、その時には議論は独自の人生を歩んでいました。

根本的な技術的疑問

最も実質的な批判であり、私に最も考えさせたのは、政治的またはイデオロギー的なものではありませんでした。それは、歴史的なメンテナーの一人である Eli Zaretskii からのものでした。

「GPU をディスプレイバックエンドで使用しても、合理的なフレームサイズではパフォーマンス上の利点がそれほど劇的ではないというのは、あまり驚きではありません。現在のディスプレイエンジンの設計は CPU ドリブンな再描画に最適化されているため、GPU をより活用するには、単独のバックエンドではなく、より徹底的な再設計が必要になるでしょう。」

そして、再描画メンテナーである Gerd Möllmann は、エレガントな無関心さで締めくくりました。

「これは、GPU サポートを追加するだけで、GPU 固有の機能を追加したり、再描画のアーキテクチャを変更したりしないように見えます [...] パフォーマンス上の利点があるかもしれませんが、わかりませんが、それは私の関心の分野外です。」

彼らは部分的に正しかったのです。エンジンは CPU 上で小さなダーティ矩形を再描画するように構築されており、Cairo はそれを驚くほどうまく実行します。エンジンを再設計せずに GPU を滑り込ませるには限界があります。しかし、彼らはまた、2 番目のバックエンドと数値があって初めて見えるポイントを部分的に作っていました。そして、その時点ではどちらもありませんでした。

コミュニティは、知らず知らずのうちに、私の次の数週間のロードマップを書いていました:2 番目のバックエンドを構築する(抽象化を検証するため)と、正直な数値をもたらす(Eli の疑問を解決するため)。

フェーズ 6: OpenGL ドライバー、またはアーキテクチャの賭けを換金する方法

私の設計の大きな約束が「ニュートラルレイヤーはそのまま再利用され、ドライバだけを変更する」ことであったなら、それを証明する唯一の方法は、ゼロから 2 番目のドライバを書き、どれだけの共有コードがそのまま残るかを確認することでした。

私は OpenGL ES 3 と EGL を X11 上で使用する GNU/Linux を選択しました。Metal ドライバのクロスプラットフォームの対応物です。FreeType を使用してグリフを GPU アトラスにラスタライズし、FBO にレンダリングし、eglSwapBuffers でウィンドウサーフェスにブロットして提示します。描画ポリシー gfxterm.c は完全に再利用しました。そしてそれは機能しました:2 番目のバックエンドは、macOS と同じ網羅的なテストバッテリーで、実際の GPU 上の X サーバとハーネス用の Xvfb 下でのヘッドレス実行の両方で、ストックの GTK/cairo Emacs に対してピクセルパーフェクトになりました。

その瞬間、アーキテクチャは約束から事実へと変わりました。ドライバ全体を、その EGL と FreeType の奇妙な点すべてを含めて書くのに、最初のものよりもはるかに時間がかかりませんでした。なぜなら、すべての難しいロジックは既にニュートラルレイヤーに書かれ、テストされていたからです。

しかし Linux は、プロジェクト全体で最も難しいバグを伴う、独自の地獄をもたらしました。最悪のバグ:バッファを切り替えるとき、単一のちらつき(1 つの vblank)の間に、半分描画されたスタートアップダッシュボード が漏れ出し、他のコンテンツのゴーストイメージが現れました。原因が私の GPU コードではなく、Emacs が起動時に描画し、私のバックエンドが二度と触れなかった X11 のダブルバッファ拡張(XDBE)のバックバッファにあることを発見するのに数日かかりました。

それでも、しばらくの作業とデバッグの後、OpenGL ドライバーは安定して機能するようになりました。完璧ではありませんでしたが、パフォーマンスハーネスを実行し、cairo と比較するには十分でした。

フェーズ 7: 最適化と正直な数値の提示

ラップトップの統合 AMD Radeon (Renoir) GPU、1616x912 フレーム、8000 行のフォントロックされたバッファでの結果:

ワークロードストック (X/cairo)GPU (OpenGL)比率
ラインスクロール530 fps487 fps0.92x
ページスクロール297 fps296 fps1.00x
フルフレーム再描画247 fps294 fps1.19x
タイピング1857 fps1311 fps0.71x
画像スクロール1359 fps1239 fps0.91x

ラップトップサイズのフレームでは、タイピングとラインスクロールは cairo よりまだ遅い です。cairo は小さな矩形のクリッピングに優れています。私のフロアは再描画ごとに 1 つの EGL バッファスワップです。cairo のフロアは、スワップチェーンのない小さなダメージ矩形です。絶対値では、すべてが知覚可能なレベルをはるかに超えています(最悪の場合、タイピングはキーストロークあたり約 0.8 ms です)。したがって、これは応答性ではなく、スループットの問題です。

要するに:GPU バックエンドは、静的なテキスト において成熟した CPU ラスタライザーに勝るものではありません。

しかし、4K (3760x2210) での同じワークロードは結果を反転させます。

ワークロードcairo (CPU)GPUスピードアップ
ラインスクロール117 fps240 fps2.05x
ページスクロール102 fps124 fps1.22x
フルフレーム再描画66 fps121 fps1.84x
タイピング238 fps1766 fps7.4x
画像スクロール115 fps1328 fps11.5x

cairo のコストはピクセル数に線形に増加します。GPU のコストはほとんど動きません。画像スクロールは極端なケースです。cairo はフレームごとに CPU メモリから画像を再ブロットしますが、GPU は既にキャッシュされたテクスチャを再合成します。そこに、GPU でのみ存在する機能(動画、クロスフェード、カーソル効果)が加わると、真の価値があります。小さな画面でのテキストスループットはそうではありません。

結論

正直に言って、日常的なテキストを通常の画面で表示する場合、切り替える理由はほとんどありません。CPU バックエンドは同等かそれ以上に高速です。GPU は、高ピクセル数での動き、エフェクト、動画においてその価値を発揮します。これらは CPU がより高コストで行うか、全く行えないものです。

バックエンドが Emacs にマージされることは決してありませんが、それは問題ありません。LLM 生成された貢献を受け入れないというポリシーと衝突しており、それはプロジェクトによる正当な決定であり、私はそれを尊重します。私はそれを個人フォークとして保持し、--with-gpu の下で、オプトイン可能で環境変数で無効化できるようにし、毎日使用しています。

では、それだけの価値はあったのでしょうか?私にとっては、間違いなく。私は 2 つのプラットフォームで完全なディスプレイバックエンド、バッファ内の動画、ストック Emacs では描画できないエフェクト、2 つの実装で通用することが証明されたアーキテクチャ、そして金塊の重みを持つ技術的な傷跡の山を手に入れました。しかし何よりも、私は探していなかったものを手に入れました:パフォーマンス、ソフトウェアの自由、そして私たちが書くコードにおける AI の役割について、このエディタを何十年も維持してきた人々との、公的で、困難で、正直な会話です。その会話は、上記の彼らの正確な言葉で引用されていますが、どんなマージよりも価値があります。

現在、私は GNU/Linux 用の OpenGL バックエンドに注力しており、まだ磨き上げと最適化がたくさんあります。試してみたい方は、リポジトリにテストバイナリを含む .deb があります。

もしあなたが同様のことを検討しているなら、私からの最終的なアドバイスは、たとえそれがあなたが想像した場所で終わらないとわかっていても、あなたを夢中にさせる実験を追求してください。私はテキストを描画するために GPU を使いたいと思って始めましたが、最終的にはアーキテクチャ、ラスタライゼーション、パッケージング、40 年前のプロジェクトの文化、そして自分自身について学びました。目的地は無関係であることが判明しました。旅はそうではありませんでした。

コードは github.com/tanrax/emacs-gpu にあり、完全な emacs-devel スレッドは 2026 年 6 月のアーカイブ で読むことができます。