HN 日本語サマリー

← 一覧へ戻る
プログラミング

Redプログラミング言語: 静的リンクのサポート

Red Programming Language: Static linking support (red-lang.org)

60 pointsby em-bee10 コメント

要約

Redプログラミング言語は、C言語で書かれたライブラリの静的リンクをサポートし、すべての依存関係を内部にパッケージ化した単一の実行可能ファイルを配布できるようになりました。この機能は、外部ライブラリをプログラムに組み込み、配布の簡素化を可能にします。開発プロセスでは、エージェント(AI)の支援を受けながら、COFF、ELF、Mach-Oという3つのネイティブオブジェクト形式に対応し、選択的なアーカイブ読み込みやCOMDAT/弱シンボル折りたたみなどの高度な機能を実現しています。

全文翻訳

私たちは、海がいつか静まることを期待するのをやめなければなりません。

私たちは荒波の中を航海することを学ばなければなりません。

― アリストテレス・オナシス

コーディングエージェントの革命は世界を席巻しており、私たちはその真っ只中にいます。皆さんの多くと同様に、私たちもエージェントの驚くべき(そしてフラストレーションのたまる)能力を試し、その新しい世界におけるRedの役割と私たちのビジョンについて考えてきました。結論は(驚くほどでもなく)明確です。Redは依然として非常に重要であり、エージェントとより良く連携できるように改善していくことで、さらにその重要性は増すでしょう。

その間、いくつかのお楽しみがあります。まず、Cで書かれたライブラリの静的リンクをサポートするためにツールチェーンを拡張しました。これにより、すべての依存関係を内包した単一の実行可能ファイルを配布できるようになります。この作業は、フロンティアモデルとローカルハーネス(Claude CodeとCodex)の多大な支援を得て行われました。

これは小さな追加機能だと予想するかもしれませんが、静的リンカは各プラットフォームのオブジェクトフォーマットを読み込み、必要な部分だけを取り込み、重複したセクションを折りたたみ、システムシンボルを解決し、リロケーションを手作業でパッチする必要があります。そのため、かなりの機械的な仕掛けを組み立てる必要がありました。その報酬は、誰もが望む結果です。インストールするものが他に何も必要ない、単一の自己完結型バイナリです。

簡単な例

プログラムの横に圧縮ライブラリを同梱することなく、いくつかのデータを圧縮してみましょう。具体的には、よく知られたzlibとdeflate APIを実装した、小さくてMITライセンスのライブラリであるminizを使用します。これは、単一のminiz.c / miniz.hペアとして配布されているため、コンパイルとリンクが特に便利です。

最初のステップは、minizを静的ライブラリにコンパイルすることです。注意すべき点は2つだけです。Red/Systemは現在32ビットコードを生成するため、オブジェクトも32ビットである必要があります。また、コンパイラのいくつかの追加機能(C++例外テーブルとスタックカナリア)をオフにすると、そうしないとオブジェクトが参照するランタイムヘルパーが不要になります。

Windowsでは、MSVCを使用します。

    cl /c /MT /GS- /EHs-c- /GR- miniz.c
    lib /out:miniz.lib miniz.obj

次に、必要な2つの関数をマッピングします。インポートされた名前に拡張子がないことに注意してください。単にminizです。

    Red/System [Title: "miniz round-trip]
    
    #import [ 
        "miniz" cdecl [ 
            compress: "mz_compress" [ 
                dst     [byte-ptr!]
                dst-len [int-ptr!]
                src     [byte-ptr!]
                src-len [integer!]
                return: [integer!]
            ]
            uncompress: "mz_uncompress" [ 
                dst     [byte-ptr!]
                dst-len [int-ptr!]
                src     [byte-ptr!]
                src-len [integer!]
                return: [integer!]
            ]
        ]
    ]

拡張子のない名前が興味深いのは、ツールチェーンがそれを解決してくれるからです。そして、単一のコマンドラインスイッチでその方法が決まります。デフォルトでは、minizはプラットフォームの共有ライブラリ(Windowsではminiz.dll、Linuxではlibminiz.so)に解決されるため、プログラムはRed/Systemが常にそうしてきたように、動的にリンクされます。

    red -r demo.reds     ; "miniz" は miniz.dll に解決され、動的にリンクされます

ここで-s(または長い--static)を追加すると、全く同じminizが、先ほどビルドした静的ライブラリに解決されるようになります。

    red -r -s demo.reds  ; "miniz" は miniz.lib に解決され、静的にリンクされます

この場合、mz_compressとmz_uncompressは実行可能ファイル自体の一部になります。横に配布するminiz.dllも、設定するPATHも、書くインストーラーもありません。コピーしてどこにでも実行できる、単一の自己完結型バイナリ(ここでは50KB未満)があるだけです。同じソースファイルで、追加のフラグは1つだけです。

好みに応じて明示的に指定する

拡張子のない名前は便利ですが、自分で拡張子を明記することも常に可能です。その場合、ツールチェーンはそれを正確に尊重し、-sはその特定のインポートには影響しません。これは、1つのプログラムが両方の種類のリンクを混在させる場合に便利です。常に動的にしたいシステムライブラリと、常に組み込みたいヘルパーライブラリです。例えば:

    #import ["user32.dll" stdcall [...]]   ; 常に動的

    #import ["miniz.lib" cdecl  [...]]     ; 常に静的 (Windows)
  
    #import ["libminiz.a" cdecl [...]]     ; 常に静的 (Linux / macOS)

これにより、両方の利点を得られます。拡張子のない名前と-sでプログラム全体を一度に切り替えるか、ライブラリごとに明示的な拡張子で制御します。既に.dll / .so / .dylibを明記している既存のコードは、変更なしで引き続き動作します。したがって、ツールチェーンへのこれらの追加は、現在のコードベースと後方互換性があります。

サポートされているターゲット

静的リンクは、Redの主要なネイティブターゲットすべてで機能します。

  • Windows (x86) — COFFオブジェクトとライブラリ (.obj / .lib)
  • Linux (x86) — ELFオブジェクトとアーカイブ (.o / .a)
  • Linux ARM、Raspberry Piを含む — ELF ARM、ARMとThumb-2コードの両方
  • macOS (Intel) — Mach-Oオブジェクトとアーカイブ

クロスコンパイルは通常どおり機能するため、-t RPi -sはデスクトップ上で自己完結型のARMバイナリをビルドし、Piにコピーして実行する準備ができます。

実世界での事例: CherryTracker

ツールの静的リンク機能のテストとデモのために実世界での事例が必要でしたが、最終的に自分で作成した完全に機能するツールをリリースすることにしました。それがCherryTrackerです。

コーディングエージェントの能力の最近の進歩により、サイドプロジェクトとして、以前からRedでコーディングしたいと思っていたもの、つまりサウンドトラッカー風のmodプレイヤーを生成することができました!目標としていた洗練されたバージョンにするために、エージェントとの間で多くの(数十回の)イテレーションが必要でした。コードの品質とスタイルを改善するために、まだ多くのパスを作成する必要がありました。私が望むほど短く洗練されてはいませんが、エージェントにとっては十分なものです。

[画像: CherryTrackerのスクリーンショット]

ソースコードはGithubにあります。WindowsとLinux用のビルド済みバイナリも利用可能です(ウェブサイトまたはリポジトリを参照)。Windowsバイナリには私の個人コード署名証明書で署名されています。ModArchiveから集めた様々な形式のMODもリポジトリから入手できます。

CherryTrackerはRedで書かれており、DrawベースのUIを使用し、高速なデータ処理とバックエンドライブラリとのインターフェースのためにRed/Systemレイヤーを使用しています。

  • libxmp: あらゆる種類のMODソングフォーマットのデコードに使用されます。
  • SDL3: オーディオレイヤーを提供するために使用されます。

これらのライブラリの32ビット静的バージョンは、両方のターゲットOS用にlibsフォルダに提供されています。インポートコードは、拡張子のないオプションを使用しています。

    #import ["libs/libxmp" cdecl [...]]
    #import ["libs/SDL3"   cdecl [...]]

私のローカルリポジトリには、これらの外部ライブラリの共有ライブラリバージョンも配置しました。Redツールチェーンの開発コンパイルモード(-c)とこれらの共有ライブラリを使用すると、エージェントと私はテストのために新しいバージョンを非常に迅速に再コンパイルできます(libRedRTを使用)。その後、リリースバージョンについては、-r -sコンパイルオプションを使用して静的リンクに切り替えます。このアプローチは、このアプリケーション(私の空き時間で数週間かけて)全体で非常にシンプルで効率的であることが証明されています。

試してみて、特に80年代/90年代にMODをプレイしていたような世代であれば、Redがコーディングエージェントと組み合わさって何ができるか見てみてください!

内部の仕組み

これは実際の静的リンカであり、「バイトを連結する」トリックではありません。COFF、ELF、Mach-Oの3つのネイティブオブジェクトフォーマットを共通インターフェースで読み込み、静的リンクを実際に機能させる部分を担当します。

➤ 選択的なアーカイブロード: アーカイブには数百のオブジェクトファイルが含まれる場合があります。リンカは、既に参照されているシンボルを解決するメンバーのみを取り込み、その依存関係チェーンを終点までたどります。大きな.libにリンクしても、大きな実行可能ファイルにはなりません。

➤ COMDATと弱シンボルの折りたたみ: C++(およびinlineを介した最新のC)は、同じテンプレートインスタンス化、インライン関数、またはvtableをすべての翻訳単位に発行し、リンカが1つのコピーを保持して残りを破棄することを期待します。リンカはこれらのグループを追跡し、それらに指していたリロケーションとともに重複を折りたたみます。

➤ フォーマットごとの完全なリロケーションサポート: 厄介なものも含みます。ARM Thumb-2の分割イミディエイトと、Piに必要なBL/BLXインターワーキング、最適化されたスイッチテーブルが生成するMach-Oのセクション差分リロケーションです。

➤ システムシンボル解決: libc / libSystemへの参照、および一般的なコンパイライントリンシック(64ビット除算、スタックプローブなど)の組み込みセットが自動的に解決されるため、単純なプログラムはCランタイム全体をドラッグインすることなくリンクできます。

言い換えれば、link.exe、ld、ld64がRed/Systemに必要なサブセットに対して行うように動作します。これはまさに、簡単なケース(「このライブラリをリンクするだけ」)をシンプルに保つ理由です。

いくつかのことは意図的に後回しにされています。完全なC++ランタイムサポート(例外、RTTI、std::ライブラリ)は、はるかに深い問題です。今のところ、プレーンC API(多くのC++ライブラリが公開するC APIを含む)が追うべき道です。デバッグ情報パススルーとインクリメンタルリンクもリストにあります。

ぜひ試してみてください。もしクリーンにリンクされないライブラリに遭遇した場合は、お知らせください(チケットを開くだけです)。皆さんがそれを使って構築したものを見るのを楽しみにしています。

お楽しみください!