HN 日本語サマリー

← 一覧へ戻る
プログラミング

パーシング・エクスプレッション・グラマー対正規表現:LispでのOrgパーサー構築、HTMLエクスポート

Parsing Expression Grammar vs. Regexes: Building Org Parser in Lisp, Export HTML (jointhefreeworld.org)

126 pointsby jjba2320 コメント

要約

この記事では、Guile SchemeのPEG(パーシング・エクスプレッション・グラマー)ライブラリである(ice-9 peg)を使用してOrgモードのパーサーを構築し、それをSXML経由でHTMLに変換するプロジェクト「OrgWebAlchemy」について解説しています。複雑なOrgモードの構文解析に正規表現の限界を感じた著者が、PEGの利点と実装の詳細、そしてHTML出力のカスタマイズ性について説明しています。

全文翻訳

Lisp での解析式文法:Guile の (ice-9 peg) を使った Org から HTML への変換

皆さん、こんにちは。この記事では、Guile Scheme の (ice-9 peg) を使った解析式文法(PEG)による Org モードの解析と、SXML を介した HTML への変換(OrgWebAlchemy)の冒険に皆さんをお連れしたいと思います。

しばらくの間、私が取り組んできたことを皆さんと共有したいと思います。すべては、Org モードのコンテンツを解析するための素朴な正規表現から始まりましたが、私が望むところへ到達するには、それよりも賢いものが必要だとすぐに気づきました。GNU の優れた (ice-9 peg) モジュールとチュートリアルのおかげで、解析式文法が何ができるかについて、ようやく知識を得ることができました。

Lisp、Scheme、パーシング、Org モード、あるいは私がメタ・メタ・メタ・プログラミングと呼ぶ一般的なアイデアを楽しむ人々にとって、興味深いかもしれないと思いました。AI が PEG を理解し、いくつかのデバッグを手助けしてくれたことを開示しますが、OrgWebAlchemy の開発は「私自身のスパゲッティ」であり、単体テストと手動検証(そして AST の多くの美しいプリティプリント)が、かなり良い実装へと私を導いてくれました(自分で言うのもなんですが)。

プロジェクトのソースコード @ Codeberg: https://codeberg.org/jjba23/orgwebalchemy

OrgWebAlchemy は、Org モードのドキュメントを解析して AST に変換し、それを HTML にレンダリングするための Guile Scheme ライブラリです。私の主な用途は、Emacs を必要とせずに Org を HTML にエクスポートすること、そしてこの機能をいくつかのプロジェクトに統合して、Org モードで記述したものをきれいにレンダリングできるようにすることです。

基本的なアイデアは非常にシンプルです。

(use-modules (orgwebalchemy html))

(org->html "This is ~test~ code.")

これは次のようなものになります。

This is <code>test</code> code.

しかし、興味深いのはその間のプロセスです。

Org ドキュメント

v 解析式文法

v AST

v SXML -> HTML

OrgWebAlchemy が LucidPlan プロジェクトで Org モードをきれいに HTML にレンダリングできるようにする方法を示す例をここでご覧ください。

[画像]

[画像]


追加リソース #

PEG 対 山のような正規表現? #

Org モードは、実際に解析しようとするまで、シンプルに見えます。見出しは簡単です。段落も簡単です。リストも簡単です(待てよ、実際にはそうでもない、これは私を汗だくにした)。

そして突然、以下のようなものが出てきます。

  • ネストされたリスト
  • 順序付き、順序なし、および説明リスト
  • さまざまなインデントレベル
  • インラインマークアップ
  • 説明を含むリンク
  • ソースブロック
  • 例ブロック
  • 引用ブロック
  • テーブル
  • エスケープ
  • 正しい場所で正確に入力を停止する必要がある構文

この時点で、別の正規表現を追加するという通常のアプローチは、いくぶん…冒険的になり始めます。:)

以下のようなものになります。

これにマッチするが、それが後に続く場合は除く、ただしこのブロック内では除く、それが説明の場合は除くが、改行は消費しない、ただし前の行がリスト項目だった場合は除く…

それはもはや言語を説明しているわけではありません。それはあなたのパーサーのバグの歴史を説明しています。

そのため、OrgWebAlchemy は Guile の優れた (ice-9 peg) モジュールを介して、解析式文法(PEG)を使用します。例:

(define-peg-pattern element body
  (or empty-line
      heading
      separator
      table
      src-block
      quote-block
      example-block
      export-html-block
      description-list
      unordered-list
      ordered-list
      paragraph))

これは非常に良いです。なぜなら、文法自体が言語のドキュメントのように見え始めるからです。

そして Guile は、PEG を直接 S 式として表現することを可能にします(あるいは、気に入らない場合はより伝統的な構文を使用することもできます)。これは、私のような Lisper を非常に幸せにします。

このアプローチで特に気に入っている点は、疎結合であり、SXML を生成し、その後 HTML をレンダリングするという詳細が「プレゼンテーションの懸念」であることです。これにより、後で Markdown や他の形式にエクスポートする可能性が開かれます。

例えば:

- name :: Josep
- project :: orgwebalchemy
- language :: Scheme

は、次のような AST になる可能性があります。

(description-list
 (unordered-item
  (desc-key "name")
  (line-content "Josep"))
 ...)

私はまだ正確な表現と、すべてを正しく取得することに取り組んでいます。しかし、現時点では v1.0 はある程度の安定性があります :-) ここによく集まる優秀で賢い人々からのフィードバックを本当にいただけると嬉しいです。


もちろん、Org モードは(素晴らしい)ソフトウェアの巨大な一部なので、すべての機能をサポートするにはほど遠いですが、いくつかのコアで重要な構文は存在します。

  • 見出し(n
  • で始まる行)
  • 段落(「特殊でない」任意のテキスト)
  • 順序なし、順序付き、および説明リスト(任意のネストレベルあり)
  • イタリック、太字、インラインコード
  • 説明の有無にかかわらずリンク(ネストされた解析あり)
  • 水平区切り線(---–—)5つ以上のダッシュ
  • テーブル
  • #+begin_src
  • #+begin_example
  • #+begin_quote(ネストされた解析あり)
  • #+begin_export html: Org 構文は PEG 文法によって解析されますが、生の HTML エクスポートブロックは Org インラインパーサーをバイパスし、信頼できるリテラル出力としてエミットされます。

ヤッター、再帰的なリスト #

楽しい部分の 1 つは、ネストされた Org リストを正しく処理することでした。

以下のようなものです。

- Item 1
  - Item 1.1
  - Item 1.2
- Item 2

は、準ツリーになるはずです。

パーサーは最初はフラットなリスト項目のシーケンスを生成し、AST 処理フェーズでインデントをネスト構造に変換します。

HTML レンダラーは、自然に以下のようなものを生成できます。

<ul>
  <li>
    Item 1
    <ul>
      <li>Item 1.1</li>
      <li>Item 1.2</li>
    </ul>
  </li>
  <li>Item 2</li>
</ul>

まだここで小さな問題があります。それは、異なるリストタイプのネストされた混合に関するものです。おそらく、修正するのは微妙なバグでしょう。

HTML 側は SXML を使用しています。なぜなら、すでに Lisp を書いているなら、HTML も Lisp データとして表現する方が良いからです。:)
それは本当に大いに役立ち、マークアップツリーの構築をはるかに楽にします。

出力 HTML を完全にカスタマイズできるように(Guile のパラメータを介して)注意を払いました。これにより、レンダラーが特定のウェブサイトの HTML の考え方にハードコードされることはありません。それらのほとんどは単純なクラスのリストですが、見出しレベルごとのカスタマイズはもう少し柔軟です。

(heading-classes
 (lambda (level)
   (case level
     ((1) '("text-4xl" "font-bold"))
     ((2) '("text-2xl" "font-semibold"))
     (else '("text-base")))))

なぜこれを作っているのか? #

一部は、私がそれを望んだからです。私は挑戦が好きで、パーシング、AST などで作業するのはとても楽しいです… Org のこれ以上の実装はないので、この仕事をするために Emacs を使うこともできます。

しかし、それがまとまっていくにつれて、他の人々が拡張やカスタマイズ(おそらくより多くのレンダラーや Org の機能を追加する)できる、小さくてハック可能でフリーなソフトウェアの Org パーサーを持つというアイデアを気に入っています。

フリーソフトウェア #

OrgWebAlchemy は、GNU LGPL v3 以降でライセンスされています。

このプロジェクトは、まもなく guile-orgwebalchemy として GNU Guix にパッケージ化される予定です。

リポジトリにはテストスイートもあり、パーサーができることの安全網とショーケースとしてすでに役立っています。

[画像]


締めくくり #

皆さんの考え、特に文法、AST デザイン、パーサーアーキテクチャ、または私がまだ処理していない興味深い Org 構文について、ぜひお聞かせいただけると嬉しいです。

ハッピーハッキング! ✨