Pandoc 20年の歩み
Twenty Years of Pandoc (pandoc.org)
要約
2006年にHaskellで書かれた小さなドキュメントコンバーターとして始まったPandocは、20年を経て50以上のフォーマットをサポートし、学術執筆ツールに統合されるなど、世界中で広く利用されるプロジェクトへと成長しました。著者は、Haskellを選んだ理由、初期リリース、そしてプロジェクトがどのようにして現在の地位を確立するに至ったのか、その開発の道のりを振り返ります。
全文翻訳
Pandoc 20年の歩み
2006年8月3日、私はpandocの最初のバージョンを私のウェブサイトにアップロードし、フリーのGPLライセンスで公開しました。Pandoc 0.1は、GHCの標準ライブラリ以外に依存関係のない、約3000行のHaskellコードで構成されていました。Markdown、reStructuredText、HTML、LaTeXドキュメントを、これらのフォーマットのいずれかに、さらにRTFやS5に変換することができました。当時、これが20年以上にわたる200以上のリリース、Haskellで書かれた最も人気のあるプログラムになること、バグ修正、改善、プロジェクト管理に数え切れないほどの時間を費やすこと、多くの国のプログラマーと協力すること、pandocが50以上のドキュメントフォーマットをサポートするようになること、引用や参考文献の自動生成が可能になること、QuartoやJupyter Notebookのような学術執筆ツールに統合されること、そして世界中の何百万台ものコンピューターにインストールされることになるとは、全く想像もしていませんでした。
どうしてこうなったのでしょうか? Pandocの誕生日を機に、私が覚えている限りでプロジェクトの物語を語りたいと思います。
John MacFarlane
2026年8月2日
前史
人々はよく尋ねます:なぜpandocはHaskellで書かれているのですか? この質問には良い答えがあったかもしれません:Haskellはこの種のアプリケーションを書くのに非常に優れた言語です。しかし実際には、私はドキュメントコンバーターを書こうと決めて、それからHaskellを使うと決めたわけではありません。私はHaskellを使うと決め、それからHaskellでドキュメントコンバーターを書くことにしました。
友人の哲学者であるGreg RestallのブログでHaskellについて聞きました。Greg Restall。「Haskellの入門書について、彼はこう言いました。「もしこれが昔、1986年の私の入門コンピュータサイエンスの教科書だったら、私はコンピューティングに夢中になり、二度と哲学者にならなかったでしょう」(consequently.org)。
これに興味をそそられ(そして私の将来の哲学的生産性への潜在的な影響に関するRestallの警告を無視して)、私はA Gentle Introduction to Haskellを読んで、言語の基本的な理解を得ました。しかし、プログラミング言語を本当に学ぶ唯一の方法は、それを使って何かを書くことです。Haskellはパーサーやコンパイラを書くのに適しており、非常に優れたパーサーコンビネータライブラリ(parsec)が付属していたので、Markdownパーサーを書くことにしました。
当時、Perl、Python、Ruby、PHPにはMarkdownの実装がありましたが、それらはすべて一連の正規表現変換を通じてMarkdownを直接HTMLに変換していました。Pandocは異なるアプローチを取りました。パーサーコンビネータを使用してMarkdownを解析し、実際の抽象構文木(AST)を生成し、それをHTMLや他のフォーマットにレンダリングしました。これはより信頼性の高いアーキテクチャ(正規表現バージョンの多くの奇妙な点を回避)でした。また、より拡張性の高いものでもありました。N個のパーサー(「リーダー」)とM個のレンダラー(「ライター」)を書くことで、N × Mの変換をサポートできました。すぐに、講義ノートやハンドアウトの多くをそのフォーマットで保持していたため、reStructuredTextのリーダーを追加しました。そして、PDFを生成できるように、LaTeXのライターを追加しました。その後、Markdownのライターを追加して、reStructuredTextのノートをMarkdownに変換できるようにしました。そこからプロジェクトは雪だるま式に大きくなっていきました。
こうして、単なる先延ばしの産物として始まったプロジェクトは、Haskellで書くことの喜びと、私自身の学術的な仕事での有用性の向上によって育まれました。
初リリース(2006–8年)
2006年8月3日、私はソースコードを私のウェブサイトで公開することにしました。この時点でpandocは、HTML、LaTeX、RST、Markdownを入力および出力フォーマットとしてサポートし、RTFを出力フォーマットとしてサポートしていました。また、LaTeX経由でPDFもサポートしていました。
[画像: The first release]
ソーシャルメディア(私はそれらを全く使っていませんが)、GitHub、HaskellパッケージリポジトリであるHackageが登場する前だったので、私はウェブサイトでの公開以外にプロジェクトの宣伝を試みることはありませんでした。しかし、明らかに人々は私のウェブサイトで見つけて使い始めました。10月には、Debian開発者として認定されようとしていたトルコのデベロッパー、Recai Oktaşから連絡があり、彼はpandocをDebian Linux用にパッケージ化したいと考えていました。そこで、彼と協力してそれを行いました。これは私にとって素晴らしい学習経験となり、プロジェクトの可視性を大いに高めました。
2007年、私は主に自身のニーズに基づいてpandocの改善を続けました。バージョン0.3ではDocBookライターと、Markdownにおける脚注の現在標準となっている構文が追加されました。バージョン0.4では、Markdownテーブル、定義リスト、上付き/下付き文字、打ち消し線、強化された順序付きリスト、およびgroff manページとConTeXt用のライターのサポートが追加されました。これは、2007年に開始されたHackage Haskellパッケージリポジトリに初めて登録されたリリースでした。Hackageアーカイブと、依存関係を自動的に解決・取得する新しいcabal-installツールは、外部パッケージに依存する可能性を開きました。
Pandoc 1(2008–17年)
Pandoc 1.0は2008年9月にリリースされ、MediaWiki、GNU Texinfo(Peter Wang提供)、OpenDocument(Andrea Rossato提供)、ODT、および自動構文ハイライト付きの区切りコードブロック(現在は「フェンス付き」と呼ばれています)の新しいライターが追加されました。ODTのサポートにはZIPアーカイブを作成する能力が必要でしたが、当時Haskellにはそのためのパッケージがなかったため、私はそれを作成しました(zip-archive)。バイナリ解析とシリアライゼーションには優れたbinaryパッケージを使用しました。構文ハイライトのサポートには、Haskellにはまだ存在しなかった構文ハイライトライブラリが必要でした。このため、私はKateテキストエディタで使用されるXML構文定義を解析してHaskellコードハイライターに変換するhighlighting-kateを作成しました。これにより、pandocは多くの構文をすぐにサポートできるようになりました。このバージョンには、Andrea Rossatoのciteproc-hsライブラリを使用した、CSLスタイルによる引用と参考文献の自動生成サポートも含まれていました。
この期間中、私は他のMarkdown実装者と(現在は廃止されている)markdown-discussメーリングリストで議論に参加しました。PandocがGitHubでフェンス付きコードブロックを普及させるずっと前からサポートしていた区切りコードブロックの構文は、PHP Markdown ExtraのメンテナーであるMichel Fortinと協力して考案されました。PandocのMarkdownに拡張機能を追加する際には、例えばPHP Markdown Extraの定義リスト構文をコピーするなど、先行事例に注意を払いました。この期間中、私はMarkdownの構文における多くの曖昧さにも気づきました。これは後にcommonmarkプロジェクトで改善しようと試みた状況です。
pandocへの次の大きな変更は、バージョン1.4(2010年1月にリリース)で導入された柔軟なテンプレートシステムでした。これにより、ハードコーディングされたヘッダーが置き換えられ、pandocの出力がはるかにカスタマイズ可能になりました。
2010年、私たちはGoogle CodeからGitHubに移行しました。これにより、プロジェクトの可視性はさらに高まりました。2010年と2011年のその後のリリースでは、EPUB出力、Org-mode出力(Puneeth Chagantiによる)、およびTextile入力(Paul Rivierによる)のサポートが追加されました。Pandocは、私のtexmathライブラリを介して、TeX数式をMathML(DocBookまたはHTML用)に変換するサポートも得ました。
2012年に公開されたPandoc 1.9では、Word docx出力が可能になりました。方程式を適切に処理するために、texmathにWordのOMMLフォーマットのサポートを追加しました。このリリースでは、AsciiDocライターとBeamerおよびDZSlidesのサポートも追加され、1.9.3ではDocBookリーダー(Mauro Bieg、長年の貢献者となる人物からの寄稿あり)が追加されました。
2013年には、pandocをより柔軟でカスタマイズ可能にするためのいくつかの機能に焦点を当てました。1つ目は、Markdownの「拡張機能」のきめ細かなシステムで、当時普及していたMarkdownの多くのバリアントのサポートを可能にしました。2つ目は、MarkdownにYAMLメタデータブロックを挿入できる機能で、テンプレート変数を埋める任意の構造化フィールドを備えていました。3つ目は、Luaでカスタムライターを作成できる機能で、ユーザーがアドホックな出力フォーマットをサポートできるようになりました。4つ目は、JSONフィルターの導入でした。これは、pandoc ASTのJSONシリアライゼーションを変換するユーザー作成プログラムで、解析フェーズとレンダリングフェーズの間でドキュメントをカスタマイズできました。引用処理はpandocのコアから外部フィルターpandoc-citeprocに移動されました。
この時代には、reveal.js、EPUB v3、DokuWiki、FictionBook2の出力が追加されました。OPMLの入出力、HaddockおよびMediaWikiの入力も追加されました。著名な貢献者には、David Lazar(Haddock)とSergey Astanin(FictionBook2)がいます。
2014年には、プロジェクトに多くの貢献をすることになる3人の新しい貢献者が登場しました。Albert KrewinkelはOrg-mode入力のサポートを追加しました。Jesse Rosenthalは(トラック変更の認識機能を含む)Word docxリーダーを追加しました。Matthew Pickering(当時オックスフォード大学の学生で、Google Summer of Codeの学生として私が「指導」した)は、EPUBおよびTxt2Tagsを入力フォーマットとしてサポートを追加しました。EPUB入力のサポートにはMathML方程式の変換能力が必要だったため、Pickeringはtexmathにも取り組みました。私たちは非常に異なるタイムゾーンにいましたが、毎朝起きるとPickeringが夜中にやったすべての作業を見つけるのを覚えています。(Pickeringはその後、ghcコンパイラのコアメンテナーの1人になりました。)これらの貢献はすべて、Clare MacraeのDokuWikiライターとともに、pandoc 1.13でリリースされました。
2012年以来、私はJeff Atwoodが開始し、GitHub、Reddit、Stack Overflowの代表者が参加した、Markdown構文の曖昧さのない仕様を作成することを目的としたワーキンググループに関与していました。グループは2012年に集中的な議論を行いましたが、2013年には廃れていきました。私はプロジェクトを信じており、私たちが費やした作業を無駄にしたくなかったので、学年度が始まる前の2014年8月に、Markdownの仕様と、JavaScriptおよびCでのパーサーを作成しました。ドラフト仕様をJohn Gruberにコメントのために送りましたが、返信はなかったので、数週間後に仕様を投稿しました。この時点で、Gruberは強く反対し、プロジェクトを「Standard Markdown」と呼ぶことをやめるように要求したため、プロジェクト名を「commonmark」に変更しました。このプロジェクトは、いくつかの例外を除いて、ほとんどのMarkdownプロセッサがコアルールでcommonmark仕様を実装しているという点で成功しました。(Commonmarkは拡張機能には関心がありません。)
Pandoc 1.14(2015年)では、commonmarkと多くの拡張機能のサポートが追加されました(当初はCライブラリlibcmarkへのバインディングを介していましたが、後に2020年には私のHaskellパッケージcommonmark、commonmark-extensions、commonmark-pandocを介して)。最終的にはpandocのレガシーMarkdownパーサーをcommonmarkコアに置き換えるつもりですが、まだ実装されていない重要な拡張機能がいくつかあるため、pandocユーザーはドキュメントをmarkdown(pandocの拡張機能付きMarkdown)またはgfm、commonmark、commonmark_x(多くの拡張機能付きcommonmark)として解析するかを選択する必要があります。皮肉なことに、commonmark仕様の作者であるにもかかわらず、pandocはまだpre-commonmark Markdownパーサーを使用しています!
翌年には、pandoc ASTに画像とリンクの属性、SoftBreak要素(pandocが元のソースからの改行を、コマンドライン設定に応じて保持または折り返すことを可能にします)、およびLineBlock要素が追加されるなど、重要な変更がありました。MarLinnはODTリーダーを追加し、Chris ForsterはTEIライターを追加し、Ivo ClarysseはDocBook 5のサポートを追加しました。
Pandoc 2(2017–23年)
Pandoc 2.0(2017年リリース)は、Jesse Rosenthalとの協力で開発された、いくつかの大きなアーキテクチャ変更をもたらしました。過去には、pandocのほとんどのリーダー(パーサー)とライター(レンダラー)は「純粋」(つまり、I/O操作を含む副作用を一切持たないHaskell型を持っていました)でした。しかし、一部のフォーマットでは、完全に忠実な変換のためにI/Oを実行する必要がありました。(例えば、reStructuredTextにはファイルのインクルード構文があるため、パーサーはファイルを読み取る必要があります。他のフォーマットでは、画像に明示的なサイズが必要なため、レンダラーは画像ファイルを読み取り、おそらくHTTPを使用して取得し、そのサイズを決定する必要があります。)私たちは、pandocリーダーとライターがPandocMonad型クラスの任意のインスタンスで実行できるようにするシステムを設計し、純粋なインスタンス(制御されたテストに使用でき、I/Oを禁止したい状況で使用できます)とI/O操作を許可するインスタンスの両方を提供しました。このシステムは、docxやEPUBのようなフォーマットでリソースとして含まれる画像を処理する方法も提供しました。
もう一つの大きな変更は、埋め込みLuaインタプリタで実行され、pandoc ASTに直接作用するLuaフィルターの導入でした。これは、pandoc自体以外のソフトウェアを必要とせず、JSONフィルターよりもはるかに優れたパフォーマンスを提供しました。これは、Albert KrewinkelのHaskell-Luaブリッジライブラリhsluaに基づいた、彼の多大な努力によって可能になりました。
さらに、pandoc 2.0ではpandocのMarkdownに生の属性構文が導入され、GitHub Flavored Markdown、Emacs Muse(Alexander Krotov)、TikiWiki、Vimwiki(Yuchen Pei)、Creole(Sascha Wilde)、groff ms、JATSのサポートが追加されました。古いhighlighting-kateは、より優れたパフォーマンスとKDE構文定義のより正確な解釈を提供する新しいskylightingに置き換えられました。PowerPointライター(Jesse Rosenthal提供)がすぐに続き、FictionBook2(Krotov)およびman(Yan Pashkovskyと私)の入力フォーマットサポートも追加されました。
2018年、プロジェクトはHandshakeから10万ドルの寛大な寄付を受け、これを今後5年間で最もアクティブなメンテナーに少額の謝礼を支払うために使用しました。
2019年には、ipynb(Jupyter notebooks)のサポートが追加され、データサイエンスワークフローでpandocが使用できるようになり、Jira wikiマークアップが出力フォーマットとしてサポートされました。pandoc 2.8では、デフォルトファイルを使用してデフォルトオプションのコレクションを指定できるようになりました。
ユーザーは長年、pandocのテーブルモデルが制限的すぎると不満を言っていましたが、行と列のスパンさえサポートしていませんでした。テーブルフォーマットに必要なものについて広範な議論の後、Christian Despresはテーブルの新しい型を設計し、すべてのリーダーとライターをそれに合わせて変更しました(これは大きな作業でした)。
この時点でpandocは、Andrea Rossatoのciteproc-hsを使用したpandoc-citeprocフィルターにより、長年引用解決をサポートしていました。これは遅く、ややバグが多く、Rossatoはとっくに姿を消していたため、私はCSL仕様とテストケースのみを使用して、ゼロからHaskellのciteprocライブラリを作成しました。Pandoc 2.11はこのライブラリに依存し、はるかに優れた引用サポートを提供しました。より高速で、CSLへの忠実度が高く、外部フィルターを必要としませんでした。引用を正しくソートするために、私はUnicode Collationアルゴリズムを純粋なHaskellで実装する別のライブラリ(unicode-collation)を書く必要がありました。
この時代にPandocは、BibTeX、BibLaTeX、CSL JSON、EndNote XML、RISなどの参考文献データベースフォーマット間の変換をサポートするようになりました。CSVおよびTSVからpandocテーブルフォーマットへの変換。Markuaへの変換。RTFからの変換。pandoc 2.15では、--sandboxオプションが追加され、pandocのパーサーとレンダラーがI/O副作用を持たないことが保証されました。(これは、pandoc 2.0で追加されたPandocMonad抽象化のおかげで可能になりました。)pandoc 2.16.2では、2013年に追加されたカスタムLuaライターを補完するために、Luaでカスタムリーダーを作成できるようになりました。そしてpandoc 2.19.1では、pandocをWebサーバーとして実行してAPIをエクスポートできるようになりました。
Pandoc 3(2023年~現在)
2023年までに、pandocは非常に大きく、モノリシックなプロジェクトになっていました。一部のユーザーは、フルWebサーバーとLuaインタプリタを含まない、より軽量なプログラムを求めていました。そのため、pandoc 3.0リリースでは、pandocを4つの部分に分割しました。pandocはHaskellライブラリのままで、pandoc-lua-engineはLua統合をもたらし、pandoc-serverはHTTP経由でライブラリをAPIとして公開しました。コマンドラインプログラムは、現在はpandoc-cliパッケージにあり、オプションでサーバーまたはLuaサポートなしでコンパイルできるようになりました。また、ASTにネイティブのFigure要素と、マルチチャプターHTMLブックおよびドキュメント用の「チャンク化HTML」ライターを導入しました。
モダンなLaTeX競合製品であるTypst(インクリメンタルコンパイル付き)の最初のバージョンは2023年にリリースされました。私は、簡単にオン・オフできる、他の人がTypstを試しやすいようにすることで、プロジェクトを支援したかったのです。Pandoc用のTypstリーダーを作成するには、かなりフル機能のプログラミング言語のインタプリタを実装する必要があることが判明しました。その結果がHackage上のtypstパッケージでした。Typstサポートはpandoc 3.1.3で追加されました。
2018年に私はエッセイ「Beyond Markdown」を発表し、仕様の作成と実装の両方で最も困難を引き起こしたと私が考えるMarkdownの6つの機能について説明し、これらの欠陥を将来のMarkdownのような軽量マークアップ構文でどのように修正できるかを説明しました。2022年には、そのような構文の仕様であるdjotを、Lua、JavaScript、そして(後に)Haskellでのコードとともに公開しました。2024年に公開されたPandoc 3.1.12では、djotを入力および出力フォーマットとして追加しました。
2024年および2025年のその後のリリースでは、フォーマットされたターミナル出力用のANSIライターと、mdocおよびPODフォーマットのリーダー(すべてEvan Silbermanによる)、pandoc ASTのXML表現のリーダーとライター(massifrg)、vimdocライター(reptee)、PowerPointリーダー(Anton Antich)、Excelスプレッドシートリーダー(Anton Antich)、BBCodeライター(reptee)、およびAsciiDocリーダー(私のasciidocパッケージによるサポート)が追加されました。
2026年2月にリリースされたPandoc 3.9には、WASMへのpandocのコンパイルサポートが含まれており、フル機能のpandocバージョンをブラウザで実行できるようになりました。主要な作業のほとんどはTerrorJackによって行われました。GUIインターフェース「pandoc for the people」は、Claude Opusの助けを借りて設計されました。
私は今でもほぼ毎日pandocに取り組んでいます。この作業のほとんどは、この物語で私が焦点を当てたような新機能やアーキテクチャの変更には関わりません。主に、小さなバグの修正、わずかな改善、問題やプルリクエストのレビュー、インフラストラクチャの修理(継続的インテグレーション、リリースビルド、コード署名、ウェブサイト)、ドキュメントの改善、メンテナーやユーザーとの議論への参加で構成されています。
統計
Pandocは現在、51の入力フォーマットと76の出力フォーマットをサポートしており、これにより3876通りの異なる変換(拡張機能を調整することで可能なバリアントは除く)が可能です。
[画像: Pandoc’s conversions]
4つのコアパッケージ(pandoc、pandoc-lua-engine、pandoc-server、pandoc-cli)は、テストを含めずに85,684行のHaskellコードで構成されています。Pandocのためだけに存在する依存関係(texmath、typst、djot、commonmark、asciidoc、citeproc、およびpandoc/Luaインターフェースパッケージ)を含めると、この数は約2倍になります。
GitHubでは、7346件の問題が解決されています。
600人以上の人々が長年にわたりpandocに貢献してきました。トップ20の貢献者(変更されたソースコード行数で測定)は次のとおりです。
| Contributor | Lines changed | Years active |
|---|---|---|
| John MacFarlane | 372,317 | 2006– |
| Albert Krewinkel | 77,136 | 2014– |
| Jesse Rosenthal | 39,664 | 2014– |
| Christian Despres | 15,314 | 2019–2021 |
| Alexander Krotov | 8,657 | 2017–2019 |
| Matthew Pickering | 6,919 | 2014–2015 |
| MarLinn | 4,142 | 2015 |
| Evan Silberman | 3,478 | 2024– |
| Nikolay Yakimov | 3,362 | 2014–2020 |
| Mauro Bieg | 3,044 | 2012–2020 |
| Emily Bourke | 2,196 | 2021 |
| Yan Pashkovsky | 2,035 | 2018 |
| reptee | 1,732 | 2025 |
| Anton Antich | 1,552 | 2025 |
| massifrg | 1,171 | 2025– |
| Nathan Gass | 1,011 | 2010–2011 |
| Tuong Nguyen Manh | 801 | 2022– |
| Joseph C. Sible | 767 | 2020–2024 |
| Clare Macrae | 759 | 2013–2015 |
| Sergey Astanin | 718 | 2011–2012 |
最も長期間貢献した上位20名の貢献者は次のとおりです。
| Contributor | Years active |
|---|---|
| John MacFarlane | 2006–2026 |
| Albert Krewinkel | 2014–2026 |
| Andrew Dunning | 2015–2026 |
| Nikolay Yakimov | 2014–2025 |
| Thomas Hodgson | 2015–2026 |
| Mauro Bieg | 2012–2022 |
| Kolen Cheung | 2016–2025 |
| Pablo Rodríguez | 2014–2023 |
| Pascal Wagler | 2019–2026 |
| Felix Yan | 2016–2023 |
| Sergei Trofimovich | 2011–2018 |
| Tristano Ajmone | 2017–2024 |
| Frerich Raabe | 2015–2022 |
| Salim B | 2017–2024 |
| Yihui Xie | 2014–2020 |
| Sascha Wilde | 2017–2023 |
| Jose Luis Duran | 2013–2019 |
| Jesse Rosenthal | 2014–2020 |
| John Muccigrosso | 2016–2022 |
| Jan Tojnar | 2020–2026 |
| Brian Leung | 2018–2023 |
回顧:Haskellの選択
冒頭で述べたように、pandocのようなプロジェクトに最適な言語だと判断してHaskellを選んだわけではありません。しかし、それはそうだったのでしょうか?
これ confidently に答えるのは難しいです。なぜなら、Rustという、現在最も明白な代替言語についてあまり詳しくないからです。しかし、Pascal、C、Ruby、JavaScript/TypeScriptを含むいくつかの言語で、私は重要なプロジェクトを作成し、維持してきました。これらの言語のいずれかで書かれていた場合、余暇でこのようなプロジェクトを管理できたとは思えません。
Haskellには、pandocの開発に非常に役立った機能がいくつかあります。
-
その代数的データ型は、構造化されたドキュメントの非常にクリーンで人間工学的な表現を提供します。
-
その強力な型システムは、物事の型を間違った方法で組み合わせた場合にコンパイラエラーを発生させるため、プログラムに自信を持って大きな変更を加えることができ、何も壊れていないことを確認できます。コンパイラは変更が必要なすべてを示し、コードがコンパイルされたら、ほとんどの場合完了です。型システムのない言語(例:PythonやJavaScript)で作業する場合、これらのセーフガードの欠如は、特にコードを書いてから長い間メンテナンスしている場合、大きな変更を加えることを常に恐れさせます。
-
Haskellは純粋な言語です。ファイルを作成したり、削除したり、Webリクエストを行ったり、ミサイルを発射したり、グローバル変数を変更したりすることは、型で明示的に許可されていない限り、副作用を持つことはできません。これはバグを防ぐのに非常に役立ちます。pandocでは、サンドボックスモードで実行した場合に、リーダーとライターがファイルシステムに触れないという非常に強力な保証を与えるためにも使用しています。
-
Haskellの選択は、貢献者の質が高く、量が少ないという結果にもつながりました(リソースがあまりないプロジェクトにとっては良い組み合わせです)。
私がこれまでに見た限りでは、RustはHaskellの多くの優れた機能を持っているように見えますが、より高速で、メモリ効率が高く、よりコンパクトなコードを生成します。しかし、Haskellは私にとって依然としてより「人間工学的」で、抽象化を表現するのに適しており、開発者が考えるのを助ける言語という理想に、より近いように感じます。
Pandocの今後
私はpandocの改善を続けるつもりです。改善できる点はたくさんあります。しかし、このようなツールが今後どれくらい必要とされるのか、時々疑問に思います。
現在のLLMが、ある人間の言語から別の言語への翻訳を非常にうまくこなせるのと同様に、あるドキュメントフォーマットから別のフォーマットへの翻訳もまともに行うことができます。私の小さなテストでは、ChatGPTはMarkdownからHTMLへの翻訳をうまく行い、reStructuredTextへの変換はまとも(しかし、著しく劣る)な結果でした。あなたが発明したばかりの軽量マークアップ言語でドキュメントを作成し、LLMがあなたの意図を推測してHTMLや他のフォーマットに翻訳するのにまともな仕事ができるだろうと推測します。
おそらく、将来的には、人々はpandocのようなツールを必要としなくなるでしょう。しかし、現状では、テキストを変換するためにpandocを使用することには、LLMに依存することと比較して、いくつかの大きな利点があると思います。第一に、環境への影響です。同じ変換に対して、必要なエネルギーがはるかに少なくて済みます。第二に、pandocの出力は決定的であるということです。テキストをpandocで変換すれば、常に同じ結果が得られ、その結果を予測できます。第三に、現時点では、pandocの変換はより信頼性が高いでしょう。しかし、それは今後数年間で変わる可能性があります。実際、LLMがpandocやそれに類するものを超える信頼性の高い変換を生成できるようになる時代が来るかもしれません。
commonmark仕様を設計する際、私たちは人間が自然に解釈するであろう方法で複雑な文字列を解釈するという目標を持っていました。これは達成するのが非常に難しいことが判明しました。複雑な強調のルールを見てください。私たちが発見したのは、ネストされた強調のルールをどれほど複雑にしても、アルゴリズムが文字列に見られる意味から乖離するケースを常に生み出すことが可能であるということです。そのような場合、私はしばしば「プログラムにAIが搭載されるまで、このようなエッジケースは避けられません。ある時点で、それを受け入れて、より複雑なルールを開発しようとするのをやめなければなりません」と述べました。興味深いことに、今ではテキストの意味と意図を理解できる(少なくとも理解をシミュレートできる)ツールがあり、軽量マークアップ構文よりも著者が意図したフォーマットを認識する上で、よりうまく機能する可能性があります。
将来何が起こるにしても、私はこのプロジェクトの20年の歴史を誇りに思っています。このプロジェクトは、世界中の人々から数え切れないほどの退屈な作業時間を節約しました。Pandoc、20歳の誕生日おめでとう!
この機会に、pandocのマグカップとステッカーを作成しました。