知識はゲートで区切られるべきではない
Knowledge Should Not Be Gated (formaly.io)
要約
AIシステムに知識を与える従来のRAG(Retrieval-Augmented Generation)アプローチは、知識を人間が読めない形式に変換し、ツールにロックインされるという問題がありました。これに対し、Markdownのようなプレーンテキスト形式で知識を記述し、LLMが直接読み取る「LLM Wiki」パターンが注目されています。Google CloudのOpen Knowledge Format(OKF)は、このMarkdownベースの知識表現をベンダーニュートラルな標準として定義し、知識のポータビリティと相互運用性を高めることを目指しています。
全文翻訳
ここ数年、AIシステムに知識を与えるということは、インフラストラクチャを構築することを意味していました。
エージェントにビジネス、データ、決定に関する知識を持たせたい場合、標準的な手順を踏みました。ドキュメントをチャンク化し、埋め込みモデルを選択し、ベクトルデータベースを立ち上げ、検索を調整し、SDKでラップします。野心的であれば、その上にグラフを構築することさえ考えました。
作業が終わる頃には、会社の知識はもはや読めるものではなくなっていました。それは、選択したフレームワークが所有するサービスの後ろにあるパイプラインを通してクエリする対象になっていました。
私は、しばらくの間静かに真実であり、今や明白になりつつあることを主張したいと思います。そのアプローチ全体が、ゲートされる必要のない知識をゲートしていたのです。そして、その修正はほとんど恥ずかしいほどシンプルです。それはMarkdownです。
ツーリングの背後に知識をロックする時代
RAGは良いアイデアでした。私はそれを貶すためにここにいるのではありません。
コンテキストウィンドウが小さく、モデルが高価だった頃、検索拡張生成は現実の問題を解決しました。知識ベース全体をプロンプトに収めることができなかったため、関連するスライスを取得してそれを渡すだけでした。Graph RAGは、エンティティと関係の構造化されたグラフを構築することで、それをさらに進め、モデルが孤立したチャンクではなく接続を横断して推論できるようにしました。
これらの技術は機能します。しかし、それらがどれだけのコストをかけているかを見てみましょう。
知識をRAGシステムに入れるには、システムだけが理解できる形に変換する必要があります。ドキュメントは埋め込みになります。関係はデータベースの辺になります。知識はパイプラインに入った瞬間から人間が読めるものではなくなります。エージェントが実際に「何を知っているか」を見たい場合、ファイルを開くだけでは不十分です。それをロックしたのと同じ機械に対してクエリを実行する必要があります。
そして、すべてのチームがこれをゼロから再構築します。すべてのエージェントビルダーが同じコンテキストアセンブリ問題を解決します。すべてのカタログベンダーが同じデータモデルを再発明します。知識自体は、作成したサーフェスの背後に閉じ込められ、次のツールが翻訳なしでは読めない形式になります。
それがゲートです。正確にはペイウォールではありません。フォーマットウォールです。あなた自身の知識が、それを有用にするためのツールによって読めないものにされています。
私たちが再発見し続けたもの
そのインフラストラクチャがすべて構築されている間、人々が実際にエージェントと日常的にどのように協力していたかという、より静かなことが起こっていました。
彼らはMarkdownを書き始めました。
Claude CodeやCodexを使用したことがあるなら、アーキテクチャとして意識せずにCLAUDE.mdやAGENTS.mdを書いたことがあるでしょう。プロジェクトの仕組み、従うべき規約、触れてはいけないことなどを書き留め、エージェントは改善されました。埋め込みなし。ベクトルストアなし。単に、モデルがセッションの最初に読むファイルです。
このパターンは、さまざまな名前で現れ続けました。リンクされたノートでいっぱいのObsidianボルト。見た目に関するDESIGN.md。実行間でエージェントが記憶すべきことのためのMEMORY.md。「コードとしてのメタデータ」リポジトリ。これらすべてが同じ本能です。知識をプレーンテキストとして書き留め、ピースをリンクし、モデルに直接読ませます。
LLMが本当に、確実に得意とするフォーマットは、標準化するには原始的すぎると考えていたものだと判明しました。Markdownは儀式のない構造を持っています。見出し、リスト、リンク、少しのフロントマター。モデルがナビゲートするのに十分な足場であり、人間が同じファイルを読んで即座に理解できるほど少ないものです。
私たちは何年もかけて、機械がクエリできるように知識を圧縮しようとしました。機械は、結局のところ、ただ読みたいと思っていました。
Karpathyが静かな部分を語った
Andrej Karpathyは、彼のLLM Wikiパターンでこれに名前を付け、それが私にとってすべてを結晶化させました。
そのアイデアは、すべてプレーンファイルで行われる3層セットアップです。モデルが不変として扱い、決して編集しない生の素材のsources/ディレクトリ。モデルが生成し所有するMarkdownページのwiki/(要約、概念ページ、エンティティページ、それらを結びつける合成)。そして、エージェントが全体を維持する方法を伝えるスキーマファイル、CLAUDE.mdまたはAGENTS.md(ページの構造、新しいソースの取り込み方法、クロスリファレンスが最新の状態に保たれる方法)。
その根底にある洞察は、RAG全体を再構築するものです。Karpathyの言葉は引用する価値があります。
LLMは飽きないし、クロスリファレンスを更新するのを忘れないし、一度に15個のファイルを処理できる。人間が個人のウィキを放棄する原因となる事務処理は、まさにLLMが得意とすることです。
個人のウィキは常に同じ理由で死んでいました。それを最新の状態に保つのは面倒で、人間は面倒を嫌います。しかし、その面倒さは言語モデルが免疫を持っている唯一のものです。それらは、文句を言わずに100個のファイルを横断してリンクを張り替え、要約し、矛盾を調整します。
したがって、取引が反転します。RAGは、クエリごとにゼロから知識を再発見し、毎回コンテキストを再取得して再構築します。ウィキは一度知識をコンパイルし、それを最新の状態に保ちます。クロスリファレンスはすでに存在します。矛盾はすでにフラグが立てられています。合成はすでにあなたがそれを入力したすべてを反映しています。各質問で検索税を支払う必要はありません。すでに整理されているものを読んでいるのです。
そして、それはすべてファイルです。開くことができます。編集できます。gitに入れることができます。知識は何もゲートされていません。
Googleが実際にリリースしたもの
ここでOpen Knowledge Formatが登場し、なぜ私がそれが控えめな発表が示唆するものよりも重要だと考えるのかがわかります。
6月、Google CloudはOKF(現在はバージョン0.1)を発表しました。一文の説明は、「LLM-wikiパターンをポータブルで相互運用可能なフォーマットに形式化するオープン仕様」ということです。より平易な言葉で言えば、誰もがすでに取っていたMarkdown-wikiの衝動を取り、ベンダーニュートラルな標準に変えることで、あるツールが生成したファイルが別のツールによって翻訳なしで読み取れるようになります。
ここにその全体像があります。
OKFバンドルは、Markdownファイルのディレクトリです。各ファイルは1つの概念です。データセット、テーブル、メトリック、ランブック、APIなど、キャプチャしたいものです。それらは合理的な階層に配置されます。
sales/
├── index.md
├── datasets/
│ └── orders_db.md
├── tables/
│ ├── orders.md
│ └── customers.md
└── metrics/
└── weekly_active_users.md
各ファイルには、構造化され、クエリ可能なフィールドのための小さなYAMLフロントマターが含まれています。
---
type: BigQuery Table
title: Orders
description: One row per completed customer order.
resource: https://console.cloud.google.com/bigquery?...
tags: [sales, revenue]
timestamp: 2026-05-28T14:30:00Z
---
# Markdown body follows
そして、仕様ではあなたに1つのフィールドのみが要求されます:type。それ以外は、従うことも無視することもできる規約です。標準的なクエリ可能なフィールドはtype、title、description、resource、tags、timestampであり、それが儀式の範囲です。
概念は通常のMarkdownリンクで互いにリンクします。注文テーブルの外部キーは、単に[customers](/tables/customers.md)を指します。これらのリンクは、ディレクトリを、フォルダーが示唆する親子ネストよりもリッチな関係のグラフに変えます。グラフデータベースを立ち上げることなく、Graph RAGの利点、つまり接続の構造化されたウェブを得ることができます。リンクがグラフです。プログレッシブ開示のためのオプションのindex.mdがあり、変更履歴のためのオプションのlog.mdがあります。それがモデル全体です。
私が繰り返し戻ってくる部分は、Googleが何ではないと説明していることです。
それだけです。複雑な圧縮スキーム、新しいランタイム、必須のSDKはありません。
それは、任意のテキストエディタで読み取り可能で、GitHubでレンダリング可能な「単なるMarkdown」です。tarballとして出荷可能で、gitリポジトリでホスト可能で、ファイルシステムにマウント可能な「単なるファイル」です。数個の構造化フィールドのための「単なるYAMLフロントマター」です。仕様は、知識を書いた人とそれを消費する人をきれいに分離します。人間がバンドルを手動で作成することも、パイプラインが生成することもでき、エージェント、検索ツール、またはプレーンなMarkdownビューアがそれを読み取ることができます。ロックインなし。SDKがドアをゲートすることはありません。
それが全体のポイントであり、なぜ私がほとんど何も含まない0.1仕様が、見た目よりも重要だと考える理由です。価値は機能にあるのではありません。合意にあるのです。
なぜ退屈なフォーマットが興味深い部分なのか
OKFを期待外れとして読むのは簡単です。1つの必須フィールドを持つMarkdownのフォルダーは、技術的な成果ではありません。自分で一晩で作れたでしょうし、多くの人が事実上そうしました。
しかし、それがまさに重要である理由です。
知識に関する難しい問題は、表現力ではありませんでした。相互運用性でした。誰もが独自のMarkdownフォルダー、独自のフロントマター規約、独自のリンクスキームを持っていました。それぞれが単独ではうまく機能しましたが、次のツールには役に立ちませんでした。コーディングエージェントのために書いたウィキは、データカタログが読めず、分析エージェントも読めませんでした。知識が異なっていたからではなく、規約が異なっていたからです。
標準は、単一のバンドルをより良くするものではありません。すべてのバンドルをポータブルにします。メタデータパイプライン、手書きのランブック、エージェントが生成したメモリがMarkdownの同じ方言を話すとき、知識は境界ごとに再エンコードするものではなくなり、単に流れるものになります。フォーマットが退屈であることは、機能です。退屈なものが移動します。
これが、私が全体の弧の下に線を引くラインです。私たちは知識を複雑にすることで強力にしようとしましたが、複雑さがそれをゲートしていました。それをアンゲートするのは、ジュニアエンジニア、シニアエンジニアのノート、データパイプライン、そして言語モデルがすべて同じファイルを読んで、それが何を言っているかについて合意できるほどシンプルな規約です。
知識はゲートされるべきではありません。ベクトルデータベースの後ろに、SDKの後ろに、ベンダーの独自のカタログの後ろに、あるいはあなた自身の巧妙なツーリングの後ろにではありません。開くことができるファイルに、機械がすでに流暢であるフォーマットで、あなたとあなたのエージェントの両方が必要なものを見つけられるように十分に整理されているべきです。
同じ教訓、一段階下へ
私たちはFormalyでこれを常に考えています。なぜなら、私たちも知識ビジネスに携わっており、パイプのフロントエンドにいるからです。
アンケートは知識収集ツールです。誰かがFormalyのインタビューに答えたとき、出てくるのはテーブルの行ではありません。それは理解です。顧客がなぜ解約したのか、ユーザーが何を混乱したのか、製品がどこで不十分だったのか。古い本能は、その洞察をダッシュボードの中に閉じ込め、私たちを通してしかクエリできず、意味を捨ててセルだけを保持するCSVとしてしかエクスポートできないようにすることでした。
OKFの教訓は、ここで明確に適用されます。収集した知識は、保存した知識と同じくらい読みやすく、ポータブルであるべきです。応答、要約、数千のインタビューを横断する合成。これらも概念であり、それらはあなたのツール、あなたのエージェント、そしてあなたのチームメイトが、それらを生成したシステムに許可を求めることなく読み取れる形式に属しています。
インフラストラクチャ時代は、知識を有用にするためにゲートすることを教えてくれました。逆が真実であることが判明しました。知識は、ゲートをやめたときに有用になります。Googleはそれを仕様として書き留めたばかりで、私たちのツールの多くがそれに続くことになると思います。