Roko's Dancing Basilisk
Roko's Dancing Basilisk (boston.conman.org)
要約
著者は、GitHubリポジトリのドキュメントを生成するDeepWikiというサービスを試した。自身の長年開発しているmod_blogとアセンブラa09を対象としたが、生成されたドキュメントには誤りが多く、特にa09では深刻な問題が多数見つかった。著者は、LLMによるコード生成と同様に、ドキュメント生成もまだ信頼性に欠けるという見解を示している。
全文翻訳
The Boston Diaries
火曜日, 2025年12月02日
Roko's dancing basilisk
DeepWikiという、あらゆるGithubリポジトリの「ドキュメント」を生成するサイトを見かけました。LLMがコードを生成するのにはあまり感心していませんが、ドキュメントはどうでしょうか?まだ試していません。Rokoのバジリスクがどれだけうまく踊るか見てみましょう!
当初、私は[mod_blog](https://github.com/spc476)から始めました。このコードベースには26年間携わってきたので、「ドキュメント」の不正確さにはすぐに気づくはずです。さらに良いことに、へつらうチャットボットとのやり取りはありません。リポジトリのURLを貼り付け、完了通知用のメールアドレスを提供すれば、イギリス人が言うように「これでよし!」です。
さて、メールが届きました。確認してみると、すぐに驚かされました!Nearly 30 pages of documentation、そして概要は印象的でした。それはtumblers(回転錠)、ストレージレイアウト、新しいエントリを追加する際の典型的なフローを捉えていました。cmd_cgi_get_today()が、長年にわたる特定の日付のエントリをすべて返すという事実さえも把握していました。しかし、一点だけ少しばかり不正確な部分がありました。それは「システムは3つの主要なレイヤーで構成されている」と述べていましたが、続く図では5つのレイヤーが示されており、どの3つが「主要なレイヤー」なのかを示すものはありませんでした。特定されたレイヤー自体には問題はありませんでした。
- Entry Layer
- Processing Layer
- Rendering Layer
- Storage Layer
- Configuration
ただ、3まで数えるのに問題があるようです。
残りの内容のレビューに入る前に、インターフェースとしてのウェブサイトについての私の意見を簡単に述べます。それは「まあまあ」です。左側のメニューは、スクロールバーが時代遅れに思える(本当に!「ウェブデザイナー」に昔ながらの3ボタンマウスと、色覚異常をシミュレートするようにキャリブレーションされたモニターを使わせたいものです。そうすれば、彼ら自身のデザインで苦労する様子が見られるでしょう。誰もがスクロールホイール付きのマウスを持っているわけでも、Appleトラックパッドを持っているわけでもありません)ことを考えると、見た目よりも長いです。また、図は非常に一貫性がなく、選択したときでさえ、しばしば適切に表示するには小さすぎます。そして、時折巨大な図が現れます。レイアウトは恣意的で、水平、垂直、L字型など様々です。
そして、過度に繰り返されます。ページをまたいで、ユーザーの過剰なナビゲーションを節約することは理解できますが、単一のページ内でも繰り返されているのを見つけました。
これらの問題を除けば、ほとんど機能的です。JavaScriptが無効でも、図が表示されず、コントラストが低いとしても、閲覧可能です。
気に入った点の一つは、各セクションの最後にソースへのリンクがあることです。それは良いタッチです。
さて、それは置いておいて、「ドキュメント」そのものについてです。
ほとんど正確です。いくつか小さな不満があります。
$BLOG_CONFIGが設定されている場合、コマンドラインで実行する例では–configは不要です。$BLOG_CONFIGはmain.cではなくblog.cでチェックされます。mod_blogはRSS 2.0ではなく、RSS 0.91を出力します。- 「システムは完全にCで書かれており、コアエンジン自体にはPerl、Python、その他のスクリプト依存関係はありません。」本当でしょうか?Luaを使っていますが、設定ファイルにのみ使用しています。
- SUIDがどのように使用されているかを見落としています(rootで実行するためではなく、ブログのオーナーとして)。
- posthookスクリプトが失敗を返しても、エントリが追加されなかったという意味ではなく、返されるHTTPステータスコードが変わるだけです。
この「ドキュメント」をレビューしている際に、2つの問題のあるコード箇所を見つけました。一つは実際のコードのバグ(ファイルロック図はコードとしては正確ですが、キャッシュの問題を浮き彫りにしました)、もう一つは定義済み定数ではなくリテラル定数を使用した箇所です。幸いなことに、これらはまだ悪用可能なバグではありませんが(mod_blogを使っているのは私だけだと思います)、これらの2つの問題を見つけられたのは良かったです。
全体として、生成に10分もかからなかったかもしれないものとしては悪くないです(確信はありません。メールを待っている間に他のこともしていました)。
しかし、リポジトリ一つでは傾向は作れません。そこで、a09、私の6809アセンブラでもう一度試すことにしました。サイズは似ていますが(mod_blogは7,400行、a09は9,500行、同じくらいの規模)、ロジックは少し複雑で、26年間の継続的な改良はされていません。そのため、より深刻な問題が多く見つかりました。
- エラーが分類されていません。エラーは必要に応じて逐次作成されます。エラーコードを固定範囲にまとめる試みはしていません。
- デッドコード検出の重要な要素を見落としています。次の命令にラベルがない場合にのみトリガーされます。
- エラー発生時にリストファイルが保持されません。
- 生成された出力ファイルの削除についても誤りがありました。エラーがパス1または2で検出された場合にのみ削除され、テストが失敗した場合には削除されません。
- 同じページで優先順位テーブルを繰り返しています。
- 私は「Unsupported markdown: blockquote」や「Unsupported markdown: list」のような単項演算子を持っていません。
- 神よ!このバックエンドマトリックステーブルのひどさといったらありません。すべてが間違っています。サポートされている/されていないマーカーを逆にしているのではなく、結果をでっち上げているようです!そして、別のページにある同じ情報も同様に悪いです。最初のものほど悪くはありませんが、それは気管支炎が肺炎ほど悪くないと言うようなものです。どちらも悪いです。そして、両方のテーブルで異なるフォーマットを使用しています。一貫性が勝利です!まったく。
- さまざまなフォーマットに命令を書き込む例はRS-DOSバージョンでは間違っています。タイプと長さはそれぞれ2バイトであるべきで、1バイトではありません。
-tの出力フォーマットは正しくありません。TRONディレクティブが使用されていない限り、実行されたコードのトレースを表示しません。.ASSERTディレクティブの使用箇所はすべて間違っています。適切なレジスタ参照を使用しておらず、メモリ参照には@(8ビット)または@@(16ビット)のプレフィックスが必要です。.TRONディレクティブを使用できる場所が間違っています。どこでも使用できます。.TESTディレクティブ内でのみ使用できるのは.OPT TEST TRONです。
これは、mod_blogの場合よりもはるかに悪い仕事だと私は思います。おそらく、a09のサイクロマティック複雑度がmod_blogよりも少し高いことが原因だと推測されます。これはコードの横断的な性質によるものです。そして、それがおそらくLLMをコンテキストウィンドウの限界、あるいはそれを超えて実行させ、誤った情報を生成させているのでしょう。
これは、ドキュメントがほとんど、あるいは全くないレガシーコードに使用されることを意図しているのではないかと懸念しています。もし、適度に複雑で小さいコードベースでこれほどひどい結果を出すのであれば、より大きく、古く、厄介なコードベースで何をするのか想像したくありません。試してみたい気はありますが、90年代初頭に書かれた155,000行のCコードのコードベースを持っており、それは非常に厄介ですが、そのコードベースにそれほど精通していないため、明白なエラーのすべて、ましてやより微妙な問題のすべてを見つけられると自信を持って言えません。
もう一つの問題は、リポジトリの更新です。このサイトはウィキとして販売されているので、生成された「ドキュメント」を時間をかけて確認し、エラーを修正し、コードが変更されたときに最新の状態に保つという側面もあるでしょう。変更されたリポジトリに対してこれを再実行できるのか、そして更新は既存のドキュメントにマージされるのか、それとも完全に置き換えられてドキュメントの修正を再度行う必要があるのかは不明です。この生成された「ドキュメント」は、コード内の悪いコメントよりもさらに悪くなる可能性があります。
mod_blogは何年にもわたって劇的に変化しました。ストレージ形式自体は変わっていませんが、内部的な動作は変わりました。長年にわたり、少なくとも3〜4回のメジャーリビジョンがありました。どれくらいメジャーかというと、約18年前にカスタムI/Oレイヤーを削除してCのFILE *スタイルのI/Oを使用するようにした際には、ほぼ完全な書き換えがありました。もう一つは、約3年前にすべてのグローバル変数を削除したことです。そして過去1年間は、使用しない機能を削除しています。これは、数年ごとに書き直さなければならないドキュメントの量です。
全体として、LLMにコードを書かせるよりも不快ではありませんでしたが、依然として不正確すぎて、おそらくセールスポイントであろう、慣れていないコードベースに自由に任せるには不十分だと感じています。
このエントリに関するディスカッション
- Roko's dancing basilisk | Lobsters
- Roko's dancing basilisk - Lemmy: Bestiverse
- Roko's Dancing Basilisk | Hacker News
- Roko';s Dancing Basilisk - ZeroBytes
- Roko's Dancing Basilisk | Hacker News
このエントリへのリンクは自由に貼っていただいて構いません。どうぞ、私は噛みつきません。約束します。
日付は、その日のエントリ(またはエントリが1つしかない場合はそのエントリ)へのパーマリンクです。タイトルは、そのエントリのみへのパーマリンクです。リンクの形式は簡単です。このサイトの基本リンクから始めます:https://boston.conman.org/、次に興味のある日付を追加します。例えば2000/08/01とすると、最終的なURLは次のようになります。
https://boston.conman.org/2000/08/01
日付部分を省略して、月全体を指定することもできます。あるいは、任意の期間を選択することもできます。
リンクの微妙なシェーディングに気づくかもしれませんが、それは意図的です。リンクが(ページに対して)「近い」ほど、「明るく」見えます。これは、色の濃淡を使ってリンクがここからどれだけ離れているかを示す実験です。もし気づかなくても、心配しないでください。それほど重要ではありません。
これらのページで言及されているすべてのブランド名、スローガン、企業名、シンボル、デザイン要素などは、保護されている、または/および商標登録されているエンティティであり、その所有者の単独の財産であると想定されており、このステータスの承認は暗黙のうちに示されています。