HN 日本語サマリー

← 一覧へ戻る
プログラミング

好みをユニットテストすることはできない

You can't unit test for taste (dev.karltryggvason.com)

289 pointsby kalli129 コメント

要約

筆者は、世界中の有名なルートを仮想的に走行するランナー向けアプリ「In the Long Run」を開発しています。このアプリに興味深い地点(POI)を追加する際、GeonamesやWikipediaなどのデータソースを活用しましたが、AI(LLM)の使用においては、ハルシネーションの問題や「好み」のバイアスに直面しました。最終的には、AIは補助的な役割にとどまり、人間が設定したフィルタリングやデータ処理の重要性を強調しています。

全文翻訳

味覚のために単体テストはできない

2026年6月22日・12分

私はIn the Long Runを開発しています。このアプリでは、ランナーが世界中の有名なルートを仮想的に走ります。アプリはStravaの走行距離を集計し、合計距離を世界中のルートに対する進捗としてプロットします。その意図は、長期的なインスピレーションとモチベーションを提供することです。人生は短距離走ではなくマラソンなのです。悪い月やシーズンがあっても、世界の仮想横断という目標は進歩し続けることができます。

アプリはインタラクティブなマップで進捗を表示し、ユーザーが自分で探索することもできます。しかし、私は以前からマップに興味深い名所や史跡を盛り込みたいと思っていました。自分がよく知っているルートであれば自分でリストを作成できましたが、自分が知らない国をまたぐルートには対応できません。そこで、POI(Point of Interest:興味深い地点)のデータソースを探し、パイプラインを構築することにしました。その過程で、私は「味」やバイアスと格闘し、幻覚を起こすLLMとも戦いました。当初はAIが目玉機能になると考えていましたが、最終的には他のシグナルやデータ処理の主要な要素と並ぶ、あくまで補助的な役割に落ち着きました。

データセットとツールセット #

GeoNamesは、場所、カテゴリ、リンクを含む広範なデータソースであり、明白な出発点でした。データセット全体をダウンロードでき、クリエイティブ・コモンズライセンスが付与されています。そこで、友人のClaude(Claude Codeのこと)と共に、生のダンプデータから「In the Long Run」のユーザーに役立つPOIを提供するパイプラインを構築し始めました。

プログラミング言語にはPythonを使用しました(手元のタスクに適したライブラリが豊富でした)。処理済みのデータはローカルにApache Parquetファイルとして保存し、クエリレイヤーとしてDuckDBを使用しました。1 ParquetとDuckDBの両方を使うのはこれが初めてでしたが、どちらも使いやすく、Claudeが機能について段階的に教えてくれました(DuckDBの作業のほとんどは、私が非常に慣れているSQLでした)。一般的に、プロジェクトに1つか2つの新しいツールやテクノロジーを追加するのが学習に最適な方法だと感じています。もしスタック全体が新しいと、学習曲線が急すぎてもプロジェクト自体から離れてしまう可能性があります。AIコーディングエージェントはこの計算をある程度変えますが、それでも、使用されているテクノロジーのほとんどを理解していると、エージェントをより良く誘導し、その指示に盲目的に従うのではなく、情報に基づいた意思決定を行うことができます。

[画像: Screenshot of the point of interest feature]

イリノイ州スプリングフィールド近郊のルート66を走るランナーのためのPOI機能のスクリーンショット。

実装を開始する前に、Claudeとプロジェクト計画を作成し、パイプラインと機能開発の各ステップを概説しました。その後、作業を進めながら、各ステップの仕様/計画を構築し、以前の作業からさらに学習するにつれて反復できるようにしました。これにより、各マイルストーンのために新しいエージェントセッションを開始することもできました。以前のマイルストーンの結果を短いコンテキストに凝縮し、次のステップの指示として与えることで、より速く、より良い応答を得ることができます(大きなコンテキストはエージェントの作業の質を急速に低下させると感じています)。

有名度と顕著なバイアス #

まず、GeoNamesから必要なファイルをすべてダウンロードして解凍し、ほとんどのファイルがバージョン管理するには大きすぎるため、データファイル用のgitignoreを設定しました。

処理の最初のステップは、ダウンロードしたファイルを関連する列で結合し、目的の用途に役立たない行をフィルタリングすることでした。例えば、行政区分(国、州、地域など)は除外しました。また、最も興味深いと思われる特定のフィーチャーコードを選択しました:公園、史跡、城、記念碑、山など。2最後に、人口密集地には人口フィルターを、山には標高フィルターを追加しました。これにより、いくらかの偽陰性(本来含めるべきものを除外してしまうこと)が生じたと思いますが、まずは大まかなドラフトを作成したかったのです。

やや直感に反するかもしれませんが、GeoNamesのalternateNames.txtデータセットにはWikipediaへのリンクが含まれています(isolanguage=linkで、alternate_name like %en.wikipedia.org%)。この使い方は後付けのように感じられますが、非常に役立つデータです。これを有名度/関連性のシグナルとして使用し、Wikipediaの要約もクリエイティブ・コモンズライセンスを持っていたため、説明文を作成するためのテキストも提供されました。

このパイプラインステップの基本的な健全性チェックを構築し、有名なランドマークを見逃していないかを確認できるようにしました。これにより、フィルタリングの一部を調整できました。例えば、最初のドラフトでは、オーストラリアの田舎の地名であるStonehengeを取り込みましたが、より有名な同名の先史時代の巨石構造物は取り込みませんでした。英語で作業する場合、関連する代替名/言語を取り込み、関連するWikipedia URLを参照として使用することも重要です(GeoNamesは、ローカル言語で正規名(canonical name)を保存しています)。

このステップの最終結果は、世界中のPOIに関する約72万5千行のParquetファイルでした。最初に扱った1300万行の元のフルセットから大幅に削減されました。

[画像: First pass candidate set by feature class]

人口密集地はGeoNamesデータセットの大部分を占めます。しかし、POIを単に道沿いのすべての町、村、集落にするわけにはいきません。

2番目のステップでは、最初のステップのすべての候補を、各ルートと照合しました。まず、ルートのGeoJSONファイルを取得し、バウンディングボックスを作成して、ルートにわずかに近いPOIのみを迅速にフィルタリングします。次に、ルート座標を反復処理して、バウンディングボックス内のどのPOIがルート自体から指定された距離(デフォルトで50km)内にあるかを確認します。地理計算にはShapelyとPyprojを使用し、「ルートに沿った距離」属性を計算して、「いつ」POIをランナーに表示すべきかを決定できるようにしました。

このステップの出力は、さらなるルートの洗練に使用されるルート固有のParquetファイルです。アイスランドの環状道路ルート(1,321km)では511件のPOIが得られ、アプリで最も長いルートであるケープタウンからマガダン(23,257km)では1万件のPOIが得られ、ルート66(3,787km)では14,181件のPOIが得られました。これは、私たちの英語圏のWikipediaシグナルが、実際には「英語話者がどこに住んでいて、どこでウィキを編集しているか」というバイアスであることを早期に示す兆候でした。

LLMは嘘をつくが、味はある #

3番目のステップでは、Wikipediaの情報でデータを強化し、LLMを使用して各POIの評価を生成しました。当初はPOIの要約もLLMで生成するつもりでしたが、それはマイナーなメリットに対して大きな課題であることが判明しました。

まず、指定されたルートの各POIについてWikipediaの要約を取得します。Wikidataについても同様に行います。各Wikipedia URLについて、そのトピックの記事がいくつの言語のWikipediaに存在するかを調べます。これはもう一つの良い有名度シグナルです。ページが多くの言語に存在する場合、英語のWikipediaにのみエントリがあるページよりも重要である可能性が高いです。このWikiデータはグローバルにキャッシュできるため、後続のルートで同じPOIを使用する場合に再取得を節約できます。

WikiデータはLLMを活用したステップへの入力でもあります。構造化されたデータを返すツールを作成しました。速度と価格を考慮してAnthropicのHaikuモデルを選択しました(案の定、Claude Codeがその「兄弟」であるOpusを通じて推奨したモデルでした)。さらに、価格をさらに節約するために(入力と出力トークンが50%オフ)、呼び出しをバッチ処理しました。プログラムでLLMをこのように呼び出すのは初めてでしたが、APIは理解しやすかったものの、出力は完全に一貫しているわけではありませんでした。例えば、Anthropic Markup Language (antml) の奇妙なバリアントがツール呼び出しの結果文字列に漏れ出すことがあり、クリーンアップが必要でした。バッチ処理されたツール呼び出しは完了に数時間かかることがあり、より長いルートのコストは約10ドルでした。ここでは、トレードオフを確認するために、ローカルまたはより安価なモデルを試したいと思いました。

ここでいくつかの幻覚も発見しました。最初の試みでは、LLMのエンリッチメントをあまりデータに「根拠付け」せず、プロンプトに制限を適用しませんでした。その結果、Haikuはイリノイ州ディケーターのセントラルパークを、マンハッタンにあるより有名な同名の公園と誤認し、その重要度を大幅に引き上げました。2回目の試みでは、場所と管理メタデータ(国、都市など)を入力としてLLMに追加し、システムプロンプトでより慎重に根拠付けを行いました。それでも、私のスポットチェックではいくつかの幻覚が明らかになりました。Haikuは町の人口規模を変更したり、山を実際よりもはるかに大きくしたりしました(90年代のあの名作のヒュー・グラントのように)。

その時点で、私はWikipediaの要約に戻すことにしました。LLMによるテキストは、私たちの目的にはしばしばより良く読めましたが、正確さの方が可読性よりも重要だと感じました。3入力データとプロンプトを調整し、検証側で評価を構築することはできましたが、最終的には時間やコスト(LLMの出力トークンは入力よりも高価です)に見合う価値はないと感じました。この課題はエキサイティングですが、コードのような検証しやすいドメイン以外では、格闘するのが難しいです(テキストの事実確認のための統合テストを作成することは、ウィトゲンシュタイン的なタスクのように聞こえます)。

それでも、フィーチャーコードやWiki言語の数とともに、重要度スコアを計算するために使用されるPOIの評価をLLMに与えるために使用しました。Wikidataだけに頼ると、150言語で自動翻訳されたWikiページを持つすべての小さな町に多くの重みが与えられました。LLMからより「主観的」な評価を得ることで、各ルートのより「興味深い」POIを引き上げることができました。

[画像: Highest rated POIs so far]

これまでのLLM評価で最も高いPOI。レイキャビクが10点満点を得たのは、プロンプトで明示的に言及されているからだと推測します。首都ですが、シカゴやLAよりも重要でしょうか? ヴァトナヨークトルはどうでしょうか? よくわかりません。

このように、LLMは(嘘をつくため)執筆から降格されましたが、その重みに潜む主観的な「味」を提供する役割に昇格しました。全体として、このステップは、この新しいテクノロジーを新しい機能の基盤(「AIがこれを解決する」)と考えることから、AIをより大きなツールボックスの中の新しいツール(「AIは従来の他のアプローチをうまく補強する」)と考えるように、私の考え方を変えました。

パイプライン自体を構築するだけでなく、途中でさまざまなステージを健全性チェックおよびデバッグするためのツールもいくつか構築しました。例えば、POIをマップ上に配置して配置を確認し、最終結果のプレビューを取得できるLeafletベースの可視化ツールは役立ちました。SQLYacとDuckDBを使用してParquetファイルを検査し、偽陰性または偽陽性を発見するためのqueries.sqlファイルも構築しました。

最後のステップは、パイプラインによって生成された成果物を実際に消費し、データ用のAPIエンドポイントを構築し、マップ上にPOIをユーザーに表示することでした。実装はこのブログ記事のトピックとはあまり関係ありませんが、面白​​いことに、これもClaude Codeが最初に実装を書き、その後承認のために仕様を私に提供しようとしたステップでした。多くの開発者にはおなじみのショートカットですが、AIを抑制し、設定したプロセスに従わせようとする重要な場所です。

味覚のために単体テストはできない #

エンリッチされたルートごとの候補から、ルートのPOIを含む出力成果物であるJSONファイルを構築しました。これが初めてバージョン管理されたPOIデータとなりました。

また、ルートごとに調整やパラメータが必要になることが明らかになったのもこの時点でした。いくつかの異なるルートを試したところ、ルートごとのデータは異なり、異なる地域、国、大陸のルートには異なる名所(文化的、自然的、歴史的など)があることにすぐに気づきました。口に出して言えば明白なことですが、この段階まで来ないと、そのばらつきの大きさが実際にはあまり思い浮かびませんでした。

例えば、私の母国であるアイスランドには、自然、史跡、人口密集地の良い組み合わせがありました。しかし、人口密度の高い他のルートでは、POIマップは基本的に人口マップになり、道沿いのすべての町、村、集落が表示されました。他のPOIは都市に集中していました。なぜなら、建物、彫像、記念碑もそこにあったからです。

そこで、人口によるフィルタリング、GeoNameフィーチャーコードに基づくランキング、Wiki言語の数という「客観性」に対するLLMの「主観的」スコアの重み付けといった、ルートごとのパラメータを追加しました。また、地理的なフィルタリングを適用して、特定の半径内で最も興味深い名所のみが表示されるようにし、都市とそれらを結ぶより田舎の道との間のPOIの分布をより均一にしました。

全体として、成功の評価はプロジェクトで最も困難な部分の1つでした。開発者として、私は機能するかしないかの機能を作成することに慣れており、機能がどれだけうまく機能するかを測定する客観的な方法がしばしばあります。厄介な実世界のデータでは、パイプラインが良いか悪いかを評価するのは困難でした。さらに、特定のパラメータやルートのために最適化を開始し、後でその作業が他の領域で深刻な劣化を引き起こしたことに気づくのは簡単でした。

POIには正解がなく、味覚のための赤/緑の単体テストもないため、検証は推論が困難になります。データサイエンティストにはこれらの馴染みのある課題があるはずで、それらに取り組むためのフレームワークや評価があるはずです。これには、より多くの反復と手動によるオーバーライドが必要になります。コミュニティからのフィードバックと協力があれば、うまくいくだろうと願っています。しかし、今のところV1をリリースしました。いくつかの選択されたルートでInTheLongRun.appで試すことができます!


  1. AIエージェントを使用して作業したプロジェクトについて初めて書きました。「私たち」と書き続けたのは、プロジェクトが共同作業のように感じられたからです。時には、私にとって新しい技術もあったため、シニアから指導を受けているようにさえ感じました。読み返すと、「私たち」と言うのは、もちろんこの記述やコードのあらゆる誤りに対して私が全面的に、そして単独で責任を負うため、責任逃れのように聞こえます。しかし、「私/私」を使うだけでも不誠実に感じられます。なぜなら、ここの実装の多くは完全に私のものとは言えないため、機械との協力に対して私は credit を取りすぎているように感じるからです。これは、今後予測される新しい種類の代名詞論争だと考えています。↩︎
  2. ここでプロジェクト初の剤の幻覚を発見しました。ClaudeはNTMKフィーチャーコードにフィルタリングしたいと考えていました。しかし、私の知る限り、そのようなフィーチャーコードは存在せず、それが何を意味していたのかも分かりません。↩︎
  3. もちろん、Wikipediaも不正確である可能性がありますが、それはよりよく知られた失敗モデルのように感じられ、少なくともそこには帰属があります。↩︎