Instacartの320万件の注文における面白い商品の共起
Funny item co-occurrences in 3.2M Instacart orders (rogerdickey.com)
要約
この記事は、Instacartの320万件の注文データを用いて、通常では考えにくい商品の組み合わせを分析した結果を報告しています。当初、単純な共起頻度ではノイズが多く、興味深い結果が得られませんでしたが、商品の詳細なバリアントをGPC(Global Product Classification)という標準的な分類システムにマッピングし直すことで、より意味のある「ブリック」レベルでの共起分析が可能になりました。この手法により、ワインと冷凍穀物、スピリッツとベビーフードといった、より示唆に富む商品の組み合わせが特定されました。
全文翻訳
Instacartの320万件の注文に見られる面白い商品の共起
先日、食料品店で人々が購入する商品の最も奇妙な組み合わせは何だろうかと、ぼんやりと考えていました。レジ係がくすくす笑い、後で友人に「おい、この客はコンドームとリンゴしか買わなかったんだぜ?」と話してしまうような買い物カートのことです。
そこでClaudeを起動し、見つけられるレシートデータを調べ始めました。
最終結果については、一番下までスクロールしてください。それ以外の場合は、ここまでの道のりを読んでください。
食料品店は、このようなデータを非常に厳重に管理しています。レシートデータを収集する消費者向けアプリ(ReceiptHogやFetchなど)はありますが、それらは presumably ヘッジファンドなどに販売されているのでしょう。しかし、数年前、Instacartはレコメンデーションアルゴリズムを最適化するための機械学習コンペティションの一環として、300万件の注文データをオープンソース化しました。このデータはKaggleで今でも入手可能で、非常に豊富です。私たちが欲しいのは、レコメンデーションアルゴリズムとは正反対のものですが、このデータはうまく機能するはずです。
[画像: screenshot: the Instacart dataset page on Kaggle]
Instacartのデータセットには以下が含まれています:
- 3,214,874件の注文
- 注文あたりの平均商品数 約10点
- 49,688種類のユニークな商品
- 134種類のユニークな「通路」(商品カテゴリ)
ですから、あとは各カートを見て、どの商品の組み合わせが最も現れにくいかを確認するだけですよね?試してみましょう。いくつかのグルーピングをテストするために、ペア、トリプル、クアッドを含めました。
商品の共起回数:ペア
| 回数 | 商品1 | 商品2 |
|---|---|---|
| 1 | バナナ | Extra Fancy Unsalted Mixed Nuts |
| 1 | オーガニックハスアボカド | ベビーキュウリ |
| 1 | オーガニックハスアボカド | トレイルミックス |
| 1 | オーガニックバナナの袋 | バナナ |
| 1 | ライム | トレイルミックス |
| 1 | オーガニックガーネットスイートポテト(ヤム) | クレメンタイン |
| 1 | オーガニックアボカド | ゼロカロリーコーラ |
| 1 | オーガニックフジリンゴ | ベビーキュウリ |
注:ペアの最大共起回数は62,341です。
商品の共起回数:トリプル
| 回数 | 商品1 | 商品2 | 商品3 |
|---|---|---|---|
| 1 | バナナ | オーガニックバナナの袋 | ソーダ |
| 1 | バナナ | オーガニックバナナの袋 | クレメンタイン |
| 1 | バナナ | オーガニックバナナの袋 | スパークリングミネラルウォーター |
| 1 | バナナ | オーガニックバナナの袋 | フラットパセリ、束 |
| 1 | バナナ | オーガニックバナナの袋 | スパークリングウォーター |
| 1 | バナナ | オーガニックバナナの袋 | フレッシュCA産卵 |
| 1 | バナナ | オーガニックバナナの袋 | 赤種なしブドウ |
注:トリプルの最大共起回数は15,066です。
商品の共起回数:クアッド
| 回数 | 商品1 | 商品2 | 商品3 | 商品4 |
|---|---|---|---|---|
| 1 | バナナ | オーガニックバナナの袋 | オーガニックベビーほうれん草 | ハーフ&ハーフ |
| 1 | バナナ | オーガニックバナナの袋 | オーガニック全乳 | オーガニックズッキーニ |
| 1 | バナナ | オーガニックバナナの袋 | オーガニックアボカド | オーガニックハーフ&ハーフ |
| 1 | バナナ | オーガニックバナナの袋 | イチゴ | オーガニックレモン |
| 1 | バナナ | オーガニックバナナの袋 | オーガニックハスアボカド | スプリングウォーター |
| 1 | バナナ | オーガニックバナナの袋 | オーガニックイエローオニオン | オーガニックフジリンゴ |
注:クアッドの最大共起回数は3,828です。
うーん。これらはあまり面白くないですね。おそらく、単一の組み合わせが非常に多く、上位5〜10件しか見ていないため、ソート方法を改善する必要があるからでしょう。
考えられるユニークな商品のペアは約12億通りあります(5万種類の商品からの順序なしペア)。そのうち約97%は私たちのデータに一度も現れません。そして、現れるものの中で、約2200万ペアがちょうど1回だけ出現します。ほとんどすべてのペアがゼロまたは1でタイになると、「最も少ない」は無意味になります。
では、どのようにソートすべきでしょうか?Claudeは「リフト」で各組み合わせをランク付けするという良いアイデアを出しました。これは、実際にどれくらいの頻度で出現するかを、出現すると予想される頻度で割ったものです。リンゴとオレンジのような非常に一般的な2つのアイテムがある場合、それらはたくさん共起すると予想されます。もし共起しないなら、それは注目に値し、そのペアはより高くランク付けされるべきです。では、これを試してみましょう。
リフトによる商品の共起:ペア
| リフト | 商品1 | 商品2 |
|---|---|---|
| 0.0007 | バナナ | Extra Fancy Unsalted Mixed Nuts |
| 0.0010 | オーガニックハスアボカド | ベビーキュウリ |
| 0.0012 | オーガニックハスアボカド | トレイルミックス |
| 0.0017 | オーガニックバナナの袋 | バナナ |
| 0.0019 | ライム | トレイルミックス |
| 0.0020 | オーガニックガーネットスイートポテト(ヤム) | クレメンタイン |
| 0.0021 | オーガニックアボカド | ゼロカロリーコーラ |
| 0.0025 | オーガニックフジリンゴ | ベビーキュウリ |
リフトによる商品の共起:トリプル
| リフト | 商品1 | 商品2 | 商品3 |
|---|---|---|---|
| 0.0016 | バナナ | オーガニックバナナの袋 | ソーダ |
| 0.0019 | バナナ | オーガニックバナナの袋 | クレメンタイン |
| 0.0032 | バナナ | オーガニックバナナの袋 | スパークリングミネラルウォーター |
| 0.0043 | バナナ | オーガニックバナナの袋 | フラットパセリ、束 |
| 0.0047 | バナナ | オーガニックバナナの袋 | スパークリングウォーター |
| 0.0056 | バナナ | オーガニックバナナの袋 | フレッシュCA産卵 |
リフトによる商品の共起:クアッド
| リフト | 商品1 | 商品2 | 商品3 | 商品4 |
|---|---|---|---|---|
| 0.0111 | バナナ | オーガニックバナナの袋 | オーガニックベビーほうれん草 | ハーフ&ハーフ |
| 0.0128 | バナナ | オーガニックバナナの袋 | オーガニック全乳 | オーガニックズッキーニ |
| 0.0137 | バナナ | オーガニックバナナの袋 | オーガニックアボカド | オーガニックハーフ&ハーフ |
| 0.0148 | バナナ | オーガニックバナナの袋 | イチゴ | オーガニックレモン |
| 0.0155 | バナナ | オーガニックバナナの袋 | オーガニックハスアボカド | スプリングウォーター |
パターンが見えてきた気がします…もちろん、人がオーガニックバナナと非オーガニックバナナの両方を買うことは考えにくいですが、これはより大きな問題、つまり50,000もの商品が細かすぎることを示唆しています。各商品には dozen以上のバリエーションがあります。コンドーム製品は28種類、生鮮食品コーナーだけでもリンゴ製品は110種類あります。そのため、私たちのくだらない「コンドーム+リンゴ」の例は、ノイズを乗り越えるのに苦労するでしょう。
私たちは49,688の商品(細かすぎる)を134の通路(広すぎる)に分類しています。その中間のレベルが必要です。分類器を構築しましょう!しかし、どのように?
GPCの登場
ほとんどすべての食料品小売業者が、GS1 Global Product Classification (GPC) という商品分類システムを使用していることが判明しました。GPCは、大型店や食料品店で見かける可能性のあるあらゆるものを網羅したオントロジーです。製品の世界をセグメント(キャンプ、履物、照明、工具、食品…)に分割し、それらはファミリー(パン、飲料、果物、肉、野菜…)を含み、それらはクラス(豆、メロン、ピーマン、キノコ…)を含み、それらはブリック(シャントレル、エノキタケ、トリュフ、モレル…)を含みます。
[画像: screenshot: the GPC browser showing the segment → family → class → brick hierarchy]
一部のブリックは、さらにサブタイプや属性まで深掘りしますが、例えばモレルは成長方法としてCONVENTIONALまたはORGANICを持つことができます。しかし、私たちの目的のためにはブリックレベルで止めることができます。GPCシステム全体には5,318のブリックがあります。多くのセグメント(配管、生きた動物、産業システムなど)は食料品店では販売されていないため、それらを削除できます。これにより、食料品に関連する9つのセグメントと合計1,697のブリックが残ります。そして、私たちの商品は約1,000のブリックしか占めていません。これは適切な粒度レベルのように思え、複雑さを50倍削減できます!
古い分類器を起動する時が来ました。約50,000の商品を約1,000のブリックに押し込むため、標準的な2段階のアプローチを使用しました。
- 各商品のブリックオプションを絞り込む。 まず、各商品と各ブリックの埋め込み(embedding)を取得します。これはローカルで
qwen3-embedding:8bを使用して行いました。次に、各商品について、コサイン類似度で最も近い10個のブリックを見つけます。 - 最適なブリックを選択する。 LLMを使用して、10個のオプションから各商品に最適なブリックを選択します。これには約5ドルかかり、
gpt-4.1-miniを使用して60件のリクエストを並列実行したところ、数分で完了しました。商品からブリックへの完全なマッピングは、他の誰かの役に立つかもしれないのでこちらにあります。
これで、共起アルゴリズムを再度実行し、商品ではなくブリックを使用することでより良い結果が得られるか見てみましょう。
リフトによるブリックの共起:ペア
| リフト | ブリック1 | ブリック2 |
|---|---|---|
| 0.004 | ワイン – スティル | グレイン/シリアル – すぐに食べられない(冷凍) |
| 0.007 | スピリッツ | グレイン/シリアル – すぐに食べられない(冷凍) |
| 0.012 | ビール | ベビーリーフ |
| 0.013 | スピリッツ | デーツ |
| 0.019 | ワイン – スティル | ステム野菜(生) |
| 0.020 | スピリッツ | 魚 – 未加工/未処理 |
| 0.022 | ビール | 魚 – 未加工/未処理(常温保存) |
リフトによるブリックの共起:トリプル
| リフト | ブリック1 | ブリック2 | ブリック3 |
|---|---|---|---|
| 0.014 | チーズ | ワイン – スティル | 冷凍グレイン/シリアル |
| 0.019 | ミルク | セイボリーグレインミール(常温保存) | スピリッツ |
| 0.019 | キュウリ | ベビー/乳幼児用特殊食品 | スピリッツ |
| 0.020 | ケール | クレメンタイン | ワイン – スティル |
| 0.021 | ブロッコリー | ベビー/乳幼児用特殊食品 | スピリッツ |
リフトによるブリックの共起:クアッド
| リフト | ブリック1 | ブリック2 | ブリック3 | ブリック4 |
|---|---|---|---|---|
| 0.027 | バナナ | イチゴ | ニンニク | スピリッツ |
| 0.028 | ミルク代替品 | イチゴ | ニンジン | スピリッツ |
| 0.032 | バナナ | ミルク代替品 | ベビーフード | スピリッツ |
| 0.035 | バナナ | ミルク | ワイン – スティル | セイボリーグレインミール |
繰り返しが大幅に減りました!しかし、まだ何かが足りません。これらの組み合わせが最も珍しいからといって、それが面白いとは限りません。なぜか人々はワインと冷凍ご飯を一緒に買わない、あるいはビールと魚を一緒に買わないのです。だから何だというのでしょう?これらの組み合わせをよりスパイシーに、より面白くするにはどうすればよいでしょうか?
ユーモア指数を持つ商品が必要です。
何が面白いのか?
Claudeは、約1,000の食料品ブリックすべてに、タブー度やスタンダップコメディのネタになりやすさに基づいて、0〜1のユーモアスコアを忠実に付けました。一般的な範囲は以下の通りです。
| スコア | ブリック数 | 例 |
|---|---|---|
| 0.0 – 0.1 | 726 | ミルク、アルメニアキュウリ、ハーブ、調理済み魚 |
| 0.1 – 0.3 | 271 | 菓子、調理用ワイン、ブレスケア、耳ケア |
| 0.3 – 0.5 | 50 | エナジードリンク、トイレットペーパー、義歯ケア、ダイエット補助剤 |
| 0.5 – 0.7 | 12 | タコ/魚の目治療薬、フットケア、医療用潤滑剤、食欲抑制剤 |
| 0.7 – 1.0 | 15 | コンドーム、インティメイト潤滑剤、避妊具、浣腸/ダウチ |
(すべてのブリックのユーモアスコアはこちらにあります)
これで、各組み合わせの累積ユーモアを希少性と掛け合わせることができ、はるかに良い結果が得られるはずです。試してみましょう。
最も面白い珍しい組み合わせ:ペア
| ブリック1 | ブリック2 |
|---|---|
| ニンニク | 下痢止め薬 |
| ケール | 浣腸/ダウチ |
| ニンニク | 浣腸/ダウチ |
| フラットパセリ | コンドーム |
| ベビーフード | 浣腸/ダウチ |
| コリアンダー | 浣腸/ダウチ |
| ベビーフード | コンドーム |
| ベビーフード | 大人用おむつ |
最も面白い珍しい組み合わせ:トリプル
| ブリック1 | ブリック2 | ブリック3 |
|---|---|---|
| チーズ | アーモンドミルク | インティメイト潤滑剤 |
| ミルク | アーモンドミルク | インティメイト潤滑剤 |
| リンゴ | アボカド | インティメイト潤滑剤 |
| オニオン | ラズベリー | 制酸剤/放屁緩和剤 |
| リンゴ | 缶詰野菜 | コンドーム |
| ミルク | アーモンドミルク | 浣腸/ダウチ |
最も面白い珍しい組み合わせ:クアッド
| ブリック1 | ブリック2 | ブリック3 | ブリック4 |
|---|---|---|---|
| ミルク | アーモンドミルク | トマト | 制酸剤/放屁緩和剤 |
| リンゴ | アボカド | アイスクリーム | 制酸剤/放屁緩和剤 |
| チーズ | ミルク | リンゴ | コンドーム |
| バナナ | リンゴ | ケール | 制酸剤/放屁緩和剤 |
| バナナ | ヨーグルト | ミルク | 浣腸/ダウチ |
ずっと良くなりました!中には思わず吹き出してしまったものもあります。ケールと浣腸?パセリとコンドーム?ベビーフードと大人用おむつ?どこかにジョークがあるはずです。
とはいえ、十分な量の買い物カートがあれば、偶然によって面白い組み合わせがより一般的になります。一週間分の食料品をすべて注文しているなら、つまらないものからよりスパイシーなものまで、すべてを手に入れるでしょう。では、注文が2〜3品しかない、小さなカートだけを見るとどうなるでしょうか?
面白い小さなカート:2品
| 商品1 | 商品2 |
|---|---|
| ビタミンDミルク | ウルトラスリムコンドーム |
| コーラ | ウルトラスリムコンドーム |
| オーガニックバナナの袋 | 抗下痢薬 |
| イタリアンブレッド | ウルトラスリムコンドーム |
| オレオサンドイッチクッキー | パーソナル潤滑剤 |
| オーガニックバナナの袋 | 失禁パンツ |
面白い小さなカート:3品
| 商品1 | 商品2 | 商品3 |
|---|---|---|
| ストリングチーズ | ポテトチップス | オメプラゾール酸還元剤 |
| ブラックチェリーヨーグルト | ハスアボカド | オメプラゾール酸還元剤 |
| ストリングチーズ | ブラックチェリーヨーグルト | パーソナル潤滑剤 |
| ストリングチーズ | イタリアンブレッド | パーソナル潤滑剤 |
| ビタミンDミルク | イタリアンブレッド | 抗下痢薬 |
| オーガニックバナナの袋 | コーラ | パーソナル潤滑剤 |
小さな注文は一般的ではありませんが、それでも面白いものがいくつかありました。オレオと潤滑剤?楽しそうですね!
[画像: image: a lonely grocery cart with just two items in it]