HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Instacartの320万件の注文における面白い商品の共起

Funny item co-occurrences in 3.2M Instacart orders (rogerdickey.com)

33 pointsby rogerdickey65 コメント

要約

この記事は、Instacartの320万件の注文データを用いて、通常では考えにくい商品の組み合わせを分析した結果を報告しています。当初、単純な共起頻度ではノイズが多く、興味深い結果が得られませんでしたが、商品の詳細なバリアントをGPC(Global Product Classification)という標準的な分類システムにマッピングし直すことで、より意味のある「ブリック」レベルでの共起分析が可能になりました。この手法により、ワインと冷凍穀物、スピリッツとベビーフードといった、より示唆に富む商品の組み合わせが特定されました。

全文翻訳

Instacartの320万件の注文に見られる面白い商品の共起

先日、食料品店で人々が購入する商品の最も奇妙な組み合わせは何だろうかと、ぼんやりと考えていました。レジ係がくすくす笑い、後で友人に「おい、この客はコンドームとリンゴしか買わなかったんだぜ?」と話してしまうような買い物カートのことです。

そこでClaudeを起動し、見つけられるレシートデータを調べ始めました。

最終結果については、一番下までスクロールしてください。それ以外の場合は、ここまでの道のりを読んでください。

食料品店は、このようなデータを非常に厳重に管理しています。レシートデータを収集する消費者向けアプリ(ReceiptHogやFetchなど)はありますが、それらは presumably ヘッジファンドなどに販売されているのでしょう。しかし、数年前、Instacartはレコメンデーションアルゴリズムを最適化するための機械学習コンペティションの一環として、300万件の注文データをオープンソース化しました。このデータはKaggleで今でも入手可能で、非常に豊富です。私たちが欲しいのは、レコメンデーションアルゴリズムとは正反対のものですが、このデータはうまく機能するはずです。

[画像: screenshot: the Instacart dataset page on Kaggle]

Instacartのデータセットには以下が含まれています:

  • 3,214,874件の注文
  • 注文あたりの平均商品数 約10点
  • 49,688種類のユニークな商品
  • 134種類のユニークな「通路」(商品カテゴリ)

ですから、あとは各カートを見て、どの商品の組み合わせが最も現れにくいかを確認するだけですよね?試してみましょう。いくつかのグルーピングをテストするために、ペア、トリプル、クアッドを含めました。

商品の共起回数:ペア
回数商品1商品2
1バナナExtra Fancy Unsalted Mixed Nuts
1オーガニックハスアボカドベビーキュウリ
1オーガニックハスアボカドトレイルミックス
1オーガニックバナナの袋バナナ
1ライムトレイルミックス
1オーガニックガーネットスイートポテト(ヤム)クレメンタイン
1オーガニックアボカドゼロカロリーコーラ
1オーガニックフジリンゴベビーキュウリ

注:ペアの最大共起回数は62,341です。

商品の共起回数:トリプル
回数商品1商品2商品3
1バナナオーガニックバナナの袋ソーダ
1バナナオーガニックバナナの袋クレメンタイン
1バナナオーガニックバナナの袋スパークリングミネラルウォーター
1バナナオーガニックバナナの袋フラットパセリ、束
1バナナオーガニックバナナの袋スパークリングウォーター
1バナナオーガニックバナナの袋フレッシュCA産卵
1バナナオーガニックバナナの袋赤種なしブドウ

注:トリプルの最大共起回数は15,066です。

商品の共起回数:クアッド
回数商品1商品2商品3商品4
1バナナオーガニックバナナの袋オーガニックベビーほうれん草ハーフ&ハーフ
1バナナオーガニックバナナの袋オーガニック全乳オーガニックズッキーニ
1バナナオーガニックバナナの袋オーガニックアボカドオーガニックハーフ&ハーフ
1バナナオーガニックバナナの袋イチゴオーガニックレモン
1バナナオーガニックバナナの袋オーガニックハスアボカドスプリングウォーター
1バナナオーガニックバナナの袋オーガニックイエローオニオンオーガニックフジリンゴ

注:クアッドの最大共起回数は3,828です。

うーん。これらはあまり面白くないですね。おそらく、単一の組み合わせが非常に多く、上位5〜10件しか見ていないため、ソート方法を改善する必要があるからでしょう。

考えられるユニークな商品のペアは約12億通りあります(5万種類の商品からの順序なしペア)。そのうち約97%は私たちのデータに一度も現れません。そして、現れるものの中で、約2200万ペアがちょうど1回だけ出現します。ほとんどすべてのペアがゼロまたは1でタイになると、「最も少ない」は無意味になります。

では、どのようにソートすべきでしょうか?Claudeは「リフト」で各組み合わせをランク付けするという良いアイデアを出しました。これは、実際にどれくらいの頻度で出現するかを、出現すると予想される頻度で割ったものです。リンゴとオレンジのような非常に一般的な2つのアイテムがある場合、それらはたくさん共起すると予想されます。もし共起しないなら、それは注目に値し、そのペアはより高くランク付けされるべきです。では、これを試してみましょう。

リフトによる商品の共起:ペア
リフト商品1商品2
0.0007バナナExtra Fancy Unsalted Mixed Nuts
0.0010オーガニックハスアボカドベビーキュウリ
0.0012オーガニックハスアボカドトレイルミックス
0.0017オーガニックバナナの袋バナナ
0.0019ライムトレイルミックス
0.0020オーガニックガーネットスイートポテト(ヤム)クレメンタイン
0.0021オーガニックアボカドゼロカロリーコーラ
0.0025オーガニックフジリンゴベビーキュウリ
リフトによる商品の共起:トリプル
リフト商品1商品2商品3
0.0016バナナオーガニックバナナの袋ソーダ
0.0019バナナオーガニックバナナの袋クレメンタイン
0.0032バナナオーガニックバナナの袋スパークリングミネラルウォーター
0.0043バナナオーガニックバナナの袋フラットパセリ、束
0.0047バナナオーガニックバナナの袋スパークリングウォーター
0.0056バナナオーガニックバナナの袋フレッシュCA産卵
リフトによる商品の共起:クアッド
リフト商品1商品2商品3商品4
0.0111バナナオーガニックバナナの袋オーガニックベビーほうれん草ハーフ&ハーフ
0.0128バナナオーガニックバナナの袋オーガニック全乳オーガニックズッキーニ
0.0137バナナオーガニックバナナの袋オーガニックアボカドオーガニックハーフ&ハーフ
0.0148バナナオーガニックバナナの袋イチゴオーガニックレモン
0.0155バナナオーガニックバナナの袋オーガニックハスアボカドスプリングウォーター

パターンが見えてきた気がします…もちろん、人がオーガニックバナナと非オーガニックバナナの両方を買うことは考えにくいですが、これはより大きな問題、つまり50,000もの商品が細かすぎることを示唆しています。各商品には dozen以上のバリエーションがあります。コンドーム製品は28種類、生鮮食品コーナーだけでもリンゴ製品は110種類あります。そのため、私たちのくだらない「コンドーム+リンゴ」の例は、ノイズを乗り越えるのに苦労するでしょう。

私たちは49,688の商品(細かすぎる)を134の通路(広すぎる)に分類しています。その中間のレベルが必要です。分類器を構築しましょう!しかし、どのように?

GPCの登場

ほとんどすべての食料品小売業者が、GS1 Global Product Classification (GPC) という商品分類システムを使用していることが判明しました。GPCは、大型店や食料品店で見かける可能性のあるあらゆるものを網羅したオントロジーです。製品の世界をセグメント(キャンプ、履物、照明、工具、食品…)に分割し、それらはファミリー(パン、飲料、果物、肉、野菜…)を含み、それらはクラス(豆、メロン、ピーマン、キノコ…)を含み、それらはブリック(シャントレル、エノキタケ、トリュフ、モレル…)を含みます。

[画像: screenshot: the GPC browser showing the segment → family → class → brick hierarchy]

一部のブリックは、さらにサブタイプや属性まで深掘りしますが、例えばモレルは成長方法としてCONVENTIONALまたはORGANICを持つことができます。しかし、私たちの目的のためにはブリックレベルで止めることができます。GPCシステム全体には5,318のブリックがあります。多くのセグメント(配管、生きた動物、産業システムなど)は食料品店では販売されていないため、それらを削除できます。これにより、食料品に関連する9つのセグメントと合計1,697のブリックが残ります。そして、私たちの商品は約1,000のブリックしか占めていません。これは適切な粒度レベルのように思え、複雑さを50倍削減できます!

古い分類器を起動する時が来ました。約50,000の商品を約1,000のブリックに押し込むため、標準的な2段階のアプローチを使用しました。

  1. 各商品のブリックオプションを絞り込む。 まず、各商品と各ブリックの埋め込み(embedding)を取得します。これはローカルでqwen3-embedding:8bを使用して行いました。次に、各商品について、コサイン類似度で最も近い10個のブリックを見つけます。
  2. 最適なブリックを選択する。 LLMを使用して、10個のオプションから各商品に最適なブリックを選択します。これには約5ドルかかり、gpt-4.1-miniを使用して60件のリクエストを並列実行したところ、数分で完了しました。商品からブリックへの完全なマッピングは、他の誰かの役に立つかもしれないのでこちらにあります。

これで、共起アルゴリズムを再度実行し、商品ではなくブリックを使用することでより良い結果が得られるか見てみましょう。

リフトによるブリックの共起:ペア
リフトブリック1ブリック2
0.004ワイン – スティルグレイン/シリアル – すぐに食べられない(冷凍)
0.007スピリッツグレイン/シリアル – すぐに食べられない(冷凍)
0.012ビールベビーリーフ
0.013スピリッツデーツ
0.019ワイン – スティルステム野菜(生)
0.020スピリッツ魚 – 未加工/未処理
0.022ビール魚 – 未加工/未処理(常温保存)
リフトによるブリックの共起:トリプル
リフトブリック1ブリック2ブリック3
0.014チーズワイン – スティル冷凍グレイン/シリアル
0.019ミルクセイボリーグレインミール(常温保存)スピリッツ
0.019キュウリベビー/乳幼児用特殊食品スピリッツ
0.020ケールクレメンタインワイン – スティル
0.021ブロッコリーベビー/乳幼児用特殊食品スピリッツ
リフトによるブリックの共起:クアッド
リフトブリック1ブリック2ブリック3ブリック4
0.027バナナイチゴニンニクスピリッツ
0.028ミルク代替品イチゴニンジンスピリッツ
0.032バナナミルク代替品ベビーフードスピリッツ
0.035バナナミルクワイン – スティルセイボリーグレインミール

繰り返しが大幅に減りました!しかし、まだ何かが足りません。これらの組み合わせが最も珍しいからといって、それが面白いとは限りません。なぜか人々はワインと冷凍ご飯を一緒に買わない、あるいはビールと魚を一緒に買わないのです。だから何だというのでしょう?これらの組み合わせをよりスパイシーに、より面白くするにはどうすればよいでしょうか?

ユーモア指数を持つ商品が必要です。

何が面白いのか?

Claudeは、約1,000の食料品ブリックすべてに、タブー度やスタンダップコメディのネタになりやすさに基づいて、0〜1のユーモアスコアを忠実に付けました。一般的な範囲は以下の通りです。

スコアブリック数例
0.0 – 0.1726ミルク、アルメニアキュウリ、ハーブ、調理済み魚
0.1 – 0.3271菓子、調理用ワイン、ブレスケア、耳ケア
0.3 – 0.550エナジードリンク、トイレットペーパー、義歯ケア、ダイエット補助剤
0.5 – 0.712タコ/魚の目治療薬、フットケア、医療用潤滑剤、食欲抑制剤
0.7 – 1.015コンドーム、インティメイト潤滑剤、避妊具、浣腸/ダウチ

(すべてのブリックのユーモアスコアはこちらにあります)

これで、各組み合わせの累積ユーモアを希少性と掛け合わせることができ、はるかに良い結果が得られるはずです。試してみましょう。

最も面白い珍しい組み合わせ:ペア
ブリック1ブリック2
ニンニク下痢止め薬
ケール浣腸/ダウチ
ニンニク浣腸/ダウチ
フラットパセリコンドーム
ベビーフード浣腸/ダウチ
コリアンダー浣腸/ダウチ
ベビーフードコンドーム
ベビーフード大人用おむつ
最も面白い珍しい組み合わせ:トリプル
ブリック1ブリック2ブリック3
チーズアーモンドミルクインティメイト潤滑剤
ミルクアーモンドミルクインティメイト潤滑剤
リンゴアボカドインティメイト潤滑剤
オニオンラズベリー制酸剤/放屁緩和剤
リンゴ缶詰野菜コンドーム
ミルクアーモンドミルク浣腸/ダウチ
最も面白い珍しい組み合わせ:クアッド
ブリック1ブリック2ブリック3ブリック4
ミルクアーモンドミルクトマト制酸剤/放屁緩和剤
リンゴアボカドアイスクリーム制酸剤/放屁緩和剤
チーズミルクリンゴコンドーム
バナナリンゴケール制酸剤/放屁緩和剤
バナナヨーグルトミルク浣腸/ダウチ

ずっと良くなりました!中には思わず吹き出してしまったものもあります。ケールと浣腸?パセリとコンドーム?ベビーフードと大人用おむつ?どこかにジョークがあるはずです。

とはいえ、十分な量の買い物カートがあれば、偶然によって面白い組み合わせがより一般的になります。一週間分の食料品をすべて注文しているなら、つまらないものからよりスパイシーなものまで、すべてを手に入れるでしょう。では、注文が2〜3品しかない、小さなカートだけを見るとどうなるでしょうか?

面白い小さなカート:2品
商品1商品2
ビタミンDミルクウルトラスリムコンドーム
コーラウルトラスリムコンドーム
オーガニックバナナの袋抗下痢薬
イタリアンブレッドウルトラスリムコンドーム
オレオサンドイッチクッキーパーソナル潤滑剤
オーガニックバナナの袋失禁パンツ
面白い小さなカート:3品
商品1商品2商品3
ストリングチーズポテトチップスオメプラゾール酸還元剤
ブラックチェリーヨーグルトハスアボカドオメプラゾール酸還元剤
ストリングチーズブラックチェリーヨーグルトパーソナル潤滑剤
ストリングチーズイタリアンブレッドパーソナル潤滑剤
ビタミンDミルクイタリアンブレッド抗下痢薬
オーガニックバナナの袋コーラパーソナル潤滑剤

小さな注文は一般的ではありませんが、それでも面白いものがいくつかありました。オレオと潤滑剤?楽しそうですね!

[画像: image: a lonely grocery cart with just two items in it]