埋め込みの普遍的ジオメトリの活用
Harnessing the Universal Geometry of Embeddings (arxiv.org)
要約
本研究では、ペアデータ、エンコーダー、または定義済みのマッチセットなしに、テキスト埋め込みをあるベクトル空間から別のベクトル空間へ変換する初のメソッドを提案しています。この教師なしアプローチは、普遍的な潜在表現（プラトニック表現仮説で推測される普遍的な意味構造）との間で、任意の埋め込みを翻訳します。この翻訳は、異なるアーキテクチャ、パラメータ数、トレーニングデータセットを持つモデルペア間で高いコサイン類似性を達成します。埋め込みベクトルのみにアクセスできる攻撃者は、ベクトルデータベースのセキュリティに深刻な影響を与える可能性があり、基になるドキュメントに関する機密情報を抽出できます。
全文翻訳
Title:埋め込みの普遍的な幾何学の活用
Abstract:我々は、ペアデータ、エンコーダー、または定義済みのマッチセットなしで、テキスト埋め込みをあるベクトル空間から別のベクトル空間へ翻訳する初のメソッドを導入します。我々の教師なしアプローチは、普遍的な潜在表現（プラトン的表現仮説によって推測される普遍的な意味構造）との間で、あらゆる埋め込みを翻訳します。我々の翻訳は、異なるアーキテクチャ、パラメータ数、およびトレーニングデータセットを持つモデルペア間で高いコサイン類似性を達成します。
未知の埋め込みを、その幾何学を維持しながら別の空間に翻訳する能力は、ベクトルデータベースのセキュリティに深刻な影響を与えます。埋め込みベクトルにのみアクセスできる攻撃者は、分類や属性推論に十分な、基になるドキュメントに関する機密情報を抽出できます。
| Subjects: | Machine Learning (cs.LG) |
| Cite as: | arXiv:2505.12540 [[cs.LG]] |
| (or arXiv:2505.12540v4 [[cs.LG]] for this version) | |
| https://doi.org/10.48550/arXiv.2505.12540 DataCite経由のarXiv発行DOI |
Submission history
From: Rishi Jha [メールを表示]
[[v1] Sun, 18 May 2025 20:37:07 UTC (3,179 KB)
[[v2] Tue, 20 May 2025 15:38:41 UTC (3,180 KB)
[[v3] Wed, 25 Jun 2025 21:04:02 UTC (2,407 KB)
[v4] Mon, 26 Jan 2026 14:47:13 UTC (2,424 KB)