HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

PTP: Previous-Token PredictionベースのLLM逆引きによるほぼ正確なプロンプト再構築

Previous-Token Prediction Based LLM Inversion for Prompt Reconstruction (arxiv.org)

42 pointsby dalmo37 コメント

要約

本研究では、大規模言語モデル(LLM)の応答から元のプロンプトを復元する「LLM逆引き」タスクにおいて、新しい手法「PTP(Previous-Token Prediction)」を提案しています。従来のモデル重みやロジットへのアクセスを必要とする手法とは異なり、本手法はブラックボックス設定で動作し、ターゲットLLM自身から生成したデータで学習した逆言語モデルを使用します。これにより、元のプロンプトを忠実に再現し、多様なプロンプト生成も可能にします。

全文翻訳

Computer Science > Computation and Language

arXiv:2607.29378 (cs)

[提出日: 2026年7月31日]

タイトル: PTP: Previous-Token PredictionベースのLLM逆引きによるほぼ正確なプロンプト再構築

著者: Pirzada Suhail, Nagasai Saketh Naidu, Atanu R Sinha, Amit Sethi

Pirzada Suhailら3名の著者による、PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstructionというタイトルの論文のPDFを表示します。

PDFを表示 HTML (実験的)

要旨: 大規模言語モデル(LLM)は、次のトークンを自己回帰的にサンプリングすることでテキストを生成します。これにより、プロンプトと応答の間には本質的に多対多のマッピングが生じ、観測された出力からプロンプトを推測するタスクが複雑になります。LLM逆引きに関する先行研究では、プロンプト回復を意味的再構築タスクとして位置づけています。これらは、大規模な外部データセットで事前学習済みシーケンス・トゥ・シーケンスモデルをファインチューニングすることに依存しており、モデルの重みまたはロジットへのアクセスを必要として、意味的に妥当なプロンプトを生成します。対照的に、我々は補助的な手段なしで、ブラックボックス設定で与えられたLLMを逆引きするための機能的なアプローチを提示します。我々は、ターゲットLLM自体から合成的に生成されたデータ上で、明示的な逆言語モデルをゼロから完全に学習させます。順方向の次トークン予測と同様に、我々の逆モデルは前トークン予測を使用して学習され、順方向プロセスと逆方向プロセスの間に生成的なリンクを確立し、忠実なプロンプト再構築を可能にします。さらに、サンプリングによる多様なプロンプト再構築を自然にサポートし、そのようなすべてのプロンプトが順方向のターゲットLLMの下で類似した応答を誘発します。我々のアプローチはデータセット全体で一般化し、異なるLLMによって生成された応答からプロンプトを再構築する際の転移性を示します。さらに、プロンプトと応答の再構築のためのトークンベースの評価メトリクスのセット全体で、我々のアプローチは先行研究を上回ります。

件名:Computation and Language (cs.CL); Machine Learning (cs.LG)
引用:arXiv:2607.29378 [cs.CL]
(またはこのバージョンについては arXiv:2607.29378v1 [cs.CL])
https://doi.org/10.48550/arXiv.2607.29378 DataCite経由のarXiv発行DOI

提出履歴

送信者: Pirzada Suhail
メール表示
[v1] Fri, 31 Jul 2026 13:01:43 UTC (658 KB)

全文リンク:

論文にアクセス:

Pirzada Suhailら3名の著者による、PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstructionというタイトルの論文のPDFを表示します。

[画像: license icon]ライセンスを表示

現在の閲覧コンテキスト:

cs.CL

< 前   |   次 >

新規 | 最近 | 2026-07

以下で閲覧に変更:

cs
cs.LG

参考文献と引用:

読み込み中...

BibTeX形式の引用

読み込み中...

提供元:

ブックマーク

[画像: BibSonomy][画像: Reddit]

書誌ツール

書誌および引用ツール

書誌エクスプローラー トグル

書誌エクスプローラー (Explorerとは?)

Connected Papers トグル

Connected Papers (Connected Papersとは?)

Litmaps トグル

Litmaps (Litmapsとは?)

scite.ai トグル

scite Smart Citations (Smart Citationsとは?)

コード、データ、メディア

この論文に関連するコード、データ、メディア

alphaXiv トグル

alphaXiv (alphaXivとは?)

コードへのリンク トグル

CatalyzeX Code Finder for Papers (CatalyzeXとは?)

DagsHub トグル

DagsHub (DagsHubとは?)

GotitPub トグル

Gotit.pub (GotitPubとは?)

Huggingface トグル

Hugging Face (Huggingfaceとは?)

ScienceCast トグル

ScienceCast (ScienceCastとは?)

デモ

デモ

Replicate トグル

Replicate (Replicateとは?)

Spaces トグル

Hugging Face Spaces (Spacesとは?)

Spaces トグル

TXYZ.AI (TXYZ.AIとは?)

関連論文

レコメンダーと検索ツール

Influence Flowerへのリンク

Influence Flower (Influence Flowersとは?)

Core recommender トグル

CORE Recommender (COREとは?)

  • 著者
  • 会場
  • 機関
  • トピック

arXivLabsについて

arXivLabs: コミュニティ協力者との実験的なプロジェクト

arXivLabsは、協力者が当社のウェブサイト上で直接新しいarXivの機能を開発および共有できるフレームワークです。

arXivLabsと協力する個人および組織は、オープンさ、コミュニティ、卓越性、ユーザーデータプライバシーという当社の価値観を受け入れ、遵守しています。arXivはこの価値観にコミットしており、それらを遵守するパートナーのみと協力します。

arXivのコミュニティに価値をもたらすプロジェクトのアイデアがありますか? arXivLabsの詳細をご覧ください。

この論文の著者のうち、誰が推薦者ですか? | MathJaxを無効にする (MathJaxとは?)