HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

「逆転の呪い」:「AはBである」と学習したLLMは「BはAである」を学習しない

The Reversal Curse: LLMs trained on "A is B" fail to learn "B is A" (arxiv.org)

17 pointsby Anon8430 コメント

要約

大規模言語モデル(LLM)は「AはBである」という形式の文で学習しても、「BはAである」という逆方向の関係を自動的に一般化できない「逆転の呪い」という驚くべき一般化の失敗を抱えています。例えば、「ワレンチナ・テレシコワは宇宙に行った最初の女性である」と学習しても、「宇宙に行った最初の女性は誰か?」という質問には自動的に答えられません。この現象はモデルサイズやモデルファミリーを超えて頑健であり、データ拡張によっても軽減されないことが確認されました。

全文翻訳

タイトル: リバーサル・カース:'AはBである'で学習したLLMは、'BはAである'を学習できない

PDFを見る HTML(実験的)

要約: 自己回帰型大規模言語モデル(LLM)における驚くべき一般化の失敗を明らかにします。「AはBである」という形式の文でモデルが学習した場合、自動的に逆方向の「BはAである」に一般化することはできません。これがリバーサル・カースです。例えば、「ワレンチナ・テレシコワは宇宙へ行った最初の女性だった」という文で学習したモデルは、「宇宙へ行った最初の女性は誰でしたか?」という質問に自動的に答えられるようにはなりません。さらに、正しい答え(「ワレンチナ・テレシコワ」)の尤度は、ランダムな名前の場合よりも高くなることはありません。したがって、モデルは学習セットに存在する一般的なパターンを一般化できません。つまり、「AはBである」が発生した場合、「BはAである」が発生する可能性が高くなるというパターンです。ただし、「AはBである」がコンテキスト内に現れる場合、モデルは逆の関係を推論できることに注意が必要です。架空の文「Uriah HawthorneはAbyssal Melodiesの作曲家である」でGPT-3とLlama-1をファインチューニングし、「Abyssal Melodiesを作曲したのは誰ですか?」という質問に正しく答えられないことを示すことで、リバーサル・カースの証拠を提供します。リバーサル・カースは、モデルサイズやモデルファミリー全体でロバストであり、データ拡張によって軽減されることはありません。また、実世界の有名人に関する質問(例:「トム・クルーズの母親は誰ですか? [A: Mary Lee Pfeiffer]」)と、その逆の質問(「Mary Lee Pfeifferの息子は誰ですか?」)についてChatGPT(GPT-3.5およびGPT-4)を評価します。GPT-4は前者のような質問に79%の確率で正しく答えるのに対し、後者では33%でした。
コードはこちらのURLで入手可能です。

コメント:21ページ、11図
件名:計算と言語 (cs.CL); 人工知能 (cs.AI); 機械学習 (cs.LG)
引用:arXiv:2309.12288 [cs.CL]
(またはこのバージョンについては arXiv:2309.12288v4 [cs.CL])
https://doi.org/10.48550/arXiv.2309.12288 arXiv発行のDOI(DataCite経由)

投稿履歴

From: Owain Evans
v1 Thu, 21 Sep 2023 17:52:19 UTC (1,320 KB)
v2 Fri, 22 Sep 2023 18:08:20 UTC (1,319 KB)
v3 Thu, 4 Apr 2024 21:25:17 UTC (1,336 KB)
v4 Sun, 26 May 2024 17:45:21 UTC (1,336 KB)