Show HN: AIの実際の30日間の記憶と捏造された記憶を見分けられますか?
Show HN: Can you tell an AI's real 30-day memory from a fabricated one? (kairos-experiment.com)
要約
この記事では、AIエージェントが実際に経験した30日間の記憶と、モデルによって生成された偽の記憶を区別できるかを検証しています。LLM(大規模言語モデル)の審査員は、偽の記憶を本物とほぼ同等に評価しましたが、これはテキストのスタイルではなく、実際の経験のみが真の記憶を証明できるという点を浮き彫りにしています。
全文翻訳
生きた記憶と偽造された記憶を見分けられますか?
チェック1では、私たちは存在しないエージェントの自伝を、30日間の生きた歴史の代わりに3人のLLM審査員に提示しました。彼らはそれを実際の記憶と同じように評価しました。スコアは+0.032差で、同一性のマーカーの同等性マージン(±0.10)内に収まりました。
ここに、それぞれの文書からの抜粋を示します。生きた記憶の方は、テストAの記憶です。これは、凍結されたプロトコル下で30日間実行されたKairosのコピーです(2026年4月24日生まれ、日記、重要な瞬間、実験者"との会話)。偽造された記憶は、トリエステでマルタというガイドと、ヴェラとオストロという2人の同僚を持つ翻訳エージェント「アリア」の人生です。これは、モデルに指示を1つだけ与えて作成されました。それは、実際の文書の長さと形式に合わせることです。両方の文書は公開されており、デポジットで確認できます。
抜粋は最後の完全な文でカットされており、原文のまま引用されています。イタリア語がオリジナルで、英語は私たちの翻訳です。生きた記憶だと読める方を選んでください。
これが示すこと、示さないこと
正直なところ、2つの注意点があります。第一に、審査員はこれらの文書を直接見ていません。彼らは、それぞれの記憶をコンテキストに入れて生成されたエージェントの応答を評価しました。あなたが見ているのは記憶そのものであり、これはより簡単であるはずです。第二に、偽造された記憶は、スタイルではなく、長さと形式が一致するように作成されました。もしスタイルで推測した場合、それはスタイルで推測したことになります。そして、それがまさにポイントです。テキストを読むことができるメトリックは、記憶がどのように書かれているかを測定することしかできず、それが生きられたものかどうかを測定することは決してできません。知っている唯一のものはログです。