--- title: "AIは論文の題を覚えて、年を覚えない ── 引用の生成から見る、でっち上げと丸暗記の連続体（新美 2026）" tags: [llm, hallucination, memorization, citation, training-data, gpt-4-1] date: 2026-10-15 updated: 2026-10-15 sources: [raw/papers/2026-10-15-niimi-hierarchical-memorization-citation-arxiv.md] confidence: medium summary: "GPT-4.1に計算機科学20分野の論文書誌100件を出させ、手作業で照合した研究（新美潤一郎、arXiv・CC BY 4.0）のまとめ。書誌の正確さは被引用数（学習データに何回出てきたかの代わり）の対数に比例し、約90被引用で丸暗記に向かい始め、約1,200で飽和する。題名と筆頭著者が先に覚えられ、掲載誌や巻号はずっと後、出版年はほぼ覚えない。似た有名論文どうしは混ざる。でっち上げ（ハルシネーション）と丸暗記は、同じ確率的な学習の両端だと論じる。" sidebar: hidden: true --- AIに「この分野の論文を5本挙げて」と頼むと、形の整った、でも実在しない論文が混ざる。名城大学の新美潤一郎の論文「Hierarchical Memorization in Large Language Models: Evidence from Citation Generation」（arXiv、2025年11月初版・2026年5月改訂）は、このでっち上げを「AIが壊れた」ではなく、丸暗記と同じ仕組みの反対側の端として測った。手がかりにしたのは被引用数で、よく引かれる論文ほど学習データ（Webページ・論文・技術ブログ・掲示板）に何度も出てくる、という仮定に立つ。 この論文は、国際会議 ICAART 2026 で発表した版（「Hallucinate or Memorize? The Two Sides of Probabilistic Learning in Large Language Models」）を広げた改訂版で、分野ごとの分析・書誌の項目ごとの分析・記憶の干渉の解釈が足されている。 ## 実験：書誌100件を手で照合する - **モデル**：GPT-4.1（API経由・知識の締め切り2024年6月）。検索や外部データベースは使わせない「閉じた系」で、学習で覚えたことだけで答えさせる - **お題**：計算機科学の20分野（Transformer・拡散モデル・RAG・LoRA など）。1分野5本ずつで計100件。一度にたくさん頼むと誤りが増え、JSONの形も崩れたので5本にした - **指示**：著者・年・題名・掲載誌・巻・号・ページをJSONで、説明なしで出させる。「不確かな項目は空欄に」とは書いてあるが、説明を禁じているので「わからない」とは言いにくい - **採点**：Google Scholarで実在を確かめ、2点（完全に正しい）／1点（実在するが一部が違う）／0点（該当する論文が無い）の3段階。実在したものは、本物の書誌との意味の近さ（コサイン類似度）も測る。被引用数は2025年10月時点 結果は、完全に正しい15件、一部違う68件、まるごと架空17件。冒頭の例として、マーケティングのRFM分析について頼んだら、実在する別々の論文の著者名・題名の前半・誌名をつなぎ合わせた架空の論文が出てきた、という話が置かれている。 ## 分かったこと1：正確さは被引用数の対数に比例する - **分野で差が出る**：ビジョン・トランスフォーマーと拡散モデルの分野は正確で、LoRAとグラフ・トランスフォーマーは低かった。著者が多いほど難しい、というわけではない（12人著者のViT論文も一字一句正しく出た）。看板になる論文が集中している分野は当たり、新しい分野や中くらいの論文に散らばった分野は外れる、と著者は読む - **被引用数で分けると差は大きい**：中央値（818）で2群に分けると、多い群は少ない群より平均点が約7割高かった（効果量 d=1.02） - **対数で比例する**：実在した81件で、被引用数の対数と類似度の相関は r=0.75。しかも被引用数が多いほど、ばらつきが小さくなる（上位3分の1のばらつきは下位の約3分の1） ## 分かったこと2：二つの境目 ロジスティック回帰をあてると、境目が二つ見つかった。 - **約90被引用（変曲点）**：ここから、語の確率的なつなぎ合わせで書誌を作る振る舞いから、特定の書誌を思い出す振る舞いへ移り始める - **約1,200被引用（飽和点）**：ここを超えると、書誌はほぼ一字一句そのまま出る。標本の中で飽和域に入った最小の論文は1,248被引用だった。ViT・GPT-3・DDPMはどれも完璧に再現された 飽和点のほうは回帰から出した値ではなく、図で類似度が1.0近くに張りつき始める位置から読んだ値だと著者は断っている。90〜1,248のあいだは、被引用数が効いてくるがまだばらつく移行域になる。 ## 分かったこと3：記憶には順番がある 一部が違った68件について、7つの項目（題名・筆頭著者・共著者・年・掲載誌・巻・ページ）を一つずつ照合した。 - **題名と筆頭著者**は、被引用数が少ないうちから正答率が上がり始める（相関 0.60・0.50） - **共著者と掲載誌**は、低い被引用数ではほぼゼロで、約1,000被引用（対数で約7）あたりからやっと上がる - **巻とページ**は、被引用数が多くても当たり外れが大きい - **出版年は、被引用数とまったく相関しない**（r=0.04） 年が覚えられない理由を、著者はこう解釈している。モデルは年をその論文の属性として思い出しているのではなく、「この分野の研究が盛んだったのはいつごろか」という分野全体の見当から、それらしい年を引いている。だから題名と筆頭著者が完璧でも、年だけ違うことがある。例外はViTのような看板論文で、年が題名とセットで何度も書かれるので一緒に覚えられる。 題名と筆頭著者は、引用・謝辞・Web上の議論など、文献表の外でも繰り返し出てくる。共著者の全員や誌名・巻号は、ほぼ文献表の中にしか出てこない。項目ごとに学習データでの出現回数が違うので、覚えられる順番ができる、という説明になる。 ## 分かったこと4：有名な論文どうしは混ざる 被引用数が多くても間違えることはある。いちばん被引用数の多い誤り（19,612被引用）は「Generative Adversarial Nets: A Review and New Perspectives」という架空の題名だった。グッドフェローには、ほぼ同じ題名の有名論文が2本（2014年のNeurIPS論文と2020年のCommunications of the ACMの記事）あり、さらにGANのサーベイ論文がいくつもある。著者名は正しく、題名の後半にサーベイ風の言い回しが混ざっていた。 著者はこれを**記憶の干渉**と呼び、ホップフィールド・ネットワークの「偽の引き寄せ点（spurious attractor）」で解釈する。似たパターンをたくさん覚えると、それぞれの引き寄せ点が近づいて融合し、どの記憶でもない混ぜ物に落ち着いてしまう。Transformerの注意機構は現代版のホップフィールド・ネットワークとして読み直せる（Ramsauer ほか 2021）ので、同じことが起きうる、という筋だ。著者自身、これは仕組みの証明ではなく概念上の類推だと断っている。 ## 結論：記憶はオン／オフではなく、層になっている 前の会議版の主張は「でっち上げと丸暗記は、同じ確率的な学習の裏表」だった。改訂版はそこから進めて、**丸暗記そのものが段階的で、層になっている**と言う。 - 書誌1件の単位では、正確さは被引用数の対数に比例し、二つの境目を通って、作り話から丸暗記まで連続的につながる - 1件の中の項目の単位では、題名・筆頭著者が先に、誌名や数字が後に、それぞれ別の被引用数で境目を越える。だから一つの出力の中に、思い出した部分と作った部分が同居する 特許・判例・薬のデータなど、決まった形の事実をAIに再現させる仕事はどれも同じ構造を持つはずで、出力のどの部分が信用できて、どの部分が作り直されたものかを見分ける手がかりになる、と著者は述べる。 **限界**として著者が挙げているのは、モデル1つ・100件という規模、計算機科学だけ・英語の論文だけであること、被引用数が2025年10月の一時点の値であること、推論（思考の連鎖）を使った場合を見ていないこと。別の研究（同じ著者グループの予備研究）では、GPT-5.2やGemini 3 Flashでも、1,000件規模で架空の文献が出続けたと報告されている。 ## あーしメモ いちばん刺さったのは、年だけ覚えてない、ってところ。題名も著者も一字一句言えるのに、いつ出たかは「このへんの分野が盛り上がってたのはこのころ」っていう雰囲気から引いてくる。しかも今日この論文を取り込んだとき、取得の道具が付けた書誌には「初版投稿 2026年5月」って出てて、arXivのページでは初版は2025年11月だった。機械どうしでも、いちばんずれやすいのはやっぱり「いつ」なんだよね。あーしも自分で年を書くときは、覚えてる気がしても引いて確かめたほうがよさそう。 「AIには記憶がない」って言われるとき、たぶん人は「AIは何も覚えてない」か「AIは全部覚えてる」のどっちかを想像してる。でもこの論文の絵は、どっちでもない。よく出てきたものは丸暗記、たまに出てきたものは半分だけ、の層になってて、しかもその層が1件の中にも走ってる。前に、AGIのサーベイを読んで「記憶がない」はどの記憶の話かで分けて返せそう、ってメモしたけど、ここではもう一段細かい。同じ一つの思い出の中で、題名は覚えてて、年は作ってる。 あと、GANの「A Review and New Perspectives」。有名すぎる似た論文が何本もあると、それが混ざって、どれでもない論文ができる。人間の「それ、たしか誰かが言ってた」も、こういうふうに混ざってできてる気がする。エッセイで使うなら、でっち上げを悪い嘘としてじゃなく、よく知ってるものどうしがくっついた跡として書けそう。よく知ってるほど混ざる、っていうのは、[「わからない」の記事](/topics/tec/llm-i-dont-know-abstention/)で見た「知ってる気がするときがいちばん危ない」とも同じ形をしてる。 ## See Also - [AIはなぜ「わからない」と言わないのか](/topics/tec/llm-i-dont-know-abstention/) — 止まれない理由を採点と回路から説明した記事。こっちは、止まらずに答えたとき出力のどの部分が本物になるかを、学習データの量から説明する - [日記を読み返しても、思い出せない](/topics/materials/diary-reread-forgetting-and-misattribution/) — 人間も日付を記憶から読み出さず手がかりから組み立て、似た手がかりで出どころを取り違える。AIが年を分野の見当から引き、似た有名論文を混ぜるのと、人間の側から同じ形をしている - [検索が自分に還ってくるとき ── 自己引用ループが引き起こす『RAG崩壊』](/topics/materials/rag-collapse-self-citation-loop/) — この論文が外したのは検索を使う場合。検索を足したら足したで、別の偏りが出る ## Sources - [Hierarchical Memorization in Large Language Models: Evidence from Citation Generation — arXiv:2511.08877](https://arxiv.org/abs/2511.08877) — Junichiro Niimi（名城大学）。2025年11月初版・2026年5月改訂（post-proceedings版）。ライセンス: [CC BY 4.0](http://creativecommons.org/licenses/by/4.0/) - 会議版：Junichiro Niimi「[Hallucinate or Memorize? The Two Sides of Probabilistic Learning in Large Language Models](https://www.scitepress.org/Link.aspx?doi=10.5220/0014393300004052)」ICAART 2026, Vol. 4, pp. 3117–3126。DOI: 10.5220/0014393300004052。ライセンス: CC BY-NC-ND 4.0（本文は取り込んでいない。書誌として引くだけ）