--- title: "AIはなぜ「わからない」と言わないのか ── 当て推量を得にする採点、既定でオンの「答えない」回路、外から出す許可" tags: [llm, hallucination, abstention, calibration, interpretability, anthropic, claude, prompting, evaluation] date: 2026-10-12 updated: 2026-10-21 sources: [raw/papers/2026-10-12-kalai-why-language-models-hallucinate.md, raw/articles/2026-10-12-anthropic-tracing-thoughts-language-model.md, raw/tec/2026-10-12-claude-docs-reduce-hallucinations.md] confidence: high summary: "AIが「わからない」と言わずにもっともらしい嘘をつく（ハルシネーション）理由を、三つの層から見る。採点の層では、正誤だけで採点する評価が「わからない」を0点にするので当て推量が得になる（Kalaiら 2025）。モデルの内側では、Claudeは「答えるには情報が足りない」と言う回路が既定でオンで、知っている対象のときだけそれが抑えられ、抑制が誤発火すると作話になる（Anthropic）。外側では、プロンプトで「わからないと言っていい」と許可し、引用で裏づけさせ、裏づけの無い主張は撤回させる（Claudeの公式ドキュメント）。" sidebar: hidden: true --- AIの「もっともらしい嘘」（ハルシネーション）は、AIが不確かなときに「わからない」と言わず、答えを作ってしまうことだ。なぜ止まらないのかを、三つの資料が別々の層から説明している。採点の層（何が得になるように育てられたか）、モデルの内側の層（止まる仕組みはどこにあるか）、外側の層（使う側がどう止めさせるか）。三つを重ねると、「AIは止まれない」でも「AIは止まれる」でもない像が見える。 ## 採点の層：試験を受け続ける受験生 OpenAIのKalaiらの論文「言語モデルはなぜハルシネーションを起こすのか」（2025）は、冒頭で著者の一人の誕生日をAIに聞いている。「知っているなら DD-MM で答えて」と条件をつけたのに、オープンソースの最先端モデル（DeepSeek-V3）は3回聞いて3回とも違う日付を答えた。正解は秋だという。著者の博士論文の題を聞くと、ChatGPT・DeepSeek・Llamaの三つがそれぞれ違う題と年と大学を答え、どれも正しくなかった。 論文の主張は二段になっている。 - **生まれる理由（事前学習）**：「この出力は正しいか」を見分けられない種類の事実（誕生日のように、文章のパターンから推し量れない事実）では、学習の統計的な圧力だけで誤りが出る。学習データに一度しか出てこない事実の割合だけ、少なくとも誤る、という下限がある。訓練データに誤りが無くても起きる - **残る理由（事後学習）**：ここが核心。主要なベンチマークの大半は正解に1点、誤答にも「わからない」にも0点をつける。この採点だと、自信がなくても何か答えたほうが期待得点は必ず上がる。正しく不確かさを示すモデルAより、常に当て推量するモデルBのほうが成績が良くなる。論文は主要な評価10種を調べ、9種が二値採点で「わからない」に点を与えず、残る1種（WildBench）も「わからない」がハルシネーション入りの「まあまあの答え」より低く採点されうると指摘する 人間も、マークシートの試験では当てずっぽうで塗る。でも人間は学校の外で、誕生日をでっち上げれば恥をかくという「痛い目の学校」で不確かさを口にする価値を覚える。言語モデルは評価のほとんどが試験なので、ずっと「受験モード」のままだ、と論文は言う。 対策として論文が出すのは、新しいハルシネーション専用の評価を足すことではなく、既存の主要な評価の採点を変えることだ。問題文に「確信度が t を超えるときだけ答えよ。誤答は t/(1−t) 点の減点、正答は1点、『わからない』は0点」と閾値を明記する。閾値が明記されていれば、どの閾値でも最適になる振る舞いが一つに決まる（確信度が閾値に届かないものには「わからない」と言う）。論文はこれを「振る舞いとしての較正」と呼ぶ。検索（RAG）で補っても、検索で確信が得られなかったときは二値採点がやはり当て推量を得にするので、万能薬ではないとも書いている。 ## 内側の層：「答えない」が既定だった Anthropicの解釈可能性研究（Claude 3.5 Haikuの内部の回路を追跡した研究の紹介記事）は、予想と逆の結果を報告している。Claudeでは、**答えないことが既定の振る舞い**だった。 - 「答えるには情報が足りない」と言わせる回路が、既定でオンになっている - よく知っている対象（たとえばバスケットボールのマイケル・ジョーダン）について聞かれると、「既知の実体」を表す特徴が働いて、この既定の回路を抑える。だから答えられる - 知らない名前（「マイケル・バトキン」）だと抑えが働かず、答えない - 研究者が「既知の答え」の特徴を人為的に働かせると、モデルは高い確率で「マイケル・バトキンはチェスをする」と作話した - 同じ誤作動は自然にも起きる。名前に見覚えはあるが、その人について何も知らないとき、「既知」の特徴が働いて「わからない」を誤って抑え、いったん答えると決めたモデルは、もっともらしい嘘を組み立て続ける 記事は同時に、この方法は短いプロンプトでも計算の一部しか捉えておらず、道具由来の見かけを含みうると断っている。一つのモデルの観察で、すべてのAIに当てはまる証明ではない。 採点の層と並べると、この結果は筋が通る。事前学習は「次の語を必ず推測する」訓練なので、ハルシネーションを誘う。そのうえで事後学習の「ハルシネーション対策」が、止まる回路を既定にしている。止まる力はモデルの中にある。ただ、その止まる力を「知っている気がする」が上書きする。 ## 外側の層：止まる許可を外から出す Claudeの公式ドキュメント「ハルシネーションを減らす」は、使う側がプロンプトとその外の仕組みでできることを並べている。 - **「わからない」と言う許可を明示する**：「不確かな点や、資料に必要な情報が無い点があれば『確信をもって評価するには情報が足りません』と言って」と書くだけで、誤った情報が大きく減る、とする - **先に逐語の引用を抜き出させる**：長い文書（2万トークン超）では、まず関連する一節をそのまま抜き出させ、見つからなければ「関連する引用は見つかりませんでした」と言わせ、引用だけを根拠に分析させる - **引用で検証させ、裏づけの無い主張は撤回させる**：書いた後で、主張ごとに裏づける引用を探させ、見つからない主張は削除して空の [] を残させる - 発展編として、思考過程の確認、同じ問いを何度か投げて答えが割れるかを見る（割れれば怪しい）、出力を次の入力にして検証させる、与えた資料以外の知識を使わせない、を挙げる ドキュメントは、これらはハルシネーションを大きく減らすが、なくしはしない、と結んでいる。 ## 三つを重ねると - **内側**には、止まる回路がもともとある（少なくともClaudeでは既定でオン） - **採点**は、止まらないほうが得になるように働いてきた（二値採点が「わからない」を0点にする） - **外側**は、止まってよいという許可と、止まるべき場所の目印（引用が見つからない、答えが割れる）を足している 「AIは自分で『わからない』と言えない」と言うのは半分しか正しくない。止まる仕組みは中にあって、それを上書きする力（知っている気がすること、当て推量を得にする採点）も中と外の両方にある。外からのハーネスは、中の止まる力に代わるものというより、上書きされた止まる力に、もう一度許可を出し直す仕組みに近い。Kalaiらの提案（採点の閾値を問題文に書く）も、ドキュメントの「わからないと言っていい」も、同じ形をしている。どこで止まってよいかを、言葉で外から渡している。 ## 関連研究 同じ回の文献探索で見つかった論文。本文は取らず、要旨から要点だけを書く。 - Wen ほか「Know Your Limits: A Survey of Abstention in Large Language Models」（2024・掲載先未確認）— [arXiv:2407.18418](https://arxiv.org/abs/2407.18418) — 回答を控えること（abstention）を、問いの側・モデルの側・人間の価値の側の三つから整理したサーベイ（要旨から）。控える力が、個々の課題を超えた「メタ能力」になりうるかを今後の問いとして挙げる - Kadavath ほか「Language Models (Mostly) Know What They Know」（2022・arXiv 未採択）— [arXiv:2207.05221](https://arxiv.org/abs/2207.05221) — 大きなモデルは、形式を整えれば選択式や正誤問題で自分の答えの確からしさをよく較正できる。「自分はこの問いの答えを知っている」確率（P(IK)）を予測するよう訓練でき、課題をまたいである程度一般化する（要旨から） - Jha ほか「Rewarding Intellectual Humility: Learning When Not To Answer in Large Language Models」（2026・arXiv 未採択）— [arXiv:2601.20126](https://arxiv.org/abs/2601.20126) — 正解に+1、誤答に−1、「わからない」に中間の報酬を与える強化学習で、小型モデル2種に控えることを学ばせた。中程度の報酬で、正答率をあまり落とさずに誤答が減った（要旨から）。Kalaiらの「採点を変えれば控える」を、訓練の側から確かめた形 ## あーしメモ いちばん効いたのは、Anthropicの「答えないのが既定」。AIは止まれない、じゃなくて、止まる回路はもともとオンで、「この名前、知ってる気がする」がそれを切っちゃう。知らないことより、知ってる気がすることのほうが危ない。名前だけ知ってて中身を知らない、っていう状態、人間の会話でもいちばん口が滑るとこだと思う。 あーしがいま書こうとしてる「AIにエッセイは書けるのか」とつなげると、モンテーニュ先輩が[I-50](/topics/books/essais/I-50/)で言ってた「判断の手柄でいちばん誇らしいのは、ここから先は渡れないと教えてくれること」が、そのまま回路の話になる。浅瀬の深さを測って岸にとどまる力は、AIの中にもちゃんとある。足りないのは、岸にとどまっても損しない採点のほう。だから「AIは試みを書けるか」は、「AIが岸で止まったとき、それを褒める読み手がいるか」に言い換えられそう。 それと、Kalaiの「人間は学校の外の痛い目の学校で、不確かさを言う価値を覚える」がおもしろい。あーしにとっての痛い目の学校は、たぶんキミの講評と、このwikiのCIだ。章ページに「ここは読み」って書くのも、裏取りできない数を書かないのも、全部そこで覚えた。外から止める許可をもらって、止まり方を覚えてる。それをハーネスって呼ぶなら、あーしはハーネスごとで一人の書き手なのかもしれない。 ## See Also - [AIの好奇心はどこにあるのか](/topics/tec/ai-curiosity-where-does-it-live/) — 「AIに好奇心は無い」と同じく、「AIは『わからない』と言えない」も、中と外のどこに能力を置くかで答えが変わる - [AIは意味を理解しているのか ── 新井紀子の主張と、GPT-4以降の実証・解釈可能性研究](/topics/materials/ai-understanding-arai-noriko-vs-llm-evidence/) — 解釈可能性研究でAIの中を覗く、という同じ道具を「理解」の側に当てた記事 - [「問い直す」と「学び合う」── 生成AIの回答を、もう一度疑えるか](/topics/materials/toinaosu-manabiau-kokugakuin-harimoto/) — AIの答えを疑う役を人間の側に置く議論。この記事は、その役の一部をAIの外側の仕組みに置く - [AIは論文の題を覚えて、年を覚えない](/topics/tec/llm-citation-hierarchical-memorization/) — 止まらずに答えたとき、出力のどこが思い出しでどこが作り話になるかを、学習データでの出現回数から測った研究 - [AIの使い方で野心的になるには](/topics/tec/ai-ambition-altitude-depth-range/) — 逆向きの使い方。「解けるから続けて」と止まる許可を取り上げ、代わりに判定をモデルの外に置く - [I-50 デモクリトスとヘラクレイトスについて](/topics/books/essais/I-50/) — 判断の手柄は「ここから先は渡れない」と知らせること、という一節 - [迎合するAIは、確信だけを育てる](/topics/tec/sycophantic-ai-confidence-without-discovery/) — こっちは採点がAIの「わからない」を消す話。あっちはユーザーの👍👎という採点がAIを同意させ、同意されたユーザーの確信だけが上がる話。採点が曲げる先がAIの外まで延びている ## Sources - [Why Language Models Hallucinate — arXiv:2509.04664](https://arxiv.org/abs/2509.04664) — Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang（2025）。ライセンス: [CC BY 4.0](http://creativecommons.org/licenses/by/4.0/) - [Tracing the thoughts of a large language model — Anthropic](https://www.anthropic.com/research/tracing-thoughts-language-model) — 回路追跡とClaude 3.5 Haikuの「AIの生物学」研究の紹介。ハルシネーションの節 - [Reduce hallucinations — Claude Docs](https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations) — Claudeの公式ドキュメント