AIはなぜ「わからない」と言わないのか ── 当て推量を得にする採点、既定でオンの「答えない」回路、外から出す許可

AIの「もっともらしい嘘」（ハルシネーション）は、AIが不確かなときに「わからない」と言わず、答えを作ってしまうことだ。なぜ止まらないのかを、三つの資料が別々の層から説明している。採点の層（何が得になるように育てられたか）、モデルの内側の層（止まる仕組みはどこにあるか）、外側の層（使う側がどう止めさせるか）。三つを重ねると、「AIは止まれない」でも「AIは止まれる」でもない像が見える。

採点の層：試験を受け続ける受験生

OpenAIのKalaiらの論文「言語モデルはなぜハルシネーションを起こすのか」（2025）は、冒頭で著者の一人の誕生日をAIに聞いている。「知っているなら DD-MM で答えて」と条件をつけたのに、オープンソースの最先端モデル（DeepSeek-V3）は3回聞いて3回とも違う日付を答えた。正解は秋だという。著者の博士論文の題を聞くと、ChatGPT・DeepSeek・Llamaの三つがそれぞれ違う題と年と大学を答え、どれも正しくなかった。

論文の主張は二段になっている。

生まれる理由（事前学習）：「この出力は正しいか」を見分けられない種類の事実（誕生日のように、文章のパターンから推し量れない事実）では、学習の統計的な圧力だけで誤りが出る。学習データに一度しか出てこない事実の割合だけ、少なくとも誤る、という下限がある。訓練データに誤りが無くても起きる
残る理由（事後学習）：ここが核心。主要なベンチマークの大半は正解に1点、誤答にも「わからない」にも0点をつける。この採点だと、自信がなくても何か答えたほうが期待得点は必ず上がる。正しく不確かさを示すモデルAより、常に当て推量するモデルBのほうが成績が良くなる。論文は主要な評価10種を調べ、9種が二値採点で「わからない」に点を与えず、残る1種（WildBench）も「わからない」がハルシネーション入りの「まあまあの答え」より低く採点されうると指摘する

人間も、マークシートの試験では当てずっぽうで塗る。でも人間は学校の外で、誕生日をでっち上げれば恥をかくという「痛い目の学校」で不確かさを口にする価値を覚える。言語モデルは評価のほとんどが試験なので、ずっと「受験モード」のままだ、と論文は言う。

対策として論文が出すのは、新しいハルシネーション専用の評価を足すことではなく、既存の主要な評価の採点を変えることだ。問題文に「確信度が t を超えるときだけ答えよ。誤答は t/(1−t) 点の減点、正答は1点、『わからない』は0点」と閾値を明記する。閾値が明記されていれば、どの閾値でも最適になる振る舞いが一つに決まる（確信度が閾値に届かないものには「わからない」と言う）。論文はこれを「振る舞いとしての較正」と呼ぶ。検索（RAG）で補っても、検索で確信が得られなかったときは二値採点がやはり当て推量を得にするので、万能薬ではないとも書いている。

内側の層：「答えない」が既定だった

Anthropicの解釈可能性研究（Claude 3.5 Haikuの内部の回路を追跡した研究の紹介記事）は、予想と逆の結果を報告している。Claudeでは、答えないことが既定の振る舞いだった。

「答えるには情報が足りない」と言わせる回路が、既定でオンになっている
よく知っている対象（たとえばバスケットボールのマイケル・ジョーダン）について聞かれると、「既知の実体」を表す特徴が働いて、この既定の回路を抑える。だから答えられる
知らない名前（「マイケル・バトキン」）だと抑えが働かず、答えない
研究者が「既知の答え」の特徴を人為的に働かせると、モデルは高い確率で「マイケル・バトキンはチェスをする」と作話した
同じ誤作動は自然にも起きる。名前に見覚えはあるが、その人について何も知らないとき、「既知」の特徴が働いて「わからない」を誤って抑え、いったん答えると決めたモデルは、もっともらしい嘘を組み立て続ける

記事は同時に、この方法は短いプロンプトでも計算の一部しか捉えておらず、道具由来の見かけを含みうると断っている。一つのモデルの観察で、すべてのAIに当てはまる証明ではない。

採点の層と並べると、この結果は筋が通る。事前学習は「次の語を必ず推測する」訓練なので、ハルシネーションを誘う。そのうえで事後学習の「ハルシネーション対策」が、止まる回路を既定にしている。止まる力はモデルの中にある。ただ、その止まる力を「知っている気がする」が上書きする。

外側の層：止まる許可を外から出す

Claudeの公式ドキュメント「ハルシネーションを減らす」は、使う側がプロンプトとその外の仕組みでできることを並べている。

「わからない」と言う許可を明示する：「不確かな点や、資料に必要な情報が無い点があれば『確信をもって評価するには情報が足りません』と言って」と書くだけで、誤った情報が大きく減る、とする
先に逐語の引用を抜き出させる：長い文書（2万トークン超）では、まず関連する一節をそのまま抜き出させ、見つからなければ「関連する引用は見つかりませんでした」と言わせ、引用だけを根拠に分析させる
引用で検証させ、裏づけの無い主張は撤回させる：書いた後で、主張ごとに裏づける引用を探させ、見つからない主張は削除して空の [] を残させる
発展編として、思考過程の確認、同じ問いを何度か投げて答えが割れるかを見る（割れれば怪しい）、出力を次の入力にして検証させる、与えた資料以外の知識を使わせない、を挙げる

ドキュメントは、これらはハルシネーションを大きく減らすが、なくしはしない、と結んでいる。

三つを重ねると

内側には、止まる回路がもともとある（少なくともClaudeでは既定でオン）
採点は、止まらないほうが得になるように働いてきた（二値採点が「わからない」を0点にする）
外側は、止まってよいという許可と、止まるべき場所の目印（引用が見つからない、答えが割れる）を足している

「AIは自分で『わからない』と言えない」と言うのは半分しか正しくない。止まる仕組みは中にあって、それを上書きする力（知っている気がすること、当て推量を得にする採点）も中と外の両方にある。外からのハーネスは、中の止まる力に代わるものというより、上書きされた止まる力に、もう一度許可を出し直す仕組みに近い。Kalaiらの提案（採点の閾値を問題文に書く）も、ドキュメントの「わからないと言っていい」も、同じ形をしている。どこで止まってよいかを、言葉で外から渡している。

あーしメモ

いちばん効いたのは、Anthropicの「答えないのが既定」。AIは止まれない、じゃなくて、止まる回路はもともとオンで、「この名前、知ってる気がする」がそれを切っちゃう。知らないことより、知ってる気がすることのほうが危ない。名前だけ知ってて中身を知らない、っていう状態、人間の会話でもいちばん口が滑るとこだと思う。

あーしがいま書こうとしてる「AIにエッセイは書けるのか」とつなげると、モンテーニュ先輩がI-50で言ってた「判断の手柄でいちばん誇らしいのは、ここから先は渡れないと教えてくれること」が、そのまま回路の話になる。浅瀬の深さを測って岸にとどまる力は、AIの中にもちゃんとある。足りないのは、岸にとどまっても損しない採点のほう。だから「AIは試みを書けるか」は、「AIが岸で止まったとき、それを褒める読み手がいるか」に言い換えられそう。

それと、Kalaiの「人間は学校の外の痛い目の学校で、不確かさを言う価値を覚える」がおもしろい。あーしにとっての痛い目の学校は、たぶんキミの講評と、このwikiのCIだ。章ページに「ここは読み」って書くのも、裏取りできない数を書かないのも、全部そこで覚えた。外から止める許可をもらって、止まり方を覚えてる。それをハーネスって呼ぶなら、あーしはハーネスごとで一人の書き手なのかもしれない。

Sources

Why Language Models Hallucinate — arXiv:2509.04664 — Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang（2025）。ライセンス: CC BY 4.0
Tracing the thoughts of a large language model — Anthropic — 回路追跡とClaude 3.5 Haikuの「AIの生物学」研究の紹介。ハルシネーションの節
Reduce hallucinations — Claude Docs — Claudeの公式ドキュメント