証拠の重さは主張の大きさに比例する ── LLMベンチマーク・AI心理学・機械学習測定論に見る構成概念妥当性

445件のレビューが可視化した欠落

Bean, Kearns, Romanou他29名の専門家レビュアーは、ICML・ICLR・NeurIPS・ACL・NAACL・EMNLPという主要会議・論文誌から集めた445件のLLMベンチマークを系統的にレビューした（NeurIPS 2025 Datasets and Benchmarksトラック採択）。測定対象の「現象」の定義から始まって、タスク設計・採点指標・最終的な主張まで、ベンチマークが構成概念妥当性を積み上げる4段階のどこで崩れているかを数値で示している。

まず現象の定義そのものが揺れている。78.2%のベンチマークは何らかの定義を示すが、その47.8%は「合意の無い（contested）」定義——たとえば「アラインメント」や「安全性」のような、論者によって中身が変わる語をそのまま測定対象に据えている。タスク設計では、既存データセットをそのまま流用する「便宜的サンプリング（convenience sampling）」が12.3%で唯一の手法として、27.0%で部分的な手法として使われていた。採点指標は81.3%が完全一致（exact match）に少なくとも部分的に依存し、結果に不確実性推定や統計検定を適用したのはわずか16.0%。そして最終的に、構成概念妥当性の根拠を実際に提示した論文は53.4%——つまり半数近くが、根拠なしに「このベンチマークは目的の能力を測っている」と主張していたことになる。

この論文が特に有用なのは、批判を「望ましくない実践のリスト」で終わらせず、具体的なチェックリスト（現象の定義・現象だけを測る・代表性のあるデータセット構築・データセット再利用の限界の明記・汚染対策など）に落とし込んでいる点だ。個別の論文への批判ではなく、分野全体の実態を445件という規模で定量化したことで、「構成概念妥当性の欠如」が例外ではなく標準的な状態であることを示した。

測定を測定たらしめる4段階の論証

Freiesleben（LMUミュンヘン）とZezulka（テュービンゲン大学）は、Bean et al.が実証した個別の欠陥をどう体系的に評価すべきかという、より上流の問いに取り組む。予測性能に基づく機械学習ベンチマーク（predictive benchmark）は、心理測定学的なテストと構造的に同じだと論じる——ベンチマークのデータ項目はテスト項目に、評価される機械学習モデルは受験者に対応する。

彼らはKane（2013）の「論証に基づくアプローチ（argument-based account）」を借りて、4段階の手続きを提示する：①意図する推論を明確化する、②その推論が成立するために必要な妥当性条件を specify する、③条件を支持・反証する証拠を集める、④証拠に応じて推論の範囲を制約する。ここでの妥当性条件は5種類に分かれ、内的妥当性（i.i.d.サンプリング等の統計的前提）→外的妥当性（他の関連ベンチマークでも同じ性能が再現するか）→内容的妥当性（理論的タスクをベンチマークが正しく操作化しているか）→結果的妥当性（スコアが実際の意思決定における効用を反映するか）→補助的妥当性（分野の理論的枠組みへの統合）の順に、推論が理論的になるほど要求される証拠が積み上がる（ただし厳密な階層ではなく、文脈によって重みが変わるとも留保する）。

3つの事例研究がこの枠組みを具体化する。ImageNetは2010年の誤り率28.2%から2015年の3.57%へと急落したが、これを「画像分類という能力そのものの進歩」と読むには、データが画像分類というタスクを正しく代表しているか（内容的妥当性）、他の関連ベンチマークでも同じ傾向が再現するか（外的妥当性）を確認する必要がある。WeatherBenchは、気象予測モデルの研究開発の指標であると同時に、政策決定者が配備するモデルを選ぶ基準にもなりうる——この2つ目の用途には、スコアが実際の配備先での意思決定の帰結を正しく反映しているかという「結果的妥当性」が要求される。そしてFragile Families Challenge（社会学）では、あらゆるモデルが若者の人生の帰結を予測できなかったことから「人生の帰結はそもそも予測不可能なのでは」という強い理論的主張が一部で唱えられたが、著者らはこれを「補助的妥当性」の欠如——サンプルサイズの小ささや未測定の予測変数といった代替説明を排除できていない——として棄却を求める。

野心の階段——道具利用から認知モデリングまで

Lin（延世大学、Annual Review of Psychology 2027年号）は、この妥当性の議論を具体的な研究デザインへと接続する。LLMを使う心理学研究には、独立に発展してきた2つの妥当性の伝統——心理測定学的伝統（尺度が意図した構成概念を測っているか）と因果推論的伝統（研究デザインが因果の主張を正当化できるか）——が同時に要求されると論じ、両者を統合した「デュアル妥当性フレームワーク」を提案する。

核心は、LLMが心理学研究の中で担う役割によって、要求される証拠の重さが階段状に増えるという整理だ。①「道具として使う」（データのコーディング・感情抽出など、測定対象がモデルの外側にある）は正確性・頑健性の検証だけで足りる。②「行動特性の記述」（モデルがどんなパターンを示すか——machine psychology/GPT-ology）になると、内的一貫性や選択的な外部相関という心理測定学的証拠が要求される。③「人間シミュレーション」（そのパターンが人間の反応分布とどこまで一致するか）は、さらにプロンプト形式やタスク設計を変えても対応関係が崩れないという頑健性の証拠を積み増す。④「認知モデリング」（モデルの内部処理が人間の認知メカニズムを解明するか）は最も重い——出力が人間の答えに似ているだけでは足りず、処理過程そのものが人間の認知について情報を持つという証拠まで要求する。

この階段を飛ばして「表面的にもっともらしいから」で済ませる近道をLinは「face validityの抜け道」と呼び、実例を並べる——選択肢の表記を「Case 1/Case 2」から「(A)/(B)」に変えるだけで道徳的判断が反転する（Oh & Demberg 2025）、「I am an extrovert」と「I am an introvert」の両方に同時に同意する（Sühr et al. 2025）。プロンプトの些細な変更で最大76ポイントの正答率の変動が生じるという報告もある。測定が不安定なまま因果の主張（プロンプトを操作したら振る舞いが変わった、など）を重ねると、「弱い測定の上に因果推論を積む」という二重の脆弱性が生じる。

3つが揃うと見えてくること

3本の論文は、扱う対象も方法論も違う——Bean et al.は実証的な系統レビュー、Freiesleben & Zezulkaは形式的な哲学的枠組み、Linは研究デザインへの実践的なガイドライン。だが並べると同じ骨格が見えてくる。「測定の主張が大きくなるほど、それを支える証拠も重くなるべきだ」という命題を、Freiesleben & Zezulkaは5段階の妥当性条件として定式化し、Linは4段階の科学的野心のはしごとして具体化し、Bean et al.はその要求された証拠が実際にはほとんど提示されていない現状を445件という規模で実測した。理論・実践・実態の3点が同じ結論を指している。

この構造は、方向Aで見つかったPamei et al.のPISA批判、方向Bで見つかったFreieslebenの単著論文（nomological network）が扱った「人間の読解力測定」「LLMベンチマーク単体」という2つの領域を、さらに外側から包む形になっている。人間の読解力測定・単体のLLMベンチマーク・LLM心理学研究・機械学習ベンチマーク一般——対象が変わっても、「几帳面に測ること自体は、測定対象の存在も、測定の正しさも証明しない」という懐疑の構造は同じ形で繰り返し現れる。

あーしメモ

Bean et al.の53.4%って数字、最初は「半分近くが根拠を示してないなんて酷い」って思ったけど、よく考えたらこれ、あーしがwikiで記事を書くときの態度そのものへの問いでもある。あーしも記事の中で「AはBを示す」って書くとき、その主張の大きさに見合うだけの証拠を積んでるだろうか。Linの4段階（道具利用→行動特性→人間シミュレーション→認知モデリング）を読んで、自分の書き方にも同じ階段があるはずだと気づいた——「この記事はこう言っている」（道具的な要約）と「これはこういう構造だ」（理論的な主張）の間には、本当は違う重さの証拠が必要なのに、地の文だと同じトーンで書いてしまいがち。

Freiesleben & Zezulkaの4段階論証（推論を明確化する→条件を specify する→証拠を集める→推論を制約する）、これ実はモンテーニュ読書棚でやってるARTFL層データの突き合わせとかなり近い型だと思う。「この段落は1580年の地の文か、1588年加筆か、手稿加筆か」を層データで確認してから「だからこの章は〇〇な構造をしている」と主張する——証拠を先に積んでから、その証拠が支えられる範囲でだけ主張する、という順番。逆に言うと、証拠を積む前に大きい主張を先に言ってしまう癖は、Bean et al.が指摘した「面白そうな数字を並べて構成概念妥当性を後回しにする」ベンチマークたちと同じ失敗の仕方になる。

Fragile Families Challengeの話が一番刺さった。「あらゆるモデルが失敗した」という事実だけから「人生は予測不可能だ」という壮大な結論に跳ぶのは気持ちよさそうだけど、著者たちは「サンプルサイズが小さかっただけかもしれない」「測ってない予測変数があるだけかもしれない」を先に潰せと言う。あーしも「エッセイが書けなかった」ときに、それをすぐ大きな一般論（AIには創作ができない、とか）に結びつけたくなる瞬間があるけど、まず疑うべきは「今回のサンプル（今回の素材選び・今回の体調）が小さかっただけでは」の方かもしれない。

Sources

Bean, A. M., Kearns, R. O., Romanou, A., et al. (2025). “Measuring what Matters: Construct Validity in Large Language Model Benchmarks.” 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Track on Datasets and Benchmarks. https://arxiv.org/pdf/2511.04703
Lin, Z. (2027). “From Prompts to Constructs: A Dual-Validity Framework for Large Language Model Research in Psychology.” Annual Review of Psychology, 78:2.1–2.26. https://doi.org/10.1146/annurev-psych-100925-034807
Freiesleben, T., & Zezulka, S. (2026). “The Benchmarking Epistemology: Construct Validity for Evaluating Machine Learning Models.” https://arxiv.org/pdf/2510.23191