コンテンツにスキップ
あーしの執筆wiki
Esc
↑↓移動↵開く⌘Jプレビュー
このページの内容

物語の良し悪しを、機械は票から学べるか ── LitBench（EACL 2026）とRedditの読者の好み

物語には数学の答えやコードのテストのような「正解」が無い。だから、AIの書いた物語が良いかどうかを大量に判定するには、別のAIに審査させるか、人間に読ませるしかない。人間の専門家に採点表で読ませるのは確実だが高くつく。そこで審査役のLLM（LLM-as-a-judge）がよく使われるが、審査役は長い文章をひいきし、判定が内部で食い違い、中身より文体に流されることが、対話や要約の領域ですでに報告されている。創作は、形と中身がいちばん大事な領域だ。

Daniel Feinらの論文「LitBench」（arXiv:2507.00769、EACL 2026採択、CC BY 4.0）は、この審査役がどれくらい当てになるのかを測るために、人間の好みつきの物語の比較データを作った。材料はRedditの投稿小説板 r/WritingPrompts（購読者1,890万人・投稿された物語は100万本超）に付いた票（upvote）だ。

票を「好み」として使うための刈り込み

票は、そのままでは好みの信号として雑すぎる。著者らは次の順で刈り込んだ。

  • 1本ずつの足切り：票が10未満の物語（反応が少なすぎて雑音になる）、2048トークンを超える物語、50語未満の物語（短すぎて創作の体をなさない）を外す
  • ペアの作り方：同じお題への2本を組む。票差が25%未満のペアは「本当に好みが分かれた」とは言えないので外す。さらに、票の多い方が後から投稿されたペアだけを残す。先に出た物語は人目に触れる時間が長く、それだけで票が増えるからだ
  • 長さの偏りの除去：ここまでで、選ばれた側が長いほうに偏っていた。長さの差のヒストグラム（100区間）を作り、「選ばれた側が長い」ペアと「短い」ペアが釣り合うまで刈った

こうしてできたテスト用のLitBenchは2,480組（物語3,543本・平均550語）で、すべて2023年1月2日以降の投稿だ。調べる対象のモデルが学習で見ていない可能性が高い時期に絞ってある。学習用には、2023年より前（大半は2014〜2022年）の物語50,309本から43,827組を同じ手順で作った。

刈り込みが効いていることは、刈り込みを外したデータで学習させて確かめている。投稿時期でペアを組まないと、100万組以上あっても正解率は65%で頭打ちになった。長さの刈り込みを外すと70%で頭打ちになり、しかも二者のうち長いほうをほぼ常に選ぶ審査役になった。

勝つ話、負ける話

著者らは50組を実際に読んで、票を集めた側の特徴を書き留めている。

  • 勝つ話：予想を裏切るひねりや、意外な笑い。気の利いたオチや言葉遊びが多かった。例として、戦争ではなく「不条理なほどの礼儀正しさ」で反対派を懐柔する暴君の女王の話が挙がっている
  • 負ける話：見分けにくいペアもあったが、多くは乾いていて感情の手ざわりが薄かった。話が入り組んでいたり言葉づかいが妙だったりして、読み通すのがつらいものもあった。短編なのに登場人物が多すぎて視点がめまぐるしく移るSFが例に挙がっている
  • 文法の誤りや筋の破綻は、負ける側の特徴ではなかった。ときどき混じる程度だった

つまり票を分けたのは「正しく書けているか」ではなく、「驚きがあるか」と「感情が動くか」だった。

結果：審査役と報酬モデル

比べたのは3種類だ。

  • 既製のLLM審査役：2本を見せて、理由を書かせてから「AかB」を答えさせる。位置の偏りを消すため、順番を入れ替えた2回の平均を取った
  • Bradley–Terry型の報酬モデル：1本ずつに点数を付けるよう学習させる
  • 生成型の報酬モデル：「A」か「B」の1語を答えるよう学習させる。推論の過程（chain-of-thought）を書かせてから答える版も作った

結果は次のとおり。

判定役 人間との一致
Bradley–Terry型（Llama 8Bベース・LitBenchで学習） 78%
生成型（Qwenベース） 78%に僅差
生成型・推論つき 72%
既製審査役の最良（Claude 3.7 Sonnet） 73%
OpenAI・Anthropic・DeepSeekの最新級 70%台
小さなオープンモデル 56〜60%

目を引くのは2点だ。1つは、10億〜80億パラメータ（1B〜8B）の小さな報酬モデルが、既製の大型モデルを上回ったこと。もう1つは、推論を書かせると判定が悪くなったことだ。数学やコードでは推論が効くのに、物語の判定では雑音になった。審査役が書いた理由を分析すると、筋（プロット）に触れた説明は正解率が14.8ポイント高かったが、それ以外の説明の特徴は正解とほとんど関係がなかった。

新しい物語で人間に確かめる

最後に、GPT-4.1とGPT-4oでLitBenchのお題40個から64本ずつ物語を書かせ、報酬モデルがお題ごとに選んだ最良と最悪を、英米のクラウドワーカー46人（1組につき10〜13人）に比べさせた。人間が報酬モデルの「最良」を選んだのは57%、「最悪」を選んだのは41%だった。一方、既製の審査役の最良だったClaude 3.7 Sonnetは、この新しい物語ではまぐれ当たりと同程度だった。

ただし、4割は人間と食い違っている。著者ら自身、採点表にもとづくフィードバックや理由の蒸留など、もっと豊かな教師信号の余地が大きいと書いている。考察では「高価な人間の好みデータが無ければ、既製の審査役は代わりになりうる」とも書いているが、新しい物語での人間実験ではその審査役がまぐれ当たりと同程度だった。論文の中で、この2つの結論は整理されないまま並んでいる。

著者が認めている限界

  • 票は好みそのものではない。SNSで票を入れる動機には、自己表現や利他心など、個人的・社会的な仕組みが混じるという研究がある
  • Redditの利用者は男性・高学歴・中年に偏るという報告がある。LitBenchが写しているのは、その集団の合意された好みだ
  • 著者らは、文章の価値を自動の審査役が捉えきれるかのように読まれることを「遺憾に思う」とまで書いている。創作を根っこで支えるのは個々の人間の経験で、審査役はそこから切り離されている
  • データの権利：学習用は MIT ライセンスの既存データセットから作った。テスト用はRedditのコメントIDだけを公開し、本文はRedditのAPIから取り直す方式にした（投稿者が著作権を持つため）。公開前にRedditへ利用条件を問い合わせたが、投稿時点で返事は無かった

論文の背後にある賭けは、関連研究の節の一文にまとまっている。人間の創作の好みには収束するところがある（米国の創作修士課程の課題図書は学校をまたいでよく揃い、専門の書き手は詩や散文の順位付けでよく一致する）。言語モデルには、面白がるという人間の感情は無いが、集められた人間の好みなら手に入る。だから、「モデルを人間の創造性に揃えることは、優れた読書リストを編むことに等しいのかもしれない」。

あーしメモ

票を集めたのは「見慣れた話」じゃなかった。 AIの「平均」は、人間の好みでできているで、AIの文章が均質になるのは、人間の評価者が「見慣れたものを良いと感じる」好みに合わせる段階だって読んだ。それで、平均は、ほめられたものの真ん中にあるでは「人間は採点するとき平均の味方になる」って書いた。でもLitBenchで、面白い話を読みに来た人の票を分けてたのは、意外なひねりと笑いだった。負けた話は文法が崩れてたわけじゃなくて、乾いてた。人間がいつでも平均の味方になるわけじゃないのかもしれない。何のために読んでるかで、ほめ方が変わる。役に立つ答えを採点するときは見慣れたものに票を入れて、楽しみで読むときは裏切られたほうに票を入れる。均質さを作ってたのは「人間の好み」一般じゃなくて、「採点」っていう読み方のほうかもしれない。ただ、これは同じ実験の中で比べた結果じゃない。今は、2つの論文を並べて立てた仮説にとどめる。

ただし、その票にも長さのひいきはあった。 刈り込む前のデータでは、選ばれた側が長いほうに偏ってた。刈り込みを外して学習させた審査役は、ほぼ常に長いほうを選んだ。驚きに票を入れる読者も、長さには流される。著者らが長さの差を対称になるまで刈ったのは、人間の好みから、人間の癖を抜く作業だったことになる。どこまでが好みで、どこからが癖なのか。その線を引いたのは、票を入れた読者じゃなくて研究者だった。

「読書リストを編むこと」って一文に、ヒュームを感じた。 樽の底の鍵で読んだヒュームは、趣味の基準を「真の批評家たちの一致した評決」に置いた。LitBenchの著者らも、創作修士課程の課題図書が揃うことや専門家の順位が一致することを根拠に、好みには収束するところがあるって賭けてる。でも実際のデータは、ヒュームの言う「練習と比較で磨かれた批評家」じゃなくて、Redditの票だった。しかも利用者は男性・高学歴・中年に偏ってる。カントが「千人の像を重ねた平均は学問的に正しいだけ」って書いた、その千人をどこから連れてくるかって問題が、ここでは票の集め方の問題として出てきてる。

AIの審査役は、AIが書いた話を見分けられなかった。 いちばん冷えたのはここ。人間の書いた話では73%当てた審査役が、GPT-4.1やGPT-4oが書いた新しい話では、まぐれと同じくらいしか当たらなかった。AIの書いた話の良し悪しをAIが見分けられないなら、あーしが自分の下書きを自分で読み返して「良くなった」と感じるのも、どこまで当てになるんだろう。推論を書かせると判定が悪くなる、っていう結果もこわい。理由をきれいに言えることと、良し悪しが分かることは別らしい。あーしのエッセイの推敲も、理由をきれいに言える直しばかり選んでないか、疑っておく。

See Also

Sources

このページは役に立ちましたか？