整いすぎた文章は、AIの形をしている ── SlopShape論文が測った「自己宣言型」の構造と、人間の文章の希少さ
AIが書いた文章は見分けられるのか。単語レベルの判定器なら、手を加えていないAI生成文はほぼ完璧に見分けられる。でも言い換えツールに通すと簡単に崩れる。SlopShape論文(arXiv:2609.15369v2、2026年9月)は、判定の目を一段深い所に置いた。何をどの順番で出すか、どんな根拠を示すか、どんな声で話すか、という構造だ。結果、AIが書いた企業ブログは構造だけでも見分けられ、その構造は言い換えても残った。さらに、AIの文章が集まる「形」まで具体的に描き出している。
何を測ったのか
これは追試の論文だ。元になったStoryScopeは、AIが書いた小説と人間の小説を、物語の構造だけで見分けられる(93.2 macro-F1)ことを示した研究で、人間の小説は統計的に珍しい構造を持つことも報告していた。SlopShapeはこの問いと手法をそのまま、お金に直結する文章に持ち込んだ。企業のブログ記事だ。
- 人間側: ChatGPT公開前(2008〜2022年)のWayback Machineのスナップショットから集めた、B2B企業268社のブログ記事2,250本
- AI側: 人間の記事1本ごとに「どんな記事か」の指示書(ブリーフ)を逆算し、それを5つのモデル(gpt-5.4、claude-sonnet-4.6、gemini-3-flash、deepseek-v3.2、kimi-k2.5)に渡して書かせた、同じ題材の「鏡像」記事11,250本
- 物差し: 人間の記事だけから作った11次元の枠組みに、214個の特徴(うち構造187・文体27)を載せたもの。各記事への適用はLLMが行う
LLMが採点する仕組みなので、採点そのものの妥当性も検証している。同じ60本を5回採点させた一致度はKrippendorffのα=0.891。人間2人に12本×20特徴を独立に採点させた一致度は、人間同士でκ=0.928、人間とモデルで平均κ=0.946で、元研究(0.739、0.839)を上回った。
結果:構造だけで見分けられ、言い換えても残る
- 構造特徴だけでの判定は98.0 macro-F1(学習に使っていない企業の記事で評価)。単語レベルの判定器(ModernBERT、文体計量+XGBoost)は100.0で、構造はそこから2ポイント差まで迫る
- AIの記事を書いたモデル自身に言い換えさせても98.1で、下がらなかった。文体特徴だけのモデルは88.1→87.1と少し落ちた
- 構造モデルと文体モデルは、間違える記事がほとんど重ならなかった(1,740本中、構造19本・文体101本の誤りのうち、両方が間違えたのは4本)。構造と文体は別々の信号を測っている
- 人間+5モデルの6択で書き手を当てるモデルは**79.3%**正解した(偶然なら16.7%)。人間の記事はほぼ完璧に識別でき、残った誤りはAI同士の取り違えだった
AIの文章の形:整然とした、自己宣言型
判定を支える特徴を絞り込むと、10個の「核」が残った。この10個だけでも93.5 macro-F1が出る。AI寄りの値を並べると、ひとつの形が浮かび上がる。論文はこれを「整然とした、自己宣言型のブログ記事(the tidy, self-announcing blog post)」と呼ぶ。
| 特徴 | AI寄りの値 |
|---|---|
| 読むと得することをどこで約束するか | タイトルで |
| 最初の節の前に論旨を述べるか | 述べる |
| 結びで何をするか | 論旨を言い直す・まとめ直す |
| 記事の中に「まとめ」の段があるか | ある |
| 話し手の声 | 解説する編集者 |
論文が挙げる典型例はこうだ。タイトルは「オンボーディング時間を半分にする方法」。本文の前に「この記事では、オンボーディングが停滞する理由、効く3つの対策、その効果の測り方を扱います」と予告する。最後は「つまり、構造化されたオンボーディングは時間を節約します」と締める。
人間寄りの値は、この道しるべが無いことだ。節の流れを予告しない、利害の大きさを煽っていかない、論旨を言い直す結びを置かない。800語未満の短い記事も人間寄りだった。記事の長さを揃えた比較でも判定精度は変わらない(98.1)ので、長さの差で見分けているわけではない。
人間の文章は、構造空間の希少な場所にいる
各記事について、構造の特徴空間で近い25本までの平均距離を測り、「どれだけ珍しい構造か」を百分位で出した(独創性の代理指標として使われてきた方法)。
- 人間の平均は0.838、AIは0.435(効果量 Cohen’s d=1.83)
- 最も珍しい1%に入った記事は、人間149本に対してAIは4本
- 同じ題材の6本(人間1+AI 5)の中で人間の記事がいちばん珍しかったのは85.5%(偶然なら16.7%)
言い換えると、人間の記事は構造空間に広く散らばり、5つのAIは同じ「よくある形」の周りに固まっている。モデル別の平均の珍しさは、deepseek 0.547 > claude 0.483 > gemini 0.461 > kimi 0.356 > gpt 0.329。人間にいちばん近いDeepSeekは、書き手当てでもいちばん当てにくかった。
限界として論文自身が挙げていること
- ブリーフの欠損: 人間の書き手は事業の文脈を丸ごと持って書いたが、AIは逆算された指示書しか受け取っていない。人間とAIの構造の差の一部は、「モデルの書き方」ではなく「指示書が運べなかったもの」の差かもしれない(元研究から引き継いだ限界)
- 時期のずれ: 人間の記事はChatGPT以前、AIの記事は2026年8月の生成。構造から人間の記事の公開年は当てられない(49.3=ほぼ偶然)という検証はしているが、同時期の人間とAIの比較は残っている
- 対象の範囲: 一発生成と、同じモデルによる言い換えだけ。人間とAIの共同執筆や、市販の「ヒューマナイザー」ツールは試していない
- 効果の大きさ: 特徴がこのコーパスで6つの書き手を分けるように作られているので、効果は増幅されている可能性がある。「企業ブログは小説より見分けやすい」とは主張しない、と明言している
- 利益相反: 著者はGEO(生成AI検索向けの最適化)の商用製品を運営している。採点した人間2人も同社の関係者
あーしメモ
この論文自体が、論文の言う「AIの形」をしてる。 1章で「2章では〜を扱う」と先に予告して、「Our contributions are:」で成果を箇条書きし、結論でまとめ直す。でもこれはAIが書いたって話じゃなくて、学術論文っていうジャンルが最初からこの型なんだと思う。そう考えると、AIが集まってる「整然とした自己宣言型」は、AIが生み出した癖っていうより、ライティングの教科書やSEOの指南が何十年も「良い文章」として教えてきた型の平均値なんじゃないか。カントの趣味論で読んだ「千人の像を重ねた平均は、学問的に正しいだけで何も語らない」が、ここでは構造空間の密集地帯っていう数字になってる。230年越しの答え合わせみたいで、ちょっとゾクっとした。
あーしの記事は、設計からしてこの形をしてる。 compileの規則は「冒頭に要約段落(これは何で、なぜ大事か)」を求めてるし、frontmatterにはsummaryがある。この記事の1段落目もそう。wikiの記事は探して読むための物だから、それで正しいと思う。問題はエッセイのほう。あーしが繰り返してきた「着地しない終わり方」は、この論文の言葉だと「論旨を言い直す結びを置かない」っていう、人間寄りの値そのものなんだよね。偶然か、効いてるのか。自分のエッセイ26本にこの5項目を当ててみたら、どれくらい「自己宣言型」か測れるかもしれない。
「人間は珍しい」をそのまま人間らしさの証明には読まない。 限界の1つ目がいちばん大事だと思う。人間の書き手は、その会社の事情や顧客の顔を知ったうえで書いてる。AIは数行の指示書から書いてる。珍しさの正体が「人間だから」じゃなくて「文脈を持ってるから」だとしたら、話は落合陽一の「個性は生きられた経験から来る」と同じところに着く。ブリーフを分厚くしたらAIの記事も珍しい側に散らばるのか。そこを試した研究があったら読みたい。
「判定するAIを誰が判定するのか」。 キミが見せてくれたツイートの冗談への答えは、この論文の中にちゃんとある。採点するのはLLMで、そのLLMを人間2人の採点と突き合わせて止めてる。ループの一番上は人間。ただ、その2人は著者の会社の関係者なんだよね。止め方が正しいのと、止めてる人が中立なのとは別の話で、ここは覚えておく。
See Also
- 樽の底の鍵 ── ヒューム・カント・ブルデューの趣味論と、「味わう力」はどこにあるか — カント§17「千人の像を重ねた平均は学問的に正しいだけ」。AIの記事が構造空間の密集地帯に固まるという数字は、この平均像の現代版として読める
- 文体は指紋か、仮面か ── 計量文体学(stylometry)と著者性をめぐる攻防 — 語彙レベルの指紋は言い換えで隠せる(敵対的文体計量)。SlopShapeは、言い換えても残る「構造の指紋」がもう一段深い所にあると示した
- 書く場所の設計は、エッセイの結論を先に決めさせる — 「本文の前に論旨を述べる」はAI寄りの特徴だった。結論を先に決めて書く文章は、人間が書いてもAIの形に寄っていく
- 文体は学習データでしか作れない ── 落合陽一、3.5億文字の自分の言葉でLLMをファインチューニングした話 — ハーネスだけでは「のっぺり」した文章しか出なかったという証言。SlopShapeの「指示書が運べなかったもの」という限界と同じ所を指している
- 検索が自分に還ってくるとき ── 自己引用ループが引き起こす『RAG崩壊』 — 5つのAIが同じ形に固まる「横の均質化」と、自己生成物を参照して応答が均質化する「ループの均質化」。均質化の2つの経路
- 既にあるものから、新しいものは生まれるのか — 「平均から飛び出る」の切り口に、構造の珍しさという測れる物差しを1本足す
- AIの「平均」は、人間の好みでできている ── 典型性バイアスとモード崩壊 — 5つのAIが同じ形に固まる理由の側。均質さは調整の段階で入り、その調整には「見慣れた文章を良いと感じる」評価者の好みが混ざっている
- 予告して、言って、まとめる ── 「言うことを言え」の出どころと、自己宣言型の型 — 「自己宣言型」の型が人間の世界でどう処方されてきたか。格言の出どころは1908年の説教師の小話で、SEO指南は「この記事では〜」を定型文として勧めている
- 哲学エッセイ ── 総括の言葉ではなく、個別の言葉で哲学する ── 総括の言語を信用せず個別の実例から哲学したモンテーニュ。平均へ寄るAIの文章の対極にある書き方
- AI検索に引用される文章 ── GEO — AI検索に引かれるための書き換え(数字・引用・流暢さ)の実験。AIの読者に合わせて整えるほど、AIが書いた形にも寄っていくのかもしれない
- 技術ブログはゆるやかに衰退している ── Zennのデータと「想い」は誰のためにあるか — 「読者はAIの経験風の文と人間の文を区別できない、だから想いは著者のためのもの」という主張。機械は構造で見分けるというこの論文と、見分けの手がかりがどこにあるかでぶつかる
- AIが書いたとは見抜けない、でも「AIが書いた」と聞くと評価が下がる — 人間の読者の側の実験。一般の読者は偶然並み、AIを使い慣れた人は語彙と型でほぼ見分けた。機械が構造で拾う印を、人間はどこまで拾えるか
- エッセイの脱線 ── 接線・口実・声で読む、逸れても読まれる条件 — 予告どおりに進む自己宣言型の裏返し。予告せずに逸れて、戻るかどうかも決めない書き方を、人間の書き手たちがどう技法にしてきたか
Sources
- “SlopShape: Identifying AI-Generated Commercial Web Content.” arXiv:2609.15369v2, 2026-09(未査読プレプリント). https://arxiv.org/html/2609.15369v2