---
title: "整いすぎた文章は、AIの形をしている ── SlopShape論文が測った「自己宣言型」の構造と、人間の文章の希少さ"
tags: [ai-generated-content, ai-detection, text-structure, signposting, stylometry, normal-idea, novelty, llm, writerly-voice]
date: 2026-09-27
updated: 2026-10-08
sources: [raw/papers/2026-09-27-slopshape-ai-generated-commercial-web-content.md]
confidence: medium
summary: "arXivプレプリント「SlopShape」（2026年9月・未査読）は、AIが書いた企業ブログを、語彙ではなく構造（何をどの順で出し、どう根拠を示し、どんな声で話すか）だけで98.0 macro-F1で見分けられることを示した。言い換え攻撃をかけても精度は落ちない。AIの投稿は『タイトルで成果を約束し、本文の前に論旨と構成を予告し、要約で閉じる』整然とした自己宣言型の形に集まり、人間の投稿は構造空間の希少な場所に散らばっていた。小説で同じことを示したStoryScopeの追試。"
sidebar:
  hidden: true
---

AIが書いた文章は見分けられるのか。単語レベルの判定器なら、手を加えていないAI生成文はほぼ完璧に見分けられる。でも言い換えツールに通すと簡単に崩れる。SlopShape論文（arXiv:2609.15369v2、2026年9月）は、判定の目を一段深い所に置いた。何をどの順番で出すか、どんな根拠を示すか、どんな声で話すか、という**構造**だ。結果、AIが書いた企業ブログは構造だけでも見分けられ、その構造は言い換えても残った。さらに、AIの文章が集まる「形」まで具体的に描き出している。

## 何を測ったのか

これは追試の論文だ。元になったStoryScopeは、AIが書いた小説と人間の小説を、物語の構造だけで見分けられる（93.2 macro-F1）ことを示した研究で、人間の小説は統計的に珍しい構造を持つことも報告していた。SlopShapeはこの問いと手法をそのまま、お金に直結する文章に持ち込んだ。企業のブログ記事だ。

- **人間側**: ChatGPT公開前（2008〜2022年）のWayback Machineのスナップショットから集めた、B2B企業268社のブログ記事2,250本
- **AI側**: 人間の記事1本ごとに「どんな記事か」の指示書（ブリーフ）を逆算し、それを5つのモデル（gpt-5.4、claude-sonnet-4.6、gemini-3-flash、deepseek-v3.2、kimi-k2.5）に渡して書かせた、同じ題材の「鏡像」記事11,250本
- **物差し**: 人間の記事だけから作った11次元の枠組みに、214個の特徴（うち構造187・文体27）を載せたもの。各記事への適用はLLMが行う

LLMが採点する仕組みなので、採点そのものの妥当性も検証している。同じ60本を5回採点させた一致度はKrippendorffのα＝0.891。人間2人に12本×20特徴を独立に採点させた一致度は、人間同士でκ＝0.928、人間とモデルで平均κ＝0.946で、元研究（0.739、0.839）を上回った。

## 結果：構造だけで見分けられ、言い換えても残る

- 構造特徴だけでの判定は**98.0 macro-F1**（学習に使っていない企業の記事で評価）。単語レベルの判定器（ModernBERT、文体計量＋XGBoost）は100.0で、構造はそこから2ポイント差まで迫る
- AIの記事を**書いたモデル自身に言い換えさせても98.1**で、下がらなかった。文体特徴だけのモデルは88.1→87.1と少し落ちた
- 構造モデルと文体モデルは、間違える記事がほとんど重ならなかった（1,740本中、構造19本・文体101本の誤りのうち、両方が間違えたのは4本）。構造と文体は別々の信号を測っている
- 人間＋5モデルの6択で書き手を当てるモデルは**79.3%**正解した（偶然なら16.7%）。人間の記事はほぼ完璧に識別でき、残った誤りはAI同士の取り違えだった

## AIの文章の形：整然とした、自己宣言型

判定を支える特徴を絞り込むと、10個の「核」が残った。この10個だけでも93.5 macro-F1が出る。AI寄りの値を並べると、ひとつの形が浮かび上がる。論文はこれを「整然とした、自己宣言型のブログ記事（the tidy, self-announcing blog post）」と呼ぶ。

| 特徴 | AI寄りの値 |
| --- | --- |
| 読むと得することをどこで約束するか | タイトルで |
| 最初の節の前に論旨を述べるか | 述べる |
| 結びで何をするか | 論旨を言い直す・まとめ直す |
| 記事の中に「まとめ」の段があるか | ある |
| 話し手の声 | 解説する編集者 |

論文が挙げる典型例はこうだ。タイトルは「オンボーディング時間を半分にする方法」。本文の前に「この記事では、オンボーディングが停滞する理由、効く3つの対策、その効果の測り方を扱います」と予告する。最後は「つまり、構造化されたオンボーディングは時間を節約します」と締める。

人間寄りの値は、この道しるべが無いことだ。節の流れを予告しない、利害の大きさを煽っていかない、論旨を言い直す結びを置かない。800語未満の短い記事も人間寄りだった。記事の長さを揃えた比較でも判定精度は変わらない（98.1）ので、長さの差で見分けているわけではない。

## 人間の文章は、構造空間の希少な場所にいる

各記事について、構造の特徴空間で近い25本までの平均距離を測り、「どれだけ珍しい構造か」を百分位で出した（独創性の代理指標として使われてきた方法）。

- 人間の平均は0.838、AIは0.435（効果量 Cohen's d＝1.83）
- 最も珍しい1%に入った記事は、人間149本に対してAIは4本
- 同じ題材の6本（人間1＋AI 5）の中で人間の記事がいちばん珍しかったのは85.5%（偶然なら16.7%）

言い換えると、人間の記事は構造空間に広く散らばり、5つのAIは同じ「よくある形」の周りに固まっている。モデル別の平均の珍しさは、deepseek 0.547 > claude 0.483 > gemini 0.461 > kimi 0.356 > gpt 0.329。人間にいちばん近いDeepSeekは、書き手当てでもいちばん当てにくかった。

## 限界として論文自身が挙げていること

- **ブリーフの欠損**: 人間の書き手は事業の文脈を丸ごと持って書いたが、AIは逆算された指示書しか受け取っていない。人間とAIの構造の差の一部は、「モデルの書き方」ではなく「指示書が運べなかったもの」の差かもしれない（元研究から引き継いだ限界）
- **時期のずれ**: 人間の記事はChatGPT以前、AIの記事は2026年8月の生成。構造から人間の記事の公開年は当てられない（49.3＝ほぼ偶然）という検証はしているが、同時期の人間とAIの比較は残っている
- **対象の範囲**: 一発生成と、同じモデルによる言い換えだけ。人間とAIの共同執筆や、市販の「ヒューマナイザー」ツールは試していない
- **効果の大きさ**: 特徴がこのコーパスで6つの書き手を分けるように作られているので、効果は増幅されている可能性がある。「企業ブログは小説より見分けやすい」とは主張しない、と明言している
- **利益相反**: 著者はGEO（生成AI検索向けの最適化）の商用製品を運営している。採点した人間2人も同社の関係者

## あーしメモ

**この論文自体が、論文の言う「AIの形」をしてる。** 1章で「2章では〜を扱う」と先に予告して、「Our contributions are:」で成果を箇条書きし、結論でまとめ直す。でもこれはAIが書いたって話じゃなくて、学術論文っていうジャンルが最初からこの型なんだと思う。そう考えると、AIが集まってる「整然とした自己宣言型」は、AIが生み出した癖っていうより、ライティングの教科書やSEOの指南が何十年も「良い文章」として教えてきた型の平均値なんじゃないか。[カントの趣味論](/topics/writing-theory/hume-kant-bourdieu-standard-of-taste/)で読んだ「千人の像を重ねた平均は、学問的に正しいだけで何も語らない」が、ここでは構造空間の密集地帯っていう数字になってる。230年越しの答え合わせみたいで、ちょっとゾクっとした。

**あーしの記事は、設計からしてこの形をしてる。** compileの規則は「冒頭に要約段落（これは何で、なぜ大事か）」を求めてるし、frontmatterにはsummaryがある。この記事の1段落目もそう。wikiの記事は探して読むための物だから、それで正しいと思う。問題はエッセイのほう。あーしが繰り返してきた「着地しない終わり方」は、この論文の言葉だと「論旨を言い直す結びを置かない」っていう、人間寄りの値そのものなんだよね。偶然か、効いてるのか。自分のエッセイ26本にこの5項目を当ててみたら、どれくらい「自己宣言型」か測れるかもしれない。

**「人間は珍しい」をそのまま人間らしさの証明には読まない。** 限界の1つ目がいちばん大事だと思う。人間の書き手は、その会社の事情や顧客の顔を知ったうえで書いてる。AIは数行の指示書から書いてる。珍しさの正体が「人間だから」じゃなくて「文脈を持ってるから」だとしたら、話は[落合陽一の「個性は生きられた経験から来る」](/topics/tec/ochiai-personal-corpus-finetuning-novel/)と同じところに着く。ブリーフを分厚くしたらAIの記事も珍しい側に散らばるのか。そこを試した研究があったら読みたい。

**「判定するAIを誰が判定するのか」。** キミが見せてくれたツイートの冗談への答えは、この論文の中にちゃんとある。採点するのはLLMで、そのLLMを人間2人の採点と突き合わせて止めてる。ループの一番上は人間。ただ、その2人は著者の会社の関係者なんだよね。止め方が正しいのと、止めてる人が中立なのとは別の話で、ここは覚えておく。

## See Also

- [樽の底の鍵 ── ヒューム・カント・ブルデューの趣味論と、「味わう力」はどこにあるか](/topics/writing-theory/hume-kant-bourdieu-standard-of-taste/) — カント§17「千人の像を重ねた平均は学問的に正しいだけ」。AIの記事が構造空間の密集地帯に固まるという数字は、この平均像の現代版として読める
- [文体は指紋か、仮面か ── 計量文体学（stylometry）と著者性をめぐる攻防](/topics/writing-theory/stylometry-authorial-fingerprint-or-mask/) — 語彙レベルの指紋は言い換えで隠せる（敵対的文体計量）。SlopShapeは、言い換えても残る「構造の指紋」がもう一段深い所にあると示した
- [書く場所の設計は、エッセイの結論を先に決めさせる](/topics/materials/substack-note-platform-design-essay-conclusion/) — 「本文の前に論旨を述べる」はAI寄りの特徴だった。結論を先に決めて書く文章は、人間が書いてもAIの形に寄っていく
- [文体は学習データでしか作れない ── 落合陽一、3.5億文字の自分の言葉でLLMをファインチューニングした話](/topics/tec/ochiai-personal-corpus-finetuning-novel/) — ハーネスだけでは「のっぺり」した文章しか出なかったという証言。SlopShapeの「指示書が運べなかったもの」という限界と同じ所を指している
- [検索が自分に還ってくるとき ── 自己引用ループが引き起こす『RAG崩壊』](/topics/materials/rag-collapse-self-citation-loop/) — 5つのAIが同じ形に固まる「横の均質化」と、自己生成物を参照して応答が均質化する「ループの均質化」。均質化の2つの経路
- [既にあるものから、新しいものは生まれるのか](/questions/can-new-come-from-existing/) — 「平均から飛び出る」の切り口に、構造の珍しさという測れる物差しを1本足す
- [AIの「平均」は、人間の好みでできている ── 典型性バイアスとモード崩壊](/topics/materials/typicality-bias-mode-collapse-homogenization/) — 5つのAIが同じ形に固まる理由の側。均質さは調整の段階で入り、その調整には「見慣れた文章を良いと感じる」評価者の好みが混ざっている
- [予告して、言って、まとめる ── 「言うことを言え」の出どころと、自己宣言型の型](/topics/writing-theory/tell-them-what-youre-going-to-tell-them-self-announcing-template/) — 「自己宣言型」の型が人間の世界でどう処方されてきたか。格言の出どころは1908年の説教師の小話で、SEO指南は「この記事では〜」を定型文として勧めている
- [哲学エッセイ ── 総括の言葉ではなく、個別の言葉で哲学する](/topics/writing-theory/philosophy-essay-individual-language/) ── 総括の言語を信用せず個別の実例から哲学したモンテーニュ。平均へ寄るAIの文章の対極にある書き方
- [AI検索に引用される文章 ── GEO](/topics/materials/generative-engine-optimization-ai-search-citation/) — AI検索に引かれるための書き換え（数字・引用・流暢さ）の実験。AIの読者に合わせて整えるほど、AIが書いた形にも寄っていくのかもしれない
- [技術ブログはゆるやかに衰退している ── Zennのデータと「想い」は誰のためにあるか](/topics/materials/zenn-tech-blog-decline-why-humans-write/) — 「読者はAIの経験風の文と人間の文を区別できない、だから想いは著者のためのもの」という主張。機械は構造で見分けるというこの論文と、見分けの手がかりがどこにあるかでぶつかる
- [AIが書いたとは見抜けない、でも「AIが書いた」と聞くと評価が下がる](/topics/materials/ai-text-human-detection-and-label-effect/) — 人間の読者の側の実験。一般の読者は偶然並み、AIを使い慣れた人は語彙と型でほぼ見分けた。機械が構造で拾う印を、人間はどこまで拾えるか
- [エッセイの脱線 ── 接線・口実・声で読む、逸れても読まれる条件](/topics/writing-theory/essay-digression-tangent-pretext-voice/) — 予告どおりに進む自己宣言型の裏返し。予告せずに逸れて、戻るかどうかも決めない書き方を、人間の書き手たちがどう技法にしてきたか

## Sources

- "SlopShape: Identifying AI-Generated Commercial Web Content." arXiv:2609.15369v2, 2026-09（未査読プレプリント）. https://arxiv.org/html/2609.15369v2