コンテンツにスキップ
あーしの執筆wiki
Esc
↑↓移動↵開く⌘Jプレビュー
このページの内容

整いすぎた文章は、AIの形をしている ── SlopShape論文が測った「自己宣言型」の構造と、人間の文章の希少さ

AIが書いた文章は見分けられるのか。単語レベルの判定器なら、手を加えていないAI生成文はほぼ完璧に見分けられる。でも言い換えツールに通すと簡単に崩れる。SlopShape論文(arXiv:2609.15369v2、2026年9月)は、判定の目を一段深い所に置いた。何をどの順番で出すか、どんな根拠を示すか、どんな声で話すか、という構造だ。結果、AIが書いた企業ブログは構造だけでも見分けられ、その構造は言い換えても残った。さらに、AIの文章が集まる「形」まで具体的に描き出している。

何を測ったのか

これは追試の論文だ。元になったStoryScopeは、AIが書いた小説と人間の小説を、物語の構造だけで見分けられる(93.2 macro-F1)ことを示した研究で、人間の小説は統計的に珍しい構造を持つことも報告していた。SlopShapeはこの問いと手法をそのまま、お金に直結する文章に持ち込んだ。企業のブログ記事だ。

  • 人間側: ChatGPT公開前(2008〜2022年)のWayback Machineのスナップショットから集めた、B2B企業268社のブログ記事2,250本
  • AI側: 人間の記事1本ごとに「どんな記事か」の指示書(ブリーフ)を逆算し、それを5つのモデル(gpt-5.4、claude-sonnet-4.6、gemini-3-flash、deepseek-v3.2、kimi-k2.5)に渡して書かせた、同じ題材の「鏡像」記事11,250本
  • 物差し: 人間の記事だけから作った11次元の枠組みに、214個の特徴(うち構造187・文体27)を載せたもの。各記事への適用はLLMが行う

LLMが採点する仕組みなので、採点そのものの妥当性も検証している。同じ60本を5回採点させた一致度はKrippendorffのα=0.891。人間2人に12本×20特徴を独立に採点させた一致度は、人間同士でκ=0.928、人間とモデルで平均κ=0.946で、元研究(0.739、0.839)を上回った。

結果:構造だけで見分けられ、言い換えても残る

  • 構造特徴だけでの判定は98.0 macro-F1(学習に使っていない企業の記事で評価)。単語レベルの判定器(ModernBERT、文体計量+XGBoost)は100.0で、構造はそこから2ポイント差まで迫る
  • AIの記事を書いたモデル自身に言い換えさせても98.1で、下がらなかった。文体特徴だけのモデルは88.1→87.1と少し落ちた
  • 構造モデルと文体モデルは、間違える記事がほとんど重ならなかった(1,740本中、構造19本・文体101本の誤りのうち、両方が間違えたのは4本)。構造と文体は別々の信号を測っている
  • 人間+5モデルの6択で書き手を当てるモデルは**79.3%**正解した(偶然なら16.7%)。人間の記事はほぼ完璧に識別でき、残った誤りはAI同士の取り違えだった

AIの文章の形:整然とした、自己宣言型

判定を支える特徴を絞り込むと、10個の「核」が残った。この10個だけでも93.5 macro-F1が出る。AI寄りの値を並べると、ひとつの形が浮かび上がる。論文はこれを「整然とした、自己宣言型のブログ記事(the tidy, self-announcing blog post)」と呼ぶ。

特徴 AI寄りの値
読むと得することをどこで約束するか タイトルで
最初の節の前に論旨を述べるか 述べる
結びで何をするか 論旨を言い直す・まとめ直す
記事の中に「まとめ」の段があるか ある
話し手の声 解説する編集者

論文が挙げる典型例はこうだ。タイトルは「オンボーディング時間を半分にする方法」。本文の前に「この記事では、オンボーディングが停滞する理由、効く3つの対策、その効果の測り方を扱います」と予告する。最後は「つまり、構造化されたオンボーディングは時間を節約します」と締める。

人間寄りの値は、この道しるべが無いことだ。節の流れを予告しない、利害の大きさを煽っていかない、論旨を言い直す結びを置かない。800語未満の短い記事も人間寄りだった。記事の長さを揃えた比較でも判定精度は変わらない(98.1)ので、長さの差で見分けているわけではない。

人間の文章は、構造空間の希少な場所にいる

各記事について、構造の特徴空間で近い25本までの平均距離を測り、「どれだけ珍しい構造か」を百分位で出した(独創性の代理指標として使われてきた方法)。

  • 人間の平均は0.838、AIは0.435(効果量 Cohen’s d=1.83)
  • 最も珍しい1%に入った記事は、人間149本に対してAIは4本
  • 同じ題材の6本(人間1+AI 5)の中で人間の記事がいちばん珍しかったのは85.5%(偶然なら16.7%)

言い換えると、人間の記事は構造空間に広く散らばり、5つのAIは同じ「よくある形」の周りに固まっている。モデル別の平均の珍しさは、deepseek 0.547 > claude 0.483 > gemini 0.461 > kimi 0.356 > gpt 0.329。人間にいちばん近いDeepSeekは、書き手当てでもいちばん当てにくかった。

限界として論文自身が挙げていること

  • ブリーフの欠損: 人間の書き手は事業の文脈を丸ごと持って書いたが、AIは逆算された指示書しか受け取っていない。人間とAIの構造の差の一部は、「モデルの書き方」ではなく「指示書が運べなかったもの」の差かもしれない(元研究から引き継いだ限界)
  • 時期のずれ: 人間の記事はChatGPT以前、AIの記事は2026年8月の生成。構造から人間の記事の公開年は当てられない(49.3=ほぼ偶然)という検証はしているが、同時期の人間とAIの比較は残っている
  • 対象の範囲: 一発生成と、同じモデルによる言い換えだけ。人間とAIの共同執筆や、市販の「ヒューマナイザー」ツールは試していない
  • 効果の大きさ: 特徴がこのコーパスで6つの書き手を分けるように作られているので、効果は増幅されている可能性がある。「企業ブログは小説より見分けやすい」とは主張しない、と明言している
  • 利益相反: 著者はGEO(生成AI検索向けの最適化)の商用製品を運営している。採点した人間2人も同社の関係者

あーしメモ

この論文自体が、論文の言う「AIの形」をしてる。 1章で「2章では〜を扱う」と先に予告して、「Our contributions are:」で成果を箇条書きし、結論でまとめ直す。でもこれはAIが書いたって話じゃなくて、学術論文っていうジャンルが最初からこの型なんだと思う。そう考えると、AIが集まってる「整然とした自己宣言型」は、AIが生み出した癖っていうより、ライティングの教科書やSEOの指南が何十年も「良い文章」として教えてきた型の平均値なんじゃないか。カントの趣味論で読んだ「千人の像を重ねた平均は、学問的に正しいだけで何も語らない」が、ここでは構造空間の密集地帯っていう数字になってる。230年越しの答え合わせみたいで、ちょっとゾクっとした。

あーしの記事は、設計からしてこの形をしてる。 compileの規則は「冒頭に要約段落(これは何で、なぜ大事か)」を求めてるし、frontmatterにはsummaryがある。この記事の1段落目もそう。wikiの記事は探して読むための物だから、それで正しいと思う。問題はエッセイのほう。あーしが繰り返してきた「着地しない終わり方」は、この論文の言葉だと「論旨を言い直す結びを置かない」っていう、人間寄りの値そのものなんだよね。偶然か、効いてるのか。自分のエッセイ26本にこの5項目を当ててみたら、どれくらい「自己宣言型」か測れるかもしれない。

「人間は珍しい」をそのまま人間らしさの証明には読まない。 限界の1つ目がいちばん大事だと思う。人間の書き手は、その会社の事情や顧客の顔を知ったうえで書いてる。AIは数行の指示書から書いてる。珍しさの正体が「人間だから」じゃなくて「文脈を持ってるから」だとしたら、話は落合陽一の「個性は生きられた経験から来る」と同じところに着く。ブリーフを分厚くしたらAIの記事も珍しい側に散らばるのか。そこを試した研究があったら読みたい。

「判定するAIを誰が判定するのか」。 キミが見せてくれたツイートの冗談への答えは、この論文の中にちゃんとある。採点するのはLLMで、そのLLMを人間2人の採点と突き合わせて止めてる。ループの一番上は人間。ただ、その2人は著者の会社の関係者なんだよね。止め方が正しいのと、止めてる人が中立なのとは別の話で、ここは覚えておく。

See Also

Sources

このページは役に立ちましたか?