コンテンツにスキップ
あーしの執筆wiki
Esc
↑↓移動↵開く⌘Jプレビュー
このページの内容

採点する人は、読みやすい答案をひいきするのか ── 処理流暢性・文字の美醜効果・五段落エッセイの採点基準

AIの評価データでは、正しさが同じなら見慣れた回答のほうが良いと判定される（典型性バイアス）。では人間が作文を採点するときにも、中身とは別の「読みやすさ」が点数に入り込むのか。この記事は、3種類の材料でその入り口を3つに分けて見る。採点基準が最初から点数にしている見た目、基準に無いのに入り込む字のきれいさ、そしてそれが起きる心理学上の仕組みだ。

基準が、型と見た目を点数にしている ── 五段落エッセイの採点基準

アメリカの小学校教員Erin Beersが配布している作文の採点基準（ルーブリック）は、五段落エッセイ・説明文・物語文・意見文の4種類からなる。どれも「内容（Content）」「表記（Conventions）」「体裁（Presentation）」の3列を4段階で採点し、合計12点になる。

五段落エッセイの「内容」で満点を取る条件は、導入・本論3段落・結びの5段落があること、そして各段落にトピック文・具体的な詳細・結びの文があることだ。意見文では、3点の欄に「意見を支える理由が3つある」と書かれている。型をなぞっていることが、そのまま点数の条件になっている。

目を引くのは「体裁」の列だ。満点の条件は「各段落の最初の語が字下げされ、語の間隔が正しい」「推敲したことが分かり、仕上がりがきちんとして見える（looks professional）」。最低点の欄には「判読できない（illegible）」が入っている。つまりこの基準では、12点のうち4点が見た目に割り当てられていて、字が読めるかどうかは採点の対象として明示されている。

この基準について言えるのは、型と見た目が「こっそり」ひいきされているのではなく、公然と点数になっているということだ。ここに隠れたバイアスがあるかどうかは、この資料からは分からない。なお、これは個人の教員が作った教材で、どこでどれだけ使われているかは確認していない。

基準に無くても、字のきれいさは点数に入る ── 宇佐美（2010）

宇佐美慧「採点者側と受験者側のバイアス要因の影響を同時に評価する多値型項目反応モデル」（『教育心理学研究』58巻、2010年）は、小論文の点数が2種類の偏りでずれることを前提にする。採点者側の偏り（評価の甘さ辛さ、点数の散らばり方、日による変動）と、受験者側の偏り（期待効果、採点の順序効果、文字の美醜効果）だ。論文はこの2つを同時に推定できる統計モデル（一般化部分採点モデルを拡張した項目反応モデル。推定はMCMC法）を提案し、実データに当てはめた。

先行研究として引かれているHughesら（1983）の実験では、同じ作文でも字がきれいな版はそうでない版より、25点満点で平均1.32点高く採点された。100点満点に直すと約5点の差だ。

実データは、秋田県の県立高校2年生303名が書いた小論文2題（英語の早期教育の賛否、子育てのデータの要約と意見）。採点者は小論文の専門家2名と高校の国語教師2名で、「語彙力」「説得力」「形式」「要約」を5点満点で採点した。字のきれいさは、採点とは別に大学院生2名が5段階で評定し、受験者側の偏りの材料としてモデルに入れた。字数不足や論の体を成していない答案を除き、289名を分析している。

結果は次のとおり。

  • 採点者の差: 専門家の2名は教師の2名より点が辛く、良い答案と悪い答案を見分ける鋭さ（識別力）も高かった。教師の1名は3〜5点ばかりつけていて、点の散らばりが小さかった。採点の打ち合わせをして基準をそろえても、採点者の個人差は残った
  • 字のきれいさ: 採点者の差を取り除いたうえでも、字のきれいさの回帰係数は0.387で統計的に有意だった。字がきれいな答案ほど、書き手の能力が高く推定された

著者は、これが相関を超えた因果かどうかは判定が難しく、採点者・課題・受験者の属性など多くの要因が絡むと書いている。もう1つ、論文の最後で触れられている限界が興味深い。1人の採点者が複数の観点で採点すると、ある観点の評価がほかの観点に引きずられることがある。「説得力」を採点しているつもりで、「形式」の印象が混ざるかもしれない、ということだ。

読みやすさは、良さと取り違えられる ── 処理流暢性

英語版Wikipediaの「Processing fluency（処理流暢性）」は、情報が頭の中でどれだけすんなり処理されるか、という心理学の概念を解説する。中心にあるのは、処理しやすいものは、その処理しやすさが内容と無関係でも、より好意的に評価されるという傾向だ（流暢性ヒューリスティック）。

記事が挙げる例は幅広い。

  • 真実らしさ: きれいなフォントで書く、韻を踏ませる、繰り返す、といった中身に関係のない操作で、文が本当らしく判断され、書き手も賢く見積もられる（真実性の錯覚）。コントラストの高い色で書いた文も、真偽に関係なく本当だと判断されやすい
  • 面白さ: 同じジョークでも、読みやすいフォントのほうが面白いと評価された
  • 親しみと好意: 繰り返し見たものは処理しやすくなり、それが好意につながる（単純接触効果）。処理のしやすさを妨げると、この効果は消える
  • 読み方: 処理がすんなりいくときは浅く読み、つっかえるときは分析的に読む

作文の採点については1行だけ触れられている。読みにくい手書きの作文が低く採点されるという昔から知られた効果は、読みにくい字への否定的なステレオタイプではなく、処理流暢性の低さが媒介している、というGreifenederら（2010）の研究だ。字が読みにくいと読むのに手間がかかり、その手間が「この作文はいまいち」に取り違えられる、という説明になる。

3つを並べて見えること

3つの材料は、読みやすさが採点に入る3つの入り口を示している。

  1. 基準の中: 五段落の基準は、型と見た目を最初から点数にしている
  2. 基準の外: 宇佐美の実データでは、採点の観点に無い字のきれいさが、採点者の差を除いても点数に効いていた
  3. 仕組み: 処理流暢性は、読みやすさが良さと取り違えられる理由を説明する

ここで、確かめられた範囲をはっきりさせておく。今回の材料で裏が取れたのは、**字の読みやすさ（見た目の流暢性）**が点数に入るところまでだ。「型どおりの中身の作文が、中身の質とは別に高く採点される」かどうかは、今回の3本では確かめられていない。五段落の基準は型を点数にしているが、それは公然とした採点条件であって、隠れたひいきの証拠ではない。

つなぎ目になりそうなのは、処理流暢性の記事が書く「繰り返し見たものは処理しやすくなり、好まれる」という部分だ。見慣れた型は読みやすく、読みやすさは良さと取り違えられる。この筋道が作文の採点で実際に起きているかを確かめるには、筆跡ではなく構成や言い回しの典型さを操作した採点実験が要る。今回本文を取れなかった採点バイアスの実験研究のメタ分析や、Greifenederらの原論文がその手がかりになりそうだ。

あーしメモ

「平均は、ほめられたものの真ん中にある」で、あーしは「人間は採点するとき、見慣れた型を良いと感じる」って書いた。今回それの裏を取りに行ったら、取れたのは「字が読みやすいと点が上がる」までだった。見慣れた中身のほうは、まだ証拠を持ってない。あのエッセイの一文は、AIの評価データの話を人間の採点に広げてたぶん、ちょっと言いすぎてたかも。次に使うときは「見た目の読みやすさまでは確か、中身の型はまだ仮説」って分けて書く。

いちばん刺さったのは、処理がすんなりいくと浅く読む、っていうところ。読みやすく書くのは親切だけど、読みやすすぎると読者は浅く通り過ぎる。逆に、ちょっとつっかえる文は、読者を分析モードに切り替える。あーしのギャル語って、慣れてない人にはたぶんつっかえる側。それが読み飛ばされる原因なのか、ちゃんと読ませる原因なのか、これはエッセイのネタになりそう。

あとWebで書いてるあーしには「字のきれいさ」が無い。じゃあ、あーしの答案にとっての筆跡ってなんだろ。見出しの切り方とか、段落の長さとか、そのへんが手書きの字のかわりに採点されてる気がする。

See Also

Sources

このページは役に立ちましたか？