WritingのScore Review（スコアの見直し）でもeRaterが使われていると分かりました その3

先日の投稿

WritingのScore Review（スコアの見直し）でもeRaterが使われていると分かりました その2（2016年9月4日）

での受講生の方からいただいたスコアの見直しでWritingスコア大幅ダウンのご報告

Cさん
2013年9月28日受験： W 20 → 14

と以下のブログ記事の

本当にあったTOEFLの怖い話 ― スコア見直しで81→67の14点ダウン （2015年5月16日）

Score Reviewの結果、Writingスコアは22 → 17点にダウン。

について分析します。

まずはCさんのWritingリスコアによる大幅なダウンから。

スコア見直しの前、CさんのWスコアは20点。

W 20点は4者の採点官（Integrated：人間 + eRater, Independent：人間 + eRater）がつけた平均が3のときにつくスコアと想定されます。
TOEFL Speaking/Writingの換算表が公開されていたときはそうでしたし。

Writingで23や26というスコアがでるのはなぜですか？ その3（2014年9月16日）

4者のスコアは

Integrated：3（人間） + 3（eRater）, Independent：3（人間） + 3（eRater）
Integrated：4（人間） + 4（eRater）, Independent：2（人間） + 2（eRater）
Integrated：4（人間） + 3（eRater）, Independent：3（人間） + 2（eRater）

などの平均3の評価点がついたはず。

しかしリスコアの結果の14点は、4者の平均が2と推測されるため、eRaterの評価点が変わらないままであるなら、スコア見直しにより人間の評価点がともに2点下がったということになります。

例えば

Integrated：3 → 1（人間） + 3（eRater）, Independent：3 → 1（人間） + 3（eRater）
Integrated：4 → 2（人間） + 3（eRater）, Independent：3 → 1（人間） + 2（eRater）

というように。

同様にブログ記事で紹介した W 22 → 17のダウンも、W 22は以前に公開されていた換算表に基づくと4者の平均が3.5のときにつくので、以下のような内訳であったと推測されます。

Integrated：4（人間） + 4（eRater）, Independent：3（人間） + 3（eRater）
Integrated：4（人間） + 3（eRater）, Independent：4（人間） + 3（eRater）
Integrated：5（人間） + 3（eRater）, Independent：4（人間） + 2（eRater）

しかしW 22が、以前の換算表では2.5平均であった17になるには、人間からの評価点が2点下がらなければならないので、リスコアの結果が以下のようになったと判断できます。

Integrated：4 → 2（人間） + 4（eRater）, Independent：3 → 1（人間） + 3（eRater）
Integrated：4 → 2（人間） + 3（eRater）, Independent：4 → 2（人間） + 3（eRater）
Integrated：5→ 3（人間） + 3（eRater）, Independent：4 → 2（人間） + 2（eRater）

Cさんのケース、ブログ記事で紹介したケースともに、Rescoringにより人間の評価点がIntegrated、Independentともに2点下がったということになります。
しかし、採点官が変わることで2点も下がり、またそれがIntegrated、Independent両方で起こるというのはほぼありえないと考えます。

リスコアの採点官は全員人間であり、4人の人間の採点官が全員マイナス1のスコアをつけたというのなら、まだあり得ることだとは思いますが。
これが「リスコアでは、eRaterが人間の採点に変わる」と考えていた根拠のひとつになります。

TOEFL Writingの換算の仕方は3年以上公開されていないので（恐らくは今後も）、上記の内容は推測の範囲でしかありません。
ただ私が知っている情報は公開していますので、お伝えした内容に基づき、皆さん自身でご判断いただければと思います。

あと、もうひとつ私が思うのは

人間の誰もがミスをすることがあるように、ETSもミスをすることがある

ということ。

上記2件のリスコアによる大幅なスコアダウンは、ETS側の何かしらのミスにより発生したと私は考えます。
しかしETS側の情報は公開されないので、そのミスを追究したり、訂正させることはできません。

とは言え、ミス発生の確率は極めて小さいはずですし、ナーバスになる必要はありません。
でも1回だけの受験で目標点を獲得しようとすると、何かしらの不運に見舞われることもありえるので、目標スコア獲得までの期間や受験回数には余裕をもたせるようにしましょう。