TOEFL Writing: Fair, Fairで24点ってどういうこと？

先日、ウェブトフルの受講生の方から

TOEFL Writingのスコア 24点、でもIntegratedとIndependentの評価はそれぞれFair、Fairだった。
これってどういうこと？

というようなご質問をいただきました。

「確かにW 24でFair、Fairっていうのはおかしい」

と思ったあなたはかなりのTOEFL通。

実は過去に同様の質問を受講生の方から受けたことがあります。
また、Writing 24点（Good、Good）というスコア報告をいただいたこともあります。

なぜ、W 24（Fair、Fair）、W 24（Good、Good）がおかしいのか？
説明します。

まずは以下の「以前に」ETSがTOEFL公式サイトで公表していたWritingの換算表をご覧ください。

→　TOEFL Writing / Speaking換算表

この換算表によれば、Writing 24点のとき、採点官のスコアの平均は3.75。
3.75は、WritingのIntegrated、Independentそれぞれのタスクに対して、人間の採点官とe-raterという自動採点プログラムのペアがつけたスコアが

[4, 4] と [4, 3]  平均 3.75

[5, 4] と [3, 3]  平均 3.75

[5, 5] と [3, 2]  平均 3.75

のいずれかであったことを示します。

もしかしたら、皆さんの中には

「いや、その他の可能性もあるんじゃないの？例えば、Integrated [5, 4]、Independent [4, 2]なんて。これも平均3.75になるよ！」

と思われる方がいらっしゃるかもしれませんが、 同じエッセイに対して、人間の採点官とe-raterの差が2以上の場合、人間の採点官2人による再採点が行われるので、4と2、5と3というように2点の差がつくことはありません。

Writingの評価は、4.0-5.0はGood、2.5-3.5はFairなので

平均3.75 [4, 4] と [4, 3 ]　→　Good  4.0 [4, 4] と Fair 3.5 [4, 3]

平均3.75  [5, 4] と [3, 3]　→　Good 4.5 [5, 4] と Fair 3.0 [3, 3]

平均3.75  [5, 5] と [3, 2]　→　Good 5.0 [5, 5] と Fair 2.5 [3, 2]

のいずれかになるはず。

IntegratedとIndependentがともにFair なら、最高でも3.5と3.5。
平均は3.5以下になり、スコアは22以下のはず。

よって、Fair, Fairという評価で24になるのはおかしいということになります。
同様に、Good、Goodなら平均は4.0以上（25点以上）のはずであり、24になるのは不可解です。
実際に受講生の方からいただくご報告でW 24の場合、 ほとんどはGoodとFairの組み合わせです。

ではなぜこのようなことが起こるかというと、これはETSのミスによるものと考えます。

「ETSがミスすることってあるのか？」

と思われる方もいらっしゃるかもしれませんが、私は「稀ではあるが、そういうこともある」と認識しています。

例えば、以前の版のOfficial GuideのReading問題では、間違いであるべき選択肢を解説付きで正解と表示していたことがありました。
その問題は、版が更新された時、本来正解であるはずの選択肢が明らかに不正解になるように変えられ、まったく別の文になってしまいました。
結果、もともとは不正解であったはずの、正解として表示されていた選択肢を、その他の3つの選択肢が明らかにダメという理由で、正解として選ばざるを得なくなりました。

ETSが過去に本試験で出題したと思われる問題の中に、明らかに正解の選択肢がないものを確認したこともあります。
また、Official GuideのPractice Test 2のListening問題は33問しかありません。
Listeningは全体で34問（1セット17問 × 2セット）であり、このTest 2のListening問題が本試験で出題されたときは34問だったはず。
おそらく、採点の段階で1問、問題として不適切なものが見つかったのでしょう。

人間の行うことですからミスが発生して当然ですが、TOEFL本試験の問題は公開されていないので、ミスがあっても誰も指摘することができません。

上で

> 「まずは以下の『以前に』ETSがTOEFL公式サイトで公表していたWritingの換算表をご覧ください。」

と書きましたが、

リンク先のSpeaking/Writingの換算表は、2013年以降、TOEFL公式サイト上で公開されていません。
つまり、現在は Speaking、Writingでどのような評価をもらったら何点になるということが明らかにされていないのです。

この理由に関して、興味ある方は以下をご覧いただくとして

Writingで23や26というスコアがでるのはなぜですか？ その1（2014年1月8日）

Writingで23や26というスコアがでるのはなぜですか？ その2（2014年1月11日）

Writingで23や26というスコアがでるのはなぜですか？ その3（2014年9月16日）

2013年から、Writingの換算法に若干の変更があり、23や26が出るようになったりと複雑になったことが、Writingで24 [Fair, Fair], 24[Good, Good]という本来ならあり得ないスコアor評価が表示されるようになった原因と推測します。

Writingで同じような変なスコア＆評価をもらったことがある
そのスコアをリスコアした結果

等の経験がある方は是非、メール info「アットマーク」etestprep.com、またはこのブログのコメント欄、Twitterなどでご報告ください。
新たにいただいた情報次第では、その情報をもとに更に考察を進めます。

リスコア Scoring Review に関しては以下を参照。S or Wで$80、S+Wなら$160。申請は受験日から30日以内。下のサイトには書いていませんが、これまで再採点によりスコアが変わった場合、費用は返金されています。

ETS TOEFL: Scoring Services

追記：その後、上記の見解を改めました。以下を一読ください。

リスコア（スコアの見直し）しようか迷っている その3 – Writing 24の場合、99が100になるか？（2018年11月25日）