SpeakingとWritingの新たなスコア算出方式を考える その3

SpeakingとWritingの新たなスコア算出方式を考える その2（2018年10月30日）

の続きです。「その2」では、

Reading、Listeningでは同じ正解数・正解率であっても問題によっては2-3点スコアが変わる

ことを伝えしました。

最近、Speakingでこれまでには出なかったスコアを取る人がでてきた、そして数年前、Writingのスコア算出方法が変わったのは、Speaking、Writingにおいても問題の難易度、つまり全受験者におけるそれぞれの評価点平均への分布を統計的に考慮したスコア算出方法になったためと推測します。

過去に私は、Writingスコア算出方法の変化は、人間の評価点をe-raterの評価点と比べ、より重視するようになったからではと推測しました。
そのように考えた理由のひとつは、当時、Speakingの換算は変わらずWritingだけが変わったので、Writingで用いられているe-raterが関わっているのではと考えたためです。

しかし数年後、e-raterが使われていないSpeakingにおいても以前の換算表とは異なるスコア算出が行われるようになったことから「e-raterが理由である」という判断は難しくなりました。

また統計的に考慮するスコア算出なら、WritingにおいてGood、Goodでありながら23点や24点になることも説明が可能です。

数年前までWritingにおいてIntegrated、Independentの評価がともにGood（4.0-5.0）なら、スコアは必ず25点以上でした。
ところが今、23点（Good、Good）、24点（Good、Good）というスコアがでることがあるのは、その回の全受験者内で評価点平均4.0を獲得した人の割合が他の回よりも多いときに統計的な調整によって、最終的なスコアが1、2点下がったのでしょう。
（Writingスコア算出において人間の採点官による評価点とe-raterがつける評価点の価値に差があるかは現段階では分かりません）

「その2」で紹介したReading、Listeningスコアから問題難易度に対しての統計的な考慮は、ある回と別の回のスコアは同じ正解数・正解率に対して全体的に1点や2点ズレるという単純なものではないと分かります。
実際は、ある正解数・正解率に対してはスコアが2-3点異なることもあれば、別の正解数・正解率ではスコアは同じ、または1点違いのことも。
統計的な算出方法は、全受験者の中での相対的な位置を偏差値のように計算したものだとは思われます。

この統計的な算出によりスコアが上がるのであれば、ありがたいですよね。
例えば、ここ最近まではSpeakingにおいて

Task 1 & 2, 3 & 5, 4 & 6すべてでLimited（1.5-2.0）という評価なら、スコアは15点以下と決まっていました。

しかし、Limitedが3つ並んでいるにも関わらず16点というスコアが出るようになったのは、評価点平均の分布を統計的に加味したことにより1-2点上乗せがあったと推測されます。
このような統計的なスコア算出により1点でも高くなるなら受験生にとってはありがたいのですが、上がることがあるなら下がることも。

WritingでGood, Goodが並んでいるにも関わらず25点以上ではなく、23や24になるなら、Writing 25獲得を目標とした場合、ときに評価点4では不十分になってしまいます。

2日前に受講生の方から105点獲得のご報告をいただきました。その方のスコアは

R 30, L 27, S 24 (Good, Fair, Fair), W 24 (Good, Good)

Writingでは評価点4以上が取れているにも関わらず、その回の試験における統計的な算出により、Writingスコアは低めになってしまったようです。

このようなことが起こり得るとなると、100以上のスコア獲得を狙うには、このご報告をいただいた方のようにW以外の3セクションでの高スコア取得がカギとなります。

日本で英語教育を受けてきた方の多くは、英語のアウトプット（Speaking、Writing）にあまり慣れていなく、TOEFL対策開始時のWriting力は評価点2-3点レベル。
そこからの評価点5到達はかなり難しく、評価点4を獲得できるようにするのがWritingセクションにおける現実的な目標と言えますが、評価点4.0平均を獲得しながらも25点が取れないかもしれないというのはちょっと厳しいですね。
（逆に評価点4.0平均が26点になることもありますが）

もちろん、Reading、Listening、Speakingにおいても試験によってスコアは上下するので、目標スコア獲得まで大幅にスコアアップする必要がある方は、目標スコアが取れそうなくらいの実力が身についた後に数回受験できる期間的余裕を持った方がいいでしょう。
TOEFL対策は早めに開始すべきということ。

Speaking、Writingの新たなスコア算出方法に関しては、引き続き、調査・考察を続け、アップデートがあり次第、お伝えします。