WritingのScore Review（スコアの見直し）でもeRaterが使われていると分かりました その1

前回の投稿

101点獲得のご報告をいただきました！（2016年8月25日）

では、SpeakingセクションのScore Review（スコアの見直し、Rescoring、リスコア）により19点が22点へと3点アップしたため、Yさんは101点を獲得されたとお伝えしました。

そのときWriting 23点に対してもScore Reviewを行ったのですが、こちらは23点のままという結果でした。

そして最近、別の受講生の方からWriting 26に対してスコアの見直しを行ったものの、スコアは変わらないままであったというご報告をいただきました。
（Speakingのスコアも変わらずそのままであったとのことです）

ここで気になるのが、Writing 23、26点をリスコアしてもスコアが変わらなかったということ。
なぜ私がそこに注目するか、皆さん分かりますか？

その理由が分かるという方は、かなりのTOEFL通。いや、TOEFLマニアと言ってもいいかもしれません。

詳しくは以下の一連の投稿を参照していただきたいのですが、2012年以前は、Writingセクションにおいて23、26というスコアは出なかったのです。

Writingで23や26というスコアがでるのはなぜですか？ その1（2014年1月8日）

Writingで23や26というスコアがでるのはなぜですか？ その2（2014年1月11日）

Writingで23や26というスコアがでるのはなぜですか？ その3（2014年9月16日）

なぜ、数年前ではWritingで23や26というスコアが出なかったと分かるのか？

以下の換算表をご覧ください。

→　TOEFL Writing / Speaking換算表

こちらは「数年前まで」TOEFLの公式サイトで公表されていたWritingとSpeakingの換算表。

「この換算表によると」Writingでは23、26というスコアは存在しないことになっています。
そして2012年以前は、実際に23、26というスコアは出ませんでした。

しかし数年前、何の予告や告知もなくこの換算表がTOEFL公式サイトからなくなり、Writingで23や26といったスコアが出るようになりました。

ちなみに、Speakingは今でもこの換算表通りのスコアになります。
けれどもWritingでの換算の変更に伴い、Speakingの換算方法も非公開になってしまいました。

話をWritingセクションのScore Review（スコアの見直し）に戻します。

現在、TOEFL Writingセクションでは、Integrated、Independentのエッセイに対してeRaterという自動採点プログラムと人間の採点官がスコアをつけ、それぞれのスコアに基づき、Writingの最終的なスコアが決まります。

eRater® automated scoring technology is used with human ratings to score the independent and integrated writing tasks. Using both human judgment for content and meaning with automated scoring for linguistic features ensures consistent, quality scores.

しかし、eRaterが導入された2009年では

eRater® automated scoring technology is used with human ratings to score the independent writing task. Using both human judgment for content and meaning with automated scoring for linguistic features ensures consistent, quality scores.

とe-raterは「Independent Writingのみ」に適用されていました。

そしてこの頃はRescoringをするとe-raterは外され、人間の採点官4人が再度スコアをつけるということでした。よって、その後、Integratedにもe-raterが採用された後でも、人間の採点官4人がリスコアを担当すると推測していました。

しかし、人間だけが採点していた頃にはなかった23と26がScore Reviewの後にも出たことから

「スコアの見直しは昔のように人間だけが行っているのではなく、リスコアにおいてもeRaterが使われているのでは」

という結論に至りました。

ちょうどETSのTOEFL Writing責任者にうかがう機会があり、尋ねたところ

WritingのScore Reviewにおいても、Integrated、Independentの採点の片方はeRaterが担当のまま。
eRaterのスコアは当然同じになる。
もう片方の人間の採点官は、以前とは別の人。

という回答を得ることができました。

リスコアにおいて、Integrated、Independent Writingのスコアをつける4者が人間の採点官であるよりも、eRaterのスコアがそのまま残り、もう片方の人間のみ再採点する方が、当然、スコアが変わる可能性は低くなります。
これまでWritingのスコアはSpeakingと比べ、Rescoreでは変わりにくいとお伝えしていましたが、その理由が解明できました。

次回の「その2」では、これまでいただいたScore Reviewの結果のご報告を、今回分かった事実に基づいて分析することにします。