Independent Writing採点にeRaterが採用されていました
今月に入り、メール回答へのリンクのためにTOEFL公式サイトのスコアに関するページを確認したところ、Independent Writingにコンピューターによる自動採点プログラムのeRater (e-rater) が採用されていることが分かりました。
Understanding TOEFL iBT Scores
eRater® automated scoring technology is used in combination with human ratings to score the independent writing task. Combining human judgment for content and meaning with automated scoring for linguistic features ensures consistent, quality scores.
そして公式サイトの別のページには以下の記述があります。
Scoring Overview (For English-Language Teachers / For Academic Institutions)
In July 2009, the TOEFL® test began using automated scoring to complement human scoring for one of the 2 tasks in the Writing section. Combining human judgment and automated scoring ensures consistent, high quality measures of an applicant’s ability to communicate and succeed in academic settings.
これらの情報から
eRater使用開始は昨年2009年7月から
eRaterはlinguistic features(文法、つづり、単語の選択など)を判定する
ということが分かります。
GMAT、GREのAnalytical Writingでは基本的に、エッセイに対して、人間による採点とe-Raterによる採点が行われ、その平均がスコアになります。
しかし上記の説明では、e-RaterがTOEFLでどのように使われているのか不明です。
ウェブトフルは、e-RaterがTOEFLの採点にどのように関わっているのか、また何に基づいて採点を行うのかをできるだけ調査し、その結果を踏まえて、Independent Writingのコース開発を行うことにします。
eRaterが入ったこととで高スコアが取りやすくなったのか、取りにくくなったのか、それとも変わらないのかは分かりません。
ETSもTOEFLサイトのトップページで発表していたわけではありませんし、特に大きな変化とは考えていないのかもしれません。
この情報を皆さんに知らせることは、皆さんを不要に心配させることになるかもしれないと思い、お伝えすることをためらっていました。
しかし、公式サイトに書いてあることですし、遅かれ早かれお知らせすることになるのなら早めの方がよいと判断しました。
ETSはeRaterを人間とほとんど同様にスコア判定できると考えています。
現状としてIndependent Writingへの対策は何も変える必要はありません。
追記:
その後、TOEFL iBTのIndependent Writingでは2009年7月からIndependent Writingの2人の採点官のうちの1人にe-rater(eRater)という自動採点プログラムが採用されていることと、語数を多く書くことによってe-raterから高スコアを獲得しやすいと推測されることが分かりました。
コメント