Хочу сделать небольшой обзор статьи, мысли в которой очень созвучны тому, о чем я пишу в последние годы. О субъективности оценивания продуктивных навыков, то есть говорения и письма. Статья Testing speaking: narrow views and wide horizons* написана человеком по имени Geoff Perrin. О себе он написал так: Head of Teacher and Examiner Training at the German Government Language Centre (Bundessprachenamt) in Hürth near Cologne. Among his main professional interests are language testing – in particular the assessment of speaking – and the use of text corpora and concordancers in the classroom. Насколько я понимаю, он британец. Я решила это подчеркнуть, потому что, мне кажется, для некоторых моих российских коллег то, что пишет их соотечественник – это так, ничего не значащий шум. Мол, я просто не понимаю, какие тренинги проходят оценивающие части спикинг и райтинг на кембриджских экзаменах. Посмотрим, что пишет Perrin (статья вышла в журнале Modern English Teacher). В статье он говорит, что есть два типа оценивающих speaking на экзаменах:
The first one consists of three very experienced colleagues, “traditionalists” for want of a better word, who base their judgments largely on considerations of formal accuracy with regard to pronunciation, lexis and grammar.
А вот второй тип:
Panel 2, in contrast, is composed of three rather younger colleagues, well versed in and heavily committed to the principles of communicative language teaching. In making their assessments, they pay attention not only to formal considerations, but also to paralinguistic features such as hand movements, facial expression, etc.
Дальше он пишет, что ему могут возразить: ну как же, все оценивающие проходят одинаковые тренинги и обучаются единым стандартам и критериям. Перрин отвечает:
An immediate objection to the fictitious scenario I have just created would be that in reality it could not happen, because examiners receive training, and for their work as assessors, they can consult guidelines in the form of grade descriptors. These two factors then work in conjunction to produce a uniform approach to assessment across all panels at a given centre. Whilst this appears at first blush to be a valid counter argument to the scenario I have just painted above, I must confess to having my doubts, since my own experience suggests that in many organisations, EXAMINER TRAINING IS PATCHY AND IRREGULAR – see for example the practice of British EFL examination boards described in Alderson, Clapham and Wall (1995) – and grade descriptors rarely explicitly include features such as body language as a relevant criterion (with the inevitable consequence that individual examiners then form their own subjective opinion as to whether they should be taken into account or not).
Он провел эксперимент среди нескольких групп коллег. Одним дали для оценивания видео сдающих устную часть экзамена. А другим только скрипты. Те же самые тексты, но только без видео. Все, кто оценивал по видео, поставили баллы намного выше. О чем это говорит? Что устная часть экзаменов – это не столько оценивание языка, сколько “extralinguistic” факторы (body language, мимика, расслаблен человек или нет, уверен в себе или нет, улыбается ли, приятен ли в общении и т.д.). Это важно понимать учителю, потому что мы учим языку и отправляем людей на устные экзамены, а там оценивают далеко не только и не столько язык.