Т.В. Ващекина (Москва, Россия)
В настоящей статье речь пойдет о заданиях открытой формы, направленных на дополнение или на самостоятельное, свободное формулирование ответа, и о критериях оценки тестовых заданий открытой формы (субтесты «Письмо» и «Говорение») в системе тестирования по русскому языку как иностранному (ТРКИ). При оценке заданий открытой формы особое внимание следует уделить квалификации ошибок, которая базируется на успешности / неуспешности коммуникативно-речевого акта. Вместе с тем ориентация теста только на фиксацию ошибок недопустима.
Бесспорно то, что подходить к измерению и оценке уровня коммуникативной компетенции с точки зрения целостного подхода сложно. Оптимален аналитический подход, который включает ряд количественных характеристик, описывающих параметры конкретного речевого продукта и степень его проявления, и качественные параметры, такие, как предметность высказывания, информативность, коммуникативная ценность акта общения, интенциональность, ситуативность, обращенность, длительность, контекстность, связность, синтаксическая организованность, логичность, интонационная завершенность. Под объекты оценивания письменной речи попадают умения осмысления, запоминания, оформления, воспроизведения, трансформирования высказывания и синтезации его с другими.
Тестирование призвано подтвердить, в правильном ли направлении усваивается русский язык, каков уровень реальных возможностей тестируемого на момент контроля, что и как нужно сделать в преодолении основных трудностей.
Ключевые слова: критерии оценки, задания открытой формы, продуктивные виды речевой деятельности, субтесты «Письмо» и «Говорение», квалификации ошибок
ASSeSSment criteria of teStS of open form
in the SyStem of teaching RuSSian aS a foreign
language (productive typeS of Speech activity
T. Vashchekina (Moscow, Russia)
The present paper covers the texts of open form, aimed at completion or individual spontaneous answer, and the criteria of evaluation of tests of open form (subtests “Writing” and “Speaking”) in the tests system on Russian as a foreign language (TRAFL). While checking tests of open form special attention should be given to qualification of mistakes, that are based on success or failure of the communicative/speech act. But test must not be only mistakes oriented.
It goes without saying that communicative competence is difficult to evaluate in general. Optimal is analytical approach, that includes some quantitative characteristics, that describe certain concrete speech product and the degree of its expression, and qualitative parameters, like object of the statement, information value, communicative value of the act of communication, intention, situation, address, duration, context, cohesion, coherence, logics and intonation completion. The objects of evaluation in writing are skills in sense perception, keeping in memory, formulation, reproduction, transformation of the statement and synthesizing with others.
Testing should confirm that Russian language is being mastered in right direction, the true level of abilities of the student at the moment of control, the goals and ways of coping with the basic problems.
Keywords: аssessment criteria of tests, tests of open form, productive types of speech activity, subtests “Writing” and “Speaking”, qualification of mistakes
Тестирование, будучи средством контроля знаний, имеет не только свои преимущества, но и недостатки. От студента, выполняющего тест, требуется проявить навык узнавания материала, включенного в тест. Именно этим и объясняются хорошие результаты выполнения студентами лексико-грамматических тестов, хотя зачастую они не могут построить правильного монологического высказывания в устной или письменной форме. В связи с этим многие методисты считают, что эффективно использовать тесты можно лишь при проверке рецептивных видов речевой деятельности – чтения и аудирования, где можно увидеть уровень владения грамматическими и лексическими единицами. Проверка же продуктивных видов речевой деятельности – говорения и письма – с помощью тестов достаточно сложная, но тоже выполнимая задача.
Настоящая статья посвящена описанию критериев оценки тестовых заданий открытой формы (субтесты «Письмо» и «Говорение») в системе тестирования по русскому языку как иностранному.
Традиционно все тестовые задания по РКИ подразделяются на задания закрытой формы, которые подразумевают выбор учащимся нужного ответа из нескольких вариантов, и задания открытой формы, направленные на подстановку пропущенного слова, словоформы, словосочетания, фразы, т.е. на дополнение или на самостоятельное, свободное формулирование ответа (возможно, по заданной программе). Например: субтест «Письмо (ТРКИ I) состоит из двух заданий, время выполнения – 60 минут. В задании 1 проверяется умение записать основное содержание предъявляемого текста описательно-повествовательного характера с элементами рассуждения (объем текста 600–800 слов) с опорой на вопросы (например, «О здоровье и долголетии»). В задании 2 проверяется умение построить письменное монологическое высказывание на предложенную тему (например, Вы хотели бы продолжить изучение русского языка на летних курсах в Москве или Петербурге. Напишите письмо в летнюю школу и отправьте его по E-mail. В письме задайте интересующие вас вопросы и сообщите о себе необходимую информацию) с опорой на вербальное описание ситуации (18–20 предложений).
В субтесте «Письмо (ТРКИ II) будет предъявлен печатный текст (объем – 180 слов). Время предъявления материала – 5 минут. Время выполнения задания – 15 минут. Тестируемый должен на основании прочитанного написать письмо рекомендательного характера (50–70 слов).
Субтест «Говорение» (ТРКИ I) состоит из 4 заданий. Время выполнения 60 минут. При выполнении 3 и 4 заданий можно пользоваться словарем. Ответы должны записываться. Задание 1. Примите участие в диалоге. Ответьте на реплику собеседника (время выполнения до 5 минут) (например, – Добрый вечер, Антон. Почему ты такой грустный? Что случилось?). Задание 2. Познакомьтесь с описанием ситуации. Начните диалог (например, Вы вчера посмотрели фильм. Посоветуйте другу, смотреть или не смотреть его. Объясните, почему). Задание 3. Прочитайте текст. Кратко передайте его содержание. Сформулируйте основную идею текста. Выразите свое отношение к герою (героям) и событиям текста. Задание 4. Ваш друг собирается поехать в вашу страну. Расскажите ему о своем родном городе (или о столице своей страны, или о городе, который Вы любите).
Несмотря на то что тестовые задания открытой формы не вполне укладываются в рамки классической тестологии, существуют объективные предпосылки для их применения, так как классические тестовые задания едва ли могут считаться валидными для проверки говорения и письма. Не исключено, что при проверке заданий со свободно конструируемым ответом возможна определенная доля субъективизма.
При оценке заданий в открытой форме особое внимание следует уделить квалификации ошибок (под ошибкой понимается результат ошибочного речевого действия, любое отклонение от правил и норм русского языка).
Традиционно ошибки разделяются на «сильные» (global errors), коммуникативно значимые ошибки (КЗО), искажающие/изменяющие акт коммуникации и «слабые» (local errors), коммуникативно незначимые ошибки (КНЗО), особо не влияющие на акт коммуникации и затрудняющие процесс коммуникации только при их избыточном количестве [Нестерова, Юрков 2004: 86].
Различаются также межьязыковые ошибки, которые возникают в результате влияния родного языка, т.е. межъязыковой интерференции, и внутриязыковые ошибки, отражающие специфику овладения иностранным языком, которые могут возникать вследствие влияния других изучаемых языков [Нестерова, Юрков, 2004:. 86]. При оценивании результатов учитывается и «плотность» ошибок, т.е. соотношение их количества с общим объемом высказывания.
В системе тестирования по русскому языку как иностранному при оценке заданий в открытой форме в Субтестах «Говорение» и «Письмо» ошибки разделялись на две категории: коммуникативно значимые и коммуникативно незначимые. К категории КЗО относятся ошибки в выборе речевых действий, которые ведут к непониманию / неадекватному пониманию намерений говорящего или пишущего. Как КЗО можно рассматривать неправильно выбранную стратегию/тактику речевого поведения, речевые действия, неадекватные социальной роли, что приводит к коммуникативному сбою в данной ситуации общения. Часто такие ошибки свидетельствуют о несформированности таких составляющих коммуникативной компетенции, как социолингвистическая и социокультурная компетенции. В данную группу также входят фонетические, лексические, грамматические, синтаксические ошибки, нарушения логичности и связности построения дискурса, что вызвано недостаточной сформированностью лингвистической и дискурсивной компетенции. В целом можно сказать, что этот тип ошибок напрямую соотносится с критерием результативности коммуникативно-речевого акта, степенью успешности решения коммуникативной задачи.
Ко второй категории ошибок относятся КНЗО. Это ошибки, вызванные отклонением от норм употребления русских языковых единиц. Этот тип ошибок не влияет на успешность коммуникации, так как они затрудняют понимание речевого продукта говорящего/пишущего только при их большом / избыточном количестве.
Как показывает опыт преподавания РКИ и практика проведения тестирования, существует еще один тип ошибок, который с точки зрения коммуникативно-деятельностного подхода не может наказываться слишком жестко, так как эти ошибки не влияют на успешность коммуникативно-речевого акта в данной конкретной ситуации общения, т.е. не могут считаться КЗО. Однако эти ошибки являются серьезными системными нарушениями норм и могут привести к коммуникативному сбою в сходных ситуациях общения. Недостаточное внимание к ним на «низших» уровнях приводит к тому, что эти ошибки сохраняются и на более высоких уровнях владения РКИ. Такой тип ошибок называется потенциально значимыми ошибками (ПКЗО). Инструментом, доказывающим возникновение ПКЗО, может быть коммуникативный трансфер – предъявление ситуации сходной с первоначальной, в которой выявленная ошибка ведет к коммуникативному сбою. К ПКЗО относятся смыслоразличительные ошибки, традиционно воспринимаемые как грубые лексические, грамматические, синтаксические. Приведем некоторые примеры:
- нарушение предложно-падежной системы: хожу на бассейн, в завод (ТБУ); написал письмо к Китай (ТРКИ I); было видно один юноша пакетами (ТРКИ I); поднимается на лестница, на лифт (ТРКИ II); смотрели фильм по-русски; он на деревне жил; теперь понятно, почему мы только на тридцатое начинаем (ТРКИ III);
- неправильное употребление лексических единиц: наводить, поводить пример; участвовать в очистке города (ТРКИ II); мог ходить в незаконную квартиру (ТРКИ II) (незаконная сдача квартиры, незаконная перепланировка);
- стилистические нарушения: мне стало известно, что делегация хочет перенести разговоры на завтра (ТРКИ III);
- ошибки в структуре предложения: мне очень огорчило твое поведение, ты знаешь, что это дружба (ТРКИ IV).
Как показывают данные примеры, ПКЗО могут появляться на всех уровнях практического владения РКИ. Выделение ПКЗО позволяет более строго наказывать за серьезные нарушения, которые в дальнейшем могут привести к коммуникативной неудаче.
Таким образом, выделение ПКЗО и введение их в систему ошибок дает возможность тестору иметь более тонкий инструмент для оценки знаний открытой формы, более дифференцированно подходить к оцениванию смысло-различительных ошибок, позволяет достичь «золотой середины» между оценкой коммуникативной успешности выполнения задания и оценкой его соответствия требуемому уровню собственно языковой компетенции.
Вместе с тем ориентация теста только на фиксацию ошибок недопустима. Тестирование призвано подтвердить, в правильном ли направлении усваивается русский язык, каков уровень реальных возможностей тестируемого на момент контроля, что и как нужно сделать в преодолении основных трудностей.
При всех достоинствах разработанной российскими тестологами системы критериев оценок говорения по РКИ она всё же несвободна от некоторых спорных моментов. Шкала оценок – шестибалльная, от 0 до 5, где наивысший оценочный балл – 5:
5 баллов ставится, если качество речевого продукта тестируемого соответствует основным характеристикам данного параметра, при этом тестируемый демонстрирует владение нормами русского языка.
4 балла ставится, если качество речевого продукта тестируемого соответствует основным характеристикам данного параметра, но тестируемый допускает ошибки, ведущие к нарушению норм выражения данного параметра.
3 балла ставится, если качество данного речевого продукта тестируемого не вполне соответствует основным характеристикам данного параметра из-за ошибок, искажающих смысл.
2 балла ставится, если качество речевого продукта тестируемого нарушает нормы речевой реализации данного параметра.
1 балл ставится, если качество речевого продукта тестируемого не соответствует нормам речевой реализации данного продукта.
0 баллов ставится, если данный параметр не отражен в речи тестируемого [Балыхина, 2006: 137].
Но по этой шкале бывает достаточно трудно количественно разграничить позиции «нарушает нормы речевой реализации… (2 балла), «не вполне соответствует… (3 балла), «соответствует, но тестируемый допускает ошибки…» (4 балла).
Кроме шестибалльной шкалы оценок, некоторые тесторы предлагают внести понятие рейтинг тестируемого, который подразумевает разделение тестируемых по уровням, устанавливаемым на основании баллов (в %) по пятибалльной шкале, где каждому баллу соответствует краткая вербальная характеристика: отлично (95–100%), хорошо (88–94%), посредственно (81–87%), слабо (75–80%), очень слабо (ниже 75). Выбор такой системы оценки обосновывается ее традиционностью в отечественной методике, хотя, по мнению Балыхиной Т.М., понятно, что процентная «веерность» баллов, их ранжированность по объектам контроля «утяжеляет» процедуру оценивания результатов и в значительной мере снижает такой показатель теста и тестирования, как экономичность [Балыхина, 2006: 138].
Вместе с тем бесспорно то, что подходить к измерению и оценке уровня коммуникативной компетенции с точки зрения целостного подхода сложно. Оптимален аналитический подход, при котором специальные шкалы включают ряд количественных характеристик, описывающих параметры конкретного речевого продукта и степень его проявления, и качественные параметры, такие, как предметность высказывания, информативность, коммуникативная ценность акта общения, интенциональность, ситуативность, обращенность, длительность, контекстность, связность, синтаксическая организованность, логичность, интонационная завершенность [Балыхина, 2006: 138].
Не менее сложен в оценке процесс письменной коммуникации. По мнению ряда ученых, неоправданны попытки считать письменные высказывания лишь фиксацией устных, хотя в методике существует даже специальный термин – письменное подкрепление устной речи. На самом деле пишущий не переносит умения устной речи на письменную речь, а выбирает характерные именно для данного вида и формы речи средства.
Под объекты оценивания письменной речи попадают умения осмысления, запоминания, оформления, воспроизведения, трансформирования высказывания и синтезации его с другими [Балыхина: 140].
В практике учебного контроля активно используются так называемые тесты слуховой модальности, которые направлены на проверку техники письма либо других прагматических навыков и умений: например, диктант, предъявляемый со скоростью разговорной речи, или на фоне шума, помех и т.д. Оценка производится по следующим параметрам: фонологические ошибки; лексические ошибки, орфографические ошибки.
Список литературы
- Нестерова Т.Е., Юрков Е.Е.. Оценка в сертификационном тестировании (продуктивные виды речевой деятельности) // Лингводидактическое тестирование: Пособие по методике анализа тестовых заданий и методике проведения тестирования / Авторы Г.Н. Аверьянова, И.Н. Ерофеева и др.; под ред. И.Н. Ерофеевой и др. – СПб: Филологический факультет СПбГУ, 2004. – 110 с.
- Балыхина Т.М. Основы теории тестов и практика тестирования (в аспекте русского языка как иностранного) – 2-е изд., стер. – М.: Рус. яз. Курсы, 2006. – 240 с.