Оценка знаний

Формирующее оценивание (formative assessment)
Его можно определить как деятельность преподавателей и студентов по самооцениванию, которая позволяет получить обратную связь для совершенствования учебной деятельности (как со стороны студента, так и со стороны преподавателя). Основной целью формирующей оценки является обучение и повышение успеваемости студентов, а не просто её проверка. Поэтому этот вид оценивания обычно не формализован в виде баллов и редко учитывается при выставлении итоговой оценки за курс.

Чем полезны результаты формирующего оценивания (Dixson & Worrell, 2016):

• обеспечивают обратную связь для преподавателей и студентов, что помогает скорректировать процесс преподавания и повысить эффективность обучения студентов;
• могут быть использованы для разработки мероприятий, направленных на повышение эффективности обучения.

Формирующее оценивание позволяет ответить на следующие вопросы:

1. Что работает?
2. Что необходимо улучшить?
3. Как это можно улучшить?

Формирующее оценивание может быть (Dixson & Worrell, 2016):
Плановым:

• викторина/квиз;
• домашние задания, направленные на оценку прогресса студентов.

Спонтанным:

• когда преподаватель во время занятия видит непонимание со стороны студентов и задает вопросы о понимании;
• когда преподаватель просит студента привести пример только что рассмотренного понятия;
• когда во время урока проводятся сессии вопросов и ответов.

Пример инструмента формирующего оценивания (Dixson & Worrell, 2016):
«Билет на выход» (exit ticket): преподаватель в конце занятия задает студентам вопрос по пройденной теме. Студенты должны написать ответ на вопрос и, выходя из аудитории, сдать работу преподавателю; написанный ответ является их «билетом на выход». Затем преподаватель проверяет ответы и на следующем занятии формирует небольшие дискуссионные группы на основе ответов студентов, объединяя тех, кто лучше усвоил оцениваемые понятия, с теми, кто усвоил их хуже. После разделения по группам преподаватель повторяет материал, фокусируясь на том, где обнаружились трудности, прежде чем дать студентам возможность обсудить эту тему. Преподаватель также отмечает студента, хорошо освоившего концепцию, выбирая его в качестве помощника / тьютора, и следит за ходом обсуждения, чтобы убедиться, что студенты поняли изучаемую концепцию.

Суммирующее / итоговое оценивание (summative assessment)
Можно определить как совокупную оценку, которая призвана зафиксировать качество обучения или то, чему научился студент, и оценить результаты в соответствии с определенными стандартами. Основная цель итогового оценивания — получить финальную оценку того, насколько успешно прошло обучение. Она почти всегда выражается в баллах, и, как правило, проводится в конце определённых отрезков обучения (Dixson & Worrell, 2016).

Примеры итогового оценивания (Dixson & Worrell, 2016):

• финальные экзамены,
• государственные аттестации,
• вступительные испытания,
• итоговые выступления,
• курсовые работы.

Итоговое оценивание обычно используются для (Dixson & Worrell, 2016):

• определения уровня освоения знаний студента в конкретный момент времени;
• определения права на участие в специальных программах;
• оценки целесообразности перехода студента на следующий уровень обучения;
• профориентации или оценки квалификации для получения наград.

Одной из лучших форм итогового оценивания является оценка результатов деятельности, поскольку она требует от учащихся демонстрации знаний, а не простого заучивания. Итоговая оценка по результатам деятельности может быть нескольких видов (Dixson & Worrell, 2016):

• Оценивание продукта — конкретный продукт как результат деятельности. Например, 3D-модель на уроке черчения, короткий рассказ на уроке литературы или хронология на уроке истории.
• Оценивание достижений — наблюдение преподавателя за применением преподаваемых навыков или информации. Например, наблюдение за заключительной речью на занятиях по ораторскому искусству.
• Оценивание процесса — оценивается не только результат, но и сам процесс обучения. Например, когда студенты, отвечая на вопросы, показывают свою работу и рассуждают вслух.

Взаимооценка
Взаимооценка может формально определяться как «процесс, в котором студенты рассматривают количество, уровень, ценность, значимость, качество или успешность продуктов или результатов обучения однокурсников с аналогичным статусом» (Topping 1998, цит. по Ashenafi, 2017).

Важные переменные для оптимального проектирования взаимного оценивания (Van den Berg, Admiraal, Pilot, 2006a, цитируется по Ashenafi, 2017):

• тип оцениваемого продукта;
• является ли оценка равнозначной оценке преподавателей;
• взаимность и анонимность оценки;
• тип взаимного контакта (личный, онлайн, текстом);
• эквивалентность способностей членов группы;
• оценка индивидуальная или групповая (как для оцениваемого, так и для оценивающего);
• проведение оценки в классе или вне класса;
• предусмотрено ли поощрение за участие.

Для оптимального взаимооценивания оно должно проводиться в малых группах, а письменная обратная связь должна быть устно объяснена и обсуждена с оцениваемым.

Переменные, которые могут влиять на результаты взаимного оценивания:

• психологическая безопасность;
• ценностное разнообразие;
• взаимозависимость;
• доверие.

Ценность взаимооценки (Ashenafi, 2017):

1. Специфика критериев взаимооценки влияет на качество обратной связи: более конкретные критерии обеспечивают большую прозрачность, снижают субъективность обратной связи.
2. Подробные и конкретные оценки сокурсников, даже адекватные, воспринимались студентами как негативные. (Strijbos, Narciss, and Dünnebier 2010).
3. Существует корреляция между качеством обратной связи, которую студент дает, и качеством его собственного итогового проекта (Li, Liu, and Steckelberg 2010).
4. Студенты, получающие обратную связь от нескольких людей, склонны к комплексному пересмотру своих работ и созданию более качественных продуктов (Cho and MacArthur, 2010).
5. Обучение студентов навыкам предоставления обратной связи и взаимного оценивания повышает качество как фидбека, так и конечного продукта.(Hu 2005; Min 2006; Sluijsmans and Prins 2006; Saito 2008).

Примеры стратегий проектирования взаимного оценивания:

1. В одном из исследований провели эксперимент по взаимному оцениванию, основанному на формирующей оценке (Topping et al. (2000, цит. по Ashenafi, 2017). Каждый студент проанализировал академический отчет своего сокурсника, представленный в конце второго семестра первого года обучения. Участие в эксперименте было обязательным, но результаты не учитывались при выставлении итоговых оценок. Задания выполнялись вне аудитории, при этом сохранялась анонимность обеих сторон. Оценка была взаимной и парной, использовались 14 критериев. По каждому критерию выставлялась положительная, нейтральная или отрицательная оценка. Каждый отчет оценивался одним студентом и одним преподавателем.

2. Наиболее распространенная реализация взаимооценки в высшем образовании предполагает использование студентами заранее заданных критериев для выставления оценок, а также предоставление дополнительной письменной обратной связи. В этом базовом сценарии возможны некоторые вариации. Например:

• преподаватель оценивает качество комментариев студентов к работе, а не анализирует баллы, выставленные студентами за эту работу (Davies 2006, цит. по Ashenafi, 2017);
• студенты оценивают друг друга интуитивно, без прописанных критериев оценки (Jones and Alcock 2014, цитируется в Ashenafi, 2017);
• студенты активно вовлекаются в разработку критериев оценивания для повышения их уверенности и способности применять эти критерии (Smith, Cooper, and Lancaster 2002; Orsmond, Merry, and Callaghan 2004, цитируется в Ashenafi, 2017).

Восприятие студентами взаимооценки
Позитивно:

• Некоторые студенты считают, что участие в выполнении заданий по взаимному оцениванию полезно и позволяет им получить более четкое представление о том, как преподаватели оценивают студентов (Hanrahan and Isaacs 2001, цитируется в Ashenafi, 2017).
• Другие преимущества взаимного оценивания, по мнению студентов, включают повышение уровня ответственности и вовлеченности, а также улучшение качества обучения (Papinczak, Young, and Groves 2007, цитируется в Ashenafi, 2017).

Негативно:

• Студенты выражают опасения, что включение взаимного оценивания в итоговый балл может подорвать процесс обучения, особенно если при этом не учитывается обратная связь (Sluijsmans et al. 2001; Papinczak, Young, and Groves 2007, цитируется в Ashenafi, 2017).

Самооценка в высшем образовании
Самооценка — это анализ студентом собственных продуктов и результатов работы в условиях аудиторных занятий. Поскольку студенты в целом склонны оценивать себя необъективно, использование данного формата оценивания в каком-либо формальном виде, вероятно, неоправданно (Brown & Harris, 2014).

Человеческие факторы, которые способствуют нереалистичной самооценке (Brown & Harris, 2014):

• оптимизм или, наоборот, пессимизм в отношении своих способностей;
• убежденность, что собственные способности выше среднего уровня;
• пренебрежение важной информацией;
• недостаток необходимой информации.

Следовательно, такая самооценка неприменима в учебной практике, при подсчете оценок или баллов, включении их в какую-либо отчетность или ведомость.

Другой возможный взгляд на самооценку — как на инструмент саморегуляции. Саморегуляция определяется как самонаправленные и самогенерируемые метакогнитивные, мотивационные и поведенческие процессы, с помощью которых люди преобразуют личные способности в контроль над результатами в различных контекстах (Zimmerman, 2001, цит. по Brown & Harris, 2014).

Студенты могут улучшить свои навыки саморегуляции с помощью самооценки, например ставить цели, оценивать прогресс относительно целевых критериев, улучшать качество результатов обучения (Brown & Harris, 2014).

Самооценка может иметь следующие эффекты:

• повышение мотивации, вовлеченности и эффективности;
• снижение зависимости от преподавателя;
• снижение нагрузки на преподавателя при оценке;
• более высокая ответственность студентов за отслеживание своего прогресса.

Методики, используемые в процессе самооценки (Brown & Harris, 2014):

• использование типового ответа в качестве эталона;
• интеграция оценки преподавателя с самооценкой;
• самокоррекция;
• использование компьютерной системы подсказок;
• самостоятельный выбор поощрений, особенно за достижение сложных целей;
• участие в разработке рубрикатора оценок;
• оценка точности ответов на стандартные тестовые задания;
• анализ портфолио или серии заданий.

Рекомендации по использованию самооценки в учебном процессе (Brown & Harris, 2014):

• прежде чем вводить сложные, абстрактные методики, нужно начинать с простых и конкретных;
• на промежуточном этапе в качестве дополнения или руководства самооценивание следует подкреплять внешними, явными подсказками по планируемым результатам обучения (например, автоматизированной проверкой, оценками преподавателей);
• на продвинутом этапе следует ввести критерии, которые желательно разрабатывать совместно со студентами, чтобы обеспечить понимание этих критериев.

Преподавателям необходимо применять стратегии, поощряющие и стимулирующие честную саморефлексию, так как реалистичная оценка своей работы является важным навыком. Для этого преподаватель может (Brown & Harris, 2014):

• допускать, чтобы некоторые виды самооценки оставались конфиденциальными;
• не заставлять студентов демонстрировать реалистичный, но негативный результат самооценки перед однокурсниками;
• поощрять учащихся делиться своей самооценкой и рефлексией с доверенными лицами (например, с лучшим другом или членом семьи).

В контексте психологической безопасности, если преподаватель получает доступ к самооценке учащихся, желательно, чтобы преподаватель комментировал реалистичность самооценок студентов. Цель состоит в том, чтобы способствовать развитию реалистичного самоконтроля для дальнейшего определения соответствующих стратегий обучения. Студентам необходима среда, в которой реалистичность оценивается является приоритетом (Brown & Harris, 2014).

Конструктивистская парадигма оценивания
В конструктивистской концепции обучающиеся часто могут выбирать, какие задания им выполнять и какие задания будут оцениваться. Студенты часто участвуют в процессе принятия решений по определению критериев, которые будут использоваться при оценивании, проводят само- и взаимооценку (Belanoff et al., 1998).

Разница между традиционным оцениванием и альтернативным (конструктивистским)

При переход от традиционной практики оценивания к конструктивистской следует учесть следующие моменты (Belanoff et al., 1998):


(1) стратегии обучения
Преподаватели должны критически оценить используемые ими стратегии обучения и задания, которые они дают. Если самый распространенный формат обучения все еще лекции, а от студентов ожидается, что они будут слушать, читать и запоминать фактическую информацию, то альтернативные методы оценки не нужны. Вместо этого необходимо использовать разнообразные задания, способствующие активному обучению, такие как работа в малых группах, различные письменные задания, исследовательские проекты. Для их проведения необходимо модифицировать аудиторные и внеаудиторные задания. Например, при выполнении аудиторных заданий студенты могут работать с сидящим рядом напарником, а внеаудиторные задания, которые обычно выполняются индивидуально, могут быть групповыми проектами.

(2) формирующее и итоговое оценивание
В процесс оценивания должны быть включены процедуры как формирующего, так и итогового оценивания. Студентам полезно получать и давать обратную связь до того, как завершится работа над конечным продуктом. Когда есть возможность поразмышлять над проделанной работой, то студенты могут пересмотреть и улучшить свою работу. Соответственно, необходимо выделять определенное время на занятиях для доработки проектов.

(3) критерии оценивания
Студенты должны участвовать в разработке критериев, по которым будет оцениваться их работа. Пример привлечения студентов к созданию критериев (метод "четыре на четыре") (Belanoff et al., 1998):
В малых группах студенты определяют четыре характеристики хорошо выполненного задания.
Каждая группа записывает четыре характеристики на доске.
Один докладчик от каждой группы обсуждает одну характеристику из четырех (возможно, ту, которую группа обсуждала больше всего или которая вызвала наибольший интерес). Преподаватель может помочь выявить сходства и различия между критериями разных групп.
После того как каждая группа поделится своими критериями, выбираются четыре критерия, которые будут использоваться при оценивании задания.
В малых группах студенты пишут четыре дескриптора с соответствующим баллом для каждого из четырех критериев. Баллы варьируются от 1 до 4, при этом 4 высший балл.
После того как каждая группа поделится своими критериями, класс приходит к групповому консенсусу.

(4) оценка преподавателя, взаимооценка и самооценка
Критическая оценка себя и других поощряется и рассматривается как важный аспект процесса обучения. Преподавателям больше не нужно брать на себя единоличную ответственность за определение оценок студентов. Вместо этого студенты могут получить множество точек зрения на свою работу, участвуя во взаимо- и самооценке. Студенты должны чувствовать себя свободно, рисковать и не бояться совершать ошибки.

Внедрение альтернативных методов оценки: лестница оценивания
Три уровня (ступени), которые помогут постепенно внедрять альтернативные методы оценки в учебный план Corcoran et al. (2004):

Уровень 1: первые шаги
На этом уровне преподаватель использует одну или две альтернативные стратегии оценивания в качестве итоговой оценки, хотя бы один раз в каждом учебном периоде.
Возможные методики:

• критерии оценивания,
• портфолио,
• контрольные списки (например, могут использоваться чеклисты во время наблюдений, чтобы определить, выполняют ли учащиеся определенные процессы или демонстрируют ли они определенное поведение).

Уровень 2: продвижение вверх
На этом уровне преподаватель использует меры уровня 1 более одного раза в течение учебного периода. Преподаватель пробует различные альтернативные оценки в течение учебного периода и готов допустить, что некоторые из стратегий формирующего оценивания могут использоваться в качестве итогового.

Возможные методики:

• журнальная запись (например, написать открытый ответ на гипотетическую ситуацию, это может помочь преподавателю оценить, насколько студент усвоил материал);
• утверждения "Я узнал..." (в качестве формирующего оценивания преподаватель может оценить основные понятия, которые студенты усвоили в ходе занятия, а также выявить пробелы или альтернативное понимание);
• интервью со студентами (трудоемкий, но эффективный способ понять глубину знаний);
• самоотчеты (дают студентам возможность проанализировать сильные и слабые стороны их собственной работы);
• ведение записей (требует, чтобы студенты вели подробные записи о выполненных заданиях. В каждой записи указывается дата, задание, оценка, краткое содержание и т.д).
• чек-листы активности (чек-листы помогают развить у студентов чувство ответственности за выполнение заданий).

Эти методы могут дать гораздо более точное представление о знаниях и навыках, приобретенных студентами, чем традиционные форматы.

Уровень 3: приближение к вершине
Преподаватели этого уровня регулярно используют стратегии уровней 1 и 2 и допускают гибкость в стандартных оценках.
Возможные методики:
1. Преподаватель дает студентам возможность вычеркнуть пять из двадцати пяти вопросов теста и вставить пять аналогичных вопросов по изученному материалу, которые не были включены в экзаменационную работу. Готовность заменить материал теста на то, что студент считает важным, является показателем, что преподаватель перешел на III уровень.

2. Предоставление студентам выбрать способ демонстрации своих знаний:

• Например, если учебная задача студента состоит в том, чтобы описать процесс превращения законопроекта в закон, преподаватель позволяет студентам самим выбрать способ демонстрации своих знаний. Студенты могут подготовить песню в стиле рэп и исполнить ее перед классом. В рэпе должны быть затронуты все пункты, которые преподаватель включил в критерии для презентаций с альтернативной оценкой.
• Другой пример, учебная цель — продемонстрировать знание фактов, выводов, теорий, важных событий и/или выдающихся ученых, изученных за отчетный период. Студенты могут решить разработать игру в формате Trivial Pursuit, включающую разные категории.

Стратегия «Я могу научить» также является отличной альтернативной стратегией оценивания (учитель задает отдельным учащимся или небольшой группе учащихся тему или учебную задачу. Они должны изучить и систематизировать информацию, чтобы провести занятие (Ellis 2002). Преподаватель предлагает руководство и критерии на протяжении всего процесса).


Используемые источники:

• Ashenafi, M. M. (2017). Peer-assessment in higher education – twenty-first century practices, challenges and the way forward. Assessment and Evaluation in Higher Education, 42(2), 226–251. https://doi.org/10.1080/02602938.2015.1100711
• Belanoff, D., Darling-Hammond, & Kane, M. (1998). Why Talk About Different Ways to Grade? The Shift from Traditional Assessment to Alternative Assessment The Need to Shift from Traditional Assessment to Alternative Assessment. New Directions for Teaching and Learning, 5–16.
• Brown, G. T. L., & Harris, L. R. (2014). The future of self-assessment in classroom practice: reframing self-assessment as a core competency. Frontline Learning Research, 2(1), 22–30. https://doi.org/10.14786/flr.v2i1.24
• Corcoran, C. A., Dershimer, E. L., & Tichenor, M. S. (2004). A Teacher’s Guide to Alternative Assessment: Taking the First Steps. The Clearing House: A Journal of Educational Strategies, Issues and Ideas, 77(5), 213–218. https://doi.org/10.3200/tchs.77.5.213-218
• Dixson, D. D., & Worrell, F. C. (2016). Formative and Summative Assessment in the Classroom. Theory into Practice, 55(2), 153–159. https://doi.org/10.1080/00405841.2016.1148989