В рамках серии встреч «Открытые практики оценивания с ИИ: еженедельные встречи для преподавателей» выступил Андрей Гетманов, младший научный сотрудник Института искусственного интеллекта ИТМО. Был представлен open-source инструмент OSA.Edu, разработанный для комплексного анализа студенческих работ - выпускных квалификационных работ (ВКР) и диссертаций IT-направлений, где результатом является не только текст, но и программный код.

Для студентов: Это быстрая самопроверка перед сдачей. Отчет показывает, где текст разошелся с кодом, позволяя исправить ошибки до того, как работу увидит комиссия.
Для преподавателей: Позволяет за несколько минут увидеть слабые места и задать студенту точечные уточняющие вопросы. При этом финальное решение и оценка смысла всегда остаются за человеком.
Главный инсайт по итогам пилота (лето 2026, около 80 ВКР):
Корреляции между оценкой инструмента и итоговой оценкой комиссии выявлено не было. Причина - студенты с сильными научными результатами часто ленятся оформлять репозиторий и скидывают его за сутки до защиты.
Вывод — внедрение инструмента требует трансформации самого процесса защиты. Нужно менять регламент, т.е. устанавливать дедлайны на загрузку кода и заранее информировать студентов, что гигиена репозитория является частью оценки.

Опыт показывает, что проблема оценивания в эпоху ИИ - это не проблема детекции списывания, а проблема верификации результата. Инструмент OSA.Edu не заменяет преподавателя, но меняет процесс: вместо того чтобы тратить время в рамках защиты на попытки понять, что сделал студент, комиссия приходит подготовленной - с отчетом о возможных расхождениях между заявленным и реализованным. Это позволяет задавать точечные вопросы и оценивать не форму, а суть работы.

На защите ВКР у комиссии есть 10-15 минут на студента. Физически невозможно прочитать объемную пояснительную записку и качественно проверить репозиторий с кодом. Часто из-за спешки или смены архитектуры проекта описание функциональности перестает соответствовать реализации. В итоге комиссия работает с сырым дипломом, а студенты рискуют получить вопросы, к которым не готовы. 
OSA.Edu трансформирует практику оценивания ВКР с кодом. По факту, это ИИ-ассистент (редактор), который сверяет заявленное в тексте с фактически реализованным в коде и позволяет студенту исправить ошибки до защиты, а преподавателю - увидеть внутренние противоречия и принять решение об оценке проделанной работы.

Инструмент автоматизирует сличение текстового отчета (PDF) и кода из репозитория (GitHub/GitLab). Процесс состоит из нескольких шагов:
1. Анализ организации репозитория. Система проверяет не просто факт наличия кода, но и его готовность к использованию: есть ли README с инструкцией, лицензия, тесты, структура папок. Критически важен анализ истории коммитов: если весь код залит за день до защиты, система фиксирует это как маркер риска.
2. Извлечение верифицируемых утверждений. ИИ парсит PDF и выделяет из содержательной части конкретные факты (например, “использован датасет на 2000 записей”, “реализована архитектура X”, «применена библиотека Y». Дубликаты схлопываются.
3. Сличение (RAG по коду). Для каждого утверждения система ищет физическое воплощение в коде и отправляет их в LLM с вопросом: «Подтверждает ли этот код данное утверждение?».
4. Формирование отчета. Результат выдается в процентах (по словам разработчиков, около 70% соответствия - отличный результат с учетом погрешности модели). К каждому пункту прилагается:

• прямая цитата из текста ВКР
• ссылка на конкретный фрагмент кода
• уровень уверенности модели

5. Дополнительные модули. Проверка списка литературы на “галлюцинации” (сверка с наукометрическими базами) и интеграция с сервисами нормоконтроля. В планах - анализ диссертаций на соответствие научным гайдам.

Результаты

1. Требовать организованный репозиторий. Включить в критерии оценки обязательные пункты, например, наличие README и т.д. 
2. Проверять историю. История коммитов - лучший индикатор того, писал ли студент код сам в течение семестра или скопировал его целиком.
3. Сместить фокус на глубину проработки. В технических дисциплинах важнее, работает ли эксперимент и понимает ли студент свой код, чем то, помогал ли ему ИИ писать сопроводительный текст.

Вопрос: Как быстро инструмент выдает результат проверки?
Ответ: Проверка одной ВКР занимает около 10 минут. Для больших документов (например, кандидатских диссертаций) - до 30 минут.

Вопрос: На каких данных обучался инструмент и какова частота ошибок?
Ответ: Модель не дообучалась. Система работает на извлечении контекста (RAG-подход): парсинг PDF → выделение утверждений → поиск в коде → запрос к LLM (GPT). Частота ошибок варьируется в пределах 5-10%. Однако система всегда показывает уровень уверенности модели и приводит прямые цитаты из текста и кода, что позволяет человеку за секунды визуально верифицировать вывод ИИ.

Вопрос: Не устарела ли идея оценивать результат? Может, в эпоху ИИ нужно оценивать только процесс и компетенции?
Ответ: Оценивать результат возможно и нужно, потому что результат комплексный: это не только текст, но и код, и презентация, и устная речь студента на защите. Сгенерировать связную тройку “код + отчет + речь” без понимания темы крайне сложно. Использование ИИ для генерации кода или текста не является злом само по себе, если студент понимает, верифицирует и контролирует результат. Проблема не в инструменте, а в умении им пользоваться.

Вопрос: Может ли модель заметить, если студент сфальсифицировал цифры на графиках?
Ответ: На текущем этапе - нет. Система анализирует текст и код, но не интерпретирует изображения графиков или таблиц. Это направление для будущего развития, хотя часто данные для графиков в коде явно не хранятся.

Вопрос: Как соблюдаются этические принципы? Не нарушает ли проверка неопубликованной диссертации запрет на передачу данных во внешнюю среду?
Ответ: Использование инструмента добровольное. Однако архитектурно эта проблема решается тривиально: для работы во внутреннем контуре вуза достаточно заменить внешний API-адрес на адрес локальной открытой модели, развернутой на серверах университета. 

Вопрос: Можно ли проверить, какие научные положения сгенерированы ИИ (имитация научной новизны)?
Ответ: Технически пытаться это делать пока нецелесообразно. Выявление логических разрывов и оценка научного вкуса, т.е. умения видеть реальные, а не надуманные проблемы, - это компетенция человека-эксперта. ИИ может проверить формальное соответствие рекомендациям, но глубину мысли должен оценивать научный руководитель.

Вопрос: Не вызовет ли проверка работы через OSA.Edu проблем с антиплагиатом (текст “утечет” в базу)?
Ответ: Нет, это технически маловероятно. Сервисы антиплагиата ищут совпадения в публичных и внутренних базах данных. Отправка текста в LLM для анализа не делает этот текст публично индексируемым в базах антиплагиата.

Вопрос: Насколько актуально требование по проценту подозрения на использование ИИ в технических специальностях?
Ответ: Жесткие ограничения на процент ИИ-генерации в тексте для технических специальностей не целесообразны. Современный специалист должен уметь повышать свою продуктивность с помощью ИИ в разы. Если фундамент работы (эксперименты, данные, гипотезы) выполнен студентом качественно, то использование ИИ для написания сопроводительного текста - это не повод для снижения оценки, а повод для редактуры стиля. Оценивать нужно понимание и результат, а не факт нажатия кнопки “сгенерировать текст”.

Вопрос: Какая часть функционала OSA.Edu наиболее проработана и доступна для тестирования?
Ответ: Наиболее отработаны модули проверки оформления репозитория и проверки воспроизводимости (соответствие текста и кода). Инструмент открыт (Open Source). Для быстрого ознакомления доступно публичное демо (по ссылке из презентации), где можно загрузить готовые примеры пар «ВКР + репозиторий» и увидеть, как формируется отчет. В планах – выпуск веб-версии с полной функциональностью и развернутой на серверах ИТМО.

Вопрос: Если говорить о проверке источников, есть ли проверка соответствия содержания источника тому, что пишет студент? 
Ответ: Подобная проверка не предусмотрена. Кроме того, далеко не все источники находятся в открытом доступе, передать их модели невозможно.

Младший научный сотрудник Института искусственного интеллекта ИТМО