Почему отказались от простой автопроверки в AI-тьюторе LearnSpace

Обычная автопроверка в LearnSpace только закрепляла бы ошибки.

На старте был очевидный вариант: дать AI-тьютору ответ ученика, попросить оценить его как правильный или неправильный и вернуть короткую подсказку. Такой сценарий легко объяснить, быстро встроить в учебный флоу и удобно логировать: задача, ответ, вердикт, комментарий.

Но для LearnSpace этого было мало. Тьютор должен был работать не как валидатор формы, а как разбор задачи с памятью о том, где ученик уже ошибался раньше.

Вариант, от которого отказались

Первый дизайн выглядел примерно так: ученик отвечает, модель сравнивает ответ с ожидаемым, дальше пишет «неправильно, попробуй ещё» или выдаёт одну подсказку. В лучшем случае — объясняет правильное решение после нескольких попыток.

Проблема в том, что такой тьютор видит один кадр вместо всей сцены. Он не различает ситуации:

• ученик каждый раз ошибается в одном и том же шаге;
• ученик понимает метод, но путается в формулировке;
• ученик угадывает ответ без понимания;
• ученик делает новую ошибку после старой подсказки.

Для живого обучения это разные случаи. Для бинарной проверки — один статус wrong.

Отдельно упёрлись в оценку формулировок. На учебных ответах это всплывает быстро: ученик может написать мысль своими словами, а AI-оценка начинает сравнивать не смысл, а похожесть на эталон. Формально ответ «не как в ключе», по содержанию — нормальный. Если в таком месте тьютор уверенно пишет «неверно», доверие к нему заканчивается за пару экранов.

Почему контекст ошибок важнее одной подсказки

Мы выбрали схему с пошаговым разбором. AI-тьютор не ограничивается финальной оценкой ответа: он раскладывает ошибку по шагам и учитывает предыдущие попытки ученика.

Нейросетевой анализ прогресса ищет паттерны в ошибках. Если ученик раз за разом спотыкается на одном типе действия, подача материала меняется: не повторяется та же подсказка, а смещается акцент объяснения. Это важно именно в учебном продукте: одинаковый комментарий на третьей попытке уже не помогает, он только сообщает, что система не заметила предыдущие две.

Живая деталь проекта: больше всего спорили не о том, как красиво генерировать объяснения, а о границе между «ответ неверный» и «ответ сформулирован иначе». Для AI это неприятная зона. Модель может быть убедительной даже там, где ошиблась в оценке. Поэтому автоматический вердикт нельзя было оставлять единственным источником правды.

Что сделали вместо автосудьи

В LearnSpace собрали тьютора из нескольких частей:

• пошаговый разбор ошибки, а не одно сообщение после ответа;
• учёт контекста предыдущих ошибок ученика;
• нейросетевой анализ прогресса для поиска повторяющихся паттернов;
• адаптацию подачи материала под эти паттерны;
• калибровку AI-оценки;
• human-in-the-loop для спорных случаев и контроля предвзятости к формулировкам.

Калибровка здесь нужна не для красоты отчётов. Она снижает риск, что система начнёт наказывать ученика за другую лексику или порядок объяснения. Human-in-the-loop закрывает случаи, где автоматическая оценка слишком уверенно выбирает сторону, хотя ответ требует человеческой проверки.

Получился не «AI, который знает правильный ответ», а сервис, который ведёт ученика через ошибку. Это медленнее в проектировании, чем бинарная проверка, зато лучше соответствует задаче LearnSpace: довести пользователя до завершения занятия, а не быстрее поставить красный крестик.

Где это отразилось в продукте

После внедрения AI-тьютора completion rate в LearnSpace составил 85% при среднеотраслевом уровне 15%.

Мы не привязывали результат к одной кнопке или одному промпту. Сработала связка: контекст прошлых ошибок, пошаговое объяснение, адаптация материала и проверка качества AI-оценки. Если убрать любой из этих элементов, тьютор снова превращается в автопроверку с вежливым текстом.

Следующий вопрос в таких системах обычно не «как сделать подсказку умнее», а «какие решения AI может принимать сам, а где нужен человек в контуре проверки». В LearnSpace эту границу пришлось проводить уже на уровне оценки ответа.