Справедливый AI-скоринг: без вайба «ответ верный, но звучит не так»
В LearnSpace нашли баг AI-first: модель занижала баллы за правильные, но нестандартные ответы. Добавили калибровку, human-in-the-loop и пошаговый разбор ошибок.
В LearnSpace мы поймали неприятный баг эпохи AI-first: модель занижала баллы, если студент отвечал правильно, но нестандартно. То есть смысл ок, а формулировка «не по шаблону» — и оценка проседает. Не очень fair play.
Что сделали: добавили калибровку оценивания и human-in-the-loop. Теперь спорные кейсы улетают на проверку преподавателю, а не решаются магией black box. Плюс AI-тьютор больше не кидает сухое «неправильно»: он даёт пошаговый разбор ошибок и учитывает контекст предыдущих попыток — то есть объясняет почему ответ мимо.
На фоне хайпа вокруг AI safety и fairness это уже не nice-to-have, а база. И да, как в жизни: иногда нужен не только умный алгоритм, но и коллега, который скажет «подожди, тут студент вообще-то прав».