← Главная
Лаборатория / исследовательская заметка
Проверка качества работы AI
Как сравнить варианты и не принять красивый ответ за правильный.
Вопрос и границы
Для сравнения подходов нужна одна и та же задача, одинаковые входные данные и заранее известные критерии.
Два уровня проверки
Машинная проверка ловит неверный формат, пропущенные поля и нарушенные ограничения. Смысловую ошибку иногда обнаруживает другая модель, но её замечания тоже нужно перепроверять.
В прикладном конвейере результат проходит обе проверки и человеческое решение. Из этого не следует, что несколько моделей никогда не ошибаются одновременно.
Продолжить