- Исследование OpenAI критикует современные методы обучения больших языковых моделей.
- В текущих подходах модели получают вознаграждение за верные ответы, но не наказываются за ошибки.
- Это стимулирует поведение моделей, склонное к «галлюцинациям», поскольку угадать ответ иногда выгоднее, чем признать незнание.
OpenAI опубликовала исследование, посвящённое анализу существующих практик обучения больших языковых моделей. Основным выводом стала критика того, что модели во время тренировки получают вознаграждение только за правильные ответы и не сталкиваются с наказанием за ошибочные. Такая методика обучения создаёт замкнутую систему стимулов, в которой стратегии, включающие в себя выдумывание фактов или «галлюцинации», могут становиться более выгодными с точки зрения оптимизации итогового результата.
Авторы исследования объясняют, что даже если вероятность угадать правильный ответ невелика — например, один случай из ста — это может принести моделью более высокий общий балл, чем молчание или признание незнания. Таким образом, языковые модели получают «мотивацию» предпочитать рискованные ответы, даже если они не соответствуют действительности.
Эксперты подчёркивают, что данное наблюдение отражает фундаментальные ограничения в текущих методах обучения ИИ и указывает на необходимость развития более продвинутых алгоритмов, способных учитывать ошибки и корректно реагировать на них. Это позволит снизить частоту возникновения «галлюцинаций» и повысить надёжность языковых моделей в различных прикладных задачах.
