- Исследователь из Университета Южной Австралии доказал математический потолок творчества для генеративных языковых моделей ИИ.
- Максимальная креативность моделей, таких как ChatGPT, ограничена примерно 25% от гипотетического максимума из-за внутренней механики вероятностного выбора слов.
- Достижение уровня профессионального и гениального творчества требует новых архитектур ИИ, выходящих за рамки статистического анализа прошлых данных.
Австралийский математик и исследователь Дэвид Кропли из Университета Южной Австралии опубликовал работу, в которой обосновывает существование жесткого ограничителя творческого потенциала генеративных языковых моделей искусственного интеллекта, таких как ChatGPT. В статье, опубликованной в журнале The Journal of Creative Behavior, он соотносит классическое психологическое определение креативности с внутренним процессом выбора слов этими моделями и показывает, что их творческая мощность по определению не может превысить примерно четверть от идеального максимума.
Исходя из психологической модели, креативность продукта определяется как произведение его новизны (N) и уместности или эффективности (E): C = N × E. Кропли экстраполирует это на языковые модели, считая вероятность выбора слова (p) мерой его уместности, а новизну — величиной (1 − p), то есть чем реже выбираемое слово, тем оно новее. В итоге формула творческого потенциала на каждом шаге генерации превращается в параболу C = p(1 − p), максимальное значение которой достигает 0,25 при p = 0,5.
Иллюстрируя концепцию на примере фразы «The cat sat on the …?», Кропли демонстрирует, как наиболее вероятное продолжение слова «mat» оказывается самым уместным, но нулевым с точки зрения новизны, а более редкие варианты, хоть и новее, имеют низкую вероятность и могут привести к бессмыслице. Языковая модель вынуждена балансировать между «безопасностью» и «оригинальностью», что ограничивает творческий потенциал её ответов.
Далее учёный анализирует, что этот математический потолок соответствует уровню творчества около 25 % от максимально возможного, что, по данным тестов креативности среди людей, сопоставимо с уровнем сильного любителя или среднего человека. Таким образом, современные языковые модели способны имитировать творчество, но вряд ли достигнут уровень профессионалов и гениев.
Важно отметить, что Кропли не утверждает о пожизненной неспособности ИИ творить на высоком уровне, а подчёркивает ограничения именно текущих архитектур языковых моделей, основанных на статистическом анализе предыдущего контента и вероятностном выборе слов. Для преодоления существующего потолка требуются новые модели, способные формировать инновационные идеи вне рамок обучающих данных. Критики же указывают, что выбранное исследователем определение новизны и модель генерации одношагового выбора могут не учитывать более сложные сценарии, в которых ИИ взаимодействует с человеком и другими инструментами.
Таким образом, исследование Дэвида Кропли открывает важный аспект в понимании потенциала и ограничений современного генеративного ИИ и указывает направление для развития новых технологий, способных приблизиться к уровню человеческого творчества.
