- Google Gemini 3 Pro стала лидером в бенчмарке по высшей математике FrontierMath, превзойдя GPT-5.1 Thinking от OpenAI.
- Модель набрала около 37,6% по всем уровням сложности, включая сложнейший исследовательский уровень Tier 4.
- FrontierMath содержит сотни оригинальных задач, требующих высокого уровня математической подготовки и большого времени для решения.
Искусственный интеллект Google Gemini 3 Pro Preview продемонстрировал лучшие результаты в одном из самых сложных тестов для ИИ — бенчмарке FrontierMath, специализирующемся на задачах по высшей математике. В ходе испытаний модель обошла конкурирующую разработку OpenAI — GPT-5.1 Thinking как по общей суммарной оценке, так и на уровне самых сложных исследовательских задач.
По итогам тестирования, Gemini 3 Pro набрала примерно 37,6% с учётом сложности всех уровней задач, тогда как на втором месте расположился Gemini 2.5 Deep Think с показателем 29%. GPT-5.1 Thinking занял третье место — его оценка составила 26,6%. Особое преимущество новой модели проявилось на высшем уровне сложности Tier 4, который включает исследовательские математические проблемы: Gemini 3 Pro успешно решила девять таких задач, тогда как обе модели GPT справились лишь с шестью.
Набор FrontierMath был сформирован командой Epoch AI при участии профессиональных математиков и содержит несколько сотен задач по разным разделам продвинутой математики — от теории чисел и анализа до алгебраической геометрии и теории категорий. Эти задачи традиционно требуют от человека значительного времени, зачастую часов или целых дней. Уровни Tier 1–3 соответствуют уровню старших курсов бакалавриата и ранней магистратуры, а Tier 4 рассматривается как задачи исследовательского уровня.
Стоит отметить, что FrontierMath считается одним из немногих бенчмарков, где ИИ всё ещё не достиг уровня человеческих экспертов. Средний результат человеческих команд на полном наборе задач достигает около 30%, а при повторных попытках и работе в группе может составлять до 50%. Поэтому улучшение показателей ИИ с 13% до 19% на самом сложном уровне Tier 4 является значительным прорывом.
Кроме того, важным фактором является доступность Gemini 3 Pro — данная модель предоставляется не в рамках дорогой подписки, а входит в Google AI Pro за 20 долларов, а в некоторых сервисах Google доступна и бесплатно, что расширяет возможности пользователей для работы с продвинутыми математическими задачами.
