- Компания GPTZero обнаружила 100 подтверждённых галлюцинаций — вымышленных ссылок в 51 научной статье, принятой на конференцию NeurIPS 2025.
- Проблема с вымышленными цитатами осложняется ростом числа заявок на конференцию, что снижает качество рецензирования.
- Введён термин «vibe citing» для описания случаев, когда ИИ генерирует правдоподобные, но несуществующие ссылки.
Компания GPTZero, специализирующаяся на разработке инструментов для выявления контента, сгенерированного искусственным интеллектом, провела анализ 4841 статьи, принятых на престижную конференцию NeurIPS 2025. В результате было выявлено 100 случаев галлюцинаций — то есть ложных научных ссылок, которые ссылаются на несуществующие публикации. Эти фейковые цитаты обнаружены в 51 статье, каждая из которых прошла процесс рецензирования минимум тремя экспертами, преодолев конкуренцию с более чем 15 тысячами отклонённых работ.
Отмечается, что характер галлюцинаций варьируется: от простых незаполненных шаблонов, таких как фиктивные авторы «John Doe и Jane Smith» или «Firstname Lastname and Others», до интеллектуально замаскированных ссылок. Последние могут содержать настоящие имена исследователей, но при этом называться несуществующими статьями, включать DOI, ведущие на другие публикации, или имитировать реально существующие журналы с несуществующими выпусками. В одном из случаев выявили 14 таких вымышленных ссылок в одной статье.
Проблематика обнаруженных галлюцинаций связана с бурным ростом количества заявок на NeurIPS: с 2020 по 2025 год они увеличились на 220%, достигнув 21 575. Это вынуждает организаторов привлекать больше рецензентов, среди которых уменьшается доля экспертов соответствующего профиля, что снижает качество оценки работ. При этом политика NeurIPS чётко регламентирует, что выявленные ложные цитаты являются основанием для отказа в публикации или отзыва статьи. Аналогичные меры применяются на конференции ICLR, где ранее также обнаруживались десятки таких ложных ссылок.
Исследователи предложили новую терминологию — «vibe citing» — чтобы охарактеризовать явление генерации языковыми моделями правдоподобных, но выдуманных научных ссылок. Такие ссылки не выдерживают тщательной проверки: в них могут быть перепутаны авторы, изменены названия работ или объединены сведения из разных источников. Анализ проводился с помощью инструмента Hallucination Check, разработанного и продаваемого самой компанией GPTZero, что необходимо учитывать при интерпретации результатов. Тем не менее каждая из 100 выявленных галлюцинаций, по словам авторов исследования, была проверена вручную, подтверждая достоверность их выводов.
