- Инженер Мантан Гупта провел реверс-инжиниринг памяти моделей ChatGPT и Claude через диалог.
- ChatGPT использует шесть уровней памяти, включая краткие дайджесты прошлых чатов без поиска истории.
- Claude применяет инструменты поиска по истории, обращаясь к ним только при необходимости, что экономит токены.
Инженер-программист Мантан Гупта провел исследование внутренней организации памяти двух популярных языковых моделей — ChatGPT от OpenAI и Claude от Anthropic. Он применил метод обычного общения с моделями, задавая вопросы и анализируя ответы, что позволило выявить принципиальные отличия в работе их систем памяти.
ChatGPT, по результатам эксперимента, строит память из шести уровней. В них входят системные инструкции, метаданные сессии (такие как устройство пользователя, браузер, паттерны использования), долгосрочные факты о пользователе (в исследовании у автора насчитывалось 33 факта), сводки последних 15 чатов, скользящее окно текущего диалога и последнее сообщение. Примечательно, что модель не осуществляет поиск по всей истории разговоров — вместо этого она создаёт короткие суммирующие дайджесты. Такой подход акцентирует скорость работы и актуальность информации, но ухудшает возможность вспоминать детали старых разговоров.
Claude, в свою очередь, использует более динамический подход к памяти. Модель опирается на системный промпт, список ключевых фактов о пользователе в формате XML, скользящее окно текущей сессии, а также два специальных инструмента: conversation_search — для поиска по ключевым словам, и recent_chats — выборка по времени. Главное отличие в том, что эти инструменты не вызываются автоматически, а инициируются самим Claude только тогда, когда появляется необходимость обратиться к более раннему контексту. Такой метод более экономно расходует токены, но требует от модели точно определять моменты, когда нужно вспомнить старую информацию.
Автор исследования отметил, что во взаимодействии Claude показался «прозрачнее» и охотнее раскрывал детали своей внутренней архитектуры, тогда как ChatGPT потребовал более тщательных и настойчивых запросов. Гупта подчеркнул также, что его выводы базируются на опытах с диалогом, а не на официальных данных, поэтому к ним следует относиться с осторожным скептицизмом.
В итоге исследование демонстрирует две принципиально разные стратегии работы с памятью в языковых моделях. ChatGPT предпочитает поддерживать близкие по времени воспоминания и жертвовать детализацией, обеспечивая оперативность и актуальность. Claude, напротив, даёт возможность теоретически использовать весь объем памяти, если модель способна правильно определить момент для обращения к ней, что повышает гибкость, но накладывает дополнительную нагрузку на качество распознавания контекста.
