- Джон Кармак предложил использовать оптоволоконную петлю для хранения весов нейросетей, заменяя традиционную DRAM.
- По его расчётам, оптоволоконные технологии могут обеспечить передачу данных со скоростью до 32 ТБ/с и одновременно хранить около 32 ГБ «в полёте».
- Кармак видит перспективу в комбинировании флеш-памяти и высокоскоростных интерфейсов как более практичное решение на ближайшее будущее.
Известный разработчик игр и основатель стартапа в области искусственного интеллекта Джон Кармак поделился необычной концепцией организации памяти для инференса нейросетей — хранить веса модели не в традиционных микросхемах DRAM, а в виде световых импульсов, циркулирующих по оптоволоконной петле. По его словам, современные оптоволоконные каналы способны достигать скорости передачи данных порядка 256 Тбит/с на расстоянии до 200 километров, что теоретически позволяет «держать в полёте» до 32 ГБ данных с пропускной способностью 32 ТБ/с.
Ключевым преимуществом такой архитектуры является детерминированность доступа к весам нейросети во время инференса: известно заранее, какие данные и в каком порядке потребуются. Это условие позволяет подавать необходимые данные непрерывным потоком прямо в кэш L2 процессора, полностью исключая необходимость в DRAM. Кармак сравнивает эту идею с «ртутными линиями задержки» — технологией памяти 1940-х годов, где информация хранилась как акустические импульсы в трубках с ртутью.
Разумеется, для современных моделей с триллионом параметров потребуется несколько таких оптоволоконных петель. Однако Кармак отмечает, что скорость передачи данных по оптоволокну растёт быстрее, чем поддерживаемая DRAM, что открывает перспективы для данной технологии в будущем. В более реалистичном плане он предлагает интегрировать многочисленные недорогие флеш-чипы, объединённые высокоскоростными интерфейсами, способными обеспечивать необходимую пропускную способность при постраничном чтении и конвейеризации.
Идея Кармака получила широкую аудиторию – его пост на X (бывший Twitter) собрал более 1,3 миллиона просмотров за два дня. На фоне роста цен и дефицита памяти HBM, применяемой в ускорителях ИИ (например, от NVIDIA), поиск новых архитектур памяти становится всё более важной и перспективной областью исследований, пусть пока и остаётся в статусе концептуальных экспериментов.
