TiinyAI преувеличила возможности Pocket Lab, выяснил энтузиаст

Исследователь, разобравший TiinyAI Pocket Lab по маркетинговым материалам компании, заявил, что производитель заметно приукрасил характеристики устройства. Речь идёт о карманном ПК для локального запуска ИИ-моделей, который TiinyAI продаёт через Kickstarter за $1299 и обещает как систему для моделей до 120 млрд параметров. По выводам автора, фактическая архитектура заметно скромнее, а часть громких заявлений не соответствует тому, как устройство устроено и работает.

Основной вывод касается памяти и компоновки. TiinyAI говорит об 80 ГБ LPDDR5X, но, по разбору энтузиаста, это не единое адресное пространство, а две отдельные зоны памяти: 32 ГБ на стороне основного чипа и 48 ГБ на стороне отдельного нейроускорителя. Между ними, как он утверждает, стоит соединение PCIe Gen4 x4 через M.2 — то есть намного более узкий канал, чем локальная память у каждого из блоков. Для задач вывода больших языковых моделей это критично: в таких сценариях производительность сильно зависит именно от пропускной способности памяти.

В качестве вероятной основы Pocket Lab автор называет SoC CIX P1 с 12 ядрами Armv9.2 и встроенным NPU на 30 TOPS, а также отдельный модуль dNPU на 160 TOPS, который может быть построен на архитектуре VeriSilicon VIP9400. Отсюда, по его версии, и берутся рекламные «190 TOPS» — это просто сумма двух ускорителей. Аналогично «банковский уровень безопасности», как пишет исследователь, сводится к AES-256 на SSD, то есть к стандартной возможности современных накопителей.

Самая спорная часть — обещание запускать модель «120B» со скоростью 20 токенов в секунду. Автор указывает, что демонстрируемые компанией модели часто относятся к классу mixture of experts, где в каждый момент активна лишь часть параметров, поэтому число в названии модели не равно реальной нагрузке на токен. Кроме того, красивые показатели в роликах получаются на коротких ответах и небольших контекстах. Как только контекст растёт до более реалистичных 8K, 16K, 32K и 64K, скорость падает до 12, 9, 6 и 4,47 токена в секунду соответственно.

Отдельно исследователь обращает внимание, что Pocket Lab работает не как полностью автономный компьютер, а как внешнее USB-C-устройство с Linux на ARM и доступом через виртуальный сетевой интерфейс и API, совместимый с OpenAI. То есть по сути это компактный хост с подключённым ускорителем, а не «карманный суперкомпьютер» в том виде, как это звучит в рекламе. При этом сам автор не называет устройство фейком, но считает, что маркетинг TiinyAI создаёт более мощный образ, чем позволяют реальные ограничения платформы.