- Мира Мурати, бывший технический директор OpenAI, представила первый продукт своего стартапа Thinking Machines — сервис Tinker.
- Tinker позволяет исследователям дообучать большие языковые модели с помощью облачного распределённого обучения на GPU-кластере.
- В основе сервиса лежит метод низкоранговой адаптации LoRA, обеспечивающий экономию вычислительных ресурсов без потери качества на небольших и средних датасетах.
Бывший технический директор OpenAI Мира Мурати анонсировала первый продукт своего нового стартапа Thinking Machines — сервис Tinker, ориентированный на исследователей в области больших языковых моделей (LLM). Этот продукт предлагает инновационный подход к дообучению моделей: пользователь пишет короткий тренировочный цикл локально на ноутбуке, а все ресурсоёмкие операции по распределённому обучению выполняет облачный кластер с GPU. Tinker предоставляет лишь необходимые примитивы для прямого и обратного проходов, шаг обновления параметров, выборку и функции сохранения и загрузки весов, переложив управление вычислительными ресурсами и надёжность работы на инфраструктуру в облаке.
В настоящее время сервис поддерживает метод низкоранговой адаптации LoRA (Low-Rank Adaptation), который позволяет значительно сокращать количество операций с плавающей точкой (около 30% экономии по сравнению с полным файнтюном). По заявлению команды Thinking Machines, благодаря этому методу качество обучения на небольших и средних наборах данных не снижается. Среди доступных моделей — варианты Llama 3 (кроме самой масштабной с 405 млрд параметров) и Qwen 3, включая базовые версии. В будущем разработчики обещают добавить поддержку полного файнтюна.
Сервис находится в закрытой бета-версии и доступен через вейтлист. На начальном этапе пользоваться Tinker можно бесплатно, однако уже в ближайшие недели предполагается запуск платных тарифов. Такой подход даёт исследователям возможность оперативно тестировать собственные идеи без необходимости в приобретении и содержании собственных вычислительных кластеров, при этом сохраняя контроль над данными и алгоритмами.
