- Разработчик Дейв Снайдер создал метод, который позволяет языковой модели Claude Code работать с 3D-пространством.
- Claude Code теперь управляет виртуальной камерой, делает скриншоты и самостоятельно проверяет корректность трехмерных моделей.
- Основная идея — построение интерактивного цикла, который упрощает коммуникацию между человеком и ИИ с помощью визуальных данных.
Дейв Снайдер, дизайнер и разработчик сложных веб-приложений с использованием 3D-графики, представил уникальный подход к работе с языковой моделью Claude Code в сфере пространственного моделирования. Как отмечает автор, изначально Claude Code испытывал серьёзные проблемы с обработкой трехмерных объектов: модель часто ошибалась при позиционировании, не замечала объекты, скрытые из-за операций объединения и вычитания в CAD-системах, и не могла корректно интерпретировать STL-файлы, выдавая лишь вымышленные данные.
Для исправления этих недостатков Снайдер впервые применял метод ручной отладки с помощью скриншотов сцен и комментариев. Однако такой подход оказался слишком трудоёмким и требовал большого количества диалогов с моделью. Чтобы повысить эффективность, разработчик создал автономный итеративный цикл, в котором Claude Code управляет виртуальной камерой через Playwright — делает снимки сцены под разными углами, зумирует объекты и располагает маркеры для контроля позиций. На основе этих скриншотов AI самостоятельно анализирует и оценивает корректность трехмерных моделей, корректирует геометрию, генерирует STL-файлы, выполняет повторные проверки и при необходимости исправляет ошибки, не обращаясь к пользователю.
Главным выводом Дейва Снайдера стала необходимость смены парадигмы взаимодействия с языковыми моделями: вместо простого ожидания понимания сложных запросов, следует создавать специальные инструменты, формирующие общий язык коммуникации между человеком и ИИ. В данном случае, цикл скриншотов и визуальных подтверждений стал удобным и эффективным способом организации такого диалога, значительно повышая качество и надёжность работы Claude Code в 3D-пространстве.
