- Японские учёные разработали систему ИИ, которая по данным функциональной МРТ преобразует воспоминания человека в текстовые описания.
- В отличие от предыдущих моделей, новая система способна создавать детализированные «подписи» к мыслям, например, «собака прыгает в воду».
- Технология пока требует индивидуальной настройки и зависит от медленного и дорогостоящего метода фМРТ, но имеет потенциал для помощи людям с ограниченными возможностями.
Группа исследователей из японской лаборатории NTT, Inc представила инновационную систему искусственного интеллекта, способную декодировать мысли человека с помощью данных функциональной магнитно-резонансной томографии (фМРТ). В отличие от ранних экспериментов, которые распознавали лишь общие категории визуальных образов, эта система генерирует развернутые текстовые описания, адекватно отражающие содержание воспоминаний и воображаемых сцен. Например, она может сформулировать фразы типа «собака прыгает в воду» или «мужчина идет по пляжу».
Для создания модели учёные использовали обширное обучение: испытуемым показывали разнообразные короткие видеоклипы, одновременно фиксируя активность их мозга при помощи фМРТ. На основе текстовых описаний роликов была обучена языковая модель, которая выделяла семантические признаки. Далее для каждого такого признака создавались декодеры, способные предсказывать данные признаки по паттернам мозговой активности. После завершения обучения участников просили мысленно воспроизвести ранее просмотренную сцену, а система подбирала наиболее соответствующее текстовое описание, исходя из полученных нейровизуализационных данных.
Результаты тестирования показали, что самая высокая точность достигается, когда субъект либо смотрит видео, либо вспоминает его непосредственно. При воображении новых или непривычных образов точность снижается, и система склонна к общим формулировкам с возможными ошибками в деталях. Тем не менее учёные отметили, что даже в таких случаях порой удаётся подобрать подходящую формулировку, что открывает перспективы для развития неинвазивных интерфейсов «мозг-текст».
На текущем этапе технология требует значительной индивидуальной настройки под каждого человека, а сама функциональная МРТ остаётся дорогим и медленным инструментом. Однако в будущем данный подход может стать ключевым средством коммуникации для людей, утративших возможность говорить или двигаться. Кроме того, он предоставит ценный инструмент для научного изучения того, как человеческий мозг кодирует не только объекты, но и действия, а также отношения между ними.
