- Исследователи из Стэнфорда представили ИИ-модель Merlin, которая анализирует 3D КТ брюшной полости и может прогнозировать хронические болезни за срок до пяти лет.
- Модель обучили на более чем 15 000 КТ-снимках, 1,8 млн диагностических кодах и 6 млн токенов радиологических отчетов.
- В тестах Merlin показала среднюю точность диагностики свыше 81%, а риск шести хронических заболеваний в пятилетнем окне предсказывала с точностью 75%.
Исследователи из Стэнфорда представили Merlin — мультимодальную ИИ-модель для анализа компьютерной томографии, которая по одному 3D КТ-снимку брюшной полости может не только находить текущие проблемы, но и прогнозировать развитие некоторых хронических заболеваний на пять лет вперед. Описание работы опубликовано в Nature.
В отличие от многих медицинских ИИ-систем, которые работают с отдельными двумерными изображениями, Merlin обрабатывает объемный снимок целиком. Модель сопоставляет данные КТ с текстами радиологических отчетов и сведениями из электронных медкарт. Такой подход помогает ей видеть связи между изображением, врачебным описанием и уже поставленными диагнозами.
Для обучения использовали более 15 тысяч КТ-снимков, 1,8 млн диагностических кодов и 6 млн токенов из радиологических отчетов. Затем систему проверили на 752 задачах шести разных типов: от распознавания находок без предварительной разметки до сегментации 20 органов и автоматической подготовки радиологических отчетов. Внешнюю проверку провели на 44 098 снимках из трех независимых клиник и двух открытых наборов данных.
По данным авторов, средняя точность постановки диагнозов по сотням кодов превысила 81%, а по 102 кодам была выше 90%. Самый заметный результат связан с прогнозом: Merlin предсказывала развитие шести хронических заболеваний в пятилетнем окне с точностью 75%. Авторы пишут, что модель находит в снимках закономерности, которые радиологи не могут увидеть напрямую. При этом она показала хорошие результаты и на КТ грудной клетки, хотя на таких данных ее не обучали.
У системы есть и ограничения. При генерации радиологических отчетов Merlin может занижать число находок, а трехмерная сегментация органов пока остается сложной задачей. Следующий шаг для команды — доработка модели для более сложных клинических сценариев и подача заявки на использование в реальной медицинской практике.
Большинство медицинских ИИ-моделей до сих пор работают с двумерными снимками, например рентгеном или отдельными срезами КТ. Merlin относится к системам нового типа: она анализирует полный 3D-объем и одновременно учитывает текстовые медицинские данные.
Если модель пройдет путь до клинического применения, врачи смогут получать из одного КТ-снимка не только описание текущего состояния, но и дополнительную оценку долгосрочных рисков. Для клиник это может дать более ранний повод для наблюдения пациентов с признаками будущих хронических заболеваний.
