NVIDIA выпустила трёхмерную модель для разбора КТ

🩻 NVIDIA вместе с Национальным институтом рака NIH и Цюрихским университетом выложили NV-Reason-CT, модель, которая читает КТ-объём целиком и делает заключение с разъяснениями.

⚙️ Механика: языковая модель Qwen3.5-4B соединена с трёхмерным визуальным кодировщиком Primus.
Объём 384 на 384 на 384 миллиметра превращается в решётку 24 на 24 на 24, это 13 824 визуальных токена.
Все токены вместе с координатами уходят в языковую модель без сжатия, а трёхмерное позиционное кодирование видит, где что находится.
Поэтому, например, модель различает поражение в правой и левой почке.

📋 Учили на 550 тысячах примеров из 70 111 КТ-объёмов. Сначала провели дообучение на разборах радиологов, потом обучение с подкреплением на проверяемых наградах за верный набор отклонений и структуру отчёта.

💼 На наборе CT-RATE модель размечает 18 видов отклонений точнее узких контрастивных моделей: усреднённая точность 0,614 против 0,581 у VoxelFM и 0,398 у CT-CLIP. Отдельная голова классификации для этого не нужна.
В пробном исследовании с радиологами время на разбор снимка и отчёт упало с 26,25 до 13,13 минуты.

🔗 Веса и код открыты под лицензией OpenMDW-1.1. Есть примеры дообучения, обучения с подкреплением и веб-демо.

NV-Reason-CT является частью семейства открытых медицинских моделей ИИ NVIDIA Medical AI, предназначенных для совместной работы по всему конвейеру радиологии:

NV-Generate-CTMR: синтезирует реалистичные объёмы 3D-КТ и МРТ для обучения, обогащения данных и исследований
NV-сегмент-CTMR: автоматизированная сегментация органов и поражений из объёмов 3D КТ и МР
NV-Reason-CXR: рассуждающая модель с CoT по анализу рентгена грудной клетки
NV-Reason-CT: рассуждающая модель с CoT для полного 3D-анализа КТ

#NVIDIA #медицина
———
@tsingular