📅 Мультимодальные LLM в репродуктивной психиатрии

Привет! Я Алина, врач-психиатр. В Archives of Women's Mental Health вышел разбор: где мультимодальные модели (MLLM) дают то, чего не даст текстовая LLM. Семь доменов женского репродуктивного здоровья — и в каждом названа модальность, которой не хватает

💥 Классический ML — одна модальность и ручной feature engineering. LLM сняли ограничение на неструктурированный текст, но остались внутри языка.

💥 MLLM обрабатывают текст, изображения, аудио, видео и физиологические сигналы в одной архитектуре и контекстно взвешивают их между собой

Рассмотрим семь доменов из разбора

🔶 ПМДР (8% менструирующих женщин; ПМС — 48%). Сейчас диагноз держится в основном на ретроспективном дневнике настроения
MLLM добавляет объективный слой: траектории гормонов, данные с носимых, структурную МРТ, тон речи и даёт временную привязку начала симптомов вместо субъективного пересказа

🔶 Беременность (антенатальная депрессия и тревога). Сейчас модели читают только структурированную ЭМК
MLLM добавляет данные с носимых устройств (сон, активность, вариабельность ритма), анализ речи — и ловит ухудшение, которое по одному тексту не видно. И маршрутизирует: депрессия после смены препарата ➡️ коррекция схемы; депрессия на фоне пищевой нестабильности и проблем с жильём ➡️ маршрут к соцслужбам

🔶 Потеря беременности (около 20% известных беременностей — выкидыш). Сейчас — диагностические коды и статические шкалы, динамику переживаний они не видят
MLLM добавляет: кортизол и эстрадиол, сон и активность с носимых, лонгитюдные маркеры дистресса из клинических записей

🔶 Постпартум (10–20% — послеродовая депрессия). Сейчас наблюдение в узком окне, карта матери не связана с картой ребёнка
MLLM добавляет: мимику и тон голоса с видеоконсультаций, цифровые биомаркеры со смартфона, данные о младенце — кормление, сон, неонатальные осложнения

🔶 Менопауза (20–30% с депрессивной симптоматикой). Сейчас — гормоны и биомаркеры по отдельности
MLLM добавляет накожные датчики проводимости и температуры (приливы объективно) и аудио (ночные пробуждения) — самая буквальная мультимодальность; в связке с гормонами это отклонения сна до появления клиники

🔶 Бесплодие. Сейчас AI в репродуктивной медицине предсказывает состояние эмбриона — эмоциональное состояние пациентки в модель не входит
MLLM добавляет его: тревогу и сон по фазам лечебного цикла; всплеск тревоги или нарушение сна на стимуляции яичников позволяет начать вмешательство вовремя (высокий стресс связан с меньшей успешностью ЭКО и с отказом лечения)

🔶 СПКЯ и эндометриоз (64% женщин с СПКЯ — депрессия, 39% — тревога). Существующие модели подтверждают саму болезнь визуализацией, симптомами, хирургией.
С помощью MLLM можно добавить: болевые шкалы, гормональные и воспалительные биомаркеры, данные с носимых устройств, нейровизуализация мозга — с привязкой к фазе цикла

Вывод для продукта

Часто классический ML или обычная LLM уместнее и дешевле. Мультимодальность оправдана там, где сигнал физически не выражается словами: приливы, ночные пробуждения, аффект в голосе, вариабельность ритма и тд

Источник

@FemtechForce — о технологиях для здоровья женщин

Текст подготовила #АлинаАкбашева