TGViewer
Гудин Евгений | MedTech ИИшница Гудин Евгений | MedTech ИИшница @goodinai · 173 subscribers
Post #126 139
Вчера попалось исследование, после которого я иначе смотрю на «медицинские AI-помощники»

Nature Medicine, 12 июня 2026. Независимое, слепое.

Авторы взяли два специализированных клинических AI-инструмента — OpenEvidence и UpToDate Expert AI. Те самые, которые продаются врачам и клиникам как надёжные, проверенные, «созданные специально для клиницистов».

И сравнили их с обычными frontier-моделями: GPT-5.2, Gemini 3.1 Pro и Claude Opus 4.6.

Три блока тестирования:
✳️ 500 вопросов MedQA — формат медицинских лицензионных экзаменов
✳️500 заданий HealthBench — совпадение с клинической логикой и мнением врачей
✳️ 100 реальных обезличенных вопросов от врачей из живой практики, которые вслепую оценивали 12 американских клиницистов

Результаты:

На MedQA лучший результат — Gemini 3.1 Pro: 97,4%
На HealthBench лучший результат — GPT-5.2: 88,0
В реальных клинических вопросах — GPT, Gemini и Claude в верхней группе, без значимых различий между собой

А OpenEvidence и UpToDate Expert AI в блоке реальных клинических вопросов оказались примерно на уровне Google AI Overview.

Не немного хуже. На уровне обычного поиска.

Вывод из этого — не «UpToDate больше не нужен». Это было бы неверно. Вывод тоньше — и о нём в следующем посте.

Исследование: Vishwanath et al., Nature Medicine, июнь 2026
DOI: 10.1038/s41591-026-04431-5
Nature General-purpose large language models outperform specialized clinical AI tools on medical benchmarks Nature Medicine - In an independent evaluation, frontier large language models outperformed specialized clinical artificial intelligence tools on medical knowledge, clinician alignment and...
More from @goodinai
  1. Sep 21, 2026Post #142
  2. Sep 10, 2026Post #141
  3. Sep 4, 2026Телеграм не дал засунуть полностью инфографику, поэтому прикладываю полный гайд файлом
  4. Sep 4, 2026Post #139
  5. Sep 1, 2026Post #138
  6. Aug 21, 2026И подкаст 🤯
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →