⚡️ Google протестировали LLM на реальных научных вопросах по сверхпроводимости.

Исследователи собрали 67 сложных вопросов, которые обычно обсуждают физики в области высокотемпературной сверхпроводимости, и дали их шести моделям:

• GPT-4o
• Claude 3.5
• Gemini Advanced 1.5
• Perplexity
• NotebookLM
• специальной RAG-системе

Каждый ответ оценивали 12 международных экспертов по нескольким критериям:

• полнота ответа
• объективность
• точность
• наличие научных источников
• ясность объяснения

Интересный результат:

модели с закрытой, тщательно подобранной научной базой отвечали точнее, чем модели с доступом ко всему интернету.

В закрытой базе использовали:

• 15 ключевых обзорных статей
• около 3300 научных ссылок
• ~1700 отобранных источников по экспериментам и теории.

Главный вывод исследования:

LLM могут быть полезны как “виртуальный научный ассистент”, который помогает исследователю быстро разобраться в сложной области и увидеть разные научные точки зрения.

Но качество сильно зависит от контролируемых источников знаний, а не просто от доступа к интернету.

https://research.google/blog/testing-llms-on-superconductivity-research-questions/

🎯Полезные Мл-ресурсы 🚀 Max

@machinelearning_interview