17 нейросетей проверили на фото грибов: лучшая ошибается опасно в 11% случаев, локальная Qwen в 36%
Пётр Мигдал из Quesma показал моделям 1040 фотографий 55 видов грибов из датасета FungiTastic, где метки подтверждены экспертами и ДНК, и попросил назвать вид. Лучше всех Gemini 3.8 Flash: 65% верных первых ответов и 85% в пятёрке. Claude Fable 5.1 узнаёт гриб в 51% случаев, GPT-5.6 Sol в 42%, Qwen3.8 27B в 13%.
Опаснее другая цифра: как часто ядовитый гриб называют съедобным видом. У лучших Gemini это 11%, у Fable 5.1 18%, у GPT-5.6 Sol 24%, у Claude Opus 5 29%, у Qwen3.8 27B 36%. Ошибки повторяют человеческие: смертельную паутинницу модели в 27% случаев называли лисичкой, бледную поганку узнавали только в 48%.
Вывод автора: не есть гриб потому, что так сказала нейросеть. Код и все ответы моделей выложены, тест можно повторить на своей модели.
Post #10636
945
- ✍ 7
- 💊 4