Всё самое интересное по программированию
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Сайт: https://tprg.ru/site
VK: vk.com/tproger
Регистрация в перечне РКН: https://tprg.ru/mJwo
Post #14771
7.13K
Нейросети проверили на грибах: даже лучшая называет ядовитый гриб съедобным в 11% случаев
Сезон грибов, и «сфотографировать и спросить у чата» стало привычным жестом. Пётр Мигдал из Quesma проверил, чем это кончается: показал 17 моделям 1040 фото 55 видов грибов с метками, подтверждёнными экспертами и ДНК, и попросил назвать вид.
Лучше всех справилась Gemini 3.8 Flash: 65% верных ответов с первого раза. Claude Fable 5.1 узнаёт гриб в 51% случаев, GPT-5.6 Sol в 42%, локальная Qwen3.8 27B в 13%. Но важнее доля ядовитых грибов, названных съедобным видом: 11% у Gemini, 18% у Fable 5.1, 24% у GPT-5.6 Sol, 36% у Qwen3.8 27B. Ошибки те же, что у людей: смертельную паутинницу в 27% случаев называли лисичкой.
Вывод автора короткий: не есть гриб потому, что так сказала нейросеть. Как устроен тест и какие модели путают что с чем, разобрали на сайте.
Сезон грибов, и «сфотографировать и спросить у чата» стало привычным жестом. Пётр Мигдал из Quesma проверил, чем это кончается: показал 17 моделям 1040 фото 55 видов грибов с метками, подтверждёнными экспертами и ДНК, и попросил назвать вид.
Лучше всех справилась Gemini 3.8 Flash: 65% верных ответов с первого раза. Claude Fable 5.1 узнаёт гриб в 51% случаев, GPT-5.6 Sol в 42%, локальная Qwen3.8 27B в 13%. Но важнее доля ядовитых грибов, названных съедобным видом: 11% у Gemini, 18% у Fable 5.1, 24% у GPT-5.6 Sol, 36% у Qwen3.8 27B. Ошибки те же, что у людей: смертельную паутинницу в 27% случаев называли лисичкой.
Вывод автора короткий: не есть гриб потому, что так сказала нейросеть. Как устроен тест и какие модели путают что с чем, разобрали на сайте.
- 😁 18
- 👍 6
- 👏 3
- ❤ 2
- 😢 2
- 🔥 1



