TGViewer
RoboFuture RoboFuture @robofuture · 4.92K subscribers
Post #113 1.25K
🚲Некоторое время назад придумал "велосипедный бенчмарк"

Я просил модель создать SVG с изображением велосипеда, который может ездить. Люди плохо решали эту задачу, модели делали это еще хуже. Вот мой прошлый пост с парадом велосипедных уродцев.

Важная подробность: SVG — это векторный формат описания графики в виде кода, поэтому все LLM могут "рисовать" в SVG напрямую


На днях вышла Gemini 3 Pro, и это SOTA по многим бенчмаркам, в том числе и по рисованию великов. Добавил сравнение свежих моделей - Kimi K2, Grok 4.1, GPT-5.1 и Gemini 3 Pro. Результат показательный! Sama, как там с AGI дела? ☺️

P.S. Оказалось, что такая идея не только меня посетила. Simon Willison тоже регулярно тестирует модели на способность нарисовать велосипед в SVG, только просит туда еще пеликана добавить. Так что последний рисунок - отсылка к его блогу.
  • 👍 14
  • 😁 5
  • 🤯 3
  • 🔥 1
More from @robofuture
  1. Sep 17, 2026Последние дни развлекался с расцензуренным дипсиком V4.1 Flash - и слегка охренел, где у э…
  2. Sep 15, 2026Почему LLM обычно скептически относятся к астрологии и гомеопатии? Считается, что дело в S…
  3. Sep 5, 2026🐮 Вышла GPT-6 Astra, все с ней играются, я тоже поучаствую. Продолжаю серию с самым непре…
  4. Aug 15, 2026Вижу, что многие пришли к идее создавать себе несколько агентов-персонажей для ежедневной…
  5. Aug 4, 2026Похоже, тема применения агентов в повседневной жизни вам заходит. Тогда расскажу про ещё о…
  6. Jul 30, 2026📵 Вас тоже бесит, когда приложение шлет рекламные пуши, но заблокировать их нельзя, потом…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →