TGViewer
Work & Beer Balance Work & Beer Balance @workbeer · 1.55K subscribers
Post #136 1.01K
Прочитал обзор одного интересного исследования - насколько качественный код генерирует ChatGPT.

TLRD: Проверяли на задачках литкода.
C, C++, Java, JavaScript, Python.
Вероятность успеха в зависимости от сложности:
Easy: 89%
Normal: 71%
Hard: 40%
(Обратите внимание, 100% нету даже у easy)

Дальше лучше, сделали тоже самое но в этот раз только на задачках которые появились после 2021 года (т.е. запрос для которых chat gpt решений не видел, и ему надо было решать их "самому".)

Easy уровень упал до 52% а hard до 0.66% успеха...

Причём подсказки и указания на ошибки не помогали, АИ не мог понять даже сути задачи которую надо решить

Все ещё думаете что когда-нибудь мы будет хранить только промпты в Гите?
  • 🔥 5
  • ❤ 3
  • 💯 3
More from @workbeer
  1. Oct 12, 2026Я слышал раньше истории том что топ сениор тимлид разработчик после выгорания ушел из айти…
  2. Oct 11, 2026Недавно я писал про стартап Emergence AI, который запер нейроночки в виртуальном городке "…
  3. Oct 1, 2026Ищу нового хозяина для своего Starlabs Starlight 12.5" Linux планшета (хочу поменять его н…
  4. Sep 29, 2026👨‍💻 Фронтенд с AI: что можно делегировать агентам 5 октября, стартует конференция Podlod…
  5. Sep 29, 2026Ну и если вы пользуетесь продутами Proton - VPN или почтой, то вам будет интересно узнать…
  6. Sep 29, 2026Насколько она умная? В реальном RAG-сервисе ZüriCityGPT на реальном пользовательском трафи…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →