Прочитал обзор одного интересного исследования - насколько качественный код генерирует ChatGPT.
TLRD: Проверяли на задачках литкода.
C, C++, Java, JavaScript, Python.
Вероятность успеха в зависимости от сложности:
Easy: 89%
Normal: 71%
Hard: 40%
(Обратите внимание, 100% нету даже у easy)
Дальше лучше, сделали тоже самое но в этот раз только на задачках которые появились после 2021 года (т.е. запрос для которых chat gpt решений не видел, и ему надо было решать их "самому".)
Easy уровень упал до 52% а hard до 0.66% успеха...
Причём подсказки и указания на ошибки не помогали, АИ не мог понять даже сути задачи которую надо решить
Все ещё думаете что когда-нибудь мы будет хранить только промпты в Гите?
Post #136
1.01K
- 🔥 5
- ❤ 3
- 💯 3