Господа!

Как вы знаете, я с большим интересом отслеживаю тему "революций" в программировании, которые заставляют менять специальность после 40 (ничего личного чисто статистика, про которую в разделе "Трагедия профессии программист" в леммингах подробнее говорю).

И даже пострадавшие на тему статьи постоянно пишут, но кто же такие статьи 38-летних читает в 20 лет??? 😉 Тут разбираю люто залайканную статью на хабре, которая утверждает, что программисты никогда не вымрут! Конечно же не вымрут!!! Это просто очередная революция, которая сметет "стариков", как было не раз. Тут я писал, как поменялись предложения о работе на сайте фриланса через год после выхода ChatGPT и еще несколько ссылок по теме. Вот тут я писал про OpenTalks.ai этого года, где я неожиданно оказался скептиком, поскольку специалисты в области делали прогнозы для программистов намного более радикальные, чем я. 😲😲😲

В ту же копилку. Я давно и с интересом слежу за SWE-bench - бенчмарком, составленным из реальных issues гитхаба, которые моделям предлагается исправить. Это реальные задачи из программистской практики, очень часто достаточно нетривиальные (иногда хватает короткого контекста, нужно "просто" найти правильное место, а в некоторых случаях контекст нужен очень большой, что резко повышает сложность решения).

У них совершенно очешуительный прогресс за 10 месяцев со старта бенчмарка. Они начали с единиц процентов меньше года назад. А свежий результат за конец августа выбивает 45%!!! Это совершенно феерично. Ну и, очевидно, прогресс на этом не остановится.

Интересно, что у них были проблемы в разметке (что неудивительно для работы такого замаха). К делу подключилась OpenAI и они помогли сделать датасет меньшего размера (меньше четверти исходного), но более "чистый". Выше на картинке его лидерборд. Видно, что Амазон включилась в гонку и что лучшая модель за конец августа прям рулит. Подробнее про новый лидерборд можно почитать тут: https://openai.com/index/introducing-swe-bench-verified/ В общем - OpenAI - тоже в деле, на кого ставки делать будем, а на OpenAI или Амазон?))) Амазону, вангую, будет непросто))) А ведь есть еще игроки (текущий лидер Gru.AI и так далее)!

Для вас это новости просто шикарные! ✌️

Во-первых, прогресс. Во-вторых, для вас, пишущих дипломы и делающие задания курсов в обнимку с ChatGPT применение всех этих новых инструментов будет новой игрушкой, освоение которой пройдет моментально. Трагедией это становится через 20 лет, когда к инструментам прошлого поколения привык, а новые изучаются с трудом. Что и происходит снова, и снова, и снова.

Впрочем, самые мудрые из вас прислушаются и выводы сделают уже сейчас (а такие есть и мне благодарности за леммингов, которые уже много лет читаются, прилетали уже не раз).

Как действовать более мудро я тоже говорил много раз)

Всем мудрости, короче, в нашем быстро прогрессирующем мире! 💪😉

#SWE_benchmarking