Че там по замене программистов AI?

Прошло больше 2 лет с момента релиза ChatGPT. Появились тулы для програмистов, такие как GitHub Copilot, Cursor, Devin. Сэм Альтман последние два года кормит всех завтраками, что вот вот зарелизятAGI.
За последние несколько недель снова поднялся хайп после релиза DeepSeek и заявлений Зака, что в 2025 в Мета заменят мидлов на AI.

Мои мысли по этому поводу:

1) На данный момент нет технологий, которые могут заменить даже Junior программистов. Программист это больше, чем написание кода с детальным описанием. Текущие тулы приближаются по написанию кода к Junior программистам. Но им все также нехватает агентности. Devin обладает примитивной агентностью, но ему все также далеко до кожаного программиста.
2) Заявления Зака это такие же заявления, как и заявления Альтмана. Они призваны нагнетать интерес к AI и влиять на стоимость акций компании. Более того, заявление скорее касается того, что AI будет кодить как мидл. Но агентности как у мидла у него гарантированно не будет. Он должен быть интегрирован со всеми тулами, быть в них очень эффективным. Более того, он должен обладать самостоятельностью и проактивно вступать в дискуссии с други людьми и агентами. Т.к. нужно много согласовывать, обсуждать и договариваться. Кроме того, куча информации и идей находится по прежнему в головах людей, а не в документации.
3) DeepSeek это про удешевление. Модель R1 хоть и опережает другие модели в бенчмарках, но не сильно. Они сильно лучше в плане ресурсов, необходимых для обучения и во время выполнения(inference/test time).
4) Текущие модели это скорее похоже на долгосрочную память в мозге и про интуитивное мышление. Обученная модель - это очень эффективный способ задампить весь интернет на один жесткий диск. А ее запуск - восстановление данных. Своего рода неточный, но эффективных архиватор. Данные хранятся не в исходном состоянии, а в виде весов огромной матрицы. Своего рода каждое новое понятие не заново с нуля описывается, а то, как оно связано с другими понятиями в разных контекстах. Это похоже на долговременную память человека. Человек тоже хранит много знаний в виде прочности связей между нейронами. А то как выполняется модель, похоже на то, как человек говорит первый попавшийся интуитивный ответ(как у Канемана в книге: "Думай медленно, решай быстро"). Это примерно, как быстрая система мозга.
5) Текущие модели все еще не умеют думать. У мозга есть вторая функция, кроме как давать интуитивные ответы из памяти - это думать медленно и более глубоко (как в известном примере про цену мяча и биты). Сейчас появляются технологии вроде Chain-of-Thought и другие reasoning модели на основе reinforcement learning, деревьев и метода Монте Карло. Но это все еще далеко от мозга.
6) Большие результаты на бенчмарках падают при смене имен переменных. Модели все также не умеют думать и просто натренированны на примерах готовых решений под эти тесты. Если поменять имена переменных в задачах, то результаты падают на 10-30%. Если еще больше шума внести, то результаты будут еще хуже.
7) Человек учится на порядки эффективней. LLM нужно скормить весь интернет, чтобы она решала задачи как человек. Человек же учится на данных, которые на порядки меньше в размерах. Соответственно, архитектура обучения мозга сильно лучше и нужно совершить еще ряд прорывов для улучшения архитектуры. А это все плохо предсказуемо. Последний крупный прорыв был в 2017 году с открытием Attention, что и привело к созданию ChatGPT. Может в версии 5.0 будут такие открытие, но есть сомнения.
8) LLM не имеет тех же механизмов памяти как человек. У человека есть краткосрочная и долгосрочная память. Есть механизм, который переносит часть памяти из краткосрочной в долгосрочную. Есть механизм забывание неважной информации. У LLM этого нет. Она обученна один раз на всем интернете. У нее есть контекст, но она не переобучивается на лету и не забывает ненужную информацию. Я знаю, что есть работы на эту тему, но на практике пока это не реализовано и не протестировано.