Ретроспектива произошедшего с LLM в 2024

Мы тут периодически обсуждаем влияние AI на индустрию – рост количества некачественного кода и уязвимостей, сложности поиска работы джуном, да и вообще неясные перспективы для всех нас в будущем. Многие аргументы, которые я вижу в обсуждениях, основаны на не очень корректнос представлении о том, что мы сейчас знаем про LLM, их ограничения и будущие тренды.

Если вы хотите прочитать только одну статью, чтобы откалибровать свою ментальную модель про AI, то вот эта отлично подойдет. Вот самые важные на мой взгляд изменения по сравнению с прошлым годом:

👉Инференс стал дешевле на порядок, вызов младших моделей теперь стоит совсем копейки
👉Размер контекста существенно вырос
👉Локально можно запускать довольно мощные модели, сравнимые с GPT-4
👉Тренировка на синтетических данных работает, причем иногда лучше, чем на органических
👉В целом плато способностей LLM, которым периодически любят пугать, пока не видно
👉Генерация простых веб-приложений из промптов стала сравнительно неплохо работать
👉Использовать LLM обычному пользователю все труднее, нужно больше знаний об их устройстве, ограничениях и доступной инфре, чтобы добиваться нормальных результатов