Hack Time друзья.🤘

В этом лонгриде я попробую разобрать то что сейчас произошло с DeepSeek.

Почему столько ажиотажа вокруг этого.


два главных факта:

1. на рынке появилась размышляющая модель, которая в бенчмарках недалеко от OpenAI o1, но обучение которой стоило на 90% дешевле, и работа которой требует в 20 раз меньше ресурсов (то есть в 20 раз дешевле).
2. инновационное использование авто-обучения без участия людей (non-supervised RL), и архитектура Mixture of Experts из DS-V3, доказали свою эффективность

думаю, новости что NASDAQ вчера упал на 3%, а NVIDIA на 15% все уже видели.

отсюда, на первый взгляд, напрашиваются выводы:

1. хитрые OpenAI и NVIDIA всех обманывали, и для AI/AGI будущего не нужны датацентры за $500 ярдов
2. хитрые американцы, запрещающие экспорт чипов, которые нужны для обучения AI, не смогли помешать Китаю догнать и, возможно, перегнать их
3. золотой век производителей чипов (Nvidia) подходит к концу - удешевление обучения и инференса AI приведёт к тому, что спрос на чипы хоть и будет расти, но далеко не так сильно, как ожидалось
4. и, я даже видел мнение, что обший рынок AI уменьшится, т.к. все будет дешевле (уф).

в целом, все эти выводы одинаково поверхностны, хуевы, и во многом не верны (кроме разве что второго).

об этом уже высказалось множество людей горадо умнее меня.

если кратко:

1. да, кажется, запрет экспорта чипов не работает - того количества, которое уже есть, достаточно для обучения весьма сильных моделей, особенно с новыми архитектурами. это все равно тяжелое для китайского рынка ограничение, но я думаю, что они не испытывают особых проблем с обходом подобных санкций.
2. все разговоры о том, что "столько ресурсов AI теперь не нужно" - нужно. удешевление моделей и снижение их требований к ресурсам - это то, чего все ожидали давно, и ожидают в будущем. текущий спрос на ИИ не удовлетворен и на 1%, поэтому говорить о том, что улучшение в 20 раз - это крах Nvidia и датацентров - очень странно. даже если произойдёт удешевление ещё в 100 раз - это все равно будет далеко от полного удовлетворения спроса. и это не говоря о парадоксе Джевонса. тем не менее, ожидание снижения спроса не могло не повлиять на явно сильно разогретые акции AI-корпораций, что мы и увидели. думаю, в mid-term всё выправится.

какие главные изменения с точки-зрения бизнес-моделей мы можем здесь прикинуть?

ну, всё крутится вокруг того, что application-layer только что получил огромный буст к марже, который можно потратить на маркетинг в том или ином виде. в том числе - давать свои инструменты бесплатно, в счет маркетингового бюджета, что, я думаю, мы вскоре и увидим.

некоторые решения, которые раньше почти не имели бизнес-ценности из-за низкого качества работы модели, теперь получили интересный буст: агентский граф можно увеличить в 2-3 раза, и при этом цена не только не изменится, но и, возможно, станет ниже.

на ум приходят в том числе решения для автоматизации работы в браузере/управления компьютером. они неплохи, но пока что не дотягивают по качеству до "дать задачу и забыть".
за общей шумихой, вчера многие могли не заметить выхода Qwen2.5-VL, а в их репорте очень много акцентов как раз на агентских системах для управления компьютером.

кажется, комбинация модели, хорошо распознающей происходящее на экране (Qwen2.5-VL) с моделью, хорошо рассуждающей и принимающей решения (R1), могут стать разрывной комбинацией для "автоматизация сотрудника компании под ключ". особенно если в самом конце цепочки рассуждений, перед финальным действием, в игру включится какая-нибудь o3, и верифицирует за один проход принятое младшими братьями решение.

помимо этого, мне кажется, мы сильно будем двигаться от CoT (chain-of-thought, цепочка рассуждений) к ToT (tree-of-thought, древо рассуждений). удешевление в 20 раз открывают возможности для того, чтобы запустить параллельную обработку одного и того же запроса сразу в 4-5 потоков, после чего микшировать их и выбирать лучший на поздних этапах.