🤧 Пока одни боятся использовать LLM для работы с кодом (так как не умеют их «готовить» или боятся «отупеть»), другие адаптируются к новому мировому порядку.
🔥 На групповом созвоне нам озвучили идею LLM Friendly. Это когда фича или её часть не должна превышать размер контекстного окна популярных LLM.
Обычно его размер варьируется от 4K до 1M токенов в зависимости от модели.
Например, слово «привет» чаще всего занимает один токен, но разбиение зависит от токенизатора – в редких случаях оно может разделиться на несколько частей.
Токены не соответствуют буквам или байтам, их границы определяются алгоритмом токенизации (например, BPE или SentencePiece).
Это означает, что фактическое количество токенов зависит не только от длины текста, но и от конкретной модели, которая его обрабатывает.
Для примера:
У Gemini 2.0 – 1M токенов.
У GPT-4o – 128K токенов.
У Claude 3.5 – 200K токенов.
У Deepseek – 64K токенов.
👾 Задача – уместить фичу в эти примерные 300KB, чтобы загрузить её сразу в «мозг» модели и запустить codebase reasoning.
Это позволит находить ошибки или генерировать новые фичи на основе уже готовой логики и структуры проекта.
✖️ Когда дело дошло до вопросов, кто-то с грустью спросил:
«А нас не уволят, когда запустят эту шайтан-машину из идей на полную мощность?»
Ответ был – нет. Машины не умеют думать без оператора, но с каждым днём они «умнеют». Близок день, когда их код станет лучше кода человеческого.
🐹 Нам посоветовали меньше упарываться в синтаксис и больше прокачивать скилл декомпозиции.
Учимся «кормить» LLM порционными кусками кода, чтобы она понимала глобальный контекст задачи и работала с нами в паре.
Как сейчас мы работаем с IDE, где код пишется быстрее, чем в блокноте.