TGViewer
Машинное обучение RU Машинное обучение RU @machinelearning_ru · 18.2K subscribers
Post #1917 2.4K
⚡️ Минимальный и быстрый пример генерации текста с помощью Llama 3.1 в MLX.

Минимум: 1 файл, ~200 строк простого кода, 3 зависимости
Скорость: более 100 токенов в секунду с 4-битным 8B на M2 Ultra

Код: https://gist.github.com/awni/cf42588b8c084c3d93d7373b604c7f9c

@machinelearning_ru
Gist A minimal, fast implementation of Llama 3.1 in MLX. A minimal, fast implementation of Llama 3.1 in MLX. - l3min.py
  • 👍 6
  • ❤ 2
  • 🔥 2
Open in Telegram All posts from @machinelearning_ru
More from @machinelearning_ru
  1. Oct 15, 2026💰 Anthropic получила $16,8 млрд выручки за квартал. Но инвесторы ожидали большего. По дан…
  2. Oct 14, 2026AI VK Reserach масштабировали графовые нейросети для рекомендаций Исследователи представят…
  3. Oct 14, 2026Сравните модели GigaChat на своей задаче в GigaPlatform AI Studio Это среда, в которой мож…
  4. Oct 14, 2026✔️ OpenAI обсуждает передачу Sora стартапу Билла Пиблза Стартап рассчитывает переделать So…
  5. Oct 14, 2026Сравните модели GigaChat на своей задаче в GigaPlatform AI Studio Это среда, в которой мож…
  6. Oct 13, 2026🖥 5 самых интересных фич Python 3.15 по версии Родриго Серрана Родриго Серран разобрал в…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →