Вчера выступал в Nvidia (за спиной офис).

Рассказывал, как можно запускать большие языковые модели (LLM). Говоря простым языком — как запустить ChatGPT на своем сервере, используя открытые модели, например, Llama.

Доклад получился весьма насыщенным. Делился своим опытом. Сам лично немало намучился, пока структурировал информацию. Тема новая, очень разрозненная. Обычно есть две крайности: либо люди слишком глубоко сидят в своей нише, либо совсем не в теме.

Поэтому, когда хочешь погрузиться в вопрос и осознанно принять решение, это не всегда просто.

Для себя я выделил такой алгоритм, состоящий как минимум из 5 шагов:

1. Hardware (GPU от Nvidia и другие)
2. Software (инструменты для inference)
3. Модель LLM
4. Оптимизация
5. API

Хочешь узнать больше о запуске LLM? Ставь реакцию 🔥

P.S. Помню про книгу, напишу отдельным постом.

#llm