#хабр #LLM

Счёт за API не приходит — значит, локальная LLM бесплатна? Только если не считать стоимость железа, скорость генерации и часы простоя GPU💸

Дмитрий Емец, тимлид отельного поиска в Островке, посчитал, во сколько обходится 1 млн выходных токенов на его домашней сборке, и сопоставил результат с тарифами API.

В посте:

📍 почему электричество — далеко не главная статья расходов
📍 как скорость генерации и загрузка GPU меняют стоимость токенов
📍 в каких случаях локальный запуск может конкурировать с API

Для задач с большим контекстом локальные модели пока не заменили автору облачную подписку: подходящее железо требует слишком больших вложений — и времени на настройку.

А у вас локальная LLM уже решает рабочие задачи или пока остаётся дорогим хобби? Читайте пост и подключайтесь к обсуждению в комментариях!