Повержен первый босс LLM инфраструктуры

За вчера запроцессил >1B=1000M (input+input cached+output) токенов на своей ферме:

> 50M токенов это среднее потребление на 1 разработчика

1. Используется consumer и начальное-серверное железо
2. Используется открытое ПО и набор собственных патчей в разный open source
3. Используется в коммерческой работе

От самого первого шага до 1 миллиарда за сутки почти год заняло. А путь от 100М до 1B за 1.5 месяца.

Чего только не было:

- Буквально горящие розетки🔥 и множество выбитых пробок
- Перегревающиеся видеокарты, сбои микросхем на SSD, RAM
- Баги в BIOS, "обходы" enterprise лицензий, чтобы активировать нужный флаг оборудования
- Продолжительный тюнинг китайского софта и изучение глубин скрытых параметров
- Реализация собственного балансера трафика для LLM

Как это было теперь хочется рассказать. И показать как эти сотни миллионов обработанных токенов работают в фабрике фич (HADI+SDLC).