Неожиданное решение)
Ребята из https://taalas.com/ придумали как запечь LLM модель в кремний.

Это дало увеличение производительности более чем в 70 раз по сравнению с NvidiaH200.

Ну понятно что вы можете испольщовать только ту модель которая "упакована в этом чипе", что казалось бы огранчение), но
1. Ребята обещают что цикл от выпуска модели до перво чипа - 60 (!) дней!
2. Чип поддерживает LoRA, один из вариантов файнтьюнинга (адаптации) модели.
3. Т.к. модель по сути является не софтом а уже железом, вам не нужно ее хранить в памяти, что с учетом стоимости памяти невероятно круто.
4. Очень низкая задержка (менее 1 миллисекунды, энергоэффективность)
5. В команде всего 24 инженера.

Ну, пушка-бомба.