Что нужно, чтобы локально запускать 3, 5 или даже 10 параллельных инстансов Gemma 4?

Google выложили в опенсорс демо, которое позволяет гонять несколько моделей бок о бок на вашем железе.

Gemma 4 26B A4B без проблем тянет 10+ параллельных запросов на MacBook Pro M4 Max со скоростью 18 токенов в секунду на каждый запрос. 🤔