Наконец-то я могу баловаться полностью локальными 7B+ моделями с очень приличной скоростью в ~150t/s.
На небольших моделях могу себе позволить даже контексты по 256k токенов.

Ну что ж, время полноценного MCP + Ollama + CodeDiffer + VS Code. Пора пробывать полностью локальную агентскую realtime историю, так как железо позволяет.

Частично я уже попытал счастье на Ryzen 7 8840HS лаптопе, где моделька выдает по 40-50 t/s, чего хватает для корректирования текстов, обработки пачек данных и простой агентской истории. И все это в поле, без инета.