Мультимодальная LLM на стеройдах для твоей компании?
Запустил вчера на своей 4090(48гб) дабы проверить большой контекст
Сколько стоит и как работает?
4090(48gb) (заняло почти всю память я ограничи на 70к токенов) но vLLM говорит можно 90+
30 t/s (FC/SO)
44 t/s (content)
Дал вам всем доступ попробовать модель через наш кластер
Примеры тут https://t.me/neuraldeep/1654?comment=20455 (выше есть тесты)https://t.me/neuraldeep/1656
Много раз спрашивали где я беру такие 4090(48)
Беру тут и с гарантией для меня даже сварганили промокод для скидки
KOVALSKII (ребята делают реально крутой сервис вокруг модифицированных карт)