Вдогонку к бенчмарку: классный онлайн-калькулятор, способный ответить на вопрос сколько вешать в граммах сколько точно памяти нужно для запуска того или иного инференса LLM-модели с учётом заданного квантования, KV-кеша, размера батча и много чего еще:

💾 https://llm-system-requirements.streamlit.app/

Очень здорово, что можно оценить размер хотелок заранее для тех, кто планирует локальную эксплуатацию инференса, и потихоньку начать копить на нужный сетап 💰

@embedoka