💵 Nvidia анонсировала новую открытую модель большого языкового AI Nemotron-4 объемом 340B

— Самая большая открытая LLM модель на сегодняшний день — это 340B, которая уступает только DeepSeek-V2 236B. Она сопоставима с GPT-4-1106, вышедшей в ноябре 2023 года.

— Она обучена на более чем 50 естественных и 40 программных языках, основана на архитектуре GQA и RoPE, но имеет ограничение в 4096 токенов контекста.

— Доступна по лицензии NVIDIA, которая позволяет её использовать в коммерческих целях, так же также способна создавать стихи на русском языке.