Новый AI-чип от AMD

Во вторник на прошлой неделе AMD объявила о создании нового AI-чипа Instinct MI325X и о планах запустить его производство в конце 2024 года.

По словам представителей AMD, чип MI325X быстрее, чем H200 от NVIDIA, как в инференсе, так и в обучении ИИ-моделей. Решение от AMD включает 256 ГБ VRAM с большей пропускной способностью — 8 ТБ/с. Это больше, чем у последней NVIDIA H200, у которой 141 ГБ и 4,8 ТБ/с соответственно. Это позволяет чипу MI325X выполнять операции с числовыми типами fp16 и fp8 примерно в 1,3 раза быстрее. Карта, в первую очередь, предназначена для работы в специализированной серверной инфраструктуре OCP (цепи питания чипа — 54 В!), и в AMD надеются, что компании-поставщики облачных услуг, а также крупные AI-разработчики с собственными дата-центрами будут покупать у них эти чипы. В AMD сообщили, что OpenAI, Microsoft и некоторые другие крупные клиенты уже используют их GPU для своих приложений.

Сильным преимуществом главного конкурента AMD, NVIDIA, является наличие развитого и популярного программного стека (CUDA и других библиотек), ставшего стандартом в AI-разработке. Например, в облаке immers.cloud все серверы с видеокартами NVIDIA, и доступен выбор образов с предустановленным CUDA-стеком, что упрощает настройку рабочего окружения. AMD предлагает разработчикам переходить с CUDA на ROCm для того, чтобы использовать их GPU.

На главной странице вы можете подписаться на нашу рассылку, и если эта видеокарта появится у нас, вы узнаете об этом одними из первых.