О, AWS выпустили новый чип Trainium3 для ИИ

Пробежимся по заявленным цифрам:

– Перформанс в 4.4 раза выше, чем у Trainium2
– Пропускная способность 4× (до 4.9 TB/s)
– performance-per-watt тоже 4x
– 144 GB памяти

Основное, чем хвастаются AWS, – это что Trainium3 можно объединять в крупные кластеры и легко их масштабировать. Например, в один высокоскоростной UltraServer можно сшить до 144 чипов.

При этом позиционируют они такие конфигурации как чуть ли не самую выгодную по цене/производительности опцию для крупных моделей. Обещают до ~50% экономии при обучении.

На Nvidia последнее время конкуренция сыпется со всех сторон