Huawei решила догонять Nvidia не просто чипами, а сразу тысячами чипов

Huawei снова ищет способ компенсировать технологические ограничения архитектурой. Вместо того чтобы сделать один мега-ускоритель, который будет мощнее ускорителей Nvidia, компания пошла по другому пути и представила Atlas 960E SuperPoD – систему, которая объединяет до 4096 процессоров Ascend в один большой вычислительный узел.

Идея не то чтобы новая, у таких систем всегда была проблема – при таком масштабе ускорители начинают всё больше времени тратить не на расчёты, а на обмен данными друг с другом. Поэтому вместе с новым SuperPoD Huawei показала и новую архитектуру UnifiedBus. Она объединяет процессоры, память и накопители в общую систему и позволяет им напрямую обмениваться данными. Часть соединений при этом перенесли с меди на оптику и расположили оптические модули ближе к вычислительным чипам. За счёт этого в одном SuperPoD можно отказаться примерно от 196 километров медного кабеля и снизить задержки при передаче данных.

По расчётам Huawei, Atlas 960E будет в 2,3 раза быстрее предыдущего поколения при обучении больших моделей и в 2,5 раза – во время их работы. Пока это только показатели самой компании, система ещё проходит испытания. Huawei пока не может обойти Nvidia по мощности отдельного ИИ-чипа, но вот собрать конкурентную систему из тысяч таких чипов вполне может.