CPU vs GPU vs TPU

Многие наверняка встречали 3 этих аббревиатуры.
CPU - central processing unit. Стандартный процессор, способный выполнять задачи общего назначения;
GPU - graphical processing unit. Графический ускоритель, выполняет более специализированные задачи, такие как параллельные вычисления;
TPU - tensor processing unit. Чип от google с уникальной архитектурой, направленной на максимальное ускорение обучения нейросетей всех типов.

Google в свое время совершил революцию, разработав первый чип для нейросетей. На TPUv1 они выпустили плату - ускоритель в формате SATA диска (слева на картинке). На данный момент google планирует выпускать TPUv6. Думаю, его потребление будет около 350Вт (против 75Вт для TPUv1). Однако предлагаю рассмотреть ту самую изначальную архитектуру, которая значительно обогнала GPU в 2016.

Сердце TPU - MMU (блок матричного перемножения весов и данных). Второй по важности элемент - объемный буфер для хранения промежуточных данных и шина памяти с высокой пропускной способностью. Поскольку умножение с накоплением больших матриц - основная операция, требуемая для работы нейросетей, TPU выполняет подобные задачи быстрее CPU и GPU. За счет архитектуры и языка (фреймворк TensorFlow), заточенных под конкретные операции, TPU значительно обгоняет своих оппонентов(CPU Intel Haswell, GPU Nvidia K80) что видно на графиках справа. Аналогичная ситуация и с производительность на ватт. Таким образом TPU и стал фаворитом для задач обучения нейросетей.