Modern Computer Architecture and Organization — от процессора до AI-дата-центра (Рубрика #Books)

У меня на столе лежит первое издание Modern Computer Architecture and Organization Джима Ледина — решил с его помощью освежить знания про архитектуру компьютера. А тут выяснилось, что уже вышло третье, с отдельными главами про GPU и LLM. В GOTO Book Club есть разговор с автором, который хорошо объясняет, как AI-бум добрался до этой книги.

Сама книга — последовательный проход по устройству компьютера снизу вверх. Сначала транзисторы, цифровая логика и элементы процессора, дальше память, ввод-вывод и аппаратно-программный интерфейс. Затем кэши, конвейер, параллельное выполнение, x86/x64, ARM и RISC-V. Есть и выход на уровень систем: виртуализация, специализированные вычисления, устройство смартфонов, ПК и облачных серверов. Первое издание вышло в 2020 году.

Для разработчика здесь полезна сама связность: от того, какие команды умеет процессор, до того, как он получает данные и исполняет программу. Можно восстановить картину под привычными абстракциями и разобраться, почему производительность зависит от гораздо большего числа вещей, чем частота CPU. Для повторения базы такая последовательность удобна.

Когда я искал отзывы на книгу, то заметил, что уже вышло третье издание вышло 31 марта 2026 года. И хотя уже в первом были GPU, нейросети и вычисления масштаба дата-центра, то в третьем GPU и вычислительные архитектуры LLM получили собственные главы. В интервью Ледин объясняет, как писал про область, которая меняется быстрее издательского цикла: выделял устойчивые принципы — параллелизм, пропускную способность памяти, тензорные операции и связи между вычислительными узлами.

Для разбора LLM он выбрал GPT-2. По словам автора, открытый код и сравнительно небольшой размер помогают проследить устройство трансформера: какие матрицы перемножаются, как устроены слои и что происходит с данными. Такой учебный пример можно разобрать и покрутить самому. Ледин считает, что понимание GPT-2 даёт хорошую основу для знакомства с более крупными моделями. Это разумный способ учить архитектуре: сначала разобраться с механизмом, потом наращивать сложность.

Дальше разговор доходит до того, как эта конструкция вырастает из одного чипа в сервер, стойку и целый дата-центр. Ледин выделяет memory bandwidth как одно из ключевых ограничений: вычислительные блоки могут ждать, пока данные прочитаются из памяти или запишутся обратно. На большом масштабе к этому добавляются обмен между устройствами, питание и охлаждение. Автор предлагает смотреть на весь дата-центр как на один большой компьютер — с собственной архитектурой и ограничениями.

Кстати, в конце интервью его спрашивают, какую одну главу посоветовать разработчику без аппаратного бэкграунда. Ледин выбирает главу про повышение производительности: конвейер и иерархию кэшей. На разных стадиях конвейера одновременно обрабатываются разные инструкции, а кэши позволяют держать нужные данные ближе к ядру. По мысли автора, понимание этих механизмов помогает организовать код и данные так, чтобы железо меньше простаивало. До AI добрались, а повторять всё равно приходится базу :)

Для повторения процессоров, памяти и исполнения программ уже имеющееся первое издание остаётся полезным. Если хочется продолжить этот маршрут до устройства GPU и систем для LLM, стоит присмотреться к третьему. А интервью — хороший способ понять замысел обновления перед тем, как браться за новые главы.

#Books #Engineering #Architecture #Hardware #AI #SoftwareDesign