Нашел замечательный материал с разбором, что такое GPU.

Материал даёт целостное представление о GPU как о вычислительной системе: с одной стороны - через программную модель массового параллелизма и синхронизации потоков, а с другой - через аппаратные блоки (множество вычислительных ядер, иерархия памяти, система интерконнектов), которые реализуют эту модель.