Защитпостил на хабр набросок про распределенное обучение моделей (паралеллизм между GPU / устройствами)

Рассмотрел и случаи когда мы параллелим чисто для увеличения батч сайза, так и когда модель в принципе не влезает в устройство.