Гугол выпустил занятную книженцию 📕 про обучение, профилирование и хорошие практики обучения больших языковых моделей на TPU.

В частности, рассматриваются следующие вопросы:
🌟 Основы анализа вычислений и оценки сложности
🌟 Архитектура и особенности TPU
🌟 Реализация параллельного обучения
🌟 Обучение на TPU с JAX

Если вы любитель JAX и TPU, вперед и с песней 🎼!

UPD чуть раньше появилось еще у epsilon correct