Про железо для рисерча

Часто читаю в интернете жалобы о том, что не хватает железа, чтобы сделать свой классный рисёч. Мне тяжело это понять, потому что только для очень небольшого процента опубликованных исследований на условном ICML нужен был по-настоящему большие ресурсы. Да, у всех на слуху последние огромные сетки от индустриальных лаб с тысячами GPU, но ведь большинство статей выходит без подобных излишеств. Более того, научной новизны в статьях "а давайте TPU сделают brrr" меньше, чем в среднем по больнице.

В начале моего PhD у нас в группе не было серверов. Ни одного. Все эксперименты для моей первой статьи запускались на довольно обычном домашнем ПК. Потом ситуация чуть наладилась, и появилось два 40-ядерных сервера с 256Gb RAM – ничего сверхъестественного. Б/Ушные такие сервера сейчас стоят около $2000 – такое может себе позволить плюс-минус любой.

Если возможностей заиметь железо вообще нет, AWS, Google Cloud и Miscorsoft Azure дают железные гранты на довольно внушительные суммы. Также на Google Cloud есть $300 бесплатных кредитов, что примерно равно цене месяца 20-ядерного CPU инстанса. В те же $350 в месяц обойдется сервер с двумя V100 на vast.ai – и это если его не выключать и тренировать 24/7. Всё решаемо.