nanoGPT от Андрея Карпаты стала первой в мире LLM, обученной и запущенной в космосе

Мы уже несколько раз рассказывали вам о стартапе Starcloud. Они занимаются строительством космо-датацентров и к 2030 году планируют вынести на орбиту аж 5 гигаватт железа.

В начале ноября они запустили в космос первую в истории видеокарту H100 – на спутнике размером с холодильник.

Сначала сообщалось, что на ней планируется тюнить Gemma, но сегодня Starcloud рассказали, что вместо этого обучили целую модель с нуля!

Они взяли nano-GPT – минималистичную реализацию GPT на PyTorch от Андрея Карпаты, – обучили ее на полном собрании сочинений Шекспира и успешно запустили инференс! Gemma, кстати, тоже запускали, но только предзагруженную.