Как стать миллиардером?

Трансформеры -- это просто очередной универсальный аппроксиматор. Они стали так популярны фактически лишь потому, что эффективно обучаемы, в частности, на GPU, и хорошо распараллеливаются (т.к. не требуют обработки последовательностей по порядку); именно этот технический момент делает трансформер на сегодня лучше любого другого универсального аппроксиматора; всё остальное вторично.

И вот если вы придумаете (или откопаете в океане научных статей и реализуете) некий алгоритм, который будет работать более эффективно, чем трансформеры на GPU (например, какой-нибудь обобщённый механизм свёртки с алгеброй Хопфа) , можете смело запускать свой OpenAI.

Вообще, увлекательная темка, сам хочу подумать и поэкспериментировать.