Хотел сегодня обмануть матан и упростить количество умножений в MLP путём замены скаляр на тензор с поэлементным умножением.
Но оказалось, что так я уменьшаю количество параметров, а общая сложность вычисления по отношению к количеству параметров не меняется.