Ну все, я официально умею в нейронки теперь.
Закончил писать обучение и предсказание на HLSL.
Оно еще и быстрее местами работает, чем из фреймворка.

Добавил бы в движок, но в движке до сих пор нету 3д.
Видимо пора :)