С момента появления gpt уже несколько новостей подобных этой: https://habr.com/ru/news/811619/

Коротко: находят новые "формулы" для "нейронов" с которыми качество работы нейронки получается выше.

Но везде есть свой трейдофф - то нужно немерянно памяти, то процессор или даже видеокарты огромной мощности, то вообще надо сначала собрать ещё специальный процессор...

А вот сейчас реально интересно - трейдофф в более длительном обучении...

Кстати, я знаю уже вид нейронок, которые надо сначала специальное оборудование собрать (примерно 9 месяцев) и потом ещё учить 20+ лет. А главное очень экологичное производство! 👫🤰🤱🙇‍♂😂