Сегодня вышла библиотека transformers 5 - как вы понимаете, почти все генерационные модели сейчас строятся на трансформерах, так что теперь разработка будет быстрее, проще, квантизация лучше.. кому интересны детали, можно почитать этот пост