Скоро появятся маленькие модели, чтобы можно было даже на телефоне в браузере запустить.
Хотя даже сейчас можно на некоторых, люди на пикселе запускали, там много ram
Post #1818
2.02K
Galqiwi's boredom Увеличил на 9% скорость работы и уменьшил размер на те же 9%. Смог сжать эмбединги в nf4 формате. Не стал жать в nf4 голову, остановился на int8, поскольку второй быстрее.
- 👍 7
- ❤ 3