Ну че, как вам G0VNO в итоге?
От себя скажу одно, я чет особо не впечатлился этими вашими локальными модельками, они как по мне абсолютно не годятся для узконаправленных задач. Их максимум это суммаризация данных, либо использование мультимодалок для перевода фоток/аудио в текст. Вот вайбкодить на этом, я думаю, никакого удовольствия не будет. Хз как оно с агентами будет работать, это конечно требует больше тестов.
Но тут есть НЮАНСИКИ:
Во-первых, производительность, даже 100 ток\сек кажутся чудовищно медленными.
Во-вторых, сайд эффекты от квантизации лупят мощно по конечному результату. Иногда модели даже жестко игнорят инструкции, и это на маленьком контексте. Под агентов нужен контекст минимум 100к, а на нем эти проблемы могут стать хуже.
P.S.
Все репорты на бусти залил еще с утра.
P.P.S.
Теперь еще больше вызывает непонимание покупки условной 5090 для этого, в нее ж такие же 30B модели в Q4 влезут, с теми же сайд эффектами.
Post #1538
6.39K

- 😁 72
- ❤ 26
- 👍 9
- 👀 7
- 🔥 3