Многие скипнули, ибо много букаф и сложные технологии. Но я все упростил, а успех этой хуйни зависит от вас.
Но чтобы было честно: я даю возможность запускать нейронку полноценного агента без цензуры на домашнем железе (даже не игровом) в 5-15 токенов в сек.
То есть по 1-2 минуте на ответ по вашей ллм вики, 18+, анализу изображения и видео + ваших файлов. Или на более серьезном железе поднять работающий Deepseek v4, даже не урезанный прям в мясо.
Но вы поддержите мою публикацию в твиттере. А ссылку на гитхаб найдете в посте выше.
https://x.com/copenzafan/status/2098424796606349493
ЧатГПТ закрывают подписки за 200 как кими, ибо нет железа больше. А вы все еще не собираетесь разбираться в текущем стеке локальных моделей.
Которые смогли "ускорить" в 4 раза и сделать сильно доступнее. Смотрите, когда будет мета на локалки, опять проебете и будете позже всех вникать.