худалл

всё в один пост не поместилось да и похуй

obligatory vivian image

стоить помнить, что все такие сценарии использования модели нарушают Terms of Service этих корпо, такие провайдеры могут анально караться, ну и сохранность ваших данных, понятное дело, никто не гарантирует (китайцы, например, грешат тем, что вместо опусов всучивают дипсики, а данные продают различным брокерам).

так что будьте внимательны, кому заносите деньги, и не удивляйтесь потом, если шота не работает, и не думайте, что злой Аннор гоняет гемку на своём тостере и с вами делиться не хочет

думал над тем, чтобы в глазурь в глоссарий запихнуть мини-статью по провайдерам и моделям, но как-то показалось, что ей там не место, поэтому напишу тут

Откуда провайдеры берут модели? Откуда такое ценообразование? Почему цензура и качество ответов меняется от провайдера к провайдеру?

на все эти и другие вопросы я постараюсь ответить в этом посте (стоит помнить что я, всё таки, всево лиш макака-вайбкодер, поэтому на истину в последней инстанции не претендуйте)

для начала, я разделяю все модели на рынке на две категории - корпо модели (гемини, клод) и модели с открытым кодом (дипсик, глм)

в чем разница? модель с открытым исходным кодом можно запустить на собственном железе (если оно, конечно, справится). корпо модели же, в свою очередь, работают на ограниченном ряде серверов (это либо мощности самих корпо, которые их создали, либо их партнёров, по типу Amazon/NVIDIA).

почему это важно?

это значительно влияет на то, как можно получить доступ к этим моделям. корпо модели можно получить только либо через официальные каналы продажи этой корпы (например, Google AI Studio, Claude API), либо через какого-то посредника, который с ними сотрудничает (например, Kiro Code, который даёт доступ к моделям Claude). посредник же, в свою очередь, скорее всего, получает доступ к этим моделям таким же способом, только по лучшим условиям.

в случае же моделей с открытым кодом, у вас есть много вариантов - запустить их на своём железе (если оно справится), купить напрямую через API разработчика (как с корпо моделями), либо купить её у сервиса, который запускает её уже на своих мощностях и продаёт доступ пользователям на своих условиях

к чему это приводит?

стоит понять, что если мы говорим о НЕОФИЦИАЛЬНЫХ провайдерах, которые дают доступ к моделям по типу Claude/Gemini, то зачастую доступ к этим моделям провайдеры получили не совсем честным путём

есть два главных метода:
1) скрапинг ключей - с помощью специального инструмента провайдер собирает с интернета утёкшие ключи к официальным API этих моделей, которые оказались там из-за недальновидности разработчиков, которые их слили, и затем уже использует эти ключи. ответы модели по итогу максимально чистые, только если провайдер не добавляет в процессе свой промпт, который может менять ее вывод, или вводить цензуру, чтобы ключи не отлетали уже из-за мер противодействия самой корпы
2) реверс - специальная программа, которая берёт модель из источника, где гораздо более благоприятные условия её получения
например, Gemini CLI, Antigravity, Kiro Code и любые браузерные чаты, сервисы и т.д - сервер провайдера получает ваш запрос, а затем с помощью различного инструментария притворяется рядовым пользователем такого сервиса. это позволяет сэкономить, ибо доступ к таким моделям зачастую бесплатный, но нужно лишь написать инструментарий, который будет регистрировать новые почты, аккаунты и обходить защиту от ботов.
минус тут в том, что такие сервисы зачастую имеют системный промпт, который тяжело вычистить, от чего может быть повышенная цензура и/или хуже качество ответов.
от того, например, опус через иероглиф иногда любит ругаться, мол, "я киро код и я не буду с тобой ебаться"

стоит также помнить, что корпо часто грешат тем, что даже на официальных API меняют различные параметры модели, улучшая или ухудшая её работу, от того с дня на день качество может меняться

откуда ценообразование?

если мы говорим про подписочные сервисы, то растраты провайдера это, зачастую: сам сервер, на котором крутится весь софт (и модели с открытым исходным кодом), IP-адреса для прокси (назовём это VPN), изредка какие нибудь отчисления если используются сторонние разработки, и в целом всё.
у линка же, например, есть модели, которые оплачиваются за 1М токенов - это уже, зачастую, отправка запросов к официальному API корпы, ваш провайдер тут выступает только в качестве посредника

сегодня я узнал что клод умеет вайбкодить прямо из мобильного приложения

тулзы тема

а может ну его эту глазурь эти ролки эти иишки и опять заняться фотографией трогать траву снимать девочек косплеерш и не разьебывать себе менталку...

если вдруг непонятно - я изменил файлы на гитхабе

О Б Н О В И Т Е С Ь

я починил, у кого была ошибка generateAlpha timeout - проверьте ещё раз

швырните кто нибудь промптом/набором для джейлбрейка JLLM чтобы он карточку отдал, мне самому лень писать

авторство отмечу на гитхабе и в самой банке

швырять сюда: @frostake

Банка начала плеваться таймаутами при попытке вытащить промпт с Джанитора, у меня сейчас нет ни времени ни желания этим заниматься так что пусть Вивиан почистит вам ушки

ну ладно, ладно

как думаете, очередь сауспан теребить?

вы же не думали что тут будут полезные посты про LLM и фронтэнды а не фанбойство по вивиан правда

джейлбрейк и воровство карточек с выключенным прокси сделаю когда-то потом

если кто пытался вытащить JS лорбуки то я подправил и должно работать, ещё пару мелочей по интерфейсу и пофиксил вставку описания лорбука при сборке ключей и лорбука

do it for her

ну и... это самое... 👉👈

boosty.to/hydall

в голове долго крутилась идея с тем чтобы создать свой датакет, лучше и более feature complete
вопрос стал ещё более насущным когда датакет начал лижать жопу криэйторам и дал им функционал запрещать качать карточки

так что изначальная задумка была в том, чтобы банка была полноценным сайтом, как и датакет, но бесплатных денег оптом для сервера, который потянет прокси через полноценные окна браузеров и имеет много айпи у меня нет, поэтому решил родить програмкой как есть

если есть какой-то богатый дядя - постучитесь, помогу адаптировать эту штучку под SaaS

всем пивет

я сделал штучку которая ПЫТАЕТСЯ (иногда вполне успешно, иногда не очень) красть закрытые лорбуки с дженитора, и имя ей - JAR, или же Janitor AI Ripper, или же просто банка

https://github.com/hydall/JAR

на гитхабе можете почитать, как работает, или же в самом интерфейсе, но если вкратце - программа автоматически собирает всю полезную информацию (описание карточки из каталога, её промпт, описания лорбуков итд) и отправляет её в чат, чтобы вызвать записи лорбуков. потом она эти записи собирает и их можно либо скачать сырыми, либо отправить лоботомиту, чтобы он собрал JSON для таверны

параллельно я к этому прикрутил удобный интерфейс и красть можно, в целом, ВСЁ - закрытые/открытые лорбуки и карточки, всё по вставке одной ссылки и с простой кнопочкой

хочу потестить то что наготовил

покидайте в личку (@frostake) персонажей с ЗАКРЫТЫМИ лорбуками которые хотите вытащить, попробую