думал над тем, чтобы в глазурь в глоссарий запихнуть мини-статью по провайдерам и моделям, но как-то показалось, что ей там не место, поэтому напишу тут
Откуда провайдеры берут модели? Откуда такое ценообразование? Почему цензура и качество ответов меняется от провайдера к провайдеру?
на все эти и другие вопросы я постараюсь ответить в этом посте (стоит помнить что я, всё таки, всево лиш макака-вайбкодер, поэтому на истину в последней инстанции не претендуйте)
для начала, я разделяю все модели на рынке на две категории - корпо модели (гемини, клод) и модели с открытым кодом (дипсик, глм)
в чем разница? модель с открытым исходным кодом можно запустить на собственном железе (если оно, конечно, справится). корпо модели же, в свою очередь, работают на ограниченном ряде серверов (это либо мощности самих корпо, которые их создали, либо их партнёров, по типу Amazon/NVIDIA).
почему это важно?
это значительно влияет на то, как можно получить доступ к этим моделям. корпо модели можно получить только либо через официальные каналы продажи этой корпы (например, Google AI Studio, Claude API), либо через какого-то посредника, который с ними сотрудничает (например, Kiro Code, который даёт доступ к моделям Claude). посредник же, в свою очередь, скорее всего, получает доступ к этим моделям таким же способом, только по лучшим условиям.
в случае же моделей с открытым кодом, у вас есть много вариантов - запустить их на своём железе (если оно справится), купить напрямую через API разработчика (как с корпо моделями), либо купить её у сервиса, который запускает её уже на своих мощностях и продаёт доступ пользователям на своих условиях
к чему это приводит?
стоит понять, что если мы говорим о НЕОФИЦИАЛЬНЫХ провайдерах, которые дают доступ к моделям по типу Claude/Gemini, то зачастую доступ к этим моделям провайдеры получили не совсем честным путём
есть два главных метода:
1) скрапинг ключей - с помощью специального инструмента провайдер собирает с интернета утёкшие ключи к официальным API этих моделей, которые оказались там из-за недальновидности разработчиков, которые их слили, и затем уже использует эти ключи. ответы модели по итогу максимально чистые, только если провайдер не добавляет в процессе свой промпт, который может менять ее вывод, или вводить цензуру, чтобы ключи не отлетали уже из-за мер противодействия самой корпы
2) реверс - специальная программа, которая берёт модель из источника, где гораздо более благоприятные условия её получения
например, Gemini CLI, Antigravity, Kiro Code и любые браузерные чаты, сервисы и т.д - сервер провайдера получает ваш запрос, а затем с помощью различного инструментария притворяется рядовым пользователем такого сервиса. это позволяет сэкономить, ибо доступ к таким моделям зачастую бесплатный, но нужно лишь написать инструментарий, который будет регистрировать новые почты, аккаунты и обходить защиту от ботов.
минус тут в том, что такие сервисы зачастую имеют системный промпт, который тяжело вычистить, от чего может быть повышенная цензура и/или хуже качество ответов.
от того, например, опус через иероглиф иногда любит ругаться, мол, "я киро код и я не буду с тобой ебаться"
стоит также помнить, что корпо часто грешат тем, что даже на официальных API меняют различные параметры модели, улучшая или ухудшая её работу, от того с дня на день качество может меняться
откуда ценообразование?
если мы говорим про подписочные сервисы, то растраты провайдера это, зачастую: сам сервер, на котором крутится весь софт (и модели с открытым исходным кодом), IP-адреса для прокси (назовём это VPN), изредка какие нибудь отчисления если используются сторонние разработки, и в целом всё.
у линка же, например, есть модели, которые оплачиваются за 1М токенов - это уже, зачастую, отправка запросов к официальному API корпы, ваш провайдер тут выступает только в качестве посредника
Post #139
429
- ❤🔥 8