🤔 Я больше не доверяю GPT. Куда переезжать?

За последние дни многие люди вокруг задумались, что необходима альтернатива для GPT. Десятки тысяч бизнесов смотрели, как сотрудники уходят из OpenAI и были готовы ко всему. Я провел начало недели за рисерчем доступных решений и решил упаковать результат в пост. Существует два вида решений: 1) сервисы с API над языковыми моделями; 2) поднятие моделей у себя. Сегодня расскажу про первую категорию.

Claude: самая близкая к GPT-4 модель по бенчмаркам, недавно увеличили контекстное окно до 200 тысяч токенов (не совсем эффективных), и добавили function calling как в GPT. В первую очередь я бы начал эксперименты с нее. Из минусов: немного отличается API, промптинг, и также модель напрямую доступна не во всех регионах (зато доступна через Amazon).

Perplexity: в мае я рассказывал про их продукт, как замену Гугла. С тех пор они также запустили API для доступа к их собственной языковой модели, а также Llama2 и Mistral . В анонсе высочайшую скорость инференса среди конкурентов. API работает в формате OpenAI — это значит что переключаться легко. Мне нравится темп их команды и обязательно буду за ними следить. В комментариях поделюсь способом получить бесплатный доступ к Perplexity PRO на 2 месяца — он как раз дает доступ к API и оно пока бесплатное.

Decart: вариант для тех, кто любит потестить сырые стартапы. Они также предлагают API для доступа к моделям — от $0.1 за миллион токенов Llama2 7B. Это самая дешевая цена за инференс, которую я нашел во время рисерча и скорость ответа также порадовала, так что решил про них тоже рассказать. От стартапа есть ощущение, что он в любой момент отвалится, но зато быстро отвечают в твиттере.

Также потестил: Replicate — медленно и по ощущениям, и по бенчамаркам; Anyscale — сложный онбординг, непрозрачная ценовая модель; LiteLLM — библиотека, чтобы приводить разные форматы API к формату OpenAI, чтобы делать бесшовное переключение, показалось удобной.

😲️️️️️️ Когда я начинал рисерч, то не ожидал, что уже есть столько удобных решений на рынке, чтобы эксперементировать с ними. Конечно, они все уступают GPT по качеству, но это не значит, что с ними не нужно учиться работать уже сейчас. Последняя неделя очень ярко показала, как опасен платформенный риски. Нам нужна диверсификация.