Антон Непша.js on Telegram: “Используем модели от OpenAI и DeepSeek бесплатно…”

Используем модели от OpenAI и DeepSeek бесплатно

Способ подсказал мой коллега Андрей Власов, который лидирует и развивает технохаб Сбера в Казани.

На github есть раздел GitHub Models с каталогом разных LLM, включая OpenAI GPT-4.1, DeepSeek-V3-0324 и т.д., всего около 60 разных моделей. Каждую из них можно протестировать в плейграунде, или настроить их для работы в каком-нибудь вашем приложении.

Весь процесс настройки можно посмотреть в этом видео, но всё, что по сути требуется, это сгенерировать свой токен на GitHub и вызывать модели из своего приложения по отдельному гитхабовскому хосту, который на самом деле Microsoft Azure.

И всё. Абсолютно бесплатный девелоперский доступ к моделям. Там есть лимиты, но для небольших приложений и прототипов их должно хватить.

Использование с LangChain
LangChain представляет собой абстракцию над разными API разных LLM. Он удобен, если вам нужно быстро переключаться между разными моделями, не переписывая при этом половину приложения.

Правда, из коробки LangChain вызывает отдельные эндпоинты и Auth-токены для каждой модели, а у нас моделей много, а эндпоинт и токен — общие.

К счастью, в LangChain можно перебить дефолтный baseURL при объявлении экземпляра модели. Что касается auth-токена, то у OpenAI он передаётся напрямую в конфиг, а DeepSeek можно хакнуть, переопределив переменную DEEPSEEK_API_KEY:

import { ChatOpenAI } from "@langchain/openai"
import { ChatDeepSeek } from "@langchain/deepseek";

const openAiModel = new ChatOpenAI({
  model: "openai/gpt-4.1",
  configuration: {
    baseURL: "https://models.github.ai/inference",
    apiKey: process.env.GITHUB_TOKEN
  }
})

process.env.DEEPSEEK_API_KEY = process.env.GITHUB_TOKEN

const deepSeekModel = new ChatDeepSeek({
  model: "deepseek/DeepSeek-V3-0324",
  configuration: {
    baseURL: "https://models.github.ai/inference"
  }
})

Завтра поделюсь ещё мыслями по поводу использования этого способа. А если у вас есть свои идеи или лайфхаки по использованию LLM — делитесь в комментах или в личку)