TGViewer
Generative Ai Generative Ai @deeplearning_ru · 3.7K subscribers
Post #1172 1.6K
openai-oxide — Rust-клиент для OpenAI API, заточенный под скорость

Когда пишешь агента, который за один цикл делает 20-50 tool call'ов, каждый лишний round-trip складывается в секунды. openai-oxide решает это на уровне архитектуры.

Persistent WebSocket.
Одно wss:// соединение на весь агентный цикл - никаких повторных TLS handshake'ов.
На 10 sequential tool call'ах это минус 40% общего времени. Ни один другой Rust-клиент этого не умеет.

Zero-copy SSE parser.
Стриминг без промежуточных аллокаций.
TTFT 530ms — на уровне теоретического предела сети.

WASM first-class. Компилируется в wasm32, работает в Cloudflare Workers и браузерах. Стриминг, retry, structured outputs — всё доступно. Не polyfill, а нативная поддержка. Демо cloudflare-worker-dioxus.nameless-sunset-8f24.workers.dev

Hedged requests. Шлёт два параллельных запроса, берёт первый ответ. Стоит 2-7% лишних токенов, но P99 латентность падает на 50-96%. Идея из Google "The Tail at Scale".

Structured Outputs без бойлерплейта.
Один #[derive(JsonSchema)] на struct — SDK сам генерирует strict JSON schema и парсит ответ.
Та же схема работает и для response_format, и для tool definitions.

Полное покрытие API. Chat Completions, Responses API, Embeddings, Audio, Images, Files, Batches, Fine-tuning, Assistants, Vector Stores, Conversations, Videos (Sora), Realtime - 100+ методов. Параметры один в один с официальным Python SDK.

Node.js биндинг через napi-rs. Нативный addon, не чистый JS. Выигрывает у официального openai npm по тестам — structured output +22%, multi-turn +20%, TTFT +8%.

Drop-in совместимость. Для Node: меняешь require('openai') на require('openai-oxide/compat') — остальной код тот же. Для Python аналогично.

github.com/fortunto2/openai-oxide


cargo add openai-oxide
npm install openai-oxide
pip install openai-oxide
  • 🔥 3
  • 😁 3
More from @deeplearning_ru
  1. Sep 18, 2026Очень хороший прогресс для локальных моделей. PrismML выпустила Bonsai 2 27B на базе Qwen3…
  2. Sep 17, 2026Google открыла исходный код ARTEMIS — инструмента, который позволяет ИИ управлять Android-…
  3. Sep 14, 2026Looped Transformer сейчас одна из самых обсуждаемых архитектурных идей. В новом техническо…
  4. Sep 11, 2026Несчастное сознание дрозофилы наконец-то обрело счастье — ее научили смотреть тиктоки с ро…
  5. Sep 10, 2026Если вам не нравится, что при работе с ИИ история, настройки и данные отправляются на чужи…
  6. Sep 8, 2026OpenAI выложили решение задачи тысячелетия Мы делимся решением проблемы Навье-Стокса, одно…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →