Ship обещает снизить стоимость инференса Claude на 50% заменой одной строки:

Вместо прямого вызова claude-opus-4-8 достаточно указать: ship-like/claude-opus-4-8

Разработчик проверил это в терминале на одной и той же модели Anthropic с одинаковым промптом и получил заявленную экономию. (см. демо)

Идея Ship в том, что не каждый запрос требует одинаково дорогого способа выполнения. Обычно модель всегда запускает один и тот же forward pass, независимо от сложности задачи.

Ship выбирает стратегию уже после получения запроса. Система может использовать одну модель, каскад моделей, ансамбль или связку с инструментами, а затем подобрать самый дешёвый вариант, который сохранит качество и поведение исходной модели.

Это не просто роутинг на более дешёвую модель. Ship также проверяет, чтобы не менялись ключевые характеристики ответа: формат, паттерны вызова инструментов, отказы и общий уровень возможностей.

Ответы при этом не обязаны совпадать токен в токен. Важно, чтобы они были сопоставимы с референсной моделью по качеству и поведению.

Для пользователя цена в любом случае остаётся на 50% ниже. Даже если отдельный запрос обходится Ship дороже, разницу компания берёт на себя.

https://www.thesean.ai/blog/introducing-ship

За проектом стоит Thesean Labs — команда с бывшими специалистами Anthropic, DeepMind и квантами ☕️