TGViewer
Алексей Цыкарев | ИТ, ИИ и бизнес Алексей Цыкарев | ИТ, ИИ и бизнес @release_it · 1.22K subscribers
Post #302 187
Алексей Цыкарев | ИТ, ИИ и бизнес Последнее время мы в Spectr часто стали консультировать по поводу ИИ-инфраструктуры. И там прямо большой пласт разнообразных и сложных вопросов, а экспертизы в рынке пока довльно мало (попробуйте, например, найти MLOps к себе в штат). Там и вопросы выбора…
Короче, про ИИ и инфраструктуру.

С одной стороны, внедрять ИИшные фичи в продукт сегодня можно просто и быстро — есть много доступных API-платформ: от топовых OpenAI, Claude до отечественных ГигаЧатов и Яндексов.

Но вот если ты большая коропорация и не можешь пользоваться облаками (и уже тем более иностранными!) и тебе нужен строго on-prem — тут начинается самое интересное.
Оказывается, Open Source моделей много, но все они... нууу... как бы... не всегда такие умные, как топовые модели, которые ну слуху (GPT-5.3, Opus, Sonnet etc). А еще и приличное железо для их инференса очень дорогое: миллионы в месяц, если речь про аренду и десятки миллионов, если речь про покупку. А еще и работать это может не так быстро, как ожидалось, а железо при этом может быть недозагружено. А еще нужен прямо отдельный пласт экспертизы для поддержания этой новой инфраструктуры. И все это очень сильно влияет на экономику и финансовую модель продукта.

И в итоге нужно искать баланс. Выбирать модели, которые достаточны, но не избыточны для стоящих задач (а тут, например, часто всплывают вопросы файн-тюнинга моделей). Рассчитывать предполагаемый профиль нагрузки и дотошно подбирать под это железо. Настраивать инфраструктуру так, чтобы по максимуму использовать возможные механики повышения производительности моделей и выжимать максимум из моделей.

И вот про эти тонкости мы делаем вебинар 13 марта. С одной стороны — мы там очень глубоко закопаемся в технические детали и способы оптимизации инференса (будет очень полезно для технарей), с другой стороны будем говорить про деньги и делиться конкретными бенчмарками про финансы/железо (будет полезно бизнесу).

Детали ниже

В общем, приходите!

РЕГИСТРАЦИЯ В НАШЕМ БОТЕ
Telegram Spectr Бот, который поможет зарегистрироваться на события Spectr (https://spectr.dev)
More from @release_it
  1. Sep 22, 2026Динамика рынка ИТ-аутстаффинга за май 2025 - август 2026 Август давно кончился, делюсь обн…
  2. Sep 15, 2026Ходил сегодня в новый зал после перерыва. Смотрю, в дальнем углу зала стоит небольшая груп…
  3. Sep 2, 2026Просто обожаю чувство юмора и креативный подход к неймингу у своих коллег 😅
  4. Sep 1, 2026С 1 сентября!
  5. Aug 10, 2026Динамика рынка ИТ-аутстаффинга за май 2025 - июль 2026 Июль кончился, делюсь обновленным г…
  6. Aug 7, 2026На скрине статистика расхода токенов за неделю при полном выжигании подписки Codex, котора…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →