Короче, про ИИ и инфраструктуру.
С одной стороны, внедрять ИИшные фичи в продукт сегодня можно просто и быстро — есть много доступных API-платформ: от топовых OpenAI, Claude до отечественных ГигаЧатов и Яндексов.
Но вот если ты большая коропорация и не можешь пользоваться облаками (и уже тем более иностранными!) и тебе нужен строго on-prem — тут начинается самое интересное.
Оказывается, Open Source моделей много, но все они... нууу... как бы... не всегда такие умные, как топовые модели, которые ну слуху (GPT-5.3, Opus, Sonnet etc). А еще и приличное железо для их инференса очень дорогое: миллионы в месяц, если речь про аренду и десятки миллионов, если речь про покупку. А еще и работать это может не так быстро, как ожидалось, а железо при этом может быть недозагружено. А еще нужен прямо отдельный пласт экспертизы для поддержания этой новой инфраструктуры. И все это очень сильно влияет на экономику и финансовую модель продукта.
И в итоге нужно искать баланс. Выбирать модели, которые достаточны, но не избыточны для стоящих задач (а тут, например, часто всплывают вопросы файн-тюнинга моделей). Рассчитывать предполагаемый профиль нагрузки и дотошно подбирать под это железо. Настраивать инфраструктуру так, чтобы по максимуму использовать возможные механики повышения производительности моделей и выжимать максимум из моделей.
И вот про эти тонкости мы делаем вебинар 13 марта. С одной стороны — мы там очень глубоко закопаемся в технические детали и способы оптимизации инференса (будет очень полезно для технарей), с другой стороны будем говорить про деньги и делиться конкретными бенчмарками про финансы/железо (будет полезно бизнесу).
Детали ниже
В общем, приходите!
РЕГИСТРАЦИЯ В НАШЕМ БОТЕ
Post #302
187
Алексей Цыкарев | ИТ, ИИ и бизнес Последнее время мы в Spectr часто стали консультировать по поводу ИИ-инфраструктуры. И там прямо большой пласт разнообразных и сложных вопросов, а экспертизы в рынке пока довльно мало (попробуйте, например, найти MLOps к себе в штат). Там и вопросы выбора…Telegram Spectr Бот, который поможет зарегистрироваться на события Spectr (https://spectr.dev)