В Алматы прошел очередной IT-беш от Servercore — мы побывали на встрече и рассказываем самое важное. Там подняли тему, о которую сейчас спотыкаются 90% корпоративных AI-проектов. Спойлер: они умирают не из-за качества моделей, а из-за косяков в архитектуре инфраструктуры.
Основные инсайды для тех, кто катит ML в прод (особенно в финтех и медицину):
⚪️ Почему сторонние API и чужие облака — это боль для Enterprise? Во-первых, регуляторка и закон о персданных (РК/УЗ). Во-вторых, потокенная оплата зарубежным сервисам при масштабировании на миллионную базу превращается в кассовый разрыв.
⚪️ Выход — грамотный Self-Hosted GPU в локальном облаке. Акбар Ермеков (PAfoS AI) разложил по полочкам: если правильно посчитать нагрузку, подобрать модель, заюзать квантование и арендовать локальные GPU-мощности (например, те же NVIDIA A5000 в Servercore в Казахстане), это выходит в разы дешевле, чем закупать собственное «железо» (капекс + риск устаревания) или сидеть на зарубежных API.
⚪️ AI-агенты заменяют бэк-офис. Ребята из LexARE (пишут на Go и Python) собирают уже не просто обертки над LLM, а полноценных ИИ-сотрудников для B2B (юристы, HR, бухгалтеры) со своими базами знаний и интеграцией с 1С/Bitrix. Всё крутится в закрытом контуре, данные никуда не утекают.
⚪️ Голосовые ИИ-агенты поумнели. Время детского сада в духе «нажмите один для связи с оператором» прошло. Голосовые агенты на базе LLM в финтехе теперь ведут нормальный контекстный диалог и реально решают задачи, а не бесят клиентов.
❗️ Главный вывод встречи. Хайп вокруг «просто потестить AI» прошел. Выигрывают те, кто умеет развернуть инфраструктуру под AI в локальной юрисдикции, обеспечить предсказуемую стоимость и встроить модели в реальный прод.
Servercore, как провайдер IT-инфраструктуры, активно работает с финтех-компаниями, предлагая услуги по запуску GPU-серверов и LLM-моделей.
👈 Читать подробнее в статье
@DevOpsKaz 😛