Директор практики AI/ML GlowByte Александр Ефимов принял участие в аналитическом обзоре издательства “Открытые системы”. Он ответил на вопросы редакции по теме “Цифровая инфраструктура”.
➡️ В первой части обзора говорится об основных критериях выбора способа размещения инфраструктуры для развертывания моделей искусственного интеллекта в организациях. ▪️Александр Ефимов рекомендует отталкиваться от бизнес-логики и рассматривает четыре ключевых фактора при выборе.
➡️ Вторая часть посвящена факторам, которые полезно оценить и проанализировать, приступая к эксплуатации и сопровождению ИИ-модели, в первую очередь размещенной локально. ▪️Эксперт GlowByte выделил такие составляющие процесса, как мониторинг, безопасность, внедрение LLMOps-практик и резервное копирование конфигураций.
➡️ В третьей части обзора лидеры отрасли рассуждают об аспектах, которые необходимо учитывать при подготовке и анализе экономической оценки внедрения и эксплуатации ИИ-моделей в организациях.
🎙 «Прежде чем считать деньги, нужно понять, что мы считаем, какие именно задачи будем решать с помощью ИИ-модели, какую выгоду и экономический эффект принесет решение задачи для компании. (...)
Чтобы решение о локальной ИИ-модели было обоснованным, переведите все затраты в ключевую метрику модели — стоимость за токен. Это позволит напрямую сравнивать локальную инфраструктуру с облачными API, ведь у облачных моделей цена также привязана к токенам,— сказал Александр Ефимов.