#полезное
👍 Cloud․ru выкатил первый сервис для инференса LLM в облаке с разделением GPU

Облачный провайдер анонсировал управляемый сервис Evolution ML Inference с упором на гибкость и эффективность работы с GPU. На платформе впервые в России реализовали технологию Shared GPU, то есть можно будет использовать GPU не полностью, а потреблять только то количество vRAM, которое необходимо модели в конкретный момент.

Такой подход экономит от 15 до 45% ресурсов, а, следовательно, и костов (тарификация осуществляется as-you-go и только в момент обращения к модели).

А еще фишка в том, что на платформе можно будет в пару кликов развернуть не только встроенные модели, но и любую модельку с HF, и даже свою собственную LM.

При этом Cloud․ru берут на себя скейлинг, администрирование и обслуживание инфраструктуры. Плюс никаких проблем с 152-ФЗ: данные хранятся на российских серверах.

👉Новости 👉База вопросов