На днях HuggingFace анонсировала HUGS — Hugging Face Generative AI Services. Эта платформа предназначена для автоматизации AI-приложений и ориентирована на использование открытых моделей, таких как Llama и Gemma.
Несмотря на то что HUGS построен на опенсорсных технологиях, таких как сервер TGI и библиотека Transformers, сама платформа платная с тарификацией за использование ресурсов. HUGS может работать в облаке — AWS, GCP, Azure, Digital Ocean — и оптимизирован под графические процессоры NVIDIA и AMD.
С HUGS инструменты для работы с открытыми AI-моделями пополнились новым мощным средством автоматизации бизнес-систем. Для разработчиков важно, что HUGS предлагает API в OpenAI-совместимом формате, взаимодействовать с которым можно с помощью знакомых библиотек — huggingface_hub или openai.
Тем не менее, HUGS ограничивает клиентов в выборе облачного провайдера, что может стать минусом в вопросе цены. Построение собственной инфраструктуры на immers.cloud потребует вложений в разработку, но может оказаться более эффективным по стоимости использования самой системы.
@ruslandevlive — мысли о современных AI/ML технологиях