🤖 Разворачиваем DeepSeek на Amazon

Недавно компания DeepSeek представила AI-модель DeepSeek-R1, которая сопоставима с передовыми западными аналогами, но при этом экономична и открыта для сообщества.

Развертывание этой модели на Amazon EC2 предоставляет разработчикам гибкость и масштабируемость для интеграции мощных AI-функций в свои приложения.

Основные шаги развертывания DeepSeek-R1 на Amazon EC2:

1️⃣ Создание IAM роли: в AWS Management Console создайте роль для EC2 с необходимыми правами доступа, включая AmazonS3FullAccess и AmazonSSMManagedInstanceCore.

2️⃣ Настройка EC2 экземпляра: запустите экземпляр EC2 с Amazon Linux 2, выбрав тип g4dn.xlarge, настройте сеть и создайте группу безопасности, разрешающую HTTP и HTTPS трафик.

3️⃣ Подключение через SSM: используйте AWS Systems Manager для подключения к экземпляру без необходимости в открытых SSH-портах.

4️⃣ Установка драйверов NVIDIA и Docker: установите необходимые драйверы для GPU и настройте Docker для работы с NVIDIA.

5️⃣ Развертывание Ollama и модели DeepSeek-R1: установите Ollama Server и загрузите модель DeepSeek-R1-Distill-Qwen-14B для обработки AI-запросов.

6️⃣ Настройка Application Load Balancer: создайте балансировщик нагрузки для обеспечения доступа к веб-интерфейсу Ollama, что позволит взаимодействовать с моделью через браузер.

📎 Подробнее читайте в статье

🐸Библиотека devops'a