—
pip install ludwig[full]Особенности:
🟡позволяет легко создавать пользовательские модели: декларативный YAML-конфиг — все, что вам нужно, чтобы обучить современную LLM на ваших данных. Поддержка многозадачного и мультимодального обучения. Комплексная проверка конфигурации позволяет обнаружить недопустимые комбинации параметров и предотвратить сбои во время выполнения.
🟡Ludwig оптимизирован для масштабирования и эффективности: автоматический выбор размера партии, распределенное обучение (DDP, DeepSpeed), эффективная тонкая настройка параметров (PEFT), 4-битное квантование (QLoRA), страничные и 8-битные оптимизаторы, наборы данных больше, чем память.
🟡даёт полный контроль над своими моделями вплоть до функций активации. Поддержка оптимизации гиперпараметров, интерпретируемость и богатые возможности визуализации.
🟡модульность и расширяемость: экспериментируйте с различными архитектурами моделей, задачами, функциями и модальностями, изменяя всего несколько параметров в конфигурации.
🟡разработано для продакшена: готовые Docker-контейнеры, встроенная поддержка запуска с Ray на Kubernetes, экспорт моделей в Torchscript и Triton, загрузка в HuggingFace одной командой.
https://github.com/ludwig-ai/ludwig