Что можно запустить на одной RTX 3090 или RTX 4090?

👋 Для многих продуктовых задач не нужны огромные модели и серверы с несколькими GPU. Суммаризация, классификация, анализ тональности, обработка изображений и распознавание документов могут работать на одной видеокарте — если правильно подобрать модель.

📌 В карточках разобрали решения для RTX 3090 и RTX 4090: компактные языковые модели, мультимодальные возможности, специализированный OCR и модель для агентских сценариев.

Полезные материалы по OCR-моделям из подборки:

▪️ Примеры запросов к baidu/Unlimited-OCR

▪️ Инструкция по запуску PaddleOCR-VL вместе с PP-DocLayoutV3

▪️ Лидерборд PaddleOCR

▪️ Демо PaddleOCR для проверки собственного документа

📲 Какие модели подходят для каждой карты и чего от них ожидать — в слайдах.

➡️ В Immers Foundation Models можно изучить доступные open-source модели и развернуть подходящее решение на GPU под конкретную продуктовую задачу.

➡️ Запустить сервер на RTX 3090

➡️ Запустить сервер на RTX 4090