Разработчик на C++ в RuntimeNodes
#гибрид
Компания: Яндекс

🔹Какие задачи вас ждут
-Максимизация пропускной способности батч-контура
Одна из возможностей DSL, используемого в рантайме, — контроль сетевого уровня. Это позволяет гибко управлять циклом выполнения приложения. Так мы решаем сложную задачу совмещения сценария ответов в реальном времени (уменьшение задержек, внешнее обеспечение достаточности ресурсов) и батч-контура (максимизация пропускной способности без «переливания» любой из частей системы при околобесконечном спросе и конечной аллокации ресурсов).
-Развитие платформы
Вы будете развивать DSL описания пайплайнов и сервиса их выполнения, анализировать потребности клиентов и продуктовые решения вместе с потребителями. Наша задача — иметь одновременно гибкую систему описания приложений и пренебрежимо малые накладные расходы, чтобы обеспечивать единую среду выполнения как для стадии прототипирования, так и для рантайма.
Совмещение этих подходов требует глубокого понимания сценариев использования и профиля потребления ресурсов. Нужно будет заботиться о низкоуровневых оптимизациях и объёме перекладываемых байт, а также о пайплайнах данных и объёме сетевого взаимодействия, о гибкости и выразительности средств с достаточно сильной системой ограничений, чтобы однажды написанная логика правильно работала в очень разных контекстах.
-Инференс тяжёлых языковых генеративных моделей на GPU
Сердце LLM-продуктов — это непосредственное вычисление LLM-моделей. Вам предстоит решать задачи аллокации различных компонентов, настраивать их взаимодействие с LLM-моделями и релизные процессы, подбирать параметры для оптимизации.

🔹Мы ждём, что вы
-Разрабатывали большой сервис в команде
-Разбираетесь в базовых алгоритмах и структурах данных
-Хорошо знаете С++
-Знакомы с паттернами и идиомами построения программного обеспечения
-Умеете писать надёжный и читаемый многопоточный код

Откликнуться

IT Jobs в Telegram | в VK | в Max