Web Crawler Engineer с релокацией в США или на удалёнку. Ищем для амбициозного series B стартапа из Сан-Франциско

🧩 Пару слов о компании/проекте:
Наш клиент строит поисковую систему нового поколения для AI/LLM, регулярно запускает пакетные задачи на кластерах >1000 машин и разрабатывает продакшен-сервисы для обработки терабайтов текста.
— Полностью собственная разработка — от поискового движка до векторной БД
— Специализированная архитектура для генерации структурированных ответов для LLM
— Система проектируется для AI-first взаимодействий, а не для традиционного "human browsing"

🌎 Почему это особенный поиск:
— Нужен человек, который уже строил или оптимизировал web crawler на масштабе поисковых систем (Yandex, Google, Bing и др.)
— Имеет опыт с любым высокопроизводительным языком (Rust/C++ и др)
— Важен свободный английский
— Плюсом будет опыт с большими данными и ML/LLM, а также опыт в early-stage/hyper-growth стартапах

🔧 Примеры проектов/задач:
— Построение распределенного краулера для обработки 100M+ страниц/день
— Сложные антибот-системы и обход защиты
— Динамический контент и JS-рендеринг
— Разработка алгоритмов интеллектуального планирования обхода для распределенного краулера

🛠 Tech Stack: Rust, AWS, Kubernetes, Python(ML)

📍Формат работы: удалённо ИЛИ релокация в Сан-Франциско — на выбор
💎 Условия: $150k-300k + эквити (обсуждаемо)

Мы понимаем, что таких специалистов немного, поэтому:
🙏 Если у вас был опыт в поисковом краулинге — напишите мне: julia@new.hr
🤝 Или порекомендуйте коллегу — буду очень благодарна за интро!

Больше вакансий от NEWHR: @newhrvacancies