Oxylabs это довольно известная компания в сфере веб-скрейпинга с десятилетним опытом.

Они выпустили Python-пакет для веб-парсинга. С его помощью можно вытаскивать данные из e-commerce сайтов, поисковиков, сервисов недвижимости и многого другого.

Вот простой пример парсинга результатов Bing:

from oxylabs import RealtimeClient

# Указываем данные для авторизации в Oxylabs API
username = "username"
password = "password"

# Создаем Realtime-клиент с нашими кредами
client = RealtimeClient(username, password)

# Используем bing_search, чтобы получить результаты Bing по запросу "nike"
result = client.bing.scrape_search("nike")

# Выводим сырые данные (как есть)
print(result.raw)

Oxylabs умеет работать практически с любыми сайтами, но у них есть отдельные, более заточенные API для популярных площадок:

- Amazon
- Google
- Google Shopping
- Bing
- Kroger
- Wayfair
- YouTube Transcript

Подробнее про Oxylabs можно узнать на их сайте
Если нужен только Python-пакет для веб-скрейпинга, его можно найти на GitHub

👉 @PythonPortal