⚡️ CyberScraper 2077 — когда обычного парсера уже недостаточно

Продвинутый веб-скрапер с поддержкой ИИ, который объединяет парсинг сайтов с возможностями OpenAI, Gemini и Ollama. Вместо простого сбора HTML помогает анализировать контент и превращать полученную информацию в нормальные структурированные данные.

Что умеет:
🖍 работать на Windows и Linux, есть запуск через Docker;
🖍 предоставлять удобный интерфейс для настройки сбора данных;
🖍 подключать ИИ для анализа и структурирования найденной информации;
🖍 экспортировать результат сразу в JSON, CSV, HTML, SQL и Excel;
🖍 использовать stealth-режим при работе с сайтами;
🖍 работать с CAPTCHA и другими препятствиями, которые могут встретиться при автоматизированном сборе данных.

💻 Чтобы ловко обходить капчи, защиту и глубже понимать контент, который вы собираетесь парсить.

🖥 Установка и запуск

Потребуется Python 3.10+.

git clone https://github.com/itsOwen/CyberScraper-2077.git
cd CyberScraper-2077

virtualenv venv
source venv/bin/activate

pip install -r requirements.txt
playwright install

Добавляем API-ключи:

export OPENAI_API_KEY="ваш-ключ"
export GOOGLE_API_KEY="ваш-ключ"

▶️ Запускаем CyberScraper:

streamlit run main.py

После запуска открываем:

http://localhost:8501

Также проект поддерживает Ollama с локальными моделями и запуск через Docker.

По сути, задаёте, что именно хотите получить с сайта, запускаете сбор — а на выходе получаете уже подготовленные данные вместо необходимости вручную разбирать гору страниц.

💻 Отличная находка для тех, кто работает с Python, автоматизацией, сбором больших объёмов информации и AI-агентами.

♎️ GitHub/Инструкция

😳 Лайф | 📲 Зеркало Max

#python #github #soft