Блог сообщества Кодебай
Чат: @codeby_one
Форум: codeby.net
Обучение: codeby.academy
CTF: hackerlab.pro
VK: vk.com/codeby
YT: clck.ru/XG99c
Сотрудничество: @KinWiz
Реклама: @Savchenkova_Valentina
Post #10185
3.31K

TorCrawl: Анонимный краулер и экстрактор веб-страниц через сеть TOR
🔎Возможности
▶️Анонимный доступ к .onion и обычным сайтам через прокси SOCKS5 сети TOR
▶️Режим экстракции (получение HTML-кода страницы (вывод в терминал или сохранение в файл))
▶️Режим краулинга (сбор всех ссылок с целевой страницы с возможностью обхода на заданную глубину (-d))
▶️Экспорт результатов в форматах TXT, JSON, XML и SQLite
▶️Поиск по ключевым словам (интеграция YARA для фильтрации страниц)
▶️Ротация User-Agent и прокси для повышения анонимности и обхода блокировок
⬇️Установка
Проверка
⏺️Простое извлечение HTML-кода страницы
⏺️Краулинг .onion-сайта через TOR
⏺️Экстракция с поиском в тексте (-у t) после извлечения
⏺️Сохранение страницы в файл с логом
➕Преимущества
- Простота использования (минимальный порог входа (одна команда для базовых операций))
- Полная поддержка сети TOR для работы как с обычными, так и с .onion-ресурсами
- Возможность комбинировать краулинг, экстракцию, поиск и экспорт в различных форматах
- Поддержка pipe и входных файлов для интеграции в скрипты
#torcrawl #tor #onion #tool #pentest
🔗 Все наши каналы 🔁 Все наши чаты 🪧 Для связи с менеджером
TorCrawl — это скрипт на Python, предназначенный для анонимного обхода и извлечения содержимого веб-страниц, включая скрытые .onion-ресурсы, через сеть TOR. Инструмент сочетает простоту использования с функциями приватности, обеспечивая сбор данных без раскрытия реального IP-адреса.
🔎Возможности
▶️Анонимный доступ к .onion и обычным сайтам через прокси SOCKS5 сети TOR
▶️Режим экстракции (получение HTML-кода страницы (вывод в терминал или сохранение в файл))
▶️Режим краулинга (сбор всех ссылок с целевой страницы с возможностью обхода на заданную глубину (-d))
▶️Экспорт результатов в форматах TXT, JSON, XML и SQLite
▶️Поиск по ключевым словам (интеграция YARA для фильтрации страниц)
▶️Ротация User-Agent и прокси для повышения анонимности и обхода блокировок
⬇️Установка
pipx install torcrawl
Проверка
torcrawl -h
⏺️Простое извлечение HTML-кода страницы
torcrawl -u http://example.com
⏺️Краулинг .onion-сайта через TOR
torcrawl -u http://facebookcorewwwi.onion -c -d 1
⏺️Экстракция с поиском в тексте (-у t) после извлечения
torcrawl -w -u https://example.com -e -y t
⏺️Сохранение страницы в файл с логом
torcrawl -u https://example.com -o page.html -l
➕Преимущества
- Простота использования (минимальный порог входа (одна команда для базовых операций))
- Полная поддержка сети TOR для работы как с обычными, так и с .onion-ресурсами
- Возможность комбинировать краулинг, экстракцию, поиск и экспорт в различных форматах
- Поддержка pipe и входных файлов для интеграции в скрипты
#torcrawl #tor #onion #tool #pentest
🔗 Все наши каналы 🔁 Все наши чаты 🪧 Для связи с менеджером
- ❤ 12
- 👍 9
- 🔥 6
















