​​У меня давно живёт в голове идея о гибкой и настраиваемой поисковой системе, в которую можно было бы вручную добавлять сайты, по которым она будет совершать поиск. И желательно не хуже, чем это делают топовые поисковики. Мне не попадался такой софт. Если кто-то знает что-то подобное, прошу поделиться информацией.

Когда-то давно я рассказывал про бесплатную Open Source мета-поисковую систему SearX. Я тогда с ней только познакомился и изучал. Думал, что там есть подобный функционал, но на самом деле нет. В ней используются поисковые сервисы, а создать свой пул сайтов для поиска невозможно. Этого функционала нет. То есть это агрегатор поисковых результатов, а не сам поисковик. Он особо не развивается, только мелкие фиксы делают и добавляют новые поисковики.

Недавно узнал про SearXNG. Это форк SearX с более активным развитием. Его ведёт один из бывших разработчиков SearX. Решил ещё раз погонять и протестировать систему. Идея и сама реализация мне понравились. Расскажу, что конкретно.

1️⃣ Больше всего понравилась возможность активировать отдельные системы поиска с сайтов и совершать поиск только по ним. Например, если вы хотите найти ответ на какой-то вопрос на сайте stackoverflow, то используйте сокращение сайта (в данном случае st) в поисковом запросе:
!st Crond ERROR (getpwnam() failed)
Для меня лично актуален как раз отдельный поиск по stackoverflow, а так же по github, dockerhub и reddit. Все эти сайты в SearXNG есть.

2️⃣ Погонял айтишные англоязычные запросы на смешанной выдаче google, brave и duckduckgo. Результаты мне понравились и показались более релевантным, чем только google.

3️⃣ Результаты получаются неперсонифицированные, что на самом деле для поиска всяких ошибок и статей с настройкой линуксовых систем скорее плюс, чем минус. Лично я постоянно вижу в выдаче свой сайт, что мне не нужно. В основном поиск интересен для работы. Для всего остального я использую Яндекс.

4️⃣ В выдаче нет рекламы, есть ссылки на найденные урлы в веб-архиве, что иногда бывает полезным.

5️⃣ В SearXNG все движки разбиты на категории. Есть в том числе и IT. Для этой категории можно активировать нужные сайты и затем при поиске указывать явно эту категорию. Поиск будет осуществляться только по ней.

Для теста можно быстро запустить SearXNG в докере. Есть отдельная репа для этого:
# git clone https://github.com/searxng/searxng-docker
# cd searxng-docker
# sed -i "s|ultrasecretkey|$(openssl rand -hex 32)|g" searxng/settings.yml
# docker-compose up

Сервис запустится на localhost:8080. Можно в docker-compose.yaml заменить localhost на внешний ip вируталки. Проще самому развернуть и посмотреть все возможности. Свой персональный поисковой агрегатор можно затем добавить в браузер и использовать на постоянку.

Исходники - https://github.com/searxng/searxng

#разное