Ключевые моменты из документа о поисковых технологиях Google

В документе, датированном 18 февраля 2025 года и являющемся записью разговора с инженером Google HJ Kim, обсуждаются различные аспекты работы поисковой системы Google, с акцентом на принципы ранжирования и используемые сигналы.

"Ручная настройка" сигналов
Большинство сигналов, за исключением основанных на машинном обучении RankBrain и DeepRank, создаются и настраиваются инженерами "вручную". Это позволяет анализировать и корректировать их работу. Процесс разработки включает анализ данных, использование сигмоидных или других функций и определение пороговых значений. В некоторых случаях инженеры могут вручную выбирать среднюю точку на основе релевантных данных. Для большинства сигналов используется регрессионный анализ данных, таких как контент и структура веб-страниц, клики пользователей и данные от асессоров.  

Фундаментальные сигналы (ABC) и Тематическая релевантность (Topicality)
Ключевыми компонентами являются так называемые ABC-сигналы, разработанные инженерами:  

- Anchors (A): Ссылки с одной страницы на другую.  
- Body (B): Термины, содержащиеся в документе.  
- Clicks (C): Исторические данные о том, как долго пользователь оставался на странице после перехода из поисковой выдачи.

Эти сигналы лежат в основе определения тематической релевантности (Topicality или T*) документа по отношению к запросу. Topicality объединяет эти три сигнала "вручную" и используется Google для оценки релевантности документа на основе поисковых терминов. Разработка этого показателя требовала значительных усилий и находилась в постоянном развитии до недавнего времени (примерно до 2020 года).  

Преимущества "ручной настройки"
Основная причина "ручной настройки" большинства сигналов заключается в том, что в случае сбоев Google точно знает, что и как исправлять. Google стремится к полной прозрачности своих сигналов для возможности их отладки и улучшения. Это рассматривается как значительное преимущество перед конкурентами, такими как Bing, которые используют более сложные системы машинного обучения, затрудняющие выявление и устранение проблем.  

Кривые ранжирующих сигналов и компоненты IR-оценки
Инженеры Google строят графики ("кривые") для ранжирующих сигналов, и подгонка этих кривых происходит на каждом уровне сигналов. Основными компонентами, формирующими итоговую оценку информационной релевантности (IR score), являются ABC-сигналы (тематическая релевантность, связанная с конкретным запросом) и Navboost.

Качество (Quality - Q*)
Сигнал качества (Q*), отражающий надежность и авторитетность страницы, является чрезвычайно важным. В основном он статичен и не зависит от конкретного запроса, хотя в некоторых случаях может учитывать информацию из запроса для предоставления более точных результатов. Команда по качеству страниц была создана около 17 лет назад, в частности, для борьбы с проблемой "ферм контента" – сайтов, массово производящих низкокачественные статьи. Проблема качества контента остается актуальной, особенно с развитием технологий искусственного интеллекта. Поскольку Q* в значительной степени статичен и связан скорее с сайтом, чем с запросом, его можно было бы легко реконструировать при наличии соответствующих данных.