👍Аналіз документу з проекту "Верітас"

Привіт, друзі! Ви мабуть скучили за змістовними інсайдами. Зараз вони будуть.

Років 5 назад, був значний витік інформації Google. Хакери зламали пошти співробітників і витягли багато внутрішніх даних. Я сам документ не прикладую, але публікую аналіз його змісту.

Це узагальнений узагальнений підсумок документу, що описує інтеграцію між ручними діями щодо веб-спаму та корпусом G-News. Головна мета – запобігти поширенню спаму шляхом видалення доменів із корпусу G-News, якщо вони потрапили під ручні дії щодо веб-спаму.
Команда <…> розробила механізм, що передбачає створення трьох CSV-файлів, які будуть містити інформацію про домени, що потрапили під дії (manual actions). Ці файли будуть використовуватися для автоматичного видалення таких доменів з корпусу G-News, забезпечуючи фільтрацію спаму та гарантуючи, що користувачі отримують якісний контент. Документ також описує технічні деталі інтеграції, структуру даних та механізм їх обробки.

Команда проекту вирішила, що використання файлів badurls не підходить для інтеграції з G-News з кількох причин. Основна причина полягає в тому, що файли badurls містять шаблони для кількох типів порушень, включаючи MobileAdRedirect, CloakingRedirect, SpammyUserContent та HackedIsolated. Застосування відповідних дій до корпусу новин (повне видалення) є занадто жорстким, і команда хотіла переконатися, що воно застосовується лише до очевидних випадків спаму.

Файл Badurls_spamindex, зокрема, містить шаблони для видалення за різні порушення, а команда проекту вирішила зосередитися лише на покараннях Blackhat і Demotion (content+linking). Використання цього файлу може призвести до видалення сайту з корпусу, який був покараний за SpammyUserContent на кореневому рівні, чого команда хотіла уникнути.

Крім того, у файлі Badurls_spamindex немає інформації, яка б дозволила розрізнити покарання HackedIsolated та Blackhat. Це ускладнило б для команди News Eng вжиття різних заходів для зламаних сайтів.

Замість того, щоб використовувати файли badurls, команда вирішила створити власну систему, яка експортує потрібні покарання у форматі CSV. Це дозволило команді News Eng точніше контролювати, які сайти видаляються з корпусу новин.

✍️Часті запитання щодо інтеграції дій Webspam з корпусом новин
1. Яка мета інтеграції дій Webspam з корпусом новин Google?
Метою є покращення якості контенту новин Google шляхом видалення чи тимчасового блокування сайтів та сторінок, що порушують правила Webspam. Це допоможе забезпечити користувачам доступ до достовірних та якісних новин.

2. Які саме дії Webspam будуть враховуватися?
Враховуються дії, пов'язані з видаленням, пониженням рейтингу та виявленням зламаних сайтів:

Видалення: сайти, що займаються чорним SEO (Blackhat) та сайти з низькоякісним контентом (Demote).
Тимчасове видалення: зламані сайти (Hacked).

3. Як саме буде відбуватися інтеграція?
G-Tech створить щоденні CSV-файли з даними про санкції Webspam. Ці файли будуть доступні команді News Eng для подальшої обробки та інтеграції з корпусом новин.

4. Яка структура CSV-файлів?
Буде створено три типи файлів:
webspam_root_blackhat.csv: сайти, що повністю блокуються за порушення Blackhat.
webspam_root_demote.csv: сайти, що повністю блокуються за низьку якість контенту (Demote).
webspam_badurl_patterns.csv: список URL-шаблонів, що блокуються (зламані сайти, Blackhat, Demote).

5. Що робити, якщо санкції Webspam застосовані до піддомену або окремої сторінки?
Дані будуть містити інформацію про рівень застосування санкцій (сайт, піддомен, сторінка) за допомогою прапора is_root_penalty.

6. Як відбуватиметься обробка безкоштовних хостингів (sitechunks)?
Для обробки sitechunks буде використано webspam_sitechunk_utils.

7. Як часто оновлюватимуться дані про санкції Webspam?
Дані оновлюватимуться щоденно.