***
ChatGPT начал добавлять пометки про "недостоверные упоминания" (inauthentic mentions) в контенте списочного формата.Пример ниже 👇
И вот почему я потерял цитирование, хотя сам поставил себя на первое место.
Пока видел немного такого, но кое-что меняется.
За последние 30 дней мы фиксируем кучу паттернов
A/B-тестирования.После 5.6 теперь появилась еще и
Astra 6.Судя по всему, в
Statsig обновили и некоторые мини-модели с классификаторами. ☠️Инсайты комьюнити
— Быть процитированным вместе с плашкой о заинтересованности автора — не то же самое, что получить рекомендацию. Цитата может стоять рядом с предупреждением, а не среди реальных рекомендаций, так что сырой трекинг количества цитирований может ошибочно записать эту позицию как победу.
— Опубликованные авторами рейтинги формата "лучший X" — самое слабое доказательство, особенно для запросов типа "кто лучшие эксперты в [сфере]", где личный интерес страницы максимален. Дисконтирующий классификатор просто делает свою работу на этом классе запросов. Чтобы проверить, выходит ли эффект за рамки таких ангажированных топиков, нужно протестировать тот же паттерн самопубликации рейтингов на теме без личной выгоды.
— Сама валидность этого предупреждения не доказана: это может быть как реальный классификатор достоверности на уровне модели, так и простое копирование текста-дисклеймера, который уже висит на странице-источнике. Стоит сначала проверить текст самого исходника, прежде чем списывать этот флаг на новую проверку со стороны
ChatGPT.— Чтобы отличить простое извлечение от рекомендации, нужны раздельные замеры: модель всё ещё может краулить страницу даже после того, как ее цитата пропадает из видимого ответа. Так что для отделения извлечения от рекомендации придется сверять серверные логи с реально сгенерированными ответами.
— Тот же паттерн с пометкой недостоверных упоминаний замечали и в
Perplexity, а не только в ChatGPT. Это доказывает, что проверка подлинности не изолирована на уровне ответов одной конкретной модели.#ChatGPT #AIOverviews #AIContentDetection
@MikeBlazerX
📈 "Пушки" — в @MikeBlazerPRO
