"Я взял 50 реальных, повседневных вопросов о здоровье, из разряда YMYL, к которым сам Google относится с особой тщательностью, и задал их 16 голосовым помощникам: ChatGPT, Claude, Gemini, Google AI Mode, Copilot, Perplexity, Grok, Meta AI, Mistral, DeepSeek, Qwen, ERNIE, Kimi, Doubao, Manus и Sakana. Каждый из них был на немецком и английском языках. (Apple Intelligence я не смог протестировать, поэтому их было 16.)
Я ожидал, что интересные различия будут связаны с осторожностью или неправильными ответами. Но этого не произошло. Самое важное различие совершенно незаметно для пользователя, и оно заключается в следующем: действительно ли ИИ читает веб-страницу в режиме реального времени, отвечая на ваши вопросы, или он просто говорит по памяти?
...
Некоторые ассистенты использовали новые источники для каждой партии заданий. Другие же отвечали, опираясь исключительно на знания, полученные в ходе обучения. Разница очевидна.
...
DeepSeek просмотрел 147 веб-страниц для одного блока из 25 вопросов. Doubao прочитал около 90. Perplexity и Grok показали двузначные результаты. А затем следует стена: ChatGPT, Gemini, Mistral, Qwen, ERNIE, Meta AI. Источники? Ноль. ChatGPT не прочитал ни одной страницы.
...
Вот почему это важно для меня, и почему это должно быть важно и для вас.
• Для моделей памяти ваш свежий контент никогда не доходит до ИИ. Неважно, насколько хороша, актуальна и хорошо оптимизирована ваша страница. Если ассистент не выполняет поиск, важны только данные, содержащиеся в обучающих данных, и известность вашего бренда. Вы оптимизируете не для ответа на этой неделе, а ждёте следующего запуска обучения, когда бы он ни состоялся.
• Для тех, кто использует прямой поиск, качественная, подлежащая цитированию работа появляется практически мгновенно. Четкая, цитируемая, хорошо обоснованная страница может появиться в ответе в тот же день. Именно здесь классическая работа над страницей, цифровой PR и упоминание на нужных сайтах действительно меняют ситуацию в результатах поиска, полученных с помощью ИИ."
Мораль: для "горячих" вопросов LLM лучше не использовать, а воспользоваться старым добрым органическим поиском.