Несколько дней назад, описывая исследование ВШЭ и РАСО о том, как ИИ используют в маркетинге, я анонсировал «интересную, но пока секретную тему». Вот она: Ошибки и неточности в описании исследования».
Забавно: ИИ анализирует ошибки при описании исследования об использовании ИИ. Причем, не только анализирует, но и дает рекомендации о том, «как надо» (хотя его и не просили об этом).
Но перед тем как начать цитировать текст ИИ, несколько слов о его структуре. Как известно, есть ошибки и ошибки. Одни находятся в зоне недопустимости, в этом случае возможны неверные интерпретации данных. Другие обозначают отсутствие желательных, хотя и не обязательных разделов. Это не искажает данные, но делают выводы более расплывчатыми. Нежелательно и то, и другое, но первое все же «более нежелательно».
А теперь даем слово ИИ - что не так в отчете исследования ВШЭ и РАСО?
Отсутствие описания контекста и целей исследования. Описание нечетко указывает цели исследования. Важно указать, что именно исследование стремится выявить или проанализировать в отношении использования ИИ.
Неопределенность в описании выборки. Демография респондентов не четко определена. Необходимо детализировать информацию о размере выборки, критериях отбора и отраслях респондентов для придания результатам достоверности.
Проблемы с презентацией данных. Графики и диаграммы не содержат надлежащих меток или заголовков, что затрудняет понимание того, что представляет каждый набор данных. Проценты и числа отображены, но их контекст или то, к чему они конкретно относятся, отсутствует (например, на стр. 4 неясно к какому вопросу или метрике относятся доли - 85%, 11%, 4%).
(Здесь необходимо пояснение. В отчете на соответствующем слайде (стр 4) в качестве заголовка используется вопрос анкеты. Необходимые пояснения присутствуют. Отсюда вывод – не все выводы и рекомендации ИИ следует воспринимать как истину в последней инстанции. Этот эффект хорошо известен специалистам, он получил название «галлюцинации ИИ»).
Используются расплывчатые формулировки, например, доступные российские и зарубежные системы" (имеется в виду LLM-модели ИИ – ДФ). Требуется уточнение, что подразумевается под "доступные" в данном контексте.
Неправомерное объединение отраслей в вопросе анкеты. Некоторые категории в графиках, такие как "Медиа/СМИ/Реклама/Маркетинг/BTL/PR/" (стр. 7), объединяют слишком много разных областей в одну, что может скрывать конкретные тенденции в отдельных секторах.
Отсутствие четкого описания методологии. Алгоритмы сбора и анализа данных не описаны должным образом. Необходимы подробности о дизайне опроса, его распространении и методах анализа для прозрачности и достоверности.
Потенциальная предвзятость в вопросах анкеты. Некоторые варианты ответов в используемых формулировках могут склонять респондентов к определенному ответу, что искажает данные. Например, ответ "Часть функций можно и нужно переложить на ИИ" – стр. 10.
Необоснованные обобщения. Утверждения типа "ИИ никогда не заменит квалифицированного PR-директора" (стр. 10) не оставляют места для нюансированных интерпретаций. Более осторожный подход был бы уместен.
Отсутствие сравнительного анализа. В отчете отсутствует сравнительный анализ с аналогичными исследованиями или историческими данными для отображения тенденций с течением времени или в сравнении с другими регионами/странами.
Проблемы с языком или переводом. Некоторые фразы и термины могут быть потеряны при переводе или недостаточно четкими для международной аудитории. Важно, чтобы используемый язык был точным и однозначным.
#ии
