TGViewer
AI Forge – про ИИ в бизнесе AI Forge – про ИИ в бизнесе @ai_forge · 258 subscribers
Post #10 146

Forwarded from Сиолошная

Ну и вдогонку темы предлагаю к ознакомлению статью исследователей из UC Berkeley с интересным названием "Why Johnny Can’t Prompt: How Non-AI Experts Try (and Fail) to Design LLM Prompts". Всем заинтересованным рекомендую к прочтению.

Основные тезисы (на основе анализа взаимодествия 10 пользователей и ChatGPT):
1) Неопытные (с т.з. "общения" с языковыми моделями) люди предполагают, что промпт, который работает в одном случае, будет работать и во всех других случаях
2) Также они верят, что если ChatGPT не делает что-то с первого раза, то оно и не может этого сделать в принципе
3) У этой же группы людей наблюдается отсутствие систематических тестирования и экспериментов
4) Сама ChatGPT в целом неплохо справляется с "подсказыванием" направления движения в правильную сторону. Если не стесняться спрашивать, то можно итеративно достичь цели
5) Касательно написания и детализации промптов — люди исследования ожидали, что простые промпты с описанием желаемого действия должны быть «поняты», а модель будет им следовать. То есть у людей есть ожидание, что модель есть буквально AGI, читающий мысли и угадывающий желания.
6) Участники ожидали, что семантически эквивалентные инструкции будут иметь семантически эквивалентные результаты, тогда как на самом деле тривиальные модификации в промпте могут привести к драматическим сдвигам в ответах модели.

На картинке — сравнение понимания группами людей (эксперты и не-эксперты) разных деталей работы в мире программирования и машинного обучения. Показывается, что у эксперта фактичсеки в каждом пункте есть отличие, дающее скорее качественную разницу. И странно, что люди не берут это в рассчет при оценивании навыков больших языковых моделей — мол, я уже эксперт, у меня всё и так бы заработало, если бы модель была умной!

TLDR: используйте GPT-4 (купите подписку уже, наконец), практикуйтесь, ищите чужие промпты и пытайтесь понять, что работает, а что нет. Начать можно с объемнейшего промпта, который предлагает модели примерить роль "учителя" — я про него писал вот тут.
  • ❤ 1
More from @ai_forge
  1. Aug 31, 2026⚡️ Вебинар: «Dora от FanRuan: от GenAI к Agentic AI в корпоративной аналитике» – 3 сентябр…
  2. Jun 15, 2026AI-компании начали менять токены на доли в компаниях В мае 2026 OpenAI предложила каждому…
  3. Apr 30, 2026Как по всему GPT расползись гоблины В общем, у чатагпт есть разные настройки личности. Одн…
  4. Dec 5, 2025📊 Anthropic опросила 1,250 профессионалов об использовании ИИ на работе Главные цифры: —…
  5. Nov 13, 2025OpenAI релизнули модельки GPT-5.1, которые обещают быть в своей тональности «теплее и боле…
  6. Oct 21, 2025Делюсь новостью С июня 2025 года я присоединился к Т-Банку в роли продуктового лида LLM-пл…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →