Исследуем границы возможностей нейросетей. Первоапрельская часть про юмор.

Шутка ли — первого апреля пишу в Телегу.
Конечно, было бы гораздо смешнее, если бы сегодня запретили парковочный мессенджер. Впрочем, хватает и новостей, что опсосы будут брать дополнительную оплату за международный трафик в международной сети интернет.

Вообще-то я стендапер, а бизнес и программирование — так, для души.
Так что я, разумеется, исследовал возможности LLM для генерации шуток. Ничего смешного!

Почему нейросети не умеют в юмор

LLM уже вполне в состоянии объяснить, в чем прикол, но не в состоянии придумывать шутки сами.
INB4: нет, это не skill issue, настройка температуры не помогает. Не помогает даже промпт «ты гениальный стендапер, король постиронии и мастер сарказма».

Это не останавливает разных иноагентов от попыток использовать ChatGPT, но такие эксперименты — только людей смешить.

Юмор глубоко субъективен, контекстуален и строится на сложной игре ожиданий, эмпатии и культурного бэкграунда.
Мало того, что непонятно, как скорить результат (что одному асессору смешно, то стендаперу — баян), так еще и остаются все те же проблемы, по которым нейронки не справляются с поэзией:
* токены лишают LLM слуха, что критично для каламбуров. Мой самый любимый мне рассказал когда-то Дима @dimaom: «каламбур (а телом бел)»
* модели стремятся к статистически наиболее вероятному продолжению, а суть панча — в сломе ожидания.

На эту тему есть достаточно много исследований и экспериментов. Из свежего — Quipslop от Theo (open-source проект, где одни модели придумывают панчи, а другие модели и люди их оценивают) и исследование Алексея Тихонова на основе полученных данных. Спойлер: Gemini справляется лучше остальных как по мнению людей, так и по версии других нейронок.

Так научатся ли нейронки шутить в конце концов?

Я склонен считать, что таки да:
1. Можно обучить специализированные модели
2. По-настоящему мультимодальные модели могут решить проблему с восприятием звучания и подачей
3. Я не зря вчера рассказал про TRIBE V2 — LLM сможет использовать виртуальную модель мозга в качестве абсолютного, масштабируемого и объективного «оценщика». Вместо того чтобы спрашивать человека «Смешно ли это?», сеть будет напрямую смотреть, вызывает ли сгенерированный контент активацию в центрах удовольствия симулированного мозга.

Ну хорошо, в будущем ржака, а что же делать сейчас?

В книгах про написание шуток вам расскажут, что весь юмор работает по одной схеме и чтобы его сочинять, можно использовать стандартный алгоритм и «подводящие упражнения» (конкретные шаги могут чуть отличаться от автора к автору, но общий смысл у всех совпадает).

Так вот, сегодняшние нейронки вполне в состоянии нагенерить «запчастей»: придумать сетап, извлечь из него ключевые темы, сгенерировать к ним ассоциации и анти-ассоциации, поскорить эти ассоциации, подобрать омонимы, придумать неочевидные аналогии.
Не знаю, насколько это действительно поможет, но пропаганда других стимуляторов вдохновения нынче запрещена.

Перестанет ли быть смешной шутка, если вы узнаете, что ее сочинила нейронка?

@devspotting