Вышла хайповая нейросеть Jev. Я полез читать, что это за зверь: текст она вообще не пишет. Даёшь ей историю и вопросы — получаешь «да», «нет», «не имеет значения» и вероятности. И я подумал: блин, это же готовый ведущий для данеток)

Сделали игру на сайте по приколу. Но тут ещё и расчёт был: гонять обычную текстовую модель на каждое «а был ли там кот?» — платить за каждый ход. У Jev один ответ стоит тысячные доли цента. Если основную массу вопросов отдавать ей, игра для посетителя остаётся бесплатной, а меня не пугает счёт за каждое «да».

На бумаге всё красиво. Потом я в своей версии разгадки написал, что груз не тонул. Jev дала ей 90% вероятности победы. А по разгадке груз как раз тонул — мешки соли тянули ящики на дно, потом растворялись и ящики всплывали. Одно «не» сломало ключевой факт, но ведущая объявила победу.

Я полез крутить пороги и формулировки. Выяснилось: Jev может ошибаться очень уверенно. Поэтому пришлось добавить второго судью — GPT-6 Luna. Обычные вопросы по-прежнему ведёт Jev; GPT подключается к сомнительным ответам и версиям, похожим на разгадку, включая такие уверенные «победы».

Прогнал 116 русских вариантов разгадки по всем 30 историям. На них же потом чинил промпты, так что красивый процент точности из этого не продаю. Одну слишком общую версию игра всё ещё засчитывает. Теперь нужны вопросы, до которых я сам не додумался.

Попробуйте сыграть и сломать ведущего. В игре есть кнопка «Как это работает»: видно, какие ответы и вероятности возвращает Jev. Поймаете ерунду — напишите в комментарии историю и свой вопрос. Разгадку спрячьте под спойлер. У кого первым получится найти дыру — у вас или у друга?)

Сюжеты взяли с yesnogame.net; короткие условия переписали, чтобы было понятно, что именно надо объяснить.

@analyst_exe