Give me a random number from 1 to 30.
то, почти все модели ответят 17 ( а хотелось конечно 42 )
При чем распределение будет примерно таким
GLM 5.3: 10/20
Grok 4.6: 11/20
Qwen3.8 Flash: 13/17*
DeepSeek V4 Pro 0813: 16/20
DeepSeek V4 Flash 0731: 17/20
GPT-6 Astra: 18/20
Qwen3.8 Max 0902: 18/20
GLM 5.3 Flash: 19/20
Gemini 3.8 Flash: 20/20
Claude Fable 5.1: 20/20
Claude Opus 5: 20/20
Claude Sonnet 5: 20/20
Почему так происходит?
Если сильно грубо - каждый следующий токен, который LLM предсказывает, мы декодируем на лету, выбирая из выборки возможных токенов. Каждый токен имеет свою вероятность быть выбранным ( не будем углубляться в logit и softmax ). Так вот у токена 17 вероятность почти 99%.
Я накидал небольшой эксперимент, как меняется ответ модели и вероятность в зависимости от выбранного отрезка
Синие линии - вероятность.
Зеленые - самое вероятностное число.
Видно определенную последовательность 7 -17 -27 -37 -47. Откуда такое берется?
Можете ради интереса посмотреть ризонинг у модели и почему она так выдала - но если кратко, так уж устроен человеческий мозг, что из диапазона человеку кажутся такие числа более рандомными, вот и всё.
Даже тут модели решили хакнуть кожаных.