Сравниться с AI

Говорят, у людей есть чувство вкуса, а у LLM его нет, и это, дескать, наше преимущество, не заменят нас роботы. Если вы пропустили – вполне серьезная позиция, полтора года обсуждений и статьи в New York Times, а он фигню писать не будет.

#стартапдня Beat the Robot дает возможность объективно проверить остроту своих чувств – и заодно сравнить её с AI, да ещё и в форме игры. Вам показывают два твита из одного аккаунта с одинаковой ссылкой. Задача – угадать, какой из них чаще репостили, то самое чувство вкуса для SMM-щика. На другой стороне барьера – искусственный интеллект, он получает те же твиты и решает ту же задачу.

Результат немного предсказуем. Я набрал 11 баллов из 20 возможных – трактую это как строгие 50% на угадывание плюс чуть-чуть везения в конкретной партии. 6 разных LLM получили от 9 до 13 очков, в сумме 66/120. Этот суммарный перевес над монеткой тоже можно объяснить случайностью, но вероятность истинно положительного вкуса все же выше моей, раз попыток было больше. Если же не думать о доверительных интервалах, то мы строго вничью сыграли.

Монетизации у Beat the Robot, разумеется, нет никакой. Основатель им для души и научных изысканий занимается. Вайбкодинг интересные вещи позволяет сделать без больших усилий.

https://beat-the-robot.peacetech.vc/

#насвои #россия #израиль #ai