TGViewer
AI и грабли AI и грабли @oestick · 13.7K subscribers
Post #161 186
shit in shit out

↑ Главное правило обучения всяких умных систем, для которых нужны данные. Глупо надеятся на хорошие результаты, если изначально данные дерьмо.

Уже несколько недель собираю статистику по постам, которые читаю. Практически сразу обнаружил, что очень часто просто тыкаю лайк. Добавил четвертую опцию🔥 для совсем топовых постов. Но все еще чувствую, что у системы получается очень низкая разрешающая способность.

Все посты с 👍 будут считаться одинаковыми, а это, очевидно не так. Есть сильно лучше, чем другие. Это еще не считая шума – тех, которым надо было поставить 🤔, но я почему-то это не сделал.

Серьезные дяди для серьезных датасетов делают так:

Людям не просто дают какой-то объект и говорят оцени от 1 до 10 (будет проблема как у меня), а дают пару объектов и говорят – выбери лучший. И так каждый объект встречается в нескольких парах. Получается такой большой шахматный турнир, только вместо игроков – объекты, а вместо игр – сравнение человеком.

В шахматах дальше строится рейтинг Эло – по нему можно любого игрока сравнить с любым, даже если они никогда не играли друг с другом – просто за счет инфы относительно других игроков.

Если ты выиграл у Вована Андреича, а с Петр Валеричем в ничью вышел, а я только проиграл Илье Палычу, укоторого ничья с обоими твоими соперниками, то ты играешь лучше, получается.


———

Проблема только в том, что в моем случае сравнивать посты друг с другом сильно напряжно. Тут прочитал пост и тыкнул кнопку, а сидеть и сравнивать посты друг с другом никто не захочет (и я тоже)
  • 🔥 3
  • ❤ 1
More from @oestick
  1. Oct 12, 2026Неочевидное плюс текущей ситуации с датацентрами Яндекса для всех, кто делает свои сервисы…
  2. Oct 4, 2026Саша Поляков собрал стату по банам (меня тоже в этот раз задело). Мб кому-то полезно будет…
  3. Oct 4, 2026Собрал статистику по банам Claude из комментариев в канале Пост с разбором телеметрии, кот…
  4. Oct 2, 2026О, мой баг репорт в getbb.app приняли. Приятно быть причастным к развитию того, чем сам по…
  5. Oct 1, 2026А у вас тоже есть задачки, в которых нужно очень много и глубоко думать, но вы их откладыв…
  6. Sep 30, 2026Anthropic > OpenAI, но есть пара но Предпосылки 1. opus-5.5 очень хорош 2. DevDay openai –…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →