Апдейт по сортировке LLM
Помните пост про TrueSkill и сортировку контента? Друг-аналитик заметил, что я считал корреляцию по-разному: где-то брал score (оценку 1-100), где-то rank (место в рейтинге).
Пересчитал всё единообразно. Итог по корреляции с реальными репостами:
🥇 TrueSkill Batch — 0.46
🥈 TrueSkill Pairwise — 0.42
🥉 Score — 0.41
4️⃣ Score + Reasoning — 0.30
💀 Bulk — минус 0.27
Главный вывод не изменился: Bulk ранжирует посты в обратном порядке из-за positional bias. Не сгружайте LLM длинные списки.
Написал детальный разбор всех методов на Хабр — с кодом, таблицами и демо:
👉 https://habr.com/ru/articles/987538/
Первая статья там, буду рад поддержке 🙏
----
Поляков считает — AI, код и кейсы
Post #422
2.48K
Поляков считает: AI, код и кейсы 4 способа заставить LLM сортировать данные Если вы когда-нибудь грузили в LLM список и просили выбрать лучшее или отсортировать — вы, скорее всего, совершали ошибку. Я это проверил на 164 постах своего канала. Хотел понять, можно ли предсказать, какие посты…
- 🔥 3
- ❤ 1
- 👍 1