GM! В посте про фентези TI я обещал поделиться результатом под конец турнира, вот и они: 20 865 очков и 95 перцентиль среди всех, кто собирал составы.
Понятно, что фентези это фриролл-лотерея, и куча людей там либо роллила на похер, либо ставила своих фаворитов независимо от всякой статистики. Но какие-то выводы всё же кажется можно подвести.
Нормально сконфигурированная нейронка с правильным набором входных данных уже выполняет работу лучше, чем 90% людей. Все сливки, конечно, по-прежнему забирает оставшаяся часть, те, кто анализирует и уделяет внимание деталям, и с ними нейронка пока не тягается.
В какой-то из книжек давно я прочитал про "Правило Парето".
20% затраченного времени обеспечивают 80% выполненной работы и оставшиеся 80% времени влияют на 20% финального результата.
Вот, имхо, оно неплохо накладывается и на работу с нейронками. Вы поверхностно решите задачу, затрачивая минимум усилий, но не надейтесь на high lvl результат.
В целом, это и есть принцип работы LLM - предсказание наиболее вероятного следующего токена. Только предсказывает она из того, что получила на вход. Мои 20% усилий как раз и были этим входом: я хотя бы дал ей статистику за прошлый год, без этого это было бы казино. А те самые 80% времени - это ручной разбор деталей, которые модель усредняет, и платят их те, кто в итоге забирает топ-100. Но это уже совсем не про доту.