Недавно прошел онлайн этап Midnight Code Cup - нового соревнования по программированию (проводится всего второй год). Участие было командами до 3 человек. Ключевая особенность - можно пользоваться чем угодно. Использование AI не просто разрешается, а поощряется! 🤖
О формате отборочного тура
Было дано 4 часа и 3 оптимизационных задачи. Точное решение авторам неизвестно, а командам требовалось найти решение как можно лучше. В некоторых задачах участникам давали тестовые данные.
Запустил Claude и пошел пить чай? ☕️
В последний год везде говорят о невероятном прогрессе AI. Как теперь выглядят такие соревнования? Все просто дают LLM условие задачи, пишут “solve this problem” и уходят по своим делам, а потом отправляют одинаковые решения?
Все же пока нет! Пусть мы сами порешали не лучшим образом, но опишу некоторые наблюдения
Эффективность AI все еще сильно зависит от того, кто его использует 🤓
Я начал с популярного подхода: говоришь агенту в цикле решать задачу разными способами и документировать все попытки. Агент быстро пробует разумные базовые подходы, но после минут 30 без вмешательства начинал скатываться в дичь, предлагая мудренные эвристики и очень страшные алгоритмы.
По моим ощущениям (допускаю, что у крутых ребят другое мнение) дальше сильных улучшений без твоей помощи не происходит. Важную роль играют твои наставления и идеи.
Например, хорошо работает следующее: параллельно самому думать, заметить какие-нибудь особенности и дать команду в духе:
В этом тесте есть такие свойства. Рассматривай подходы, использующие этот факт
Порой одного такого запроса достаточно, чтобы железный друг пошел в правильном направлении и за 20 минут без вмешательства улучшил результат по тесту с 30 баллов до 80-90+ (из 100)
Если вы участвовали в таких соревнованиях лет десять назад, то узнаете много имен вверху таблицы результатов. Навыки людей, которые и до ЛЛМ умели хорошо решать задачи, не утратили актуальность
И все же умение делегировать машине становиться критическим
Команда из одного человека заняла второе место! А вообще в топ 20 таких команд аж две, а еще одна из двух человек.
Не знаю точно, что они делали (знали бы, то сами явно справились бы сильно лучше😀), но уверен в одном: они не микроменеджирили каждый этап решения (и тем более написания кода) всех трех задач параллельно. Ребята явно хорошо освоили управление AI и вайб-кодинг!
Лично нам не удалось заставить агентов получить хороший результат там, где мы не дожали свои идеи. Но многие участники утверждают, что у них получалось. Умение хорошо организовать работу агентов и направить их в эффективном направлении - это отдельный навык
Само собой, нет смысла пытаться писать код самостоятельно 🙅♂️⌨️
Да и читать тоже
Куда это все может прийти?
Раньше после олимпиад участники обсуждали идеи решений. Это тоже есть, но половина вопросов теперь такие:
- юзали gpt или claude?
- в лимиты по подписке влезли?
- сколько токенов сожгли?
Пока кажется, что ключевую роль играют скиллы. Но уже сегодня люди, которые сами писали код, были точно в проигрышном положении. Соревнование открыто для любых участников. Явно не каждый студент может себе позволить подписку за 100-200 долларов. С более мощными моделями такой жанр рискует скатываться в pay-to-win. Уверен, организаторы это тоже понимают и что-то придумают!
Отдельно выражаю благодарность организаторам 👏
(некоторые здесь подписаны и вдруг это читают)
Последние годы стало сильно меньше таких мероприятий, так что новое соревнование, ещё и отвечающее духу времени - крутое событие, спасибо!
Если кто ещё участвовал, как ваши ощущения?