Kaggling

Все, кто учился DL по слайдам постсоветской матшколы знают про Nesterov Accelerated Gradient. Статья вышла еще в 1983 году, но оценить ее реальный вклад можно только в последние лет 10-15. Производные от него методы оптимизации, к сожалению, не стали железным стандартом в индустрии, но довольно популярны у знающих людей

Так вот, за свой вклад в математику Юрий Нестеров получил премию Гаусса, с чем я его горячо поздравляю. Это буквально нобелевская премия, но для математиков и высшая форма признания вклада в науку.

О том, как работает метод оптимизации и в чем идея, лучше посмотреть вот в этом посте, а я хотел бы примерно рассказать, как так вышло, что метод с лучшей теоретической оценкой не стал стандартом.

Мои три подписчика с ММП скажут, что у Adan/NAdam не нормируют градиенты и из-за этого менее устойчивы к правильному LR -> хуже проскакивают турбулентные участки гиперповерхности лосса. Кстати, возмущенные неточностью подписчики с ммп ставьте обезьяну, узнаем сколько вас.

Но фатальным ударом для этих методов был таймлайн.
Статья про Nadam появилась в 2016, и в этот момент Attention is all you need (Aiayn) уже находилась в процессе написания, так что в ней использовали проверенный Adam как оптимизиатор. После, все побежали воспроизводить результаты у себя и следовали рецепту, описанному в статьей. У нас есть десятки тысяч статей, которые развивают идеи Aiayn и большая часть использует именно Adam. А значит ученых больше наблюдений для Adam и его имплементации больее оптимизированы под современное железо.

По практике скажу, что Nesterov momentum мне буста в качестве давал ровно ноль раз, так что приглашаю попустить меня в комментах и объяснить, почему нужно всегда учить именно с Adan.

Вот сама модификация градиентного спуска: шаг обновления складывается из двух частей — накопленной инерции предыдущих шагов с коэффициентом μ и градиента функции с коэффициентом η. Ключевое отличие от обычного momentum в том, что градиент вычисляется не в текущей точке, а в предсказанной: там, где мы окажемся, сделав только инерционную часть шага. Обычно μ=0.9, а η — темп обучения (learning rate).

Для машинного обучения, используя классические обозначения, x=w — веса модели, а f(w)=L(θw​(*), y) — функция ошибки, где θw​(*) — предсказание модели, параметризованной w, а y — искомое значение. При этом градиент берётся по w.

Добрый день, друзья!

Многие, в том числе и я, упустили достаточно важное событие в сфере машинного обучения.

За фундаментальный вклад в математическую оптимизацию Юрий Евгеньевич Нестеров получил Премию Карла Фридриха Гаусса — одну из высших международных наград в прикладной математике.

Знаковой работой Нестерова стала опубликованная в 1983 году статья «Метод решения задачи выпуклого программирования со скоростью сходимости O(1/k²)».

В ней был предложен метод оптимизации первого порядка — модификация градиентных методов, позволяющая значительно ускорить их сходимость. Впоследствии этот подход получил широкую известность как метод Нестерова (Nesterov's momentum, Nesterov Accelerated Gradient, Fast Gradient Method).

Хотя метод был предложен ещё в 1983 году, широкое признание и особенно активное практическое применение пришли лишь спустя десятилетия.

Сам Юрий Евгеньевич интересно говорит о нынешнем моменте в видеоанонсе премии:
«Я ушёл на пенсию в самый неподходящий момент. В момент, когда искусственный интеллект даёт нам новые приложения и много новых испытаний. И я хочу поучаствовать в этом немного. Поэтому странно останавливаться прямо сейчас».

Сейчас Юрий Евгеньевич продолжает работать в области Data Science и является профессором Школы наук о данных Китайского университета Гонконга (Шэньчжэнь).

Также есть 45-минутная ознакомительная лекция от Юрия Нестерова по методам оптимизации высоких порядков. Рекомендую к просмотру!

И вот еще одна RL сорева
Это RL-обгон?
У нас будет 4 подряд соревнования на РЛ. Видимо, появится много новых мастеров
https://www.kaggle.com/competitions/kaggriculture

Добрый день, друзья!

Вот и подходит к концу 2024-й год — время оглянуться назад и вспомнить всё самое важное.

Этот год был полон вызовов, но и ярких моментов было немало. Несмотря на дистанционное обучение, студенческому совету удавалось организовывать мероприятия, в которых я принимал участие как организатор и как участник. Эти встречи подарили уникальную возможность увидеть преподавателей и одногруппников вживую, обсудить интересные идеи и просто насладиться общением, которого так не хватало за всё время обучения.

Жизнь во время отключений света и военного положения тоже не остановилась. Даже в такие моменты я находил силы и мотивацию заниматься обучением, особенно математикой. Свечи и фонарики стали моими верными спутниками в изучении сложных тем. Это время научило работать в любых условиях и не терять концентрацию, даже когда всё вокруг не так просто.

2024-й не был годом громких карьерных достижений, но он наполнил жизнь важными осознаниями и моментами. Этот год напомнил, как важно ценить моменты «здесь и сейчас», находить радость в общении, работе и маленьких победах.

В 2025 году я обещаю делиться ещё больше — опытом, мыслями и новыми проектами. Пусть этот год принесёт всем нам больше тепла, вдохновения и света!

С наступающим Новым годом!

P.S. Если у вас будут пожелания по контенту в канале, пожалуйста, напишите в комментариях! Спасибо!

Добрый день, друзья!

Во-первых, поздравляю всех причастных к началу учебного года. Желаю, чтобы в этом учебном году обучение давалось легче, эффективнее и интереснее!

Во-вторых, хочется извинится перед аудиторией данного канала за отсутствие какого-либо контента, но, к сожалению, причин много, но основная - ни электричества, ни Интернета в моей стране нет на протяжении долгого периода времени, и из-за этого не предоставляется возможность следить за всеми интересными событиями и чем либо заниматься (например, участвовать в соревнованиях) долгий промежуток времени, кроме как обучением. 

Поэтому хочу поинтересоваться какой контент хотели бы видеть здесь. Свои предложения, пожалуйста, пишите в комментариях, обсудим.

Добрый день, друзья!
Извините что автор данного канал отсутствовал столь продолжительное время.

На Kaggle вышло новое соревнование ARC Prize 2024 с общим призовым фондом $1 100 000, которое невозможно обойти стороной.

Организаторы соревнования стремятся к созданию Artificial General Intelligence (AGI):

The objective of this competition is to create an algorithm that is capable of solving abstract reasoning tasks. Critically, these are novel tasks: tasks that the algorithm has never seen before. Hence, simply memorizing a set of reasoning templates will not suffice.

По описанию соревнование вмещает в себя сразу два типа: обычные, т.е. на результат моделей в таблице лидеров, и аналитический, т.е. где нужно предоставлять Kaggle Notebook, но также принимаются статьи в разных текстовых форматах (PDF, txt, и т.п.). Последнее оценивается по нескольким критериям: точность, универсальность, полноценность и другие.

В предыдущих годах была похожая по замыслу соревнование - Abstraction and Reasoning Challenge.

Успехов!

Добрый день, друзья!

Скоро наступит 2024 год, и мы прощаемся с 2023. Желаю вам приятных моментов в кругу семьи и друзей в эту новогоднюю ночь. В новом году пусть вас сопровождает крепкое здоровье, множество счастливых моментов, и, конечно же, покой и гармония в вашем доме. В наше непростое время надеюсь, что в 2024 году никакие трудности и люди не смогут помешать вашей семье и вам наслаждаться жизнью.

Лично для меня, так и для большинство моих соотечественников, это год выдался трудным, заполненным грустью и горем, однако в нем также присутствовали моменты счастья и радости.

С Новым 2024 Годом, друзья!

Добрый день, друзья!

Сегодня, у меня новая пора жизни - я официально стал студентом бакалавриата механико-математического факультета в Днепровском национальном университете по специальности "Математика"!

Я очень рад выбору именно данного вуза и специальности. Я тщательно и осознано подходил к выбору специальности: больше высшей математики - меньше программирования,а также на сколько тесно связаны предметы с миром машинного обучения.

Надеюсь, последующие 4 года и в перспективе ~4 года (магистратуры и аспирантуры) будут лучшими и, главное, продуктивным!

Расскажите в комментариях о полученных знаниях в вузе, которые пригодились вам в профессиональной карьере! Буду рад почитать и держать в голове на что требуется обратить больше внимания.

Если у вас есть вопросы касаемо данной теме или другим темам, то прошу вас в комментарии, с удовольствием отвечу!

Добрый день, друзья!

Сегодня на просторах форума Kaggle наткнулся на данное сообщение/материал касаемо кросс-валидации. Это действительно проблема, так как некоторые разработчики недооценивают важность правильной валидации (в частности, кросс-валидации), мол это долго и бесполезно (как написано на фото).

В действительности все наоборот:
- Когда вы проверяете модель на разных данных (фолдах), то тем самым вы избегаете переобучения под конкретный "вид" данных.
- При кросс-валидации вы можете понять на сколько ваша модель надёжна к разным наборам данных.

Ещё пару советов при использование кросс-валидации:
- При шумных данных проверяйте модель на различных сидах.
- Считайте улучшением результатов модели не от среднего, а - по разбиениям (фолдам) независимо, так решается проблема переобучения к конкретному(ым) фолду(ам)
- Чтобы избежать переобучение, считайте улучшением при разности результатов больше чем хотя бы на один пункт.
- Если вы участвуете в соревнование, используйте LB как (k+1)ое разбиение.

Добрый день, друзья!

24 августа закончилось очередное соревнование от Google - American Sign Language Fingerspelling Recognition. Суть задачи заключалась в распознания жестов с облака точек в трёхмерном пространстве (543 точки). Дополнительным ограничения организаторов соревнования стало размер модели (< 40 MB) и производительность (меньше 5-ти часов на предсказания тестовой выборки), к тому же, код должен выполняться при использования TF Lite.

Если с первыми ограничениями сообщество Kaggle имело опыт (Efficiency треки в предыдущих соревнованиях), то TF Lite стало настоящим кошмаром для пользователей PyTorch. Например, в первые недели соревнования никто, ни организаторы, ни участники не могли нормально отправить решение без получения исключений. В итоге, организаторы продлили соревнования на 2 недели.

Читайте продолжение в комментариях.

Уже многие до меня (Data Feeling, AI Minds, DziS Science и другие) успели выразить свое впечатление на счет сильного shake-up в соревнование ICR - Identifying Age-Related Conditions.

Мне кажется, любые слова здесь излишни, просто поздравим победителей и в следующем медицинском соревновании отправим ансамбль из XGBoost...

Добрый день, друзья!

Вот и закончилось соревнование от Sense Bank (Альфа Банка) "NLP in practice", это был долгий кропотливый путь с разными испытаниями. Задача заключалась в определение товара и его бренда в ОФД чеках.

Я рад за возможность снова побывать в команде вместе с Марком, а также приобрести новых знакомых - Данила!

Как итог: $5 000 на команду

P.S. Если вы принимали участие в соревнование, то напишите, пожалуйста, несколько слов о ваших впечатлениях и решение. С удовольствием почитаю!

Само решение в комментариях 👇

Kaggle Staff сегодня анонсировали новую функциональность для организаторов соревнований - кастомизация метрик! Теперь, каждый желающий организатор может реализовать свою метрику и использовать её для дальнейшей оценки результатов участников. Это особенно удобно, когда хочется объединить различные способы оценивания моделей (например, в задачах сегментации или детекции, необычайно полезно и эффективно внедрять разные виды штрафов модели, к примеру, на основе logit'ов или вероятностей модели (output + Cross Entropy) и пересечений самих масок или "bounding box" (IoU, и др.) ).

Конечно, у Kaggle Staff изначально была своя библиотека качественно реализованных метрик, тем не менее, на мой взгляд, в ближайшем будущем мы будем наблюдать тренд реализаций метрик от самих организаторов и "более сложнее метрики" чем были до этого.

Если вы хотите почитать подобно об этом обновление, то переходите по данной ссылке: https://www.kaggle.com/discussions/product-feedback/418638

Если у вас возникли мысли на этот счёт, то буду рад увидеть их в комментариях под данной публикацией!

https://www.kaggle.com/competitions/2023-kaggle-ai-report/overview

In this analytics competition, participants will write an essay on one of the following seven topics, with a prompt to describe what the community has learned over the past 2 years of working and experimenting with:

Медали: Есть

Очередное новое интересное Kaggle соревнование.

https://www.kaggle.com/competitions/icr-identify-age-related-conditions/overview/description

Нас уже 500 человек!

Это замечательная новость! Я рад, что канал находит своих читателей и приносит пользу. Я постараюсь продолжать создавать интересный и полезный контент, чтобы вы получали максимальную пользу от данного канала.

Если у вас есть какие-то пожелания или предложения по контенту, пожалуйста, не стесняйтесь делиться ими, я всегда открыт к предложениям и критике!

Всем огромное СПАСИБО 🥳!

Google - American Sign Language Fingerspelling Recognition - https://www.kaggle.com/competitions/asl-fingerspelling/overview

Метрика: расстояние Левенштейна
Ограничения на модель такие же как и в предыдущем соревнование, напомню, модель должна быть сконвертирована в TF Lite формат, веситьь не менее 40 МБ и инференс должен длится максимум 5 часов.
Размер данных: 189.26 ГБ
Медали: Есть

Если кто-то до сих пор не знает, то Kaggle Stuff сейчас экспериментируют с Follower-based Newsfeed (лента на основе ваших подписок).

Я давно ожидал подобное, однако что делать если вы ни на кого не подписаны? Таким же вопросом задались многие топовые "кеглеры", включая самого Chris Deotte:

"I don't understand the new Newsfeed. Is it the case that every new Kaggler sees nothing in their Newsfeed? And then after they follow their first Kaggler they only see discussions from 1 Kaggler? I suggest that you apply weights. Perhaps each user can see 50% content from who they follow and 50% content from all Kagglers."

Я с ним полностью согласен за исключением, того, что было бы лучше сделать еще какую часть рекомендаций на основе недавно просмотренных ноутбуков, соревнований и комментариев.

В общем, если вы видите пустой Newsfeed, то не удивляйтесь.

Подробно можете почитать здесь: https://www.kaggle.com/discussions/product-feedback/406801

Всем удачи!