TGViewer
Channel Public Channel
Запрети мне псевдолейблить

Запрети мне псевдолейблить

@pseudolabeling

Канал о пути к Kaggle competitions (теперь уже) GrandMaster и поте, которым обливаешься в процессе

Последний авторский канал про мл, претендующий на искренность и позволяющий ставить клоунов

Для контакта пишите в сообщения канала, они бесплатные
Subscribers
4.19K
Photos
252
Videos
2
Links
224

Showing posts older than #513 · Back to latest

Older Posts 19 shown
Post #511 3.56K
Разбор ROGII - Wellbore Geology Prediction начнем с сетапа соревнования. Мы на нем подфармили еще одно серебро, а часть подписчиков апнула золото, причем в нескольких разных командах. Горжусь и завидую.

Представьте, что Герр Дональд Трамп сказал нам 'drill, baby, drill', а мы и поверили. И вот уже бурим скважину для исследования недр где-то в Техасе: у нас есть идеальный план бурения и наш бур напичкан кучей датчиков. Буром управляет опытный оператор, который знает, что у пласта породы плотность неравномерная: встречаются камни, пустоты и включения других пород. Из-за этого бур немного (или много) поворачивает внутри скважины и отклоняется от модельной траектории. Оператор смотрит на датчики и подруливает буром, чтобы оставаться как можно ближе к модельному плану бурения- его цель как можно корректнее разведать датчиками на буре показания как можно ближе к траектории.

Наша задача- понять, как глубоко в пласте мы находимся, зная предыдущие наблюдения + текущие показатели датчиков. В общем смысле это надо, чтобы бур не выскочил в другой пласт (нам не интересный) и не насобирал ненужной информации. Ну и спланировать, как мы будем качать нефть, сжигать попутный газ и с этой бесплатной энергии майнить битки

И того, у нас есть:
1. Координаты в каждый момент времени для бура для каждой скважины. Доступна информация до тех пор, пока бур спускается в целевой пласт и для часть скважины уже внутри пласта. Это наш train кусочек для авторегрессии. Еще для каждого участка скважины знаем длину пути от поверхности и оценочное расстояние в футах до границ всех нам известных пластов (оценивается по typewell, последний пункт).
2. Значения Gamma Ray (GR) на протяжении всего пути. Работает так: у каждой породы свой уровень гамма-радиоактивности, так что регулярно снимая показатели фоновой радиации с бура, мы можем по изменениям понять, что состав породы меняется. Для каждого пласта мы знаем примерны состав и показатель радиоактивности по typewell (следующий пункт), так что можем довольно неплохо понять, что слишком близко подошли к границе пласта и рулить назад.
3. Знаем те же показатели для ближайшей измерительной скважины (typewell): глубину, значение GR на этой глубине и метку того, в каком пласте находимся. Предполагается, что она пробурена вертикально вниз.

При этом данные реальные и близкие скважины переиспользуют одни и те же typewell и вообще у них направление и траектория бурения похожа, потому что пласты породы расположены друг на друге и это сильно влияет на оптимальную траекторию.

Можно было бы сказать, что в Техасе все данные по скважинам обязательно нужно сдавать правительству, но организаторы об этом позаботились и к каждой скважине и ее координатам добавили индивидуального шума, так что относительное расстояние между скважинами исказилось. И кажется даже немного перемешались ближайшие typewell. Мало того, скважины еще и обрезали, так что матчить их долго и совсем не ясно, какие скважины попали в тест, а какие нет, потому что это Code Comp.

Как решать будете?

#RogiiWGP
  • 🔥 20
  • 🤯 5
  • 🍌 5
  • ❤ 3
  • 👍 1
  • 🦄 1
Post #510 2.62K
Наконец-то новый образовательный RL-мем в моем любимом паблике про RL

Создано специально для Азата, который не уйдет на пенсию, пока на каггле не кончится РЛ

Я это к тому, что ждем PvE соревнование с закрытой информацией и неопредленностью на некотором среднесрочном горизонте. Ах да, точно, PvE с закрытой информацией- это же AI Agent Security - Multi-Step Tool Attacks. Буквально задача соревы: сделай что-то, а мы тебе не скажем что и какие условия. Тест и трейн вообще разные, но ты попробуй
  • 😁 19
  • ❤ 3
  • 🍌 3
  • 👾 2
Post #509 2.54K

Forwarded from Azat

Ого, ну раз пошла такая пьянка, придется ответить. Спасибо кстати, но поздравлять пока рано...
такой вот примерно рецепт усредненный получился:

- имитация на топовых игроках, точность около 85% была на валидации, давало 950-1100 эло за день игры
- ppo с подгрузом чекпоинта из имитации, где-то 400 топовых дек, играют все против всех, но с вероятностью 90% берем и меняем часть карт на рандомные - так учим эмбеды карт которых не было в имитации (а это процентов 80) ну и учимся играть против мусора чтобы не отлетать типам с 450 эло.
- ppo с подгрузом предыдущего шага, все против всех но теперь только 10% что карты будут меняться, плюс фриз эмбедов. дальше чемпионат по итогам которого я удалил 50% дек.
Сабмиты давали 1000-1100, примерно, какие-то лучше имитации, какие-то хуже, хрен поймешь.
- грузим прошлый чекпоинт, берем top 1 деку по итогам чемпионата (flg 55456110) и опять PPO, но один из игроков всегда играет топовую деку, другой одну из оставшихся 200

на хитрые штуки типа кастомных голов и MCTS времени совсем не осталось, фактически первый сабмит последнего шага был за 4 часа до делайна. ну и я нуб в RL, так что решение довольно ванильное, разве что я потырил некоторые штуки у топов orbits

учил на 4090, за неделю до конца снял 8x5090, итоговый пайплайн со всеми шагами двое суток где-то учился.

исходя из логов надеюсь на 3-8 место, из забавного так как по-сути 50% времени я тренировал деку flg и модель училась против него играть, то на играх за сутки винрейт больше 80% против него, лол. и с luca каким-то образом 55%, этого я уже никак не могу объяснить, возможно везет пока

совет молодым кто пойдет ферму решать, если позволите:
не торопитесь идти делать RL
сначала отточите пайплайн на имитации - он должен вас сходу закидывать в золото. если не закидывает - идите ловите ошибки, досыпайте и чистите данные. я что на orbits, что тут потратил 90% времени на это. codex/claude пишут довольно странный код если детально не смотреть, типа ставят LN после GELU, weight decay на эмбеды, при том что за батч 95% карт не будет сыграна и тд. если ваш пайплайн не способен тупо скопировать стратегию, то и все остальное вряд ли поможет. /goal на ночь и оптимизация кода на трейнах по 30 минут аля nanogpt speedrun часто давала фиксы и неожиданно полезные решения.

И помните, у самурая нет цели, только путь
  • 🔥 23
  • ⚡ 7
  • ❤ 5
  • 👍 2
  • 🍌 2
  • 🏆 1
Post #508 2.32K
У покемонов прошлой ночью настал дедлайн сабмитов. Через две недели будут зафиксированы финальные места, но по моей оценке вас будет шатать на +-30 вверх и вниз от текущего уровня. Разбор соревнования сделаю в текстовом виде, чтобы закрепить все находки.

Ожидаю, что мы останемся с командой на ~100 месте, так что я видимо подфармил еще одно серебро. Уже восьмое

Что у нас работало:
BC
PSRO
Поиск мата за один ход (внезапно)
Тупо скейлить модель в ширину
AUX-голова на победу в матче (так называемая value-head для бедных)
AUX-голова на взятие приза

Что не работало:
Хитрый анализ колод
PPO
MCTS
AWR (вообще никак)
QWR и прочие производные

Напишите в комментах, какое место ждете и апнули ли вы звание
Еще интересно, будете ли участвовать в спареном хакатоне, или желание прикосаться к игре полностью отбито

По моим ощущениям весь топ лб состоит из японцев, дитера собирающего дань и одного скромного flg. А еще поздравляю Азата с поднятием кгм походу
  • ❤ 15
  • 🔥 1
  • 🍌 1
Post #506 3.59K
Post #505 3.55K
Тем временем Мистраль стал первой моделью, которая автономно выиграла соревнование на Kaggle, взяв top-7 в Rogii Wellbore. Французская команда уже опубликова разбор решения модели:
  • 😁 36
  • 🍌 12
  • ❤ 9
  • 👍 3
  • 😱 1
Post #504 3.17K
Запрети мне псевдолейблить 93 место и серебро нафармлено. Пойду спать, удачи не произошло https://www.kaggle.com/competitions/rogii-wellbore-geology-prediction/leaderboard Три золота были выиграны в лотерею 🪿, классика
Кстати медали за Rogii раздали и я позорно не вошел в топ 400 :(

Ставьте хот-доги если нужен разбор Rogii на канале
  • 🌭 164
  • 🍌 10
  • 💊 7
  • 👍 1
Post #502 2.67K

Forwarded from Egor

Medals come and go bro
But you know I stay
  • ❤ 40
  • 🔥 5
  • 🤣 5
  • 🍌 1
  • 😭 1
Post #501 3.05K

This post (sticker, poll or similar) has no web preview. Open in Telegram

  • 🔥 54
  • 🍌 31
  • 😭 11
  • 🤣 7
  • 🙏 6
  • ❤ 4
Post #500 3.1K
14 из 22 кагглеров улетают из золота на привате

А из призов выкинуло буквально всех
  • 🔥 24
  • 😭 2
  • 🍌 1
Post #497 3.03K
Все считается/парсится прямо на бизибаре, ему нужен только ваш токен каггла и желание фармить медальки

Upd: хватит ставить бананы
  • 🍌 120
  • 🌭 10
Post #496 4.27K

This post (sticker, poll or similar) has no web preview. Open in Telegram

  • 🍌 71
  • 🔥 10
Post #495 3.44K
На каггле захостили новую

RSNA Knee Abnormality Detection:
https://www.kaggle.com/competitions/rsna-knee-abnormality-detection

Традиционно челлендж посвящен МРТ данным в 2.5D формате. Т.е. есть много двумерных снимков одного и того же объекта по 'срезам' разной глубины. На этот раз надо обнаруживать 12 видов остеопорза в коленках пациентов.
570 ГБ снимков в высоком разрешении, самое время нафармить золото за счет ваших бесконечных ресурсов (ну и помахаться с NVIDIA заодно). Главное, чтобы инференс влез в 9 часов на кагл гпу.

Соревнование проходит уже 8 лет подряд, так что массив опыта в нем накоплен титанический. Возможно, и мне пора вкатиться и поучаствовать, но в прошлые годы, признаюсь, меня просто пугал объем хаков, в которые надо вкатиться.

Шанс для всех тридцатилетних понять чуть больше о том, почему болят колени
  • 👍 15
  • ❤ 10
  • 🥰 8
  • 🔥 3
  • 🍌 3
Post #493 3.82K
Примерный лор канала за последние полгода и на будущие три месяца
  • 😁 29
  • 👍 8
  • ❤ 7
  • 🔥 2
  • 🥱 2
Post #491 2.99K
https://t.me/durov/537

Раздать олимпиадникам компьют на какуне- 🙅‍♂️

Включить TON-монетизацию самому большому tech каналу в Германии- 🚫

Раздать крипто-скам-nft-подарки-бейджи- 😎️️️️️️

Но все же хвалю, потому что как-то надо растить свою найм-базу
Telegram Pavel Durov 🧠 The 2026 International Olympiad in Artificial Intelligence starts today. As a token of support for those who will reinvent our civilization, we'll issue 🏆 240 exclusive Intelligence Cups to the winners. 💵 We guarantee minimum buyback prices ($1,000 per…
  • 🥰 16
  • ❤ 8
  • 😁 8
  • 🤡 2
  • 🍌 2
Post #490 3.08K
  • 🙏 9
  • 🔥 6
  • 🍌 3
  • 🏆 2
Post #488 5.75K
Отдельно хочу всех школьников/студентов исключить из конкуренции на kaggle убедить влететь в другое соревнование трека NeurIPS:

Fusion equilibrioum challenge (возможно нужен vpn для ссылки)

Датасет — 98 ГБ и 9 121 плазменный импульс с двух токамаков: DIII-D и MAST.
На вход модели идут временные ряды токов в электромагнитах и плазме, а также лазерные измерения температуры и плотности электронов.
По сути, это многомерная регрессия: нужно восстановить карту магнитного потока размером 65×65 и предсказать ещё два параметра плазмы — q95 и βN. Первое надо, чтобы плазма на вырвалась наружу. Обычно конечно считают q99.9999, но видимо тут организаторы на чилле и решили меньше упора делать на предельную статистику. Второе- соотношение затрат энергии на удержание плазмы к ее энергии.

Токомаки это круто, потому что:
Именно для их создания Отто Актавиус вживил себе AGI-клешни. Токомакам не нужен уран, они работают на изтопах воды. Дейтейрия с тритием нам хватит буквально на миллионы лет при текущем потреблении энергии и на тысячи- если все же построим AGI. Токомаки не могу бабахнуть, потому что установка сама гаснет при поломке и реакция прекращается. Токомаки вообще не выделяют CO2. Вот бы их можно было использовать в умных домах.
Основная проблема- это уметь удерживать плазму с температурой 100 млн градусов цельсия внутри.

В первом треке модель обучается и тестируется на DIII-D — надо как можно точнее восстановить скрытую магнитную геометрию плазмы на уже знакомом токамаке.
Во втором нужно обучиться на DIII-D и перенести модель на токамак MAST (другая конструкция) — пытаемся учить физику, а не оверфититься под аппарат.

Участвовать можно как одному, так и командой Вообще не намекаю на команду едущую на межнар и их сбор в одного огромного паверрейнджера

Почему иммено студенты/школьники:
0. Организаторы сделали специальный тулкит, чтобы было легче вкатиться: визуализаторы, верхнеуровневый гайд по тому, что происходит и выдали бейзлайн.
1. Низкая конкуренция: у соревы кастом платформа + низкие призы (по $500 за каждый трек), а значит знаменитые NVIDIA-фармеры с бесконечным железом не придут всех унижать.
2. Дают билеты на NeurIPS топу треков (тут без подробностей про число) + можно выступить с Oral Presentation (есть онлайн опция, если не дали визу). Такое точно можно себе в резюме вписать в достижения
3. Организаторы это профы из Texas Austin, топ 25 CS-ranking мира. Это ваши потенциальные научные руководители и реферы при поступлении в магистратуру/PhD и даже бакалавриат. У одного только ведущего автора 16411 цитирований и хирш 70!
4. Эти самые организаторы берут вас соавтором в публикацию, которая 99.99% попадет в A* конфу + у вас будет реальный опыт колаборации с ними -> можно попросить рефер не на пустом месте + можно и на берегу разойтись, если работа с ними вам не нравится. При этом в соавторы зовут топ-3 каждого трека + 4 человек на выбор оргов
5. Орги дают халявный компьют, так что можно быть бедным.

Соревнование пока не стартовало на кодбенч, но уже можно потрогать данные и бейзлайн

Короче я обижусь, если вы этот пост не перешлете в чат своей группы в универе
  • 👍 22
  • ❤ 13
  • 🍌 6
  • 🔥 5
  • 🥰 2
Post #487 2.87K
Запрети мне псевдолейблить NeurIPS опубликовал официальный список ML-челленджей этого года — и моей победоносной астрофизики Ariel в нём нет. Да и много Kaggle в этот раз не завезли. Явный фаворит года — CodeBench: там пройдут 7/19 соревнований. Ещё шесть будут на собственных платформах…
output.png196.9 KB
Собрал для вас таймлайны NeurIPS челленджей. Дату соревнования по отоплению домов пока не объявили, так что этой соревы нет на графике
  • 🔥 11
  • ❤ 2
  • 🍌 1
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →