DanAsOne Blog

С Альфой опубликовался на Хабре, с кем теперь до Arxiv'a? https://habr.com/ru/post/697336/

⚡Рассказываю про Computer Vision в кейсе Альфа банка https://alfa-bank-students.timepad.ru/event/2168047/

​​Время для образовательной паузы 😎

Сейчас в главном коворкинге пройдет мастер-класс от Александра Мамаева (VK) и Даниила Астафурова (Альфа-Банк). Ребята расскажут про:

💥 решение задач градиентным бустингом и нейросетями
💥 модели векторизации языковых знаков и последовательностей
💥 практические хаки по работе с данными

Плюс, получи порцию мотивации от Дани: как в 18 лет несколько раз выиграть Цифровой прорыв и получить офер в Data Science от Альфа-Банка!

#хакатон #ИИ #РоссияСтранаВозможностей

Смотрим

❗️❗️❗️Не работать без договора❗️❗️❗️

👨‍💻Интересная летняя практика получилась в банке Точка, попробовал себя в задачах, никак не связанных с банком. И тут ждал сюрприз - руководство не знает, чем занимаются круги (команды), как следствие, обвинили в конфликте интересов и нарушении NDA (хотелось бы его ещё подписать)

😎Кстати в 18 лет пообщался с безопасниками

👍Но зато теперь всех стажеров проверили и подписали ГПХ (надеюсь)

P.S. Скорее всего у людей с улицы стажеров был доступ к данным, утечка которых нежелательна

UPD Сначала забыли ГПХ оформить, теперь забыли, что один экземпляр должен остаться у меня. Так научу людей людей работать. Простите


@danasone_blog

❗️Как при 30k фичах не переобучиться❓

📍Если посмотреть model.feature_importances_, то многие не весят ничего

0⃣ np.random.choice

5⃣ ...

🔟 рекурсивный отбор фич

Есть ещё идеи?

🥈Baseline удержал в топ 2 с первого сабмита🔝

🤡Уже не в первом соревновании с текстом побеждаю с этой идеей, хотя на питче вызывает недоумение.

🗑Часто вижу в качестве базового решения извлечение фичей из текста руками или CountVectorizer'ом и обучением бустинга. А продвинутый пайплайн представляет из себя новый BERT от Сбера с линейным слоем.

📍Хочется как-то объединить подход с фичами (особенно, когда в таблице не только текст) с сильными трансформерами, "понимающими" текст.

📌Давайте пропустим текст через энкодер предобученного трансформера, last_hidden выход через разные пулинги и объединим.
📌А что нам мешает взять таких несколько? В эпоху HuggingFace эта идея ограничена лишь объëмом ОЗУ.
📌По итогу получили много фичей (мой рекорд >30k), обучим на этом CatBoost и всё это без больших затрат GPU


@danasone_blog

💬 На конкурсе были ВТБ, Газпром, Яндекс — многие пошли туда. А я выбрал Альфу, потому что там ребята с адекватными лицами.

Прошлым летом десятиклассник Данил Астафуров попал на конкурс инновационных проектов для школьников и записался в нашу команду. А теперь он работает в Альфе — обучает нейросеть точнее оценивать кредитный рейтинг.

Как такое возможно? Данил занимается IT c восьмого класса: сначала был лицей академии Яндекса, потом десяток разных хакатонов. В этом году он победил в Национальной технической олимпиаде, а недавно выиграл стажировку в Альфе — за неё соревновались 300 человек.

На стажировку Данил вышел в начале июля — после того, как получил аттестат в школе. Вот что он говорит про работу: «В Альфе мне больше всего нравится, что люди понимают, зачем они это делают. Каждый процент точности экономит банку деньги».

А ещё Данил учился на курсах в Тинькофф. Но работать пошёл к нам 😉

@alfabank

Channel created