Рома Филев против FOMO

H₁₄₈ — юник опортунити

Как вы знаете я занимаюсь антифродом в Революте сейчас

В прошлый раз мы перевыполнили KPI по автоматизации на более чем 150% и а этом квартале это позволило нам пробить исторический за пару лет минимум по абсолютной сумме фрода, то есть несмотря на быстрый рост клиентской базы общая сумма украденных денег меньше, чем была несколько лет назад.

Сейчас мы строим для всей компании платформу авто-аналитики процессов с классическими моделями и Ии агентами, предложением изменений и трекингом их и здоровья всего бизнес процесса. Уже сейчас из пилота такой платформы инсайты по очень быстрым сигналам фрода идут сразу в ИИ агентов, а мы просто наблюдаем

В детекции мы сейчас файн-тюним нашу большую модель PRAGMA и строим кастомные сеточки, чтобы ловить самый замысловатый фрод, причем это не должно никак замедлять выходы на новые рынки

Чтобы это все строить я ищу в команду к себе дата-саентиста: надо уметь в классический мл, уметь в сеточки и уметь строить агентские системы, включая эвалы

Помимо опции моей команды есть еще 2 вакансии в другие типы финкрайма

Пишите мне в личку свои резюме, я пореферю тех, кому это актуально.

Давайте вместе спасать людей от мошенников
Репосты приветствуются

🚀🚀🚀

Врываемся в привычный ритм с доклада в совершенно топовой компании.

Про свадьбу сделаю отдельный пост, гугляли больше недели. Пока давайте про ИИ поговорим )

Большая конференция про AI-юзкейсы и AI-скиллы из Revolut, Yandex, Doordash, Nebius, Т-банк и других ⚡️

8-10 сентября снова соберемся вместе с самыми топовыми профессионалами!

И с максимальным позитивом обменяемся самым свежим опытом использования AI в личной продуктивности и эффективности команд 👀

Это хорошая возможность оставаться на острие возможностей AI в работе

На грядущей конференции своим опытом использования AI в работе и бизнесе поделятся продакты, маркетологи, инженеры и основатели из: 

• Plata
• Т-банк
• Nebius
• Yandex
• Revolut
• DoorDash
• Whisper AI
• И других команд

Только реальные юзкейсы внедрения AI в работы компаний и команд. 0 теории ⚡

Отличная возможность перенять опыт у лучших 

И не повторять их ошибок

Большая AI-конференция пройдет 8-10 сентября со стартом в 17:00 СET / 18:00 МСК

Всё бесплатно и без необходимости регистрироваться на кучу TG-каналов

🔥 РЕГИСТРАЦИЯ и подробное расписание выступлений на сайте Community Sprints 🔥

Вышла замуж про температуре 40 (даже 43) с кольцами единорожками

Это я женился приколите

H₁₄₇ — дизрапт или дестрой?

В этом квартале мы делаем много инноваций: автоаналитику про которую я говорил ранее и теперь еще одно очень сильно продуктовое изменение — будем делать ИИ звонки, чтобы на масштабе разрывать связь мошенника и жертвы.

Но пока ты бежишь вперед остается техдолг, а техдолг потом не дает бежать вперед, это как будто каждый километр тебе добавляют утяжелитель на 1кг: первые несколько ты не сильно ощущаешь, но вот через какое-то количество становится очень трудно.

Утяжелитель можно снять и побежать дальше, но что если чтобы его снять надо пробежать 1км назад и потом ты сможешь бежать без него?

В общем есть у нас ИИ-агент исследователь, он старый, ему уже 2 квартала (совсем ИИ-дед). Причем он постоянно развивается, но части становятся громоздкими. Так он построен. Решили нежно его отрефакторить, разбить некоторые громоздкие шаги на несколько, удобных: чтобы можно было не все сразу делать, а часть вообще делать параллельно.

В целом это возможно, но в ходе исследования наша дата-саентистка посмотрела практику коллег и некоторые уже сделали агентскую систему еще агентнее! Там все как в лучших подкастах: генерация тредов, внутри них идет расследование пока не закроется главная задача — миссия агента. Идет репликация, все соединяется.

И вот интуитивно, да и на практике вроде круто это кажется. Но KPI то мы перевыполнили больше, чем на 150% с дед агентом, а остальные нет. Понятно, что так было удобнее и что новый подход кажется логичным. Но стоит ли брать этот большой кусок и делать. Итеративно пока не кажется, что получится, но ищем варианты. Пока это one-way-door.

Вот думаю: дизрапт это и все полетит или дестрой и все поломается. Побежав свой километр назад, сняв утяжелитель и вернувшись в исходную точку не остану ли я в забеге в котором в целом на хорошей позиции?

Узнаем в следующих сериях.

H₁₄₆ — пишу статью с помощью басни

Я после самой большой в Европе конфы по экспериментам вписался писать статью. Компания приятная, название хайповое. Цель повторить или даже превзойти успех нашумевшей в свое время Top challenges from the first practical online controlled experiments summit. Состав более европейский: Спотифай, Заландо, Рома Филев, Букинг. Ну вобщем понятный логический ряд.

Моя зона ответственности тема Quality / Velocity Trade-Off. На самой конфе ее много обсуждали, я все кропотливо заносил в заметки с соавтором. Потом на след день у нас был воркшоп, где я, мой соавтор и еще 10 экспертов из области разгоняли тему, делились опытом, рисовали на доске, в общем бурлила работа. Я все кропотливо записал на Гранолу. Прям несколько раундов дискуссии.

Как многие из вас знают господа из Антропика разрешили нам попользоваться Fable еще немного и до 7 июля каждый смертный с подпиской может поиграть с моделью следующего поколения.

Насобирал контекст из заметок, Гранолы, чужих имейлов, оригинальной статьи и базы знаний, которая доступна вам по ссылке, шок как нам всем повезло... Добавил поверх четко структуру и идею как я ее вижу ——->>>> получил очень неплохой драфт (шок). Делал на Fable с порядочным уровнем ризонинга, он прям думал, вдумывался, вопросы мне позадовал, но в план моде за пару правок определились что он сделает и я смотрю на очень приятный документ. 🪄Магия 🪄

Или нет?
На самом деле очень редко доволен ллм-документами, ну не умеет сетка структурировать мысли достаточно хорошо, поэтому структурой, идеей, целью и посылом надо управлять самому. Она хорошо работает с контекстом, редактурой, но не идеей и смыслом. Так и тут: смысл, посылы и структура были переданы мной. Стиль был тоже мой (в корпусе знаний есть мой телеграм канал как минимум). Клод зная все это очень хорошо выполнил роль складывателя информации по тз, но уровень качества от пары итераций по мне сильно выше, чем был раньше. То есть фейбл что-то могет.

Конечно еще буду вычитывать/править/переделывать, ну и ревью авторского состава никто не отменял. Ждете статью? Попробуете угадать какой там набор тем? Го в комменты

H₁₄₅ — мой неоновый план

В пятницу вечером сильно грузить не хочется. Расскажу прикольное изменение которое в своей работе заметил.
Я сейчас много работаю чисто в консоли с клодом: жира, ноутбуки, даже разные платформы наши дергаю из него и это просто серый экран по большому счету и на графики еще смотрю.

И тут я подумал: а почему? Неужели это удобно так? Когда-то, удобно, но часто нет. Хватит это терпеть! (решил я)
Хочу свой роадмап из жиры и мд файлики в репозитории превратить в интерактивную страницу и чтобы я мог по ней перемещаться и все было с последними примерами решения и открытыми вопросами по каждому эпику! (сказал я Клоду) ((ну может не прямо так сказал, а получше требования изъявил и на английском, но вы поняли меня))

И мне выдалась интерактивнейшая страница, которая очень прикольно отражает мои мысли, всегда видит актуальное состояние прода в платформах и по коду и апдейтит роадмап + ⚡️она красивая неоновая с темной темой⚡️

Я по ней прохожусь, прокликиваю что мне нравится и что нет, потом могу дать фидбек клоду в консоли и увидеть новый результат, версионность соблюдается, презентуется на ура, а еще мне просто веселее с этим работать.

Теперь часто генерю такие странички себе и коллегам, есть, конечно, к стилю игривому замечания, но пока с этим работать приятнее и удобнее

Советую вам попробовать. Если есть какой-то сеточный лайфхак — делитес в комментариях

H₁₄₄ — квартал закрыт, да здравствует квартал

Ну что ж, вот и подошел к концу мой первый от и до запланированный и закрытый квартал в Революте.

Главным KPI было уменьшение участия людей в процессе, внедряли много AI, много узнали про себя, по пути доделывали платформу. Поупражнялся в офлайн экспериментах на процессах с большим количеством неопределенности, весело. Придется упражняться дальше.

Но главное, что цель закрыли на 150%, то есть план перевыполнен, уровень автоматизации уже скребется об 100% и самое приятное понятно как до него дойти.

Фрод хоть и близился к рекордно низкому за 2 года показателю, но тут немного не дожал, в этом квартале уделю этому больше времени и у этой цели теперь вес в общем зачете повыше. Есть большая уверенность, что фрод будет побежден. Посмотрим как пойдет, но я уже накидал роадмап и всем все понятно, а это хороший знак, начало лучше, чем в прошлом квартале)

Будет много веселого, но пожалуй жемчужиной будет майлстоун, который станет заменять меня, аналитиков и опсов в процессе анализа кейсов, будем строить систему, которая сама в себе будет искать уязвимости и тестировать гипотезы по улучшению. Вообще то, что можно себя скоро заменить и переключиться на еще более высокий уровень абстракции меня очень вдохновляет, кажется реально становлюсь AI-first. Прототипируется быстро, как продукцианализировать становится очень понятно тоже.

Таким образом общий зачет я закончил на 100% достижении взвешенных целей ровно (а за день до подведение итогов был 101% обидно🥲)
Где-то не дожал, где-то превзошел свои и менеджмента ожидания.

Научился делать демки, которые заходят + которые нравятся мне самому, могу как-нибудь посвятить пост своему фреймворку презентации результатов, чтобы разблокировать контент не стесняйтесь пользоваться комментариями и реакциями.

Очень нравится тот уровень технологий и глобальности, который мне доступен. Кстати предзаказы ГТА 6 прошли без происшествий, если кто-то переживал! Никаких волн скама не пропустили, поиграют наши клиенты без горького послевкусия.

Работаем дальше

H₁₄₃ -- давай сыграем в игру?

Уже сотни человек поиграло в квиз, решило больше тысячи задачек и, конечно, мне не хочется останавливаться на достигнутом)

Я пообщался с игроками квиза и понял, что многим не хватает «иммерсивности»: погружения в решение кейса — сейчас каждый вопрос идёт из отдельного сюжета, и вместе они не связаны.

Что ж, встречайте: квесты!

Теперь игрокам доступен новый режим: цепочка вопросов, которая формирует единый кейс, и разбор в конце.

Квизы так и останутся раз в 2 дня, а квест будет доступен пока что раз в неделю бесплатно, а подписчикам — 3 квеста в неделю и полный разбор полётов)

H₁₄₂ — доИИгрался

Недавно я рассказывал, что делаю на работе такую автоматизацию аналитики: ищет фрод паттерны, сэмплирует много кейсов, кластеризует их и тд

Докрутил, добавл бектест, контекст о проде и планах, текущих тестах: теперь система понимает и может проверить на ретро данных свои идеи и выдать только то, что лучше всего попробовать, а также бегло оценить то, что уже идет.

Скоро добавлю новостную ленту для агента-инвестигатора, чтобы можно было в реальном времени читать "новости" про трендовый фрод и реагировать. Например недавно были продажи ГТА 6 и oh boy we were ready 😎

Эта тема хайпанула на уровне всего департамента, так что... теперь я буду делать такую систему для всего финкрайма как один из своих майлстоунов. Уже есть много амбициозных планов, но я в целом верю, что фрод мы сильно хакнем, про результаты второго квартала немного рано говорить, но есть шанс пробить рекорд по абсолютному объему за несколько лет, а уж относительный сами понимаете тогда на каком низком уровне.
По сути это снимает часть расследований с продактов, опсов и аналитиков, давай возможность выходить за рамки.

В общем буду теперь еще глубже погружаться во все схемы финансовых преступлений и как их автодетектить, чтобы наши многочисленные агенты могли пользоваться и защищать клиентов)

Похвастался, а теперь о принципах, которые нужны и важны.

1. Обвязка (harness) — я много уделяю внимания тому, чтобы был доступ только к нужным данным, он был стабильный и агент знал, что с этим делать. Контекст тоже весь и не из документации, а я настроил, чтобы само состояния прода интерпретировалось в понятную агенту схему. А то знаете ли: дока не прод, только прод прод. Ауф
2. Концпеция непрерывного развития. Тут надо придумать себе лосс функцию и оптимизировать агентскими системами. Например я уменьшаю фрод, не увеличивая хедкаунт и негатив пользователей. Научиться ее вычислять и давать системе фидбек. Вот тут система еще не автономна у меня, но надеюсь в течение нескольких месяцев это изменится.

Знаю, что задолжал вам вебинар, запустим в пн курс и займусь ИИзацией, все помню.

Такой вот по лайту рассказ вам на пятницу

H₁₄₁ — вместо шаурмы я сравнил вас с ИИ

За целых 2.35 доллара я узнал, что вопросы на квиз ИИ-шка довольно легко зарешивает.

Значит ли, что аналитов можно и в АБ заменить? Нет! Вопросы на квизе даже в сложности ультра на мой взгляж — миддл сложность. Если помните крышесносный квиз, то там 1 человек не из нашей команды смог набрать максимум и среди 500 человек больше 70% не смогло решить больше половины.

Так что понимаем, что ИИ-шкой можно конвееризировать простые задачки (что я уже успешно делаю и довольно давно, в Т и тем более в Революте).

Ботик отлично тренирует решать простые задачки, а значит пора нам с вами двигаться дальше!
Буду разрабатывать beast-mode quiz😈 и кое-что на сладенькое еще, ждем релиз в воскресенье. (ждать надо ракетами 🚀 под постом)

А пока ждете релиз еще раз подумайте над запрыгиванием в последний вагон на курс. (29 июня стартуем!!)
Сможете решать то, что ИИ-шка нет, а ваше чувство собственного достоинства пронзит небеса, потянув за собой зарплату 🐱

Проверить себя в квизе можно по ссылке

H₁₄₀ -- давайте закрывать пробелы

В квиз @expertmaker_bot поиграло уже несколько сотен человек, да и самых квизов было достаточно много, чтобы я смог проанализировать, что западает у людей больше всего.

На картинке выше вы видите топ проблемных тем: больше половины людей ошибаются в вопросах на размер выборки, статкритерии и проблему множественных сравнений.

А ведь именно эти темы часто руинят на первый взгляд правильный эксперимент.

Что ж: давайте их практиковать вместе, по кнопке внизу вас ждет суперигра -- 15 вопросов, 5 по каждой из топ 3 тем с нарастающей сложностью и бесплатный разбор первого вопроса в котором вы ошиблись.

Такой вот подарочек от меня на выходные!
Делитесь с друзьями, давайте осваивать эксперименты вместе)