Big Ledovsky | AI изнутри

OpenAI прекращают поддержку файнтюнинга моделей

Новость, которая отражает какие подходы побеждают, а какие проигрывают 💀

Насколько я вижу вокруг: вау решений на LLM, дообученных LoRa адаптерами не получается. Хотя я не настолько категоричен как автор LLM под капотом, который считает эту ветку тупиковой.

Дообучением занимаются, когда хотят получить хороший результат на маленькой модели. Но это трудозатратный и нестабильный метод.

Лучше сперва делать решение на больших моделях, а затем думать как удешевить.

Мы так и поступили на нескольких проектах. В одном кейсе экономика на самом деле уже сошлась. А если что, ее можно удешевить продуктово, ограничив тех, на кого раскатывается фича.

А в другом экономика тоже сходится, но хочется более быстрых ответов. Поэтому мы обучаем легкий декодер (не факт что на основе LLM). Интересно что получится. У нас оптимистичные ожидания 😎

История блокировки не клода

Телеграм гудит от массовой блокировки аккаунтов клода россиян 🔫. Вот вам другая свежая история.

Мы какое-то время назад создали аккаунт OpenAI. Все официально, в белую, на рабочие почты. Компания у нас международная. Положили денег, стали использовать, подняли тир. И тут нас резко банят. Всем, кто был добавлен в организацию приходят отбивки о блокировке. Причина.. дистиляция. Деньги которые мы положили естественно не вернули 💸 (хотя честно говоря это последнее, что меня беспокоило).

Никакой дистиляции конечно мы не делали. Размечали релевантность поиска и тюнили промпты для переводов. Видимо за тюнинг промптов через DSPy нас и забанили.

Мы написали с двух аккаунтов аппеляцию, что мы ничего плохого не делали. Две недели ответа не было и мы уже думали куда писать дальше (например, чуваку на форуме в такой же ситуации помогло только публично пожаловаться, что ему не отвечают). Неожиданно через две недели на один аккаунт пришел ответ, что мы были заблокированы ошибочно и этот аккаунт разблокировали. Правда автоматика работает странно и все остальные аккаунты все равно не разбанили. Нужно теперь и с ними что-то делать 🦶

Мораль

Завязываться на внешних провайдеров LLM опасно. Однако использовать их все равно нужно. Поднимать топовые модели самим - нужно иметь вескую причину и огромный бюджет на железо. Не говоря уже о том, что закрытые модели сейчас работают реально лучше.

Не завязывайтесь на одного провайдера. Продумывайте план, если вас отключат, чтобы у вас не встал прод. Мы именно это и сделали.

Собираюсь на Inside AI Meetup от Wildberries & Russ

Программа очень интересная: LLM, поиск, рекомендации, модерация, ML инфра. Собираюсь пойти сам и готов порекомендовать остальным. Вот чуть более подробное описание.

—

На митапе обсудят реальные кейсы: от высоконагруженной модерации с векторным поиском и AIOps-подходов к управлению ML-сервисами до практики построения RAG-систем, тонкостей реранкинга и реальных этапов запуска LLM-продуктов.

▫️Выступать будут: эксперты Wildberries & Russ, MWS, Avito, Сбера, Альфа-Банка, red_mad_robot.

▫️Кому будет интересно: senior ML/AI инженерам, MLE, DS, инженерам платформ и всем, кто строит или масштабирует AI-системы в продакшене.

▫️Когда и где: 20 мая, старт в 15:00. Москва + онлайн-трансляция.

Регистрируйтесь и приглашайте коллег! Подробности — на сайте.

Что я поменял в DS работе

Я не люблю Jupyter ноутбуки как результат DS работы 🔫 Отдельно можно поговорить почему. Но так или иначе раньше отказаться от них не получалось

Появление кодинговых агентов все поменяло. Мы с командой постепенно переходим на следующую схему

- Python скрипты
- Оформление выводов в маркдаун а затем сразу на конфлюенс
- Визуализация в streamlit

Почему

1. Выяснилось, что удобная механика «запустил ячейку, получил вывод» заменяется на «агент запустил скрипт и красиво оформил результат в markdown»

2. Клод нереально быстро клепает стримлит. А стримлит это полноценный дашборд / data app. Для каждого проекта я делаю свой стримлит, как полноценный сервис в кубере. Выкатывается одной командой и сразу доступен коллегам

Ноутбуки остаются только как средство вручную что-то покопать. Для чего они и нужны 😌

Всем привет!
Хочу поделиться запуском соревы - https://ods.ai/competitions/avitotechmlcup2026

Так как времени не так много, а соревы я люблю то нашел такое хобби:
запускать соревы самому

В этот раз вложились гораздо больше чем год назад (задача про ноды):
1) Большой относительно рекомендаций объем данных - в 20 раз больше с прошлым годом
2) Более продуманная метрика - есть баланс по вертикалям + геп. В прошлый раз был весьма обрезанный датасет
3) Гораздо ближе к текущему проду чем в прошлом году - завязываемся на item_id, а не на ноды

Залетайте в соревку и делитесь инсайдами :)
PS это сорева сделана полностью на добровольных началах из за любви к ds. Ну почти - мне еще дадут мерчь :)

Хочу прорекламировать Толино соревнование по рекомендациям.

Датасет - на 170 млн айтемов и 5 млрд взаимодействий. Это очень серьезно. А данные Авито очень интересные.

На мой взгляд одно из топовых ds-соревнований последних месяцев. Если хотели где-то поучаствовать, сейчас самое время.

Вакансии в аналитику

Всем, привет!

Я уже рассказывал про свою новую компанию и про Data Science вакансии. Но я знаю, что меня читают не только DS, но и много аналитиков. Поэтому сегодня расскажу про вакансии в аналитику.

Head of Analytics - Юра Фандеев. Юра проработал в Авито много лет и был одним из тех, кто создал мнение про аналитику Авито, как лучшую на рынке. Команда у Юры отличная. С Женей Мурзаевой, руководителем одной из команд, мы когда-то запускали в Авито продвижение за бюджет (вы его видите, когда подаете объявления в товарах). Дальше описание от Юры.

—

Ищем продуктовых аналитиков в нашу команду. Уровень middle/middle+.

Что вы там делаете в аналитике? У вас же продукт еще не запущен, данных нет

Выстраиваем аналитику продукта с нуля, чтобы быть максимально готовыми к запуску.
От логирования до витрин, от метрик до дашбордов – всё это создается и прорабатывается прямо сейчас.
Вам не придется работать с легаси. Вы сами будете создателем легаси.

Кроме того, мы помогаем бизнесу и продукту готовиться к выходу на рынок, помогая находить ответы на самые открытые и сложные вопросы.
А сколько у нас будет юзеров через N месяцев? А как нам монетизировать продукт? А какие локации плохо покрыты подключенными службами доставки? А как управлять балансом спроса и предложения?

Сегодня вы прорабатываете логирование с разработчиками поиска, завтра играетесь с катбустом, послезавтра анализируете конкурента.

Какая команда?

У нас пока две команды аналитики. Тимлиды – Маша Новикова и Женя Мурзаева. Вы могли видеть их в "Коммуналке аналитиков Авито" (а у Жени также есть свой канал)

Еще из плюсов – команды только формируются, и за аналитиками не закреплены конкретные стримы. Вы можете успеть поработать с разными направлениями и выбрать то, что больше по душе.

Какой стек?

СУБД – Clickhouse + Trino
Визуализация – Redash
АБ-тестирование – Trisigma
Приветствуем осознанное применении ИИ-агентов (есть компенсация подписки)

Условия работы

Предпочитаем гибрид (периодически встречаемся командой вживую), но нанимаем и на полную удаленку.
Офис на Менделеевской.

Приходите. У нас весело как в стартапе, а зп как в корпорации.

—

Присылайте резюме и задавайте вопросы в лс @GeorgeFandeev

Репосты приветствуются!

Как ассистенты ухудшили существующие продукты

Желание менеджеров сделать AI во чтобы то ни стало не приводит ни к чему хорошему 🤮

У меня есть два примера плохого на мой взгляд использования ассистентов.

Первый - это Госуслуги. Там просто отключили обычный поиск, оставив только ассистента.

Второй - Сбербанк онлайн. Там оставили обычный поиск, но если ты нажимаешь на запрос из истории, то все равно попадаешь в ассистента (например, вместо кабинета самозанятого попадаешь в диалог про самозанятость).

Ну и плюс Сбер закрыл доступ к человеческой поддержке. Для премиальных клиентов (премьер, первый) она осталась, но тебя все равно пытаются задушить AI. Поэтому я лично хожу в отделение ногами.

Оба ассистента в целом хорошие. Но они медленные. И с ними невозможно договориться, когда что-то пошло не так (=любой непопулярный запрос, обычно у меня такой, т.к. все простые вещи я и так знаю как делать).

Короче спорные решения. Создают большую когнитивную нагрузку пользователю, где этого не ожидаешь. Я вот недавно думал про добавление LLM в наш поиск, но посмотрев эти кейсы понимаю, что просто так делать лейтенси в 5 секунд нельзя 🔫

С Data Fusion 2026

Сейчас на конференции. Она получилась отличной. Хорошие треки, было что послушать. Традиционно сделали селфи с Никитой и другими ребятами.

Была интересная сессия про context multi-armed bandits. Там рассказывали про исследование, что можно использовать бандитов для холодного старта рекомендаций. Типа на 100к айтемов. Чтобы такое завести нужно применить кое-какие матричные разложения, но это работает. Интересно насколько это применимо на практике.

Начинаем https://a.teleboss.ru/room/Jn4dn4kRFz

В 19-00, через 10 минут мы начинаем с Димой стрим про обзор рынка DS/ML. Ссылку выложу отдельно! Подключайтесь 🙂

Кто должен делать агентов: DS или разработчик

👴 Когда-то очень давно DS/ML занимались разрабочики, Software Engineers

Это типа Яндекс 2010 года. Потом специальности разделились. От DS-ов стали требовать специализированного образования по машинному обучению. Разрабочику влететь в настоящий DS стало очень и очень непросто.

Однако если посмотреть характер работы, то Data Scientist - это тот, кто идет по циклу "возьми данные - построй алгоритм - получи оценку - повтори".

🦀 Что стало происходить потом

Сначала мы стали использовать больше предобученных моделей. Стало нужно больше строить обвязки вокруг модели, тюнить, дообучать и выстраивать систему оценки и улучшения.

А потом мы дошли до LLM и агентов. И теперь знаний ML при работе с ними больше не нужно. А нужно писать мнооого обвязки, тюнить промпты и выстраивать систему оценки и улучшения.

🙈 И в этом момент оказывается, что эту работу может делать и разработчик

И часто лучше чем DS: за счет инженерных скиллов и системного мышления, которое не всегда есть у творческого дата сайнтиста 🤪

Так профессии опять встретились. Я думаю, что распространение получит новая только появляющаяся в вакансиях профессия "AI инженер". Она будет означать человека, который работает над AI системой, но не обязательно знает ML.

Что думаете? Кто должен работать над созданием агентов - DS-ы или разработчики? =) Как всегда, жду вас в комментариях 🔽

А сегодня хочу рассказать про еще одну замечательную конференцию - AI Conf.

Я был на ней в 2024 году. Мы даже делали стенд командой Авито. На AI conf нужно покупать билет. Это отлично организованная конференция с высоким качеством докладов и подготовки спикеров. На ней собираются много опытных специалистов и в целом хороший нетворкинг. Уже обещают 400+ участников.

Программа достаточно сбалансирована: обычные ML доклады, LLM, инфра и воркшопы. Думаю каждый себе что-то найдет.

🎟 Билеты и подробности — на сайте конференции.

Реклама: ООО "Конференции Олега Бунина", ИНН 7733863233, erid: 2W5zFGUTFJH

разбираем рынок DS в 2026 и реальную работу изнутри - перенос эфира

Саша заболел, поэтому новые даты:
Эфир 1 - Обзор рынка DS/ML 2026: тренды, зарплаты, куда всё катится
Когда: 7 апреля в 19:00 (по МСК)

Эфир 2 - Как устроена работа DS/ML изнутри: типичный день, задачи, ожидания
Когда: 14 апреля в 19:00 (по МСК)

PS: На фотках Саша здоровый, уже улыбается, а я вместе с ним, так как все живы и здоровы)
Поставьте 🔥 на благо здоровья Саши!