Лидерство и ИИ [Артем Бондарь]

Полностью согласен. DSы часто абстрагируются от реальной бизнес-задачи и углубляются в рост исключительно ML-метрик

Но бывает и обратное: бизнес-менеджеры воспринимают DSов как инструмент для роста NDCG/Gini, а не как специалистов, способных формулировать бизнес-гипотезы и создавать новые пользовательские сценарии. ИМХО, в начале карьеры оказаться у такого менеджера может застопорить рост на долгие годы.

Главная проблема в том, что оптимизация метрик в рексисе часто сводится к улучшению алгоритмов в рамках текущей продуктовой модели и текущего датасета. Правильно выбранные метрики позволяют системно улучшать качество, и это действительно даёт дельту в существующих бизнес-метриках.
Но не менее важно DS специалисту помогать бизнесу в поиске и генерации новых сценариев, которые позволяют развивать бизнес не только в глубину(улучшение текущих метрик, на текущих датасетах) а так же и в ширину (добавление новых паттернов потребления itemов, новые пользовательские сценарии и тд), это все позволяет бизнесу иметь дополнительную устойчивость и гибкость.

Несколько примеров почему важен этот "широкий" вижн:

Ютуб продолжал улучшать свои алгоритмы для горизонтальных видео, но крупный рост дал новый формат потребления вертикального контента, даже при неидеальных алгоритмах на старте

В поиске десятилетиями улучшали NDCG, @K метрики и тд, но теперь их значимость на бизнес снижается, потому что люди перешли на чтение ответов от LLM в самом начале выдачи, где уже собраны ответы на большую долю пользовательских сценариев

Spotify, когда внедрили свои discover weekly - они могли продолжать выбивать лучшие метрики на уже известных и больших точках рекомендаций, но придумали как рекомендации можно по другому упаковать и это дал сильный рост

Главная мысль в том, что DS это связующее звено между бизнесом и алгоритмами, и думать, и действовать он должен не только как kaggle-grandmaster (выбить максимум на заранее оговоренной метрике на текущем датасете), а сочетать в себе множество ролей, которые охватывают продукт целиком (Product, ML, DA, DE и тд) и думать DS должен не только о том, как добить заветные ndcg/auc и тд, а о том как в целом менять пользовательский опыт таким образом, чтобы это позволяло бизнесу расти

В тему поста выше, подписываюсь под каждым словом

Метрики

Как оно обычно бывает. Приходишь ты в новую ИИ/МЛ команду, спрашиваешь о целях и достижениях, а тебе в ответ на полном серьезе «мы вырастили горох ndcg на 0.08. В следующем квартале еще на 0.05 подрастим». Ничерта не понимаете в рексистемах и что это такое? Вот я понимаю, а мне все равно это не говорит ни о чем. И даже их бизнесовому руководителю ни о чем не скажет. Но никто конфузиться не хочет, все кивают головой, вместо того чтоб спросить «и че мне с твоего 5 эн ди си джи». Почему так?

Моя гипотеза: есть физически интерпретируемые метрики и есть абстрактные математические. По первым можно ставить цели и достигать результатов, вторые берут в отсутствии первых. И юные млщики регулярно подменяют первые вторыми.

Выручка, средний таймспент, вероятность события - все это понятно как пощупать. Выручку сравнить с цифрой зп, таймспент со своим экранным временем в телефоне, вероятность с подкидыванием кубика. Что-то специфичное, типо оборачиваемости в екоме, чуть сложнее понять на кончиках пальцев, но если понял, то понял. И в таких попугаях все цели понятны: вот на сколько метрику улучшил, на столько у тебя и карман потяжелел.

Млщики же знакомятся с метриками по учебникам. Там тоже есть физические метрики вроде accuracy. Понятно как интерпретировать: взял 100 примеров, из них 10 косячных - значит аккураси 0.90. Но проблема в том, что у любой модели есть как минимум несколько свойств, со своими метриками, а не зная какую конкретно бизнес задачу ты решаешь, непонятно какое из них ключевое. И вот ученые мужи, составители учебников заказывают рукава (или скорее хмурят высокие лбы) и пытаться собрать из вороха метрик и общих соображений синтетическую «хорошесть»: f1, например, который по сути гармоническое среднее между вполне физичными precision и recall. Вот почему тут гармоническое среднее, а не любая другая функция? Почему в dcg и ndcg экспоненциальное убывание полезности? Честный ответ:«потому» (вам могут соврать, придумав правдоподобное умное объяснение, но пожалуйста не ведитесь). Потому что по таким метрикам «в среднем паршивая модель» будет хуже, чем «в среднем хорошая».

Но нафига это тащить в бизнес кейс, где ты точно знаешь какую ценность ты хочешь получить и измерить? Бери и строй себе прокси метрики к твоим целевым, можешь даже тервер вспомнить, чтоб поточнее вышло. Ладно еще по метрикам из учебников сравнивают модели и выбирают субоптимальную, так еще и цели по ним начинают ставить - тогда вообще караул.

Очень я не люблю, когда люди не понимают физику процесса, за который берутся. В анекдоте про математиков и физиков в поезде я безусловно на стороне физиков: счетоводы прячутся от жизни в туалетах, а физики в итоге выходят раз-на-раз с кондуктором. Выбираем жизнь, а не симулякры!

Чемодан

Я раньше очень много читал. А потом решил, что и так все понял, и перестал читать. Моя супруга (ее библиотека на фото), как идейный борец за аналоговую жизнь, не могла с этим смириться, и разными ухищрениями пыталась втянуть меня в чтение-как-досуг.

В ход шли уговоры, тизеры интересных книг, совместные походы в книжные, вроде «подписных» (где я пил кофе и смотрел а окно), многое, многое, но я был неприступен. Даже когда все условия подталкивали к чтению, я, под ироничные замечания жены, брал что-то монументальное: Ветхий Завет, книгу о славянских обычаях в дореволюционной орфографии, Мирчу Эллиаде. На меньшее я был не согласен, и минут, в среднем, через семь я эту книгу закрывал и открывал рилзы.

Тогда она сменила тактику: стала подбрасывать книги в места моего отдыхновения, но я как ниндзя уклонялся и избегал ловушек. Но мне все же было суждено споткнуться и споткнулся я о чемодан Довлатова.

Довлатов классный: не заламывает руки в стенаниях «да чтож это то за жизнь такая», не рисует лубочную картинку, не читает нотации, а с большой любовью и вниманием и иронией описывает не самую благополучную жизнь, ну в общем, какая она и есть.

Короче. Я его перечитал и как-то выбрался из нечитовой берлоги. Такой вот gateway drug получился. Горячо рекомендую.

Хотел написать пост про цифры с потолка, а получился мем.

Игры, в которые играют люди управленцы

Я перешел в управление из инженерии, причем существенную часть пути прошел в стартапах, где тебя не наставляет корпоративная машина менторинга, и приходится разбираться самому. В такой траектории есть свои плюсы (она как минимум веселее), но неосознанность в некоторых важных вопросах долго портила мне жизнь.

Одним из самых вредных заблуждений было непонимание ключевой цели работы управленца моего типа. Очевидно, есть позиции, где ты скорее должен быть операционным руководителем, который удерживает статус-кво и следит, чтобы все не развалились, но в техе, как правило, от тебя ждут другого.

Ценность управленца такого типа - в изменениях, которые ты привносишь в компании. Иногда это изменения индуцированные внешними обстоятельствами, иногда это изменения начатые по собственной инициативе. Есть простой проверочный вопрос: «а что было бы, если бы я вообще ничего не делал весь год». Если для компании картина радикально не меняется в этом мысле-эксперименте, то это нехороший сигнал. И тут совсем не важно, как много ты напрягался и вещей сделал. Компании стало в итоге в лучше, или же ты просто классно провел время в компании умных и интересных людей? (По идее именно в таком духе и должны проходить перфоманс ревью, но к сожалению это далеко не везде так).

На линейных управленческих позициях это непонимание не слишком мешает успешно справляться с работой: можно опереться на то, что тебе спускают сверху в виде задач. А вот на более высоких уровнях у тебя появляется гораздо больше агентности, и ты во многом сам начинаешь формировать себе и другим повестку. Вот там надо очень аккуратно выбирать за какие вопросы ты берешься, так как в крупной организации всегда «все не так», и можно умереть пытаясь все привести в порядок (что обычно и не нужно). И вот эта приоретизация через масштаб потенциальных изменений помогает в этом море не утонуть.

В такой парадигме если тебе предлагают огромную поляну, где куча народа в подчинении, большие обороты, но все хорошо - это вполне может быть заслуженная пенсия. Да, высокий статус, хорошая компенсация, но при этом карьера встает на паузу. Сложно будет сделать инкремент (на практике, не совсем так конечно - через год грянет кризис и изменения будут огого, но идею вы поняли).

Постом выше я писал, что «жадничать не хорошо», и надо знать, когда отдать кому-то сервис в управление. Это не какой-то альтруизм, а вполне себе рациональная задача оптимизации, где ты пытаешься разменять свою энергию на максимумальняй импакт для компании по наилучшему курсу. В такой постановке полезно раздать непрофильные активы.

А еще это требует психологической перестройки: мы же хотим стабильности, безопасности. А тут получается, что стабильность для тебя - это конец. И работа хорошего управленца - конечна. Что сначала пугает, а потом наоборот делает жизнь проще.

Очень полезно знать, в какую игру ты играешь. (Фото прилагается: смотрите, какой в пиджаке я тут весь из себя, ну?)

Первый снимок - это команда Blueprint человек в десять снимает меня и ретуширует.

Второй - я перед сьемками делаю кривой снимок на айфон, чтоб посоветоваться с женой, стоит ли выкупить лук со сьемок.

Внимание вопрос: что вообще происходит?

🌚 - если блюпринт молодцы, а у меня просто блин вместо лица на самом деле
🥴 - если мыльница айфона >> команда модных фотографов

Большие стройки (или как мы строили профессию ИИ-тренеров в Т)

Наша культура учит нас, что все масштабное и важное рождается через искру гениальности, жертву и подвиг. Причем как массовое искусство, так и серьезные художники (новелла «колокол» из страстей по Андрею Рублеву, к примеру). Хотя если посмотреть на реальность, то там чаще побеждает невзрачный кропотливый труд, искренняя любознательность и фокус на цели.

Я тут недавно осознал, что развивая LLM в Т, я как-то незаметно для самого себя выстроил в компании новую профессию: ИИ-тренера (несколько сотен человек). Попроси меня сейчас провернуть что то подобное - я в ужасе убегу, а там как-то оно шаг за шагом и построилось. И если смотреть на шаги отдельно, то не так уж оно и страшно:

1. Цель
Наверное самое главное, что цель у меня была максимально конкретная и измеримая: наши LLM должны были в короткий срок обогнать по качеству ChatGPT в одном из продуктов (был 23-й год). И в достижении этой цели мы уткнулись в данные. Так что на первом этапе мы просто пытались решить проблему некачественных разметок. Без всяких высоких мыслей о построении профессии.

2. Ищем экспертизу извне
Если проблему можно закрыть деньгами, то это не проблема а расходы. Мы изначально попытались выстроить работу почти со всеми ру-вендорами разметок. Давали тестовое задание, делали две-три итерации и понимали, что не идет: и итерации медленные и качество хромает. Но зато в процессе этих мытарств мы поняли, что конкретно ищем и открыли найм. В тот момент Сбер и Яндекс решали похожую задачу, так что мы просто скопировали их JD и пытались кого то оттуда дернуть. Нам с этим невероятно повезло и самый первый найм был очень удачным - к нам вышла Гаяна, которая помогла нам избежать каких то типовых ошибок. Сейчас она возглавляет этот отдел.

3. От нуля к единице
Самый сложный этап - это собрать команду первых 5-10 человек и получить от них качественную работу. На этом этапе я вовлекался максимально: мы искали эйчаров которые работали с наиболее похожим профилем людей и помогали нам в итоге с масс наймом, вместе готовили и смотрели тестовые, анализировали зарплаты. Дальше мы пробовали разный инструментарий для работы, разные модели оплаты и подходы к построению цикла обратной связи. Если бы я отключился в этот момент, то скорее всего вышло бы что то странное, потому что именно у меня в голове был образ результата. На этом этапе мы осознали с какой стоимостью и скоростью мы можем работать, какая иерархия команды нужна и кто в ней за что отвечает. И тем самым закрыли продуктовую задачу. Эти первые шаги в разных компаниях проходят по разному: где-то корпорация помогает тебе, подкидывая готовые организационные примитивы, где-то тормозит бюрократией. Нам вот повезло - Т умеет работать с творческими профессиями.

4. Масштабирование
Sweet-spot любого управленца: ключевые люди собраны, команда саморегулируется, появилось много заказчиков. Тут моя роль скорее была в том, чтобы у нас появилось верхнеуровневая приборная панель, на которой мы видим системные болячки, и настройка взаимодействия с заказчиками. Здесь важно всем объяснить, кто за что отвечает, у кого какие управленческие рычаги, получше подумать про финансы, рост людей, и что для нас «здоровое состояние». Если сам крутил винтики на шаге ноль - то уже несложно.

6. Отпускаем в свободное плавание
Мне кажется для управленца очень важно понять, когда пора выходить из проекта или закрывать его и разбирать команду. Если система хорошо настроена, то полезно найти кого-то, для кого обязательные операционные проблемы будут вызовом, а не рутиной, и отдать рычаги управления. Это был для меня первый раз, когда я сам захотел отдать кому-то рабочий, без-проблемный сервис, чтобы сфокусироваться на задачах, которые меня растят. Жадничать контрпродуктивно (надо себе почаще это напоминать).

Вывод такой: если бы изначально я ставил перед собой задачу создать профессию ии-тренеров, то мы бы намудрили и ничего бы не построили. Но так как на каждом этапе мы брали посильную практичную
задачу, то в итоге у нас получилась здоровая структура с грамотной системой управления.

Убираем снег в пост-индустриальной цивилизации

Москву и Подмосковье завалило снегом (рекорд за последние пол века). Мне посчастливилось в это время оказаться в деревне, где если ты сам его не почистишь, то через пару дней окажешься забаррикадированным в своем доме до весны. Так что ноги в руки (точнее лопату в руки) и вперед чистить.

У whoop, к слову, чистка снега - это одна из доступных активностей, и судя по зафиксированным показателям нагрузки - не самая легкая. Набил дневную норму strain, помахав сорок минут лопатой на свежем воздухе.

Но главное, что я для себя вынес - это то, что пост-индустриальная цивилизация украла у нас осмысленный физический труд. И эта мысль многое расставила на свои места. Меня всю сознательную жизнь преследует парадокс: я очень люблю физические нагрузки, но при этом не могу нормально втиснуть спорт в свою рутину. После короткого медового месяца с очередным плаванием/бегом/лыжами/etc, спорт по-английски, не прощаясь выскальзывает из моего расписания.

Ведь в какой-то момент уже невозможно игнорировать вопрос «а куда ты, собственно, бежишь/плывешь/скачешь в присядку»? Стоишь в пробке из-за перекрытого садового кольца смотришь на всех этих спортсменов и особенно остро понимаешь, что куда бы эти прекрасные люди не бежали, прибегут они туда же откуда начинали - бегут то по кругу. Ясно, что есть много рационально звучащих ответов: «здоровье, энергия, подтянутость, хорошее настроение» звучат разумно, но не слишком конкретно: это что то что случится потом, а прямо сейчас ты тратишь сорок минут на дорогу, парковку, переодевалку, чтобы перебирать ногами в душном помещении на беговой дорожке, глядя на медленно меняющиеся циферки.

Я как-то обходил эту проблему и раньше: ну там делаешь пробежку до дальней кофейни, где берешь кофе. Или идешь в дальний поход чтобы там развести костер и посидеть. В общем старался найти хоть какую-то самую захудалую цель.

Со снегом все по-другому: не уберешь - будет беда. В такой постановке у меня ноль проблем с мотивацией. Более того: вижу с утра что снег идет: уже в приятном предвкушении полезной тяжелой работы. Сейчас перечитываю Анну Каренину, и там Левин (читай, аватар самого Толстого) понял ровно ту же истину и кайфует от сенокоса. Потому что здоровое тело просит нагрузки, а разум смыслов. И тягать гири выглядит как плацебо для меня.

А теперь давайте представим следующий шаг: когда большие языковые модели лишат нас здоровой мотивации качать мозги. Даже представлять не хочется, верно?

Что с этим всем делать? Если честно, решительно непонятно.
(Фото кошки для бОльшей художественности прилагается)

Channel created