Большие стройки (или как мы строили профессию ИИ-тренеров в Т)

Наша культура учит нас, что все масштабное и важное рождается через искру гениальности, жертву и подвиг. Причем как массовое искусство, так и серьезные художники (новелла «колокол» из страстей по Андрею Рублеву, к примеру). Хотя если посмотреть на реальность, то там чаще побеждает невзрачный кропотливый труд, искренняя любознательность и фокус на цели.

Я тут недавно осознал, что развивая LLM в Т, я как-то незаметно для самого себя выстроил в компании новую профессию: ИИ-тренера (несколько сотен человек). Попроси меня сейчас провернуть что то подобное - я в ужасе убегу, а там как-то оно шаг за шагом и построилось. И если смотреть на шаги отдельно, то не так уж оно и страшно:

1. Цель
Наверное самое главное, что цель у меня была максимально конкретная и измеримая: наши LLM должны были в короткий срок обогнать по качеству ChatGPT в одном из продуктов (был 23-й год). И в достижении этой цели мы уткнулись в данные. Так что на первом этапе мы просто пытались решить проблему некачественных разметок. Без всяких высоких мыслей о построении профессии.

2. Ищем экспертизу извне
Если проблему можно закрыть деньгами, то это не проблема а расходы. Мы изначально попытались выстроить работу почти со всеми ру-вендорами разметок. Давали тестовое задание, делали две-три итерации и понимали, что не идет: и итерации медленные и качество хромает. Но зато в процессе этих мытарств мы поняли, что конкретно ищем и открыли найм. В тот момент Сбер и Яндекс решали похожую задачу, так что мы просто скопировали их JD и пытались кого то оттуда дернуть. Нам с этим невероятно повезло и самый первый найм был очень удачным - к нам вышла Гаяна, которая помогла нам избежать каких то типовых ошибок. Сейчас она возглавляет этот отдел.

3. От нуля к единице
Самый сложный этап - это собрать команду первых 5-10 человек и получить от них качественную работу. На этом этапе я вовлекался максимально: мы искали эйчаров которые работали с наиболее похожим профилем людей и помогали нам в итоге с масс наймом, вместе готовили и смотрели тестовые, анализировали зарплаты. Дальше мы пробовали разный инструментарий для работы, разные модели оплаты и подходы к построению цикла обратной связи. Если бы я отключился в этот момент, то скорее всего вышло бы что то странное, потому что именно у меня в голове был образ результата. На этом этапе мы осознали с какой стоимостью и скоростью мы можем работать, какая иерархия команды нужна и кто в ней за что отвечает. И тем самым закрыли продуктовую задачу. Эти первые шаги в разных компаниях проходят по разному: где-то корпорация помогает тебе, подкидывая готовые организационные примитивы, где-то тормозит бюрократией. Нам вот повезло - Т умеет работать с творческими профессиями.

4. Масштабирование
Sweet-spot любого управленца: ключевые люди собраны, команда саморегулируется, появилось много заказчиков. Тут моя роль скорее была в том, чтобы у нас появилось верхнеуровневая приборная панель, на которой мы видим системные болячки, и настройка взаимодействия с заказчиками. Здесь важно всем объяснить, кто за что отвечает, у кого какие управленческие рычаги, получше подумать про финансы, рост людей, и что для нас «здоровое состояние». Если сам крутил винтики на шаге ноль - то уже несложно.

6. Отпускаем в свободное плавание
Мне кажется для управленца очень важно понять, когда пора выходить из проекта или закрывать его и разбирать команду. Если система хорошо настроена, то полезно найти кого-то, для кого обязательные операционные проблемы будут вызовом, а не рутиной, и отдать рычаги управления. Это был для меня первый раз, когда я сам захотел отдать кому-то рабочий, без-проблемный сервис, чтобы сфокусироваться на задачах, которые меня растят. Жадничать контрпродуктивно (надо себе почаще это напоминать).

Вывод такой: если бы изначально я ставил перед собой задачу создать профессию ии-тренеров, то мы бы намудрили и ничего бы не построили. Но так как на каждом этапе мы брали посильную практичную
задачу, то в итоге у нас получилась здоровая структура с грамотной системой управления.