Дратути Антон

Думал, хоть сегодня перестану следить за лимитами, а оно меня и здесь настигло 💀

Сегодня на Practical ML Conf в Москве!

4 года

В рабочей суете совсем забыл, что недавно стукнуло 4 года, как я в Яндексе. А вспомнил, потому что неожиданно человечек из команды поздравил при личной встречи. В этом, мне кажется, вся суть компании: она удивляет. И делает это по разному: иногда приятно, а иногда и очень больно.

За последний год изменилось куча всего, но из самого главного: команда, проекты, моя личная роль и отвественность.

Наверное, первый год, когда приходилось принимать взрослые, серьёзные решения, в которых не было "хорошего" варианта: был только хреновый и очень хреновый. Ретроспективно: решения правильные, в моменте: безумие, зачем мы так делаем. Были и решения, которые стоили нам много человеко-месяцев дальнейших страданий.

В этот год я перешёл в лигу: "чем больше я знаю, тем меньше я знаю". Я прочувствовал "чем меньше знаешь, тем крепче спишь". Также осознал "утро всему голова"!

Не, безусловно были очень крутые запуски. Много профита, много побед, ярких эмоций. Я безумно горжусь теми людьми, с кем я работаю каждый день. Я просто ахриневаю, какие люди вокруг все умные! И не то, что я глупый — вовсе нет, просто можно довериться и быть уверенным: будет сделано круто.

В общем, год произошел под философским мотивом. И каждый раз я говорю, что прошлый уже не переплюнуть, но кто знает, что будет впереди...

MM Harness [1/x]

Уже немало времени посвятил изучению мультимодальных харнесов. Если раньше, когда занимался моделями, я думал что беды существуют только на уровне модели, то увы, я прям очень сильно ошибался: сложность решений здесь растёт по экспоненте — и примерно по той же кривой растёт желание разработчиков (и иногда моё) забить на эту мультимодальность.

Ниже — список вопросов, на которые стоит ответить до того, как вы начнёте проектировать мультимодальную систему (ну или по пути, как пойдёт).

Давайте сейчас будем считать модели токенодробилками, а потому не будем углубляться в их строение, а рассмотрим систему вокруг. Допустим, мы делаем какого-нибудь агента, с которым ещё и можем общаться в формате диалога.

Интерфейс
Проблемы начинаются уже в тот момент, когда пользователь прикладывает картинку.
1. Загружаем оригинал или жмём? А если пользователь сидит на мобильном интернете и хочет экономить трафик?
2. Сохраняем метаданные EXIF или дропаем? Разные библиотеки по-разному обрабатывают, например, ориентацию изображения, поэтому об этом лучше подумать сразу.
3. Поддерживаем несколько изображений в одном сообщении? Если да, все остальные проблемы множатся.

Контекстный менеджер
Допустим, картинки всё-таки долетели до бэкенда и попали в контекстный менеджер.
1. Ресайзим ли мы их? До какого размера? Есть ли замеры влияния на качество? Чем больше изображение, тем больше токенов оно может занять — хотя тут всё зависит от препроцессинга конкретной модели.
2. Сколько картинок держим в контексте? Можно очень просто забить весь контекст изображениями!
3. Что делаем с картинками, которые в контекст уже не помещаются? Оставляем ли хотя бы описание или идентификатор, чтобы агент мог к ним вернуться?

Модель и инструменты
Дальше изображения уходят в модель. При этом модель может вызывать тулы, которые тоже возвращают изображения.
1. Как кладём эти картинки в контекст? Передаём модели сами изображения или только подпись "тул вернул такие-то картинки"? Другими словами, должна ли модель посмотреть на картинки, которые вернул условный поиск?
2. А в сами тулы мы какую картинку подаём? Ту самую пожатую и с ресайзом? Или какую-то другую?
3. А если передаём модели сами картинки, как поступаем, когда контекст уже ими забит?

И это только базовые вопросы доставки и управления контекстом, где правильного решения нет — есть только ваше, скорее всего компромиссное. И всё это добавляется к уже известным сложностям текстовых агентов.

Мы ещё не дошли до хранения, кеширования, безопасности и различных UI-фич.

Продолжение следует...

P.S. Календарь перевернули?)

Data Dojo & Deep Tech Night

У меня две новости: хороша и хорошая (нифига себе).

Во-первых, скоро буду выступать в Питере на Data Dojo. 9 сентября, только оффлайн! Если вдруг хотите увидеться или послушать, как мы отхватывали за костыли в проде — регайтесь и приходите: https://yandex.ru/yaintern/data-dojo. Сроки поджмают: 25 и 26 августа последние даты регистрации!!! 😍

Во-вторых, скоро в Москве, а именно 5ого сентября будет мега практическая туса про то, как AI меняет индустрию, Deep Tech Night: https://deeptechnight.ru/ — в основном в онлайне. Но мало ли, вы хотите попытать своё счастье, я прочитал лендинг и нашел ссылку на оффлайн тусу: https://deeptechnight.ru/offline. Выступать туда меня не позвали, но был в прошлом году, было очень круто, если получится, побываю и в этом! 🤨

В общем, денёчки будут плотные, попробуем справиться!

Ну, кажется пост настоялся, а потому давайте расскажу (на самом деле простите, завалило работой 😊)

В общем, у меня была всегда хотелка заиметь лодку. Насмотревшись видосиков про это дело, я решил собрать комплект.

Что мне точно хотелось:
• Иметь достаточно легкую лодку, просто потому что мне её таскать из багажника нужно;
• Меньше возни с мотором;
• Чтобы моё барахлишко там помещалось.

Поискав в интернетах, выбрал лодку 2.85 метра со слань-книжкой. Если брать лодку с НДНД, то сама лодка становится тяжелее, а так можно отдельно лодку, отдельно слань таскать. Мотор выбрал электрический, вроде бодрый. Все решения в течение 2-3 дней, с мыслью, что буду покорять речные просторы.
———————————————

Значит, обрал комплект, весь преисполненный поехал на известный водоём (Вуокса). Но немного не расчитал — не для таких рек (типа Вуоксы) подходит данный комплект. Уже даже на маленьких волнах ощущаешь себя супер неуверенно. А в этот день ещё был ветер, так меня прибило к берегу, пришлось просто вдоль с лодкой шагать ❓.

После этого я понял, что мне доступны только более спокойные водоёмы, ну хорошо... Поехал, и всё классно, вроде езжу на лодке, закидываю удочку. Спустя пару часов: а как рыбу-то искать? Проблема в том, что ну невозможно на незнакомом водоёме найти удачный коряжник в доступное время.. И вот теперь надо искать эхолот 🤔.

Дальше нужно было искать место, где это всё хранить. Не вечно же в багажнике возить... В итоге снял склад. Но я вот задумался про гараж, мб знает, где такое снимать? 😍
———————————————

Мораль какая: моих изначальных хотелок было вообще недостаточно как ТЗ. Надо было более весомо оценить вопрос и возможно тогда бы ожидания больше совпали с реальностью.

И вот подобное очень часто я наблюдаю на работе: люди часто думаю, что сделать какую-то штуку — расплюнуть, не глубляются в суть, или не разбираются, почему люди, которые это делали, сделали так, а не по другому, и т.д.

А вы как думаете, почему мы часто не углубляемся, а смотрим поверхностно?

Допустим, и чо дальше?)

Я тут на выходных решил потрогать воды и рыб различных на Вуоксе.

Итак, развлечение прекрасное!

Но данный комплект — отличный пример плохо сформированного ТЗ ради скорости!😀

Прошу в комментарии предложить гипотезы, что не так случилось с ТЗ на эту лодку?💀

Через некоторое время отпишу правильный вариант!

Песочница

Наверное, каждый из нас хотя бы раз в жизни игрался в песочнице. У кого-то при этом была гора песка, лопаточки, ведёрки, формочки — в общем, полный "жир", а у другого и песка особо не было. Часто песочница выглядела как обрамленный деревянными досками квадрат, но и гора песка без всяких барьеров — это не редкий случай, особенно в регионах 😍.

Песочница — масштаб небольшой, тем не менее, обычно среди всей детворы выделялся явно один лидер, у которого было "видение", как из всего имеющегося сделать "конфетку". Примечательно, что явных ресурсов у него не было, но особо талантливые могли организовать и постройку мини-замка. Из моих личных наблюдений (а возможно и снов) такие ребята могли чудом выпросить новый инструмент для дальнейшей работы, не всегда получалось, но за спрос не осудят 🤨.

Если оторваться от конкретной песочницы, можно заметить, что их много. И вообще, за границами этого "квадрата" много чего происходит, что не подвластно нашему начинающему лидеру: у него за рамками нет ни ресурсов, ни влияния (хотя со временем, если не зазнается, составит себе "банду" уже не только в песочнице, но и во всём дворе). Всё, что у него есть, досталось ему либо потому что хорошо попросил, либо как-то оно материализовалось само.

Вообще, к чему это я. Песочница — это интересная метафора к управлению IT-проектами в организациях 😃. Эти "горы песка" могут быть большими и маленькими, в рамках них руководители вольны делать много вещей, желательно позитивно влияющих на бизнес-метрики. Но это всё ещё "песочница", а серьезные риски, "взрослое" управление ресурсами скрыты за ней.

В моей картине мира, уровень "песочниц" заканчивается на этапе, когда ты начинаешь отвечать за реальные деньги. Т.е. в тот момент, когда у тебя на руках условные $50 млн, а дальше твоя задача приумножить этот капитал за счёт новых исследований/IT-продуктов.

А может, я всё это придумал и во "взрослом" мире всё немного по-другому. Есть тут кто из взрослых? Расскажите, а то очень интересно 😍.

какая же жиза...

Не по теме, но
Англия:Аргентина — вот это красивый матч!

Кто пройдёт — пишите в комменты, посмотрим сколько нас

https://superdario.pawb.de/

Выбираю учить

Фонд "Новый учитель" запускает программу "Выбираю учить" в Нижегородской области, которая приведёт вдохновляющих учителей в обычные районные школы. Приходите поддержать ребят на сайт проекта.

Ко мне пришли ребята из фонда и я не смог пройти мимо, потому что для меня тема учителей — крайне важна и жизненна 🥹. Ребята делают очень крутое дело и я искренне верю, что благодаря таким инициативам в мире могут появляться новый звёздочки 🌿.

Я как-то писал, что сам родом из Советской Гавани. Это крайне далеко от Питера, сам по себе город маленький, порой казалось что действительно "все друг друга знают".

У меня была обычная школа, но с необычными учителями 😍! Почти каждому учителю было важно именно научить, но не так, чтобы зазубрить, а чтобы понять и осознать. Учителя тратили своё личное время после уроков, чтобы объяснить какой-нибудь материал персонально мне (за бесплатно!) и вообще всячески поддерживали наши инициативы 😍.

Именно учителя научили меня (и большинство моих одноклассников) учиться. Тот самый навык, который позволяет адаптироваться к изменчивому миру. Именно учителя дали зарождение раскрытию потенциала и не мешали ему раскрываться. В моей жизни учителя — это очень важные люди и, конечно же, я желаю будущим поколениям таких же классных учителей 🔼.

Ещё раз ссылочка на сайт проекта, чтобы поддержать инициативу ребят: сайт проекта.

P.S. Я тоже не прошел мимо и поддержал фонд 😍.

Обновление Алисы AI

Сегодня публично рассказали, что вышло мажорное обновление Алисы. Большое количество людей приложило руку к этому релизу (на моей памяти самое большое!).

У нас разительно выросло качество: модель стала писать лаконичнее и приятнее, сделали упор на фактологию, человечность, точность вычислений, распознавание текста и визуальных элементов, а также куча-куча всего полезного для наших пользователей! 😍

Мы проделали огромную инфраструктурную работу: поубирали кучу ненужного, а что-то померджили. Я надеюсь, в ближайшем будущем расскажем на какой-нибудь из конференций о проделанной работе, а вы кайфанёте от того, как со временем всё становилось "красивее" 😍.

Если вам интересно работать с нами, приходите пообщаться, мы нанимаем! Вот вакансия ко мне в команду.

А так, приходите тестить Алису: alice.yandex.ru

И я поздравляю всю команду с релизом: вы красавчики, обнял-приподнял! Накидайте огонёчков 🔥, я передам ребятам!

Что-то в этом есть такое, настоящее!!!

by @izpodshtorki

Продуктово-технологическая проблема

В последнее время очень часто в разговорах на работе, личных встречах, конференциях и т.п. мероприятиях я слышу выражения со словом "продуктово". Грустно осознавать, что лишь небольшой процент людей употребляет этот термин корректно 😭.

——

В мире MLLM в большинстве случаев сама модель является технологией. На базе неё можно строить продукты: чатботы, различные агенты, верификаторы и т.д. Зачастую в разговорах про развитие технологии среднестатистический инженер скажет: "Ну вот я думаю, что надо вкачать навык X, потому что продуктово это может принести непоправимую пользу". Но в этот же момент этот самый человек мог наговорить на пару UX исследований, возможно нетривиальный анализ рынка ❓.

В контексте разговора инженер хотел, вероятно, подсветить следующее:
• это очень крутая фича, он бы хотел её делать;
• если бы такое было в продукте, лично ему было бы классно.

Допустим, мы даём этому инженеру зелёный свет, как и десятку других, потому что сами считаем, что "продуктово" это классно и нужно. И тут кроется главная опасность: а мы вообще спросили у продукта, нужно ли им это 😃?

Если да — то вы молодец, если нет — вы играете в рулетку. Часть фичей может оказаться действительно полезна, но другая — полная шляпа, на которую мы спустили несколько десятков (ну или сотен) лямов 😮‍💨. Но почему же вообще возникают разногласия и недопонимания?

Я для себя выделяю следующие факторы 🤯:
• Скорость работы. Продукт — это зачастую динамичная конкурентная среда, в развивающемся продукте релизные циклы очень короткие. Технология — это более вязкая среда (в MLLM не менее конкурентная), релизные циклы длительнее.
• Строительный блок. В продукте — это сценарии, окутывающие множество фич. В технологии — сама фича.

Чтобы случился синк, нужно чтобы люди, отвечающие за каждую из сторон, понимали и принимали эти факторы. Если этого не происходит — случается рассинк. Приведу примеры:
• Продукт постоянно приходит с заказом в технологию: нам через месяц нужно A/B/C. Инженеры, естественно, на такое не соглашаются. Продукт явно не понимает 🤔, что заказ в технологию должен быть с расчётом, что это появится через более долгий промежуток, поэтому горизонт планирования должен быть сильно больше;
• Продукт приходит в технологию с проблемой "Не работает сценарий X". Инженеры говорят "Мы эти ваши сценарии не понимаем, какая фича не работает?" Продукт не может декомпозировать, потому что экспертизы не хватает 😊, ребята из технологии не желают погружаться в продукт 🤨, чтобы помочь сгенерировать гипотезы для проверки.

——

Мораль какая: связь между продуктом и технологией — это сложно 🙃. Мечтаю о том, чтобы людей, которые могли бы быть мостиком между двух миров становилось только больше! А пока лишь к вам вопрос, что вы вкладываете в то, когда говорите "продуктово" 😀?

Три категории людей про ИИ

В последнее несколько недель от общения с людьми я поймал жесткий вайб, что в голове у меня люди разделились на три категории:
1. Человек обыкновенный. Срать он хотел на ваш ИИ, но если надо будет, будет пользоваться. Вместо того, чтобы тратить 200 баксов на подписку, купит себе лодку и будет жить в кайф.
2. AI-специалист. Обмазался агентами, харнесами и крутит агентов 24/7, чтобы те ему говорили, когда нужно сходить по нужде, чтобы это было эффективно!
3. ML-специалист. Шарит за энтот ваш МЛ и как это добро работает под капотом. Понимает, что быстрее сиол вернёт битки, чем ИИ захватит мир.

Очевидно, что я упускаю какие-то категории, но какие?