КайфКодинг

Привет! Делимся видеозаписями докладов после RecSys Meetup 🤘

1️⃣ «Трансформеры в персональных рекомендациях: от гипотез до AB-тестирования» | Иван Ващенко, DS Team Lead в команде персональных рекомендаций
VK | YouTube | Презентация

2️⃣ «Semantic IDs: архитектура и наш опыт внедрения» | Александр Тришин, DS Stream Lead в команде персональных рекомендаций
VK | YouTube | Презентация

3️⃣ «Как мы обучаем CLIP-ы для текстовых тегов» | Михаил Киндулов, Stream Lead в команде Поиск по фото
VK | YouTube | Презентация

4️⃣ «Счастье пользователя vs счастье продавца. Онлайн-доранжирование и байесовская оптимизация в товарных рекомендациях» | Андрей Ветров, Data Scientist в команде товарных рекомендаций
VK | YouTube | Презентация

Смотрите фото, чтобы оценить атмосферу. И до встречи на следующих митапах!

🌟 @wb_space

Очень понравилось интервью основателя Lovable - насыщенное, плотное, с кучей идей.

Lovable – это вайб-кодинг инструмент который умудрился за 8 месяцев рвануть с 0 до $100M+ ARR. Сейчас в нем создается 100к+ новых проектов ежедневно.

Оказывается, они из Стокгольма. В начале это был стрельнувший проекта на гитбахе gpt-engineer, который ребята переделали в компанию.

Мысли, которые зацепили:

1. Lovable – продукт для мира, где никто не пишет код Включая инженеров. Я думаю этот мир наступит и быстрее чем кажется.

2. 80% кейсов – реальные бизнес-приложения
Это меня сильно удивило – я думал, там домашние поделки и прототипы, но нет. Они так и хотят – стать технической платформой и партнером для реальных бизнесов. В отличие, например, от Bolt.new, который позиционируется больше как инструмент прототипирования.

Миссия у ребят крутая:

To unlock human creativity — by enabling anyone to create software

3. У application-layer AI-стартапов – т.е. конечных сервисов, а не создателей технологий – практически нет конкурентной защиты. Твоя защита – скорость, продукт, и долгосрочно – сформированный бренд.

В подкасте есть классная аналогия. Такие компании – как курицы, выпущенные из пушки, и выиграют те курицы, которые быстрее машут крылышками. Ну да.
🐓 Маши крыльями или сдохнешь

Отдельно хочу заметить очень крутого дерзкого интервьюера – подготовка, знания, скорость. Всем бы так.
ссыль

Биохакинг за копейки

Когда тебя будит паническая атака, то следующие несколько дней страшно засыпать. Страшно, что она повторится.

Мне 27 и я изучаю все, чтобы больше она не повторилась: сдаю анализы, покупаю девайсы для трекинга сна/спорта/питания/веса, медитирую, КПТ-терапия. Консультируюсь с топовыми врачами и ведущими биохакерами.

Это было 9 лет назад и стоило кучу денег. Невероятно сложно было найти толковых консультантов.

Сейчас многое поменялось.

На выходных разбирал свой геном с AI и за $20 получил 95% информации, которая тогда стоила сотни тысяч рублей.

А кроме самой информации, еще и возможность сколько угодно раз уточнять что с чем связано, почему мне надо пить L-5-MTHF, откуда идет эта рекомендация и какой анализ проверяет эффективность конкретно этого БАДа.

Это геймченджер, потому что когда я сдавал по 17 пробирок крови и пил десятки БАДов, постоянно забывал зачем это всё. Забывал и останавливался. Ясность для меня — ключевой драйвер, чтобы я что-то делал регулярно.

Вот пример, как я анализировал геном:
Скачал полный геном с 23andme, разбил на 2 части (целиком не влазит в окно контекста). Попросил Claude создать мне папки и в каждой поочередно выполнить свою задачу.
Структура папок:
1 — DEEP RESEARCH. Изучить актуальные данные и исследования, на какие гены смотреть, что наиболее изучено и валидно. Собрать в документ.
2 — MY GENOME ANALYSIS. Проанализировать мой геном по ключевым генам из п.1
3 — SUMMARY. Собрать общий отчет: что нашлось, какие факторы риска и особенности у меня есть.
4 — ACTIONS. Создать документы по направлениям: спорт, еда, чекапы. В каждом написать план внедрения инсайтов из анализа генома.

Для тех, кто интересуется - вот ссылка на контент (https://www.youtube.com/shorts/UyRozzRyY64) (это в блендере)

Сегодня общался с другом - они сделал 500 млн просмотров на нейроконтенте за 4 месяца

Плохие новости: там Google нашли фундаментальный баг в RAG

TL;DR: оказалось, что всеми любимый и привычный поиск на эмбеддингах может не всё и имеет серьёзный фундаментальный предел. При фиксированной размерности вектора таким подходом просто невозможно находить все релевантные документы из базы. В своей работе Google доказали это и теоретически, и экспериментально.

О чем вообще речь. Современный поиск и RAG часто опираются на single-vector эмбеддинги: у каждого запроса и документа – по одному вектору, похожесть меряем скалярным произведением/косинусом, дальше берем топ-k ближайших.

И тут возникает вопрос: а вообще возможно ли при фиксированной размерности векторов построить такой поиск, который всегда будет возвращать правильные топ-k документов для любых запросов? Ответ – нет. И сбой происходит уже на очень простых примерах.

Интуитивное объяснение, почему так: чем больше база знаний, тем больше разнообразных комбинаций запросов и релевантных документов нам нужно поддерживать. Но пространство поиска всегда ограничено размерностью эмбеддингов. Так вот, начиная с какого-то числа документов, расположить точки в этом пространстве так, чтобы для каждого запроса мы находили правильные доки, просто невозможно.

Математическое объяснение для любителей:

Представим матрицу A, где строки – это запросы, а столбцы – документы, и на пересечении стоит 1, если документ релевантен, и 0 – если нет. Мы хотим, чтобы поиск на эмбеддингах воспроизводил именно такую матрицу «кто кому подходит». Тогда оценки похожести будут матрицей B = UᵀV, где U и V – это векторы запросов и документов в пространстве фиксированной размерности d. Но sign-rank матрицы (2A−1) может оказаться больше d, а это значит, что никакие d-мерные эмбеддинги не смогут построить B с правильными значениями. Формально: если sign-rank(A) > d, то корректное разделение релевантных и нерелевантных пар в таком пространстве просто невозможно, каким бы мегаумным ни был ваш эмбеддер.

То есть, например, если у вас эмбеддинги размерности 512, то ваш RAG будет работать нормально, пока документов в вашей базе менее 500 тысяч (а это довольно немного). При размерности 1024 – до ~4 млн. При 4096 – примерно до 250 млн. Дальше система начнет сыпаться.

И эти расчеты Google подвели в идеальных условиях, когда векторы оптимизированы под задачу. На практике, когда вы не дообучаете эмбеддинги, пределы еще ниже.

Чтобы показать это на практике, авторы придумали специальный бенчмарк LIMIT. Он построен так, что у каждого запроса релевантны ровно два документа, но комбинаций этих пар очень много. В итоге даже лучшие современные эмбеддеры (GritLM, Qwen3, Gemini и др.) показывают на LIMIT катастрофически низкий recall – около 20% (причём даже на маленькой версии датасета с 46 документами, караул!).

Для сравнения, классический BM25 или multi-vector модели вроде ColBERT выбивают почти 100%. Фишка в том, что тут мы уже не зажаты одним вектором на документ и запрос. Например, у ColBERT стоится много векторов на документ.

Ну короче, мораль такова: поиск на одном векторе – это удобно и быстро, но у него есть жёсткий фундаментальный предел. Поэтому для серьёзных систем RAG все-таки нужны гибридные подходы: разреженный поиск, multi-vector и прочее. Иначе – потолок 😐

Полный текст: On the Theoretical Limitations of Embedding-Based Retrieval

Куда сходить в последний день лета

Centrale Bistro - это бывший шеф Белуги, с которым они звезду получили

jinju Bistro - очень свежо и просто. Еще и в самой козырной локации сейчас

Leo - тяжелый люкс и пицца по 2-5к

Carniceria Vino - лучшее открытие 2024, если еще не была

Kiyomi - одно из лучших открытий 2025, от шефа самого тяжелого московского японского люкса Jun, но дешевле, интерьер получше и покреативней

У Ленни вышла статья где рассказывается про то, почему AI продукты должны иметь другой цикл разработки. Авторы показали фреймворк CC/CD.

TLDR: как писал много раз ранее, rolling updates с эскалацией сложности системы и evals для оценки технического качества.

Две фундаментальные проблемы AI-продуктов:

1. Недетерминированность - пользователи пишут что угодно вместо нажатия строго определенных заранее кнопок, система отвечает по-разному на одинаковые запросы. Классический QA тут не работает.
2. Компромисс между агентностью и контролем - чем больше автономии даешь ИИ, тем меньше контроля остается у людей.

Что такое CC/CD:

Continuous Development:
- Разбиваем большую цель на версии с растущей автономией (v1: AI-раб → v3: AI-коллега)
- Настраиваем простейшее приложение с логированием всего подряд и возможностью передачи контроля человеку
- Проектируем evals для измерения качества

Continuous Calibration:
- Запускаем на небольшой группе пользователей
- Анализируем реальные данные и паттерны фейлов
- Итеративно фиксим на основе данных

Пример из жизни - автоматизация саппорта:
- v1: Только роутинг тикетов по отделам
- v2: Предложение решений на основе инструкций и/или базы знаний
- v3: Автономное решение с эскалацией сложных кейсов до человека

Главный принцип - не давать ИИ полную автономию сразу. Система должна заслужить доверие через постепенное увеличение ответственности и доказательство надежности на каждом этапе. Это как онбординг нового сотрудника. Сначала простые задачи, потом постепенное расширение полномочий по мере накопления доверия.

По факту, это формализация того, что мы и так делаем в команде с нашими ассистентами и другими ИИ продуктами. Начинаем с простых сценариев, постепенно расширяем полномочия, мониторим каждый чих через evals, много бенчмаркинга.

Кого автоматизировать?

Сегодня Sequoia выложила видео - де-факто продолжение AI Ascent мини конфы, о которой я писал в мае.

Основные тезисы все те же, но меня заинтересовал вот этот слайд (см. аттач) из внутреннего мемо: отсортированные по размеру рынки США, где размер = колво людей в этой профессии, умноженное на среднюю зп. Тезис такой: AI - это когнитивная революция и заменит людей (по аналогии с индустриальной, автоматизировавшей заметную часть физического труда), поэтому в компании с фокусом на эти рынки и надо вкладывать. В ту же тему моя любимая статья от NfX про AI Workforce.

В общем, поскольку слайд на данных 23го года и только про США, то я натравил своего дружбана на то, чтобы обновить инфу по США + сделать по РФ - добавил скрины в аттач + вот тут полные результаты.

Топ 3 в США: медсестры, программисты и юристы; в РФ - водители, инженеры и охранники (!). Кто из вас автоматизирует кого? Делитесь в комментариях

Кстати, в этом же видео есть эдакий запрос на стартапы (request for startups), а именно во что они вкладывают сейчас в AI:
1) Память агентов (вот тут размышлял об этом)
2) Протоколы межагентной коммуникации (делился тут)
3) Голосовые агенты (особенно enterprise, см вот тут подробнее)
4) AI безопасность (новые поверхности для атаки)
5) Open source AI (неожиданно)

В общем, рекомендую посмотреть, особенно если не видели AI Ascent выступление.

Решите за минуту