AI и грабли

Решил посмотреть, можно ли использовать AI studio, чтобы оценивать размер PDFок.

Оказалось, что нельзя – после экстракции текста получается в три раза меньше токенов, чем должно – видимо, гугл достает не всю инфу. А вот в плейграунде OpenAI все верно показывает

Если работаете с гуглом – лучше отправлять голый текст вместо файлов. Или 2/3 инфы непредсказуемо потеряется

Кстати пост выше – единственный на канале, написанный GPT.

Я добавил только предложение про предыдущие собесы. И убрал про кофе.

Как вышло, что я даже не стал редачить? Раньше меня не устраивало качество того, что пробовал генерить. Чем отличается этот раз?

А в этот раз я добавил в контекст выгрузку своих предыдущих постов за пол года. А потом еще и попросил проанализировать меня вот этим промптом. Еще пару расплывчатых запросов голосом и готово. Тут переписка.

А теперь ради чего я пишу этот пост:

Нельзя просто бездумно кидаться в GPT большими файлами!

По крайней мере, когда нужно показать ей весь контент.

Просто найти какой-то один кусок инфы – проблем нет. А вот если сделать какое-то саммари, выводы, связать разные части друг с другом, то все плохо.

Все дело в том, как GPT работает с файлами. На пальцах:

1. Файл разбивается на кусочки (с нахлестом)

2. Для каждого запроса пользователя ищутся похожие по смыслу кусочки (магия семантического поиска, нам тут не важно как она работает)

3. Кусочки помещаются в обычный запрос к GPT типа "используя эту инфу: {кусочки} ответь на изначальный вопрос: {вопрос}"

И вместо того, чтобы видеть весь файл, LLMка видит жалкие огрызки.

Но у меня же тут сработало?!

Я сам удивился. Изначально я вообще делал этот эксперимент с анализом личности по постам, как иллюстрацию, что это не работает. Радует привычка искать пруфы своим спекуляциям

Пришлось покопаться, чтобы найти объяснение. Оказывается, в работе чата все не так просто устроено.

Первые 110k токенов документа попадают в контекст целиком.

«И че?» для простых пользователей:

Если нужно, чтобы ИИ видел весь документ целиком, проверьте, что текст не превышает лимиты. Для пдф файла без картинок – смотрите, если он больше 1.5 МБ, это уже много.

«И че?» для ИИ разработчиков:

Даже сами OpenAI в своих продуктах не используют голый векторный поиск, а добавляют большие куски инфы напрямую в контекст. Берем пример.

Всё. Я, похоже, наигрался.

Последние пару лет я прыгал между идеями, проектами, пивотами. Строил, тестировал, выкидывал. Писал посты, общался с пользователями, слушал фидбэк, снова всё менял.

Заебался.

Вчера утром сел, подумал — я же просто хочу тихо сидеть, писать бэкенд, получать зарплату и не париться.

Без лендингов. Без маркетинга. Без «а кому это вообще надо».

Открыл hh, нашёл вакансию.
«Яндекс. Бэкенд. Go/Python. Удалёнка.»
Отправил резюме. Через час уже созвонились. Зачлись мои предыдущие собесы с ними. В понедельник выхожу на онбординг.

…

А вообще, с 1 апреля, конечно.

А теперь что мне интересно.

Интересно, почему весь интернет хайпит на том, что LLMки научились не только понимать картинки, но и генерировать, и при этом я не вижу сравнений Google и OpenAI, которые выкатили эту фичу с разрывом в неделю.

Исправляю 🙃

Нагенерил разных экспериментов, которые было интересно поделать. Последние две фотки даже вполне бизнесовые кейсы

Что я заметил:

1. OpenAI работает сильно дольше. Мощнее модель и качество у них лучше. А Google требует на порядок больше танцев с промптами, зато за 10 секунд все готово

2. OpenAI хорошо удерживает "модель мира" – видно на задачке с одеждой. Их модель прям понимает, что за шмотки. Google просто генерирует что-то отдаленно похожее

3. При этом OpenAI постоянно меняет мелкие детали 🥴. Видно по измененным чертам лица, лошади, фону

4. А Google наоборот хорошо их удерживает. Кажется, они сделали какой-то хак, чтобы генерация "цеплялась" за входную картинку. Но сама генерация слабее, так что как только отходим достаточно далеко от исходного изображения, все резко становится хуже. Особенно на одежде видно – т.к. одежда в совсем другом положении – по сути генерация с нуля.

Лайфхак – чтобы "отцепить" от входного изображения, можно просить сделать с нуля, а не переделать.
* create anime character > turn person into anime
* generate high resolution picture with character > upscale picture

tl;dr
Если хотим оставить большую часть изображения как есть → Google + детальные промпты
Если хотим поменять положение объектов или сгенерить с нуля → OpenAI

Ну и комбинировать, конечно.

Вы знаете кому отправить этот пост:)

Поймал себя на мысли: "Блин, я уже неделю ничего не писал, а там еще и много новых подписчиков. Надо ворваться с каким-то крутым постом"

Ага. С тех пор прошло еще 4 дня.

Еще и это тупое ощущение, что это обязательно должно быть "что-то профессиональное" и очень умное.

С чего я так вообще решил?

Я же наоборот верю, что в мире переизбытка информации, гораздо ценнее – аутентичность и посты про "подноготную". А читать про шаги в пути в разы полезнее, чем "инсайты" от итогов этого пути, которые в лучшем случае просто отправляются в сохраненки, где их больше никто не увидит.

Короче, это такое мое публичное снижение градусов серьезности.

Чтобы снова начать писать то, что и как мне интересно, а не то, что мне кажется, от меня кто-то ждет.

Поломанные привычки

Среди подписчиков много кто живет на большой скорости. И сформированные привычки – каркас такой жизни.

Так вышло, что я успеваю пожить за год в 4-5 разных местах и на фоне этого заметил одну любопытную штуку, которую можно применять и без переездов:

Когда меняю локацию, приходится прям усиленно поддерживать привычную рутину. И не всегда получается. Например, когда прилетел в Чианг Май (Тай), я сломал себе режим сна и тренировок :(

Зато сильно проще формировать новые (и что еще важнее – ломать старые, которые мешают). Начал принимать ледяной душ по утрам, хотя до этого откладывал несколько месяцев (или лет?). И перестал стрематься писать про этот канал везде, где можно.

Но самым неожиданным было, что возвращаясь в старое место, старые привычки очень легко восстанавливаются. Я сейчас в Новосибирске у родителей и снова начал бегать по утрам, буквально на автомате – 0 преодоления.

Как я могу это применить без постоянных переездов? (обращаюсь сам к себе)

1. Меняй внешний контекст другими способами. Сделай перестановку в комнате, попробуй поработать в другом месте, да даже смени шмотки или имя. Ладно, че это я зачеркнул то, реально же работает – на английском я теперь представляюсь Нико и мне так стало сильно прикольнее чем дефолтный Ник или полное Nikolay

2. Пользуйся изменениями, которые и так подкидывает жизнь. Сменил работу – настрой уже ноут, чтобы пользоваться vim'ом хоткеями, которые давно откладывал. Расстался с партнером – ну теперь то точно пора в спортзал 🙃. Ну или хотя бы проходи по вечерам тот давно оплаченный курс, на который вечно "нет времени". Попал в новую команду – попробуй в этот раз не избегать конфликтов. Да даже купив новый телефон можно попытаться настроить все "по-нормальному" (если это не айфон).

Короче, эти стрессовые переходные периоды – на самом деле классные шансы для давно назревших изменений. Если их не проебывать:)

———

Ну и хочется не забывать возвращать себя в те контексты, где когда-то что-то хорошо работало. Вдруг оно все еще там?

Я обычно не пишу "срочные новости" про новые фичи, потому что их и так все каналы постят. Но конкретно про эту фичу ни у кого почему-то не вижу, хотя у меня вся лента в "обновлениях от OpenAI"

Я уже радовался, когда они разрешили нативно сохранять и отсматривать все запросы. Но теперь они завезли полноценное Observability для сложных систем! Это такая моя персональная боль была. И уверен, не только моя.

(на скрине отдельно выделил поле, где показывает из каких "веток" был выбор)

Ок, делюсь, как учусь я.

Никак, я туплю в ютуб, пока мозги не вытекут

Ладно, на самом деле я понял, что у меня аж три режима обучения:

1. Пассивный: лекционный – видосы на полтора-два часа или длинные статьи
2. Активный режим "копателя" 🫨 (с небольшим лайфхаком)
3. Супер-активный режим экспериментов (а тут будет скрытый оффер)

Сейчас раскрою чуть подробнее

Лекционный самый душный, зато получается достать знания, которые я в активном режиме бы даже не подумал искать.

Я не знаю, чего я не знаю (с) Стэтхэм

1. Слушаю лекцию, в идеале с кем-то

2. Ставлю на паузу после каждого большого блока (20-30 минут), обсуждем основные моменты (либо записываю, если один), а главное, пытаемся понять, а что не понятно (в паре сильно проще).

3. В конце собираю в один конспект (необязательно, чтобы он был супер структурированный, задача просто создать "крючки" для мозга)

Вот пример моего конспекта по лекции Сапольски из курса про поведение человеков

Почему я так в универе не делал, а? 🧐 Столько времени на лекциях впустую

Копатель – раньше работало только если есть шарящий друг/коллега, которого можно докапывать вопросами от общего к частному.

1. Сначала прошу объяснить что-то в общих чертах

2. Потом выбираю места, которые интересны или не понятны и закапываюсь вопросами в них.

3. Когда с какой-то "веткой" разобрался, иду в другую, пока мы не задолбаемся/посремся/поймем, что уже оба не понимаем.

Сейчас я постоянно делаю это с GPT, но с одним "хаком": вместо того, чтобы писать все вопросы в одном чате, я делаю после каждой законченной ветки делаю "шаг назад".

Как? Вместо того, чтобы писать новый вопрос в конца, я редактирую тот, с которого начинал предудущую ветку, как бы "подменяя" её новой.

Иначе контекст раздувается, и GPT отвечает фигню.

Эксперименты – пробою сам решать задачи, у которых не знаю решения. Когда экспериментирую в поисках решения, нахожу вопросы, а потом и ответы.

Только не понятно, а где и как искать эти практические задачи 🤷‍♂️

У меня выработался такой формат: я пытаюсь записывать все идеи, которые мне приходят в голову.

А потом выбираю те, которые попадают под мой интерес и которые можно сделать за один выходной (и потом еще половину рабочей недели допиливать вместо того чтобы работу работать, ага)

Еще часть задач приходит вот из этого поста, где я предлагаю бесплатно решать чужие проблемы:)

Есть еще всякие хакатоны или вот недавний RAG челлендж. Удобно, что задача уже как-то поставлена, но нет решения и пробуешь разное. В итоге уходишь с кучей инсайтов.

Тут особенно круто читать потом про чужие решения проблемы, в которую сам уже глубоко зарылся (уже в контексте, но и взгляд уже замылен)

Другие примеры, где я учусь на экспериментах: ведение канала, преподавание в универе, участие в переговорных чемпионатах, 4-месяца автостопа в Африке.

Короче, такая практика быстро подсвечивает мои слабые места и слепые зоны, при этом дает попробовать "починить" их прямо в моменте.

———

Заметил, что у меня режим "копателя" уже отъел большую часть лекционного. Любопытно, как это у других людей и как будет сейчас будет меняться образование

Андрей Карпаты (мировая AI-суперзвезда) делится как нужно учиться:

На YouTube/TikTok и других платформах много видео, создающих видимость обучения, но если присмотреться, это на самом деле просто развлечение. Это очень удобно для всех участников: зрители наслаждаются просмотром, думая, что учатся (но на самом деле они просто развлекаются).

Обучение не должно быть веселым. Основное ощущение должно быть усилием. Оно должно напоминать не «10-минутную тренировку на всё тело» от местного блогера, а скорее серьезное занятие в спортзале. Вам нужен умственный эквивалент пота.

Полезно четко определять свой настрой заранее и строго бинарно. Если вы потребляете контент: вы хотите развлечься или научиться? Если вы создаете контент: вы хотите развлечь или научить? В каждом случае ваш путь будет разным. Попытки совместить оба варианта ведут в никуда.

Для тех, кто действительно хочет учиться. Если вы не изучаете что-то узкое и специфическое, закройте вкладки с быстрыми блогами и видео. Закройте вкладки с заголовками вроде "Выучите X за 10 минут". Не "перекусывайте", а съешьте "полноценный обед" — учебники, статьи, научные работы, руководства, глубинные материалы. Выделите 4 часа подряд. Не просто читайте — делайте заметки, перефразируйте, анализируйте, манипулируйте информацией, учитесь.

Как стать экспертом в чем-то:
1. Итеративно выполняйте конкретные проекты и осваивайте материал вглубь, изучая его по мере необходимости (не пытайтесь изучать всё подряд "снизу-вверх").
2. Преподавайте или пересказывайте всё, что изучили, своими словами.
3. Сравнивайте себя только с прошлой версией себя, а не с другими.


———

Он на 100% следует своему совету и делает топовый бесплатный образовательный контент:
* Глубокое погружение в LLM
* Как он сам использует LLMки

Уже коротко писал про Enterprise RAG Challenge от @llm_under_hood.

Сегодня подробнее описал свой опыт, разобрал две архитектуры, сформулировал выводы и добавил немного сторителлинга:

https://vas3k.club/post/27773/

P.s. Комменты от других участников – в комплекте

Как выбрать посты для таргетированного промо

Несколько дней назад натыкаюсь на маленький канал с отличным соотношением сигнал/шум. Решаю им поделиться, потому что часть моей аудитории точно найдет там пользу. Пишу автору:

Константин, привет! Очень понравилась концентрация пользы в твоем канале, хочу сделать его промо у себя.

Если хочешь, можем сделать взаимный пиар, но если нет – ничего страшного, я все равно твой пропиарю

Константин соглашается и спрашивает, есть ли у меня какие-то заготовленные материалы. Сначала хочу выбрать релевантные посты сам, но потом подруга подсказывает любопытный эксперимент:

1. Закидываю в GPT сначала дамп его канала за последние пару месяцев, прошу описать, что в нем уникального и какая аудитория.
2. Закидываю дамп своего канала с idшками всех сообщений и прошу выбрать релевантные
3. Говорю "Вау!"

Промпты и результаты в комментах, а вот канал про который я говорю, и посты, которые зацепили меня лично, а не gpt:

1. Настройка Cursor Rules и TDD – как починить вайбкодинг + наглядный шоукейс стрим на 10 минут (я посмотрел почти весь)
2. Самому сделать AI аватара из 18 (!) фоток
3. Как дать Cursor Agent выход в браузер
4. Нагло перепосченная мной инфа про Perplexity на год ради DeepResearch (про него кстати, отдельно напишу, последние три дня использую его постоянно)

Хайлайты с OpenSourceWeek от deepseek, как обещал

#технический_четверг (не совсем)

На самом деле не особо нашел что-то глубокое, чем интересно поделиться — в основном там детали, которые и на использование не влияют, и про рынок инсайтов не дают.

Но есть парочка штук, которые оказались просто любопытными:

1️⃣ DeepGEMM

Ребята написали очень быстрое перемножение матриц с JIT-компиляцией (!). Ускорение вплоть до x2.7 – это очень круто. Я когда-то ускорял гугловую имплементацию под частные кейсы, и там даже 15-20% – было вау.

Базовый функционал всего 300 строк, можно читать как методичку

2️⃣ 3FS

Своя распределенная файловая система. Своя файловая система, Карл!!! В комплекте очень дешевый KVCache на SSD, а не в DRAM. Китайцы умеют делать сложно, чтобы делать дешево 🤷‍♂️

Доступ к AI без VPN за 700 рублей в год

Perplexity сделали очень вкусное промо, видимо, чтобы приучить больше пользователей к своим PRO функциям

В комплекте:
* Модели на выбор от OpenAI, Anthropic, xAI, Google, DeepSeek
* Хороший поиск по сайтам
* Свой Deep Research – ходит по куче сайтов и делает небольшое исследование. Работает хуже, чем у openai, но лучше, чем у всех остальных
* Не нужен VPN

Оплатить русскими картами можно у посредников

Еще, кажется, это прикольный лайтовый подарок (без промо это 20к ₽) 🤔