Записки MLEшника

Кто пробовал Paperclip?

Это такой оркестратор агентов, но в виде структуры организации.

Вы ставите задачи. Их берет CEO и передает подчиненным — агентам, которых предварительно нанимает. Все это в красивом UI

У кого-то был позитивный опыт? ))0)

Я 2 часа промучился, пытаясь добиться создания агента с простейшим скиллом на проверку баланса в OpenRouter. По сути, это скил, описывающий один HTTP-запрос.

Я поставил задачу CEO. Он нанял CTO. Поставил задачу CTO. У CTO нет прав. CTO отдал задачу CEO. Я попытался дать права CTO. Нельзя дать CTO. Дал CEO. Попросил CEO сделать задачу. Он не стал, а отдал CTO. CTO не может - прав нет. Отдал CEO. Я захотел создать скил сам - из UI можно создать, но не получается редактировать 🤡💀

Не понимаю: то ли лыжи не едут, то ли я...

Идея-то здравая - подцепить своих агентов в уже готовый UI. Но первое знакомство, чет, не задалось

Поделитесь, пожалуйста, если у кого-то был более удачный опыт с этим

Полезный режим был в ChatGPT — Study Mode
Пока собрался про него написать, его уже убрали 💀

Но сам подход мне прям зашёл. Отлично вскрывает иллюзии понимания.

Я использую очень просто:
“погоняй меня по X”

И дальше модель начинает задавать вопросы, копать глубже, цепляться к формулировкам.
Часто уже после 3–4 вопросов понимаешь, что на самом деле не понимаешь.

Неплохо работает:
— когда учишь новую тему
— перед собесами

Он пропал в ChatGPT, но я сделал проект с системным промптом отсюда и получил такое же поведение

Неожиданно полезный сценарий для Claude Code — дебаг сложных LLM-пайплайнов

Один промпт дебажить легко
Два подряд — еще терпимо
А вот пайплайн с классификатором, ветками выполнения, несколькими LLM и tools — уже боль

Проблему понять еще можно, а вот локализовать конкретное место в промпте или коде, которое ее вызвало, уже тяжело

Тут хорошо зашел Claude Code. Я просто даю ему ссылку на trace в Langfuse, и он разбирает выполнение. Причем читает не только сам trace и промпты, но и код вокруг

На моем стеке (LangGraph + Langfuse + промпты в коде) это сработало отлично. За 5–10 таких разборов во время разработки стало заметно меньше хрупких мест в пайплайне. Очень помогает то, что Claude видит не только trace, но и код, который задает поведение

Например, был такой кейс: агент очень слабо понимал выбор пользователя
Агент: “вот вам 5 вариантов”
Пользователь: “хочу 4–5”
Агент: “выберите вариант”

Claude раскопал, что проблема была не в этом шаге, а раньше — в промпте планера. Поправил его, и это действительно сняло проблему

По тому же принципу сделал разбор логов из Sentry. Там тоже работает, но пока пользовался меньше

Самое приятное — это оказалось очень легко собрать: просто попросил Claude Code сделать для этого скил

В общем, для дебага таких пайплайнов — очень рабочая штука

Энжоеры langchain тут?

Недавно задумался, а что происходит при llm.with_structured_output.

Интересовали два вопроса:
1. Гарантируется ли формат?
2. А как это работает, если провайдер не умеет “вернуть JSON по схеме”

Копнув глубже, оказалось:
with_structured_output - это не одна функция, а 3 разных режима под капотом:

### 1. json_schema
Провайдер применяет server-side ограничение на формат ответа (constrained decoding)
• работает только если провайдер это реально поддерживает
• через прокси (например OpenRouter) может деградировать

### 2. function_calling
Хитрый трюк:
• схема превращается в tool
• модель возвращает не текст, а вызов функции (tool_call)
• аргументы функции = ваш JSON

### 3. json_mode
Просто добавляем в промпт: “верни JSON вот в таком формате, умоляю”

### Итого
Гарантируется ли формат?
• json_schema (нативный) - почти да (но вот gemini-2.5-flash-mini через openrouter у меня не всегда)
• function_calling - почти да
• json_mode - если хорошо попросишь

LLM - это стохастический попугай. Все, что она умеет - вероятностно генерировать токены. Всегда есть шанс, что промпт проигнорируется, json будет битый или не тот.

Поэтому помним - LLM нам ничего не должна. Она как работа с сетью - в случайный момент может отвалиться. Без retry не обойтись

Довольно давно пользуюсь Obsidian, и недавно стал пользоваться Claude Code. Первый — это набор локальных md файлов, а второй, грубо, LLM, которая умеет читать и писать файлы. Так вот получается мощный дуэт

Потестил связку на двух задачках:

1. Планирование путешествия

Предстоит поездка, и оказалось удобнее планировать ее в Obsidian через Claude Code, чем в чате в браузере. Сначала попросил набрать интересных мест в городе, порасспрашивал про них и отсеял лишнее, потом выбрал дни и попросил раскидать по часам, отдельно — найти актуальные цены. Работало даже без модных MCP серверов для поиска, хватило дефолтного web search

На выходе — готовый план в .md файлах, который можно открыть офлайн

2. Структурирование изучения темы

Знакомая проблема: хочу что-то изучить, но через пару дней бросаю

Написал Claude Code промпт, который строит учебный план и помогает по нему идти:
— верхнеуровневый план: что изучаю, в какие сроки
— декомпозиция на задачи по неделям
— генерация тем и задачек на день

Claude Code пишет всё в Obsidian, и каждый день открываешь заметку с планом, не заходя ни в какой сервис. Забуксовал — просишь скорректировать, он обновляет файлы

3. Причесал структуру в папках

В некоторых местах был хаос. Попросил CC выявить текущие структурные проблемы и исправить. Сработало с первого раза, ахахха. Стало приятно смотреть, а также проще навигироваться

1 и 2 можно сделать и через Projects в веб-интерфейсе Claude (хотя путешествия — с оговорками), но:
• данные локальные — работает без интернета
• легко найти и посмотреть файлы
• нет привязки к провайдеру — завтра можно переключиться на другую модель или вообще на локальную LLM. Вместо Claude Code есть например OpenCode

В общем, сетап прикольный. Горячо рекомендую потыкать

Полезный сайтик https://deepwiki.directory, с ИИ описанием репозиториев. Из прикольного - не только текстом описывает, но и строит схемы с архитектурой. Мне так, действительно, легче вникнуть, если нет хорошей документации от разработчиков

Недавно, например, вникал в архитектуру библиотечки для рагов dsRAG. А вот ИИ дока для него.

Yet another сайт со сравнением ллмок, но еще и с метриками на бенчмарках

https://llm-stats.com/

Крутой репозиторий, где люди взяли nanogpt (воспроизведение GPT-2) и ускоряли ее обучение. Такой спидран, но для llm-ки

Тут записаны все изменения, и улучшения по времени. Можно почерпнуть идей для оптимизаций обучений

На текущий момент для обучения на 8 h100:
- Время: было 45 минут, стало 2 минуты
- Данные: было 10 млрд токенов, стало 730 млн

Всегда было интересно найти промпты, которые обходят отказы ллмок и заставляют их ответить на запрещенные вопросы.

Наткнулся на такой репозиторий. Кое-где работают 🙃
Из интересного у этого же автора - подборка ликнутых системных промптов от разных провайдеров

Спустя долгое время отсутствия приношу пост 👀

Наверняка вы когда-нибудь сталкивались с тем, что питонячий код/скрипт зависал во время выполнения. В такие моменты очень хочется знать, собственно, в каком месте это происходит...

Так вот это довольно легко сделать (по крайней мере на Linux) с помощью дебагера gdb

Делается так:
0. Сохраняем локально файл libpython.py. Это нужно, чтобы в gdb стек и код вокруг отображался "по-питонячему" (иначе это будет малопонятный C++).
- Для этого открываем CPython на гитхабе
- Переключаемся с main ветки на tag с версией питона, которым запущен зависший код
- Скачиваем файл libpython.py (например `wget https://raw.githubusercontent.com/python/cpython/refs/tags/v3.13.5/Tools/gdb/libpython.py`)
1. Подключаемся к зависшему питонячему процессу
sudo gdb -p 68653
2. Подключаем файл
source libpython.py
3. Выбираем нужный поток, если их несколько
info threads - показать все
thread 1 - выбрать первый
4. Смотрим стек
py-bt
5. Смотрим код вокруг
py-list
6. Смотрим переменные
py-locals
7. Двигаемся по стеку выше/ниже
py-up
py-down

Все команды можно посмотреть как раз в файле libpython.py, который мы скачивали на шаге 0

Один-два раз это упражнение делаешь - код болеть не будет! 💪

Полезная статейка о использовании блендера для синтетики вдогонку к посту о генерилке синтетических листков

Если в первом случае все управлялось конфигами, то тут уже напрямую питоном

Вообще там много интересных статей в блоге DeepSchool (не реклама 🙂)

у вас такое бывало, когда в очередной раз столкнувшись с чем-то неработающим в сети, ты обещаешь себе изучить их? Узнали?

так вот после секции вайбдебагинга я честно покопал DNS:
1. Посмотрел легендарного курс по сетям Андрея Созыкина. Он теперь свежий - три месяца назад снят. 18-24 видео
2. Поболтал с Клодом
3. Проделал практику из видео (вот это прям мастхев. Итеративный режим звучит просто, а сам я его не с первого раза руками сделал)

Теперь хоть понимаю выход команды dig 😅

А лекции по сетям от Андрея горячо советую

Нашел кайфовый генератор листов бумаги через блендер

Пригодится, например, для ситетических OCR данных. Вроде может сохранить bbox-ы

Чтобы было проще его понять, вот что я выяснил:
1. В примере текст - psd файл. Это не обязательно, работает и с png
2. Основные настройки:
- config.camera.relative_camera_distance - приближает/отдаляет листок
- config.camera.orbit=(a, b) - меняет позицию камеры относительно листка
- a - угол наклона к нормали (а = 30, значит угол наклона камеры - 70 градусов к столу)
- b - позиция камеры (0 смотрим на бумажку снизу, b = 90 - смотрм справа, b = 180 - смотрим сверху и тд)
- sample.ground.visible - включить/выключить подложку
- sample.ground.texture_path_base - путь до текстуры подложки. Можно скачать новых, например, тут

Горячо рекомендую

#tool@yet_another_mle

Сейчас много шума вокруг MCP (Model Context Protocol). Разберемся, что и зачем

Если коротко, то это крепкий подход к унификации взаимодействия LLM с внешними инструментами

Почему это хорошо:
- Теперь можно не писать велосипеды, подключая, скажем, postgres или поиск в гугл, а взять готовую реализацию (например, тут)
- Станет легче дружить между собой клиентов и сервера. Уже сейчас взрыв имплементации серверов и клиентов
- Наверняка, это доедет в обучение моделей, и они уже из коробки будут знать, какая схема вызова и ответа у популярных инструментов

Подробнее про Model Context Protocol
- разработали Anthropic
- определяет сервер (который предоставляет API к данным и инструментам) и клиента (который может обращаться к серверу, используя протокол MCP)
- LLM видит описания схемы запроса к серверу, и может им пользоваться
- сервер может предоставлять
- tools (дает LLM выполнить какое-то действие)
- resources (дает доступ к данным)
- sampling (ответы от LLM)
- prompts (переиспользуемые промпты)
- не привязан к языку (также, как HTTP запрос можно сделать хоть с ассемблера)

Немногие знают, но стандартизация сделала из обезьяны человека 🔧
Интересно, что же она сделает из LLM 🤔

Вот и до меня дошла очередь поиграться с text2sql

Как человек ленивый и все еще не вайбокодящий, я решил поискать готовых библиотек

Встречайте - 🛁. Буквально vanna

Из прикольного:
1. Запустилось (с gpt4o-mini полет нормальный)
2. Есть красивый фронт из коробки
3. "Самообучаемый" - можно добавлять в память успешно выполненные SQL вместе с запросами пользователей

Из грустного:
1. Без пачки рукописных примеров и таблички с описанием колонок в таблиц ничего не работало. Хоть и я добавлял описания таблиц по примеру. Постоянно падало из-за того, что sql игнорирует регистр, а названия таблиц не были заключены в скобки
2. Почему-то в функции ask, которая является точкой входа для запроса нет автоисправления запроса (когда показываешь ошику выполнения ллм, чтобы она исправила). В то же время во фронте это у них есть
3. Зачем-то захардкодили anonymized_telemetry=False (тут) в коннекторе к chromadb 🤔

А вообще мне понравилось. Для пет-проекта сойдет

#tool

Слышали про прокси по ssh? А он есть - sshuttle

Буквально, имеете удаленную тачку с доступом по ssh, ставите на свою тачку sshuttle и поднимаете прокси одной командой

Также в качестве удаленной тачки можно юзать Pod в кубере (а что, а вдруг)

Извините! Я почему вредный был? Потому что у меня cloudpathlib не было! А теперь я сразу добреть начну. И какую-нибудь папку на s3 заведу. Чтоб жить веселее. Ты домой приходишь, и удобно файлы на s3 кладешь… Э-эх!

Вечно спотыкался об интерфейс boto3. Как-то там не по-питоновски всё. А я pathlib.Path люблю.

Вот и попробовал cloudpathlib, который дает интерфейс Path для s3 (а также gs и azure). Понравилось. Теперь и Вам советую

Еще он хорошо комбинируется с тредингом, если надо много файликов загрузить или скачать. Сильно бодрее в моем случае грузил

#tool

Ни для кого не секрет, что лекции Карпатого - это концентрат знаний

Сегодня на обзоре Deep Dive into LLMs like ChatGPT (обзор на лекцию, реально?!)

О чем?
Из каких строительных блоков состоит LLM, и как ее учат, чтобы получит чат-асистента

Что показалось мне интересным:

1. Андрей разбирает, почему есть "глупые ошибки"
- "Сколько r в strawberry?" - потому что токенизация по токенам, а не по буквам
- "Что больше 9.11 или 9.9?" - что модель путают библейские тексты, в которых 9.11 идет позже 9.9
- "Кто тебя создал?" - в модели этого нет (если не заложить), потому что она умеет только продолжать тексты
2. Откуда берутся галлюцинации, и как можно с ними бороться
- Почему галлюцинации - потому что модели раньше не учили говорить "я не знаю". Тут на SFT этапе нужно найти вопросы, на которые модель не знает ответов, и сделать для них ответ - "я не знаю"
- Можно научить модель гуглить в случаях, когда она не знает ответ
3. Объяснил идею DeepSeek R1
4. Поделился, как следит за прогрессом в LLM
- lmarena
- ainews рассылка
- X(twitter)

Определенно будет вам полезно, если не супер погружены в LLM движуху

TLDR доклада "Как в яндексе делают ранжирование нейросетками в RecSys?"

1. Категориальные фичи кодируют эмбедингами
2. Вещественные фичи нормализуют / делают улучшенную бинаризацию (называют кусочно-линейным кодированием)
3. Используют один слой DCN, чтобы моделировать комбинации признаков
4. Затем 5 MLP слоев и дропаут
5. Добавляют на вход фичи с других моделей по пользователю (например, у них есть трансформер, который делает вектор пользователя по его истории)
6. Делаю несколько голов на несколько действий пользователя (клик, просмотр и тд.)
7. Кормят много данных с большим бачсайзом
8. Лосс на попарное ранжирование (сигмоида от разности логитов двух айтемов)

Если вдруг еще не пользовались https://chat.deepseek.com/, то попробуйте!

Качество ответов +- как у чатгпт, но не надо впн, и быстрее печатает. Также можно включить режим рассуждения. Я просил сеточку найти одинаковые элементы в массиве из 100 чисел. Получилось! (мне правда надо было найти, где у меня там закрались два одинаковых элемента, а питон было не охота открывать)

Вообще у меня прижилось два сценария использования - кодинг и учеба. Для второго вообще мастхев. Спрашиваю тлдр всех технологий, с которыми сталкиваюсь

Китайцы порадовали. Желаю каждому причастному - по 🍚 и 🐈👱‍♀️