Tool Building Ape × Gleb Kalinin

Работая с агентами, понимаешь, что у каждого свои сильные стороны, свой вайб и свои возможности. Мне очень нравится codex с новой моделью! Он сам предлагает, куда двинуть проект дальше, и решает сложные алгоритмические задачи.

Вот презентация, которую мы с codex в несколько шагов сделали из ответа GPT Agent. В следующем посте расскажу как я это делал

Разумеется, я использую ИИ для проверки утверждений. С выходом GPT-5 и их агента качество и надёжность ответов заметно выросли, агент практически не галюцинирует (хотя, увы, может в список источников включить среди качественных научных статей немного ереси с дорвеев, поэтому проверять его нужно в любом случае). Модели научились говорить «Не знаю», а судя по свежим исследованиям, может и полностью с галлюцинациями разберутся — как минимум отличить программно галлюцинацию уже возможно, так что ждём больше «Не знаю» в ответах агентов.

Вот мой чат с GPT Agent, где я прошу его провалидировать реалистичность Alterego, интерфейса для «чтения мыслей», про который я писал ранее. Промт простенький, буквально пара строк. Я его потом улучшил с помощью самого же ChatGPT, но даже исходные 2-3 строки и пара ссылок дают агенту достаточно контекста, чтобы выдать подробнейший ответ-презентацию.

Однозначные утверждения о том, что ChatGPT делает нас тупее не выдерживают критики — если хотя бы формально выполнять простейшие правила и активно взаимодействовать с ответами моделей (читать как минимум), начиная с o3, то интеллект не может не развиться. GPT-5 отвечает на уровне ну как минимум бакалавра, а вообще и действительно PhD (по сложности ответов и словаря) — хотя в остальном я считаю сравнение ChatGPT с PhD. некорректным.

К примеру, Клод оценил Readability Level ответов как Graduate/Professional (16+ лет образования). Объем словаря и навыки письма — самые большие предикторы всех типов успеха (академических, бизнесовых и так далее). Более объемный словарь — более точный инструментарий для описания реальности, и для взаимодействия с агентами, конечно.

Так что если вы нормально читаете отчёты GPT-5 и GPT Agent — когнитивный упадок не грозит.

Чат с Клодом про оценку Readability Level в ответах GPT-5

Всё-таки живём в будущем — и еще при наших жизнях сможем общаться «мыслями». Пару недель назад Alterego, устройства для беззвучного ввода текста и управления компьюетром от MIT Media Lab завирусился, и люди поделились на тех, кто в восторге, тех, кто считает, что это фрод.

Я однозначно отношусь к первой категории, и точно начал бы пользоваться, как только он стал бы общедоступным. Для меня это логичное продолжение голосового ввода, которым я так пользуюсь каждый день.

Проверку фактов продукт проходит — у MIT Media Lab была peer-reviewed статья про эту технологию ещё в 2018 (а вот видео). Ничего нереалистичного в этой технологии. Это не чтение мыслей, а считывание нейромускулярной активности — периферических нервных сигналов от внутренних артикуляторов речи, которые возникают при субвокализации — внутренней речи (той самой, от которой учат избавлять при скорочтении).

Это не так уж сильно отличается от какого-нибудь Muse EEG (который и сам больше мышечную активность замеряет, чем про мозг).

Подозреваю, что поначалу работать это будет не идеально, а устройство нужно будет калибровать, так что про утечку наших ценных мыслей без нашего ведома речи не идёт — чтобы система что-то считала, нужно намерение говорить.


Upd: Команда OpenBCI еще в 2021 году разрабатывала аналогичный проект

https://omnara.com/ — любопытный инструмент: тоннель, позволяющий работать с агентами (claude code, codex, amp) на вашем компьютере с телефона. Компьютер, разумеется, должен оставаться включенным.

Не без глюков — сессия с claude code у меня намертво подвисла, когда тот пытался проиграть звук.

Но мне удалось с телефона поболтать со своим волтом в Obsidian через codex-cli, и даже обновить дневную заметку.

В целом, подобное можно и самостоятельно собрать (ngrok + ssh), но здесь всё работает из коробки.

Claude тоже двигается к агентности — теперь он не только генерирует тексты, но создаёт файлы в разных форматах: презентации, таблицы.

https://www.anthropic.com/news/create-files

Нужно включать в настройках (у меня пока не появился)

Мне GPT Agent нравится возможность создавать презентации, они уже почти готовые к использованию, так что жду Клода с нетерпением

Зато порадовал ChatGPT. В одной соцсеточке спросили насчет инструмента для создания таймлайнов. Я не знаю хороших инструментов для создания таймлайнов, зато знаю симпатичные библиотеки на JavaScript. Решил попробовать что-то для React, быстро нашел вариант, и вот — редактор таймлайнов.

Данные можно вводить просто текстом по правилам, а в идеале просто в формате интервью с ИИ (вполне решаемо).

Попробовать — там же можете начать редактировать.

Не понимаю, зачем будет нужен Lovable, если ChatGPT сможет всё то же, только лучше

По-моему, Lovable — самый большой пузырь из недавно надутых. Появляется куча стартапов, позиционирующих себя как Lovable для x, но сам Lovable при этом чрезвычайно сыр, туп и не позволяет без напильника решить даже несложные задачи вроде дизайна посадочных страниц.

Попробовал собрать в нём тот же граф с теми же данными и промтами, что в Клод коде (у Lovable была даже фора в виде чистых работающих данных).

Получилась гораздо менее юзабельная ерунда, но тоже любопытная. Развить это до полноценного продукта будет сложно.

Но не исключаю, что я просто не умею пользоваться Lovable

Докрутил в Claude code инструмент визуализации серии заметок в виде 3д графа, который к тому же можно крутить в дополненной реальности.

Огромная проблема LLM — они не умеют хорошо работать со сколько-то большими объемами данных. Поэтому если данных у вас планируется много, нужно сразу продумать стратегию, как лишний раз эти данные через дорогие и медленные LLM не гонять вовсе.

В этом проекте я потратил на обработку и переформатирование данных непропорциональное количество времени — хотелось бы столько же потратить на анализ данных. Но результатом я доволен — для чего-то, что получилось без дополнительных усилий в плане сбора данных — очень круто.

Получил граф всей жизни — 27 групп, которые создал ИИ, вот их полный список: Core Identity, People, Emotions, Places, Business, Technology, Financial, Health, Activities, Systemic, Relationships, Creative, Learning, Aspirations, Skills, Challenges, Support, Cognitive, Values, Meta, Environment, Social, Temporal, Information, Energy, Resources, Integration.

Если бы захотел, можно было бы те же данные пропустить через какое-то другое сито — например, пробовал натягивать на HEXACO.

Откуда я взял данные? Попросил Claude пошерстить по заметкам в Obsidian за лето — терапевтические, коучинговые сессии в основном.

Так что собирайте ваш контекст, с ним можно сделать много всего интересного.

Никогда не писал про эту часть своей жизни, но я давно слежу за стартапами в области здоровья — в первую очередь психического, но и здоровья вообще, с упором на продление health span — той части жизни, где мы условно здоровы (можем сами за собой ухаживать, выполнять повседневные задачи). Все мы хотим, чтобы наш health span и life span максимально совпадали — гораздо лучше умереть на прогулке, чем после долгих лет болезни.

Радует, что появляются стартапы, делающие анализы и рекомендации доступными. Заплатить всё равно придётся прилично — сами анализы стоят 500 евро, и делать их нужно каждые 4 месяца. Зато GenAI потенциально позволяет получать очень точные персонализированные рекомендации по изменению — очевидно, в первую очередь питания и добавок, но так же скорее всего и поведения.

Да, пока что это всё ещё премиальная услуга, но даже сырые данные, без рекомендаций, могут быть очень полезным материалам для взаимодействия с ИИ (ChatGPT, например, или Клодом).

В будущем живём, друзья

https://aniva.health/manifesto

Граница между инструментами размывается всё больше.

Что это? ChatGPT кодит, или Cursor?

Нет, это китайский ии-браузер Fellou верстает мне презентацию (и такое решение мне нравится гораздо больше, чем если бы он пытался её по чайной ложке собирать в Google Slides). Данные — из рисерча, который браузерный агент сам провёл.

Неплохо сверстал, кстати.

Что такое context engineering?

Понравилось объяснение Джефа Хабера (Jeff Huber), фаундера Chroma. Он говорит о context engineering в контексте разработки софта, но думаю легко перекладывается на другие виды деятельности.

Сontext engineering — это процесс наполнения контекста токенами, которые помогут эффективно добиваться целей и задач, например, писать надежный программное обеспечение быстро и дёшево.

У абсолютно всех LLM эффективное контекстное окно гораздо меньше, чем номинальное (см. context rot). Эффективность работы LLM, особенно в задачах, требующих ризонинга, быстро падает. Чтобы этого избежать, нужно курировать контекст.

Этапа всего 3:

1. Собрать релевантную информацию
2. Убрать неревантную информацию
3. Оптимизировать релевантную

Gather
Собираем: работаем со структурированными и неструктурированными данными, локальной файловой системой, внешними инструментами (API, MCP, веб-поиск), историей чатов и т.д.

Glean
Отбираем: используем методы Top-k по сходству векторов, Reciprocal Rank Fusion, обучение ранжированию и модели повторного ранжирования, а всё чаще — просто LLM (можно использовать дешевые и даже локальные модели, и делать это более одного раза)

Не важно, пишете ли вы софт или работаете с помощью агентов над текстами — процесс будет похожий.

Классное исследование про увеличение продуктивности при использовании ИИ для разработки

upd: Исследование на моделях, бывших актуальными в конце 2024 года. Оно всё равно актуально — наука работает медленно, а LLM-кодинг не меняется так уж быстро. Видео-презентация (ссылка в конце поста) — июль 2025.

В исследовании участвовали 100 тысяч разработчиков, использовали подход, основанный на данных — анализировали изменения в git-репозиториях, оценивая функциональность кода, а не количество строк. Каждый коммит исследуется ии-«панелью» из 10-15 экспертов, каждый оценивает по своему измерению.

В среднем ИИ повышает производительность разработчиков на 15-20%, но также приводит к увеличению объема rework — кода, который требует правки после создания.

Прирост производительности наиболее высок для задач с низкой сложностью (30-40%) и более умеренный для задач с высокой сложностью (10-15%). Для некоторых сложных задач ИИ снижает производительность.

ИИ более эффективен с популярными языками (Python, JavaScript). С ними ии может обеспечить прирост производительности до 20%.

Чем больше база, тем меньше прирост производительности.


Итого:
низкая сложность проекта, пишем с нуля → ИИ даст большой буст производительности, 30-40%

высокая сложность, пишем с нуля → прирост скромнее, 10-15%
низкая сложность, старая база → всё ещё хороший прирост — 15-20%

Высокая сложность и старая база — наименьший прирост — от 0 до 10%. А может и хуже стать.


Greenfield-задачи (код с нуля) часто требуют написание стандартного кода (например, CRUD-функциональность для интерфейсов, авторизация, чтение-хранение данных). Это не сложно.

Большая часть реальной разработки находится в Brownfield-зоне, где сложность высокая, и ии-модели не справляются.

(Кто с GDS работал, тот в цирке не смеется!)

Я в этом вижу только положительные новости. Значит большое исследование показывает, что ИИ прекрасно подходит для разработки прототипов. При этом много зависит непосредственно от типа задачи. Из моего опыта, написать стандартную админку проще, чем закодить классный миро-подобный интерфейс, или навайбкодить новый алгоритм (что, впрочем, не исключено). Всегда лучше брать максимально готовое решение, в идеале популярное.

Разработчики никуда не деваются — большая часть программных систем находится как раз в области brownfield (а еще, разумеется, кому-то нужно будет поддерживать и развивать ai slop в продакшне).

Из любопытного — субъективные ощущения увеличения продуктовности разработчиков с реальностью никак не связаны (R = 0.3).


Видео, сайт

ASCII-прототипы — пожалуй, самое большое ускорение на пути к качественным интерфейсам в деле ИИ-разработки, после shadcn.

Почему это эффективно? Используя совсем немного токенов, модель показывает, что именно и где будет находиться в интерфейсе — это и прототип, и база для спецификации, которая потом превратится в код, — и основа для тестов, в том числе и визуальных — через playright или мультимодальные возможности самой LLM.

И Claude, и ChatGPT мультимодальны — claude code и codex могут посмотреть на скриншот, сравнить его с wireframe и в цикле довести до рабочего состояния, так что ручного тестирования будет нужно на меньше в разы.

Про UX в контексте ИИ очень интересно — большиство ИИ-интерфейсов узнаваемы и холодны, как могильная плита, а что такое хороший интерфейс, а уже тем более взаимодействие и пользовательский опыт языковой модели узнать по сути не откуда.

Связка из из автоматического визуального, технического тестирования и a/b-тестов наверняка даст большим компаниями данные о том, что работает, но пока что в качестве ИИ-интерфейсов мы часто получаем неконтролируемый и разрастающийся по минутам ai slop