TGViewer
Channel Public Channel
КайфКодинг

КайфКодинг

@vibecodingartem

ВайбКодинг с Артемом Кругловым,
выпускник МФТИ, AI-гуру и основатель AnyQuery.

Быстрые лайфхаки: короткие видео с приёмами и трюками
Subscribers
1.01K
Photos
329
Videos
106
Links
465

Showing posts older than #844 · Back to latest

Older Posts 17 shown
Post #842 284
От выхода модели до доступа в АПИ - 40 минут. Валера большой молодец
Post #841 307

Forwarded from Книжный куб (Alexander Polomodov)

turbopuffer: как построить поисковую базу поверх S3 (Рубрика #Architecture)

Посмотрел разговор Gergely Orosz с Simon Eskildsen, сооснователем и CEO turbopuffer. Формально выпуск про инфраструктуру поиска для AI-продуктов, но для меня он прежде всего про старую инженерную дисциплину: сначала посчитать физику и экономику системы, а уже потом верить бенчмаркам. До turbopuffer Simon восемь лет занимался инфраструктурой Shopify. Там он собрал Napkin Math - таблицу с пропускной способностью DRAM и NVMe, задержками S3 и стоимостью разных видов хранения. Если расчёт говорит «10 мс», а тест показывает 10 секунд, нужно не выбирать соседнюю базу, а понять, где потерялись три порядка: в плане запроса, сети, распределении работы по узлам или самом эксперименте.

turbopuffer вырос именно из такого несоответствия. Делая рекомендации для Readwise, Simon оценил, что хранение и поиск по векторам обойдутся примерно в $30 тысяч в месяц — при $5 тысячах на всю остальную инфраструктуру компании. По его словам, экономика продукта не сходилась, и функцию не запустили. Тогда он задал более полезный вопрос: обязательно ли постоянно держать все векторы в дорогой памяти и на реплицированных SSD?

Ответом стала база, где все постоянные данные лежат в объектном хранилище (object storage), а вычислительные узлы не держат собственного состояния. Упрощённо векторы собираются в кластеры, отдельно хранится индекс центроидов, а запрос загружает только ближайшие кластеры. Горячие данные попадают в память, тёплые - в NVMe-кэш, холодные читаются из S3.

Это не бесплатный трюк: запись может занимать до 200 мс, а холодные запросы иногда уходят в сотни миллисекунд. Но для поиска обычно важнее высокая пропускная способность, надёжность и цена хранения, чем транзакционная задержка каждой записи. turbopuffer сознательно платит более медленными записями и редкими холодными запросами за дешёвое хранение основной массы данных.

Особенно хороша история первого клиента. По словам Simon, им стал Cursor, пришедший после запуска MVP в Twitter. Simon прилетел в Сан-Франциско и начал не с продажи, а с разбора чужой проблемы Postgres: autovacuum не успевал, и база читала таблицу вместо нужного index scan. Эта помощь создала доверие; затем Cursor перенёс нагрузку на turbopuffer за одну-две недели. По данным компании, первый счёт оказался на 95% ниже последнего счёта предыдущего поставщика. Это не независимый бенчмарк, но продуктовый урок сильный: критическую инфраструктуру покупают не по красивой диаграмме, а у команды, которая понимает весь контур отказов и стоимости.

Для меня главный вывод: мышление от первых принципов не заменяет измерения - оно делает их осмысленными. Сначала прикидываем пределы железа и стоимость нагрузки, затем строим простейшую систему с нужными инвариантами и только после этого оптимизируем реальную работу. turbopuffer интересен не потому, что «S3 победил базы данных», а потому, что команда отказалась платить за свойства, которые её поиску не нужны.

#Software #Data #Architecture #Infrastructure #Engineering #AI
YouTube Building Turbopuffer: Gergely Orosz (@pragmaticengineer ) × Simon Eskildsen (CEO) This fireside chat between Gergely Orosz and Simon Eskildsen explores the technical journey and engineering philosophy behind the database company Turbopuffer. Video Timestamps 0:00 Introduction and Simon’s early history with computers 3:02 The International…
  • 🔥 3
Post #840 304
Скилл, навешенный на агента, — это не новая возможность. Это отложенная работа по его поддержке.

Vercel рассказала, как разгребает AI SDK. К концу июня в репозитории лежало больше тысячи открытых issue и почти восемьсот пул-реквестов — при сотне с лишним новых issue в месяц. Руками эта дельта не закрывается.

Одного агента со скиллами на каждый шаг они прототипировали и отказались — из-за «a higher maintenance and troubleshooting burden over time». Вместо него сделали отдельного агента на каждый шаг: воспроизведение бага, фикс, ревью, бэкпорт, документация, анализ фичи, реализация. У каждого свой промпт, свой контекст и свои эвалы. Через четыре недели фабрика авторит 25–35% смёрдженных PR и закрывает 70–80% issue.

Скилл добавить дёшево, а отлаживать его придётся вместе со всем остальным. Отдельного агента — отдельно.

https://vercel.com/blog/building-a-software-factory-for-ai-sdk
Vercel Building a software factory for AI SDK We built a software factory that autonomously processes issues and PRs for the AI SDK, with humans in control of every merge. Four weeks in, it authors 25-40% of merged PRs.
Post #839 276

Forwarded from Валера Ковальский

Вышел Коворк/Код от Битрикс24, делюсь, годная штука

Это очень круто упакованный harness под моим небольшим присмотром
Просишь собрать материалы к встрече или разгрести поручение, и он сам лезет в твои сделки, чаты, документы и таски прямо в Битрикс24(так как сильно интегрирован с ним) и делает рутинную работу за тебя
В режиме Код можно кодить прямо по работе, без прокси и западных карточек, кто с этим воевал, тот оценит, интеграцию с хабом тоже проводил можно указать кастом модельки

Больше всего зацепила память (Радиант), брали самые лучшие патерны по бенчам
Проверено держит контекст больше месяца и не забывает
Под капотом BitrixGPT 5.6 Agent 1M Д
Наружу данные не уходят, весь контур в России, есть под macOS, Windows и Linux.

По ощущениям это не очередная обёртка над LLM, а агент, который реально живёт внутри твоих данных и встроен в Битрикс24.
Ранний доступ уже открыт, попробовать можно на cowork.bitrix24.ru
Чем больше пользователей тем больше фидбека и лучше решение! Так что перед тем как сравнивать "чем лучше" а то я вас знаю =)
Просто попробуйте
Post #838 308

Forwarded from Alex Kataev

ребята, привет всем новеньким!
поздравляю всех с тем, что впереди будет что-то новое интересное! ❤️

а я ищу разработчика в нашу небольшую (7 full-time people) команду Explee
выручка >$3M ARR
весной закрыли раунд, осенью вероятно будет ещё один

ищу к себе, руководителем буду я
это не какой-то корпоративный bullshit 😅

да, мы разрабатываем одновременно в 5-8 тредах, ещё и прям в слаке
но это в кайф, а не “ради эффективности”
мы оч крутой harness построили вместе с ребятами и кайфуем, как над side project

в команде вас ждёт много знакомых лиц — я, Вова Баяндин, Харитон, Глеб Фокин, Оля Ромашкина и другие

из требований:
1 опыт и кайф от работы с AI
мы тут не просто “кодим с AI”, мы 20-30% времени строим систему
в которой всё больше и больше делается само (у нас 60 подписок claude max на команду)

2 быть немного (или много) продактом
мы катим больше 200 PR в неделю — ждать задачки из беклога это слишком долго
нужно самому принимать много продуктовых решений

полная вакансия тут (платим $10-12k в мес)
https://jobs.explee.com/ai-native-developer
отклик = пишите мне в личку
  • ❤ 1
Post #837 283
800 пулл реквестов в месяц, 60 учеток клод кода на несколько человек.
Мое почтение господа.
Post #836 315
Скоро любой текст можно будет проверить на след Claude. Проверкой авторства это не станет.

Anthropic описала, как метит то, что генерирует. Модели, вышедшие в ЕС со 2 августа, метят текст с первого дня. Метка ставится на уровне модели, а не продукта, поэтому она одинаково приезжает из API, из Claude, из Claude Code, из Cowork — и по всему миру, включая доступ через AWS, Google Cloud и Microsoft Foundry.

Как это устроено, по описанию самой Anthropic:

— в текст вплетается невидимый знак, который не меняет ни смысл, ни читаемость;
— знак переживает копипаст и часть правок, потому что он часть текста, а не метаданные;
— картинки и .svg получают отдельно подписанные метаданные по стандарту C2PA.

А дальше идёт раздел «Limitations», ради которого я это притащил. Anthropic сама перечисляет, когда знака не останется: если фрагмент короткий, если текст сильно переписали, пересказали, перевели или смешали с другим. То есть знак держится тем крепче, чем меньше человек трогал текст, и пропадает ровно там, где человек работал.

Второе, и оно важнее. Наличие знака не означает, что писала модель. Дословно: «Claude may not be the original author». Вы отдали свой текст на вычитку, перевод или сокращение — вернулся он уже помеченным.

Теперь к вам. Детектор, который вот-вот появится, отвечает на вопрос «этот текст проходил через Claude». Спрашивать его будут другое: «это писал не ты». Это разные вопросы, и подменять их будут не со зла, а по инерции.

Что сделать сегодня. Посмотрите, где в вашем процессе через модель проходит уже написанный текст — вычитка, перевод, сокращение чужого документа. Признак простой: если за этот текст кто-то однажды спросит «кто автор», держите рядом исходник с историей правок.

Честности ради, ни одно из этих ограничений Anthropic не прячет: они лежат отдельным разделом в её же статье. Как именно знак вплетается в текст, там не сказано — обещана техническая документация позже.

https://support.claude.com/en/articles/16266773-how-claude-marks-ai-generated-content

Какой ваш текст за последний месяц проходил через модель хотя бы ради вычитки — и знает ли об этом тот, кто его читал?
Claude How Claude marks AI-generated content | Claude Help Center
Post #833 281
Но я сегодня слушал нейрослоп-шансон в такси. Один раз по радио, другой раз в подборках таксиста. За душу берет.
Post #832 296
Как покорить сердце водителя такси?

Спросите аккуратно у него о его малой родине.
Тихо сделайте песню про этот маленький городок в Suno,
а попросите включить ее.

Сердечко водителя будет тронуто.
  • 😍 4
Post #831 292
Зашифрованный блок в логе агента — не защита. Это отложенная утечка.

Когда модель думает, провайдер не показывает вам её рассуждение. Он присылает вместо него зашифрованный блок и просит вернуть этот блок обратно, если разговор продолжится. Так устроено у Anthropic, OpenAI и Google.

Александр Панфилов с соавторами (MATS, ELLIS Institute Tübingen, Max Planck Institute for Intelligent Systems) проверили, насколько блок привязан к своему разговору. Оказалось, никак. Он принимается в другой сессии, у другого пользователя и на другой модели того же провайдера.

Отсюда приём. Блок сильной модели подставляют её младшей родственнице и просят переписать содержимое дословно. Младшая отказывается, её обходят джейлбрейком — и рассуждение сильной модели читается обычным текстом. Саму сильную при этом не трогают вообще.

Вот это и есть приём, ради которого я притащил историю. Дальше авторы скачали 6 708 логов агентских сессий, которые люди сами выложили на GitHub и Hugging Face ради воспроизводимости. Из них расшифровали 315 320 блоков.

Внутри нашлось 704 чужих секрета: 62 API-ключа, 33 пароля, 24 токена доступа, 30 личных адресов почты. И главное число: 64 из них не встречаются в видимой части лога нигде. Только внутри рассуждения.

Теперь к вам. Сканер секретов читает то, что видно: текст, команды, вывод. Зашифрованный блок он видит как длинную строку мусора и проходит мимо. То есть часть утечек он не находит не потому, что плохо настроен, а потому, что смотрит не туда.

Что сделать сегодня. Поищите в репозиториях и в артефактах CI поля thinking, signature, encrypted_content. Нашли — считайте эти файлы такими же секретными, как .env, а не отладочным выводом.

Честности ради, 704 секрета на 315 320 блоков — это доли процента. Работа лежит препринтом, рецензирования не проходила. А заголовки к расшифрованным логам на сайте авторы сгенерировали Opus 5: витрину исследования про модели сделала модель.

https://stolen-thoughts.com/

Какие логи агента лежат у вас в репозитории и кто хоть раз проверял их тем же сканером, что и код?
Stolen-Thoughts Stolen Thoughts Encrypted chain-of-thought blocks returned by Anthropic, OpenAI and Google APIs are interchangeable across sessions, users and models. We exploit this to decode hidden reasoning at scale.
Post #830 233

Forwarded from ChillHouse (Alexey Moiseenkov)

Короче rage bait пост. Про бизнес, предпринимателей, венчур и «взрослую индустрию tech».

TLDR: венчуру в его текущем виде конец, будут только большие раунды, предприниматели прошлого цикла (а-ля инстаграм кофаундеры) потеряли свою ценность, их опыт не нужен.

А теперь по порядку. Мы находимся у порога технологического цикла. Входного порога конечно. AI такая штука которая срезает все «среднее», «ну такое» и прочее ниже этого по качеству. Технология меняет местами в приоритете две важных вещи. Возможность сделать и возможность проверить.

Раньше самым большим порогом входа было: собрать команду, найти денег чтобы им платить, мотивировать и так далее. Поток людей в индустрию рос. Было много гипотез, но чтобы их проверить нужно было время и ресурсы. Гипотезы были очень простые. О давай продавать это или отмечать фотки на карте, отмечать клиентов в табличке и трекать прогресс. Все было открыто (интернет меньше регулировался). Поэтому предприниматели славились своими софт скилами. Не так важно было знать проблему и ее решать, важно было найти людей и итерировать. Это ценилось превыше всего.

Сегодня я вижу картинку по-другому. Порог до проверки гипотезы упал до нельзя. Простые вещи проверить можно на коленке. Посмотрите на вайбкодинг подделки. И тут оказалось, что решение проблемы в RL стоит сотни миллионов, а твой новый SaaS две выручки дай бог. И для меня поменялось местами следующее. Раньше важно найти с кем и засетапить. Теперь важно очень точно понимать что делать, и желательно формулировать конкретно. И это пресловутое знание в век AI компаний оказалось очень техническим и очень сложным. Залетели первые компании типа perplexity & Harvey. А дальше читая описание компаний поднимающих 200м сразу даже не понятно. И это не потому что они делают чушь (клоуны ахахах), а потому что не понимаешь в чем вообще суть проблемы ими решаемой.

Следом за кризисом у предпринимателей будет кризис аллокации капитала. Ведь теперь нужно разбираться «на что» давать бабки, а не кому давать бабки. Что очень ломает мир инвесторов. И софт скилы отходят на второй план, ведь собрать команду под четкую проблему и зная что внутри легче, чем под «Тиндер для собак». А значит нужны инвесторы которые шарят. А таких будет мало, ибо им легче сделать свою компанию.

Все эти вещи можно заметить уже сейчас: топ рисерч челы уходят из гугла, в инвест фондах меняются лица, потому что прошлые лидеры просто не понимают что происходит. Тупо банально не вдупляют в смысл происходящего.

Такая стадия во многих индустриях. Там где венчура то и нет. Где стало сильно меньше высокорисковых идей с потенциалом. Потому что идеи стали сложные слишком. Это нас ждет и в tech. И да я бы не инвестировал бабки в трек рекорд прошлых лет, а лучше бы студентам норм профессора по ml закинул. Такие дела.

Вторую часть может тоже напишу. Но предрекаю огромное количество «великих предпринимателей» у которыхт в эпоху AI ничего не выйдет. Совсем.
  • 🔥 5
  • 👍 2
  • ❤ 1
Post #829 259
Ваше внимание к диалогу подтверждения имеет измеренный срок годности. Примерно пятьдесят промптов.

С 14 августа новые сессии Claude Code на планах Pro, Max и Team стартуют в auto mode: разрешать вызовы инструментов будет модель-классификатор, а не вы. В исследовании Anthropic на 1053 платных тестерах подставленную опасную команду поймали 13,6% людей против 89% у классификатора. И главное: в начале сессии люди блокировали около 17% опасных команд, а после пятидесяти и более предыдущих запросов — около 5%. У классификатора доля не зависела от длины сессии вообще.

Тестеры при этом сидели в подставленной среде и знали, что их оценивают.

Диалог подтверждения оказался не механизмом безопасности, а элементом интерфейса со сроком годности. Чинить его не стали — из цепочки убрали вас.

https://claude.com/blog/auto-mode-default-in-claude-code
Claude Auto mode is now the default in Claude Code for Pro, Max, and Team plans | Claude by Anthropic Claude Code will soon run auto mode by default for Pro, Max, and Team plans, enabling longer-running autonomous work, and catching more dangerous commands.
Post #828 267
Он раздал свой код бесплатно ровно перед тем, как брать деньги. Это не щедрость, а расчёт.

Джан Челик из Анкары четыре месяца в одиночку писал Herdr — рантайм, в котором живут кодинг-агенты. 6 августа объявил, что идёт в Y Combinator: «25k stars and 340k downloads». А за пятнадцать дней до этого сменил лицензию с AGPL на Apache-2.0. Перед раундом лицензию обычно закручивают, а не отпускают.

Сейчас агент привязан к машине.
Поставили Herdr на ноутбук — агенты живут на ноутбуке. Нужна долгая задача — ставите второй Herdr на VPS, и это уже отдельная жизнь, со своими сессиями и своей историей. Третья установка в песочнице — снова с нуля.

Вот это и есть приём, ради которого я притащил историю.
Он собирается привязку убрать. Его слова: «those machines are disconnected. They should be connected». Ноутбук, VPS под шестичасовую задачу, песочница под рискованный код, телефон посмотреть с дивана — перестают быть отдельными установками и становятся одним парком.

Машина превращается в мощность, а сессия — в то, что по этому парку переезжает.

И вот тут появляется бизнес. Соединить ваши машины бинарником нельзя: нужен кто-то посередине, кто знает про все коробки и держит состояние.

Это уже не программа, а сервис, и хостить его будет он. Рантайм остаётся бесплатным навсегда, деньги — на слое поверх.

Поэтому копилефт и пришлось снять. Никто не купит координатор для рантайма, которым не пользуется. Сначала Herdr должен стоять у всех, и только потом сверху продаётся то, что без него не нужно. AGPL эту базу сужала — юротделы её режут. А вокруг Herdr уже выросли 565 плагинов в 556 чужих репозиториях, которые он не писал. Вот его актив: не код, код повторят за месяц.

Что сделать сегодня. Открыть LICENSE у инструмента, на котором стоит ваш пайплайн. Копилефт — счёт придёт за сам продукт. Apache или MIT — деньги возьмут не с кода, и стоит заранее понять, за какой слой поверх вас попросят платить.

Честности ради, продукта пока нет. Он привлёк раунд на установленную базу и на смену лицензии как на заявление о намерениях. Защиты у него теперь тоже нет: ровно на этом обжёгся Elastic, который в январе 2021-го ушёл с Apache под SSPL, потому что AWS торговал их продуктом под их же именем. AWS в ответ форкнул код и выпустил OpenSearch.
https://herdr.dev/blog/herdr-is-joining-y-combinator/
Herdr Herdr is joining Y Combinator. The runtime stays open. — Herdr blog Herdr is joining Y Combinator. The runtime is Apache-2.0 and stays open, and here is what the funding is actually for.
  • 🔥 2
  • 💩 2
Post #820 267

Forwarded from Information Retriever

KDD’26, день второй.

1. Personalized Intelligence Workshop — про персонализацию агентов. Над какими проблемами думают:
* как тюнить персонализацию не на один шаг, а на большой горизонт времени
* память. Что и как нужно сохранять в памяти; и что нужно наоборот забывать
* оценка качества. Как оценивать персонализацию агентов тоже пока никто не понимает)

Было выступление от James Caverlee — Personalization in the Agentic AI Era: Opportunities and Challenges. Как я понял, он много где выступает с похожим рассказом, и каждый раз у аудитории спрашивает “Кто считает, что мы достигнем agi в ближайшие пять лет?”:
* в нашей аудитории получилось, что где-то 10% считают, что да
* в феврале на WSDM — где-то 15%-20%
* на computer science graduate курсе, который он преподает, 0% студентов считают, что да
* в Google Deepmind — 75%
Ну то есть у студентов и ресерчеров из GDM совершенно противоположный настрой))

Потом была цитата от Jimmy Lin: “We’re all fucked”. И еще цитата, что “Only 100 people in the whole world matter. And they are working at Anthopic and Moonshot AI”

Говорил, что old-school recsys, когда мы на типичных академических бенчмарках типа мувиленза растим HR и NDCG, уже никому не нужен. Что сейчас надо думать про агентную персонализацию. Приводил примеры, в стиле что пользователь просит агента помочь продвинуться в ближайшие пять лет в карьере / научиться играть на гитаре “Yesterday” за месяц / уменьшить потребление энергии в доме / подобрать хорошую тропу для скалолазания на Чеджу.

Еще говорил, что очень важна мультимодальность — агент, который пытается помочь человеку, должен видеть (как минимум распознавать все предметы в окружении человека) и слышать (понимать насколько он нервничает и тд).

2. AdKDD — наверно, главный воркшоп по рекламе среди всех ML конференций. Я не смог на него пролезть. Уверен, что на других каналах вам про него расскажут))

3. На открытии конференции сразу рассказали про выручку — сколько получили денег со спонсоров и с регистраций (см фотографии). Но при этом вообще ничего не сказали про самое интересное — как участники / авторы статей распределены по странам. А еще, внезапно test of time award выиграл Xgboost!

4. Постерная сессия была огромная (кажется, 700+ постеров), но при этом длилась она всего два часа. Я все это время простоял возле Аргуса, поэтому про остальные индустриальные постеры вам расскажут тоже на других каналах)) Подошел разработчик из Куайшоу, внимательно прочитал постер, по-английски не разговаривал. С разработчиком из Naver сошлись на том, что Naver — корейский Гугл, а Yandex — русский)) Еще автор CLUE попросил сфоткаться

Что еще:
* сейчас уже думаю, что русскоязычных участников 100+
* у ребят из Т-Банка приняли на CIKM 3 статьи! И еще и на RecSys что-то приняли! Очень круто
* всегда хотел записывать на канал кружочки, начиная с фразы “Здравствуйте, дорогие подписчики”. Кажется, момент настал; меня уже не остановить
* завтра день начнется с выступления Jeff Dean. Мы все на хайпе, ждем
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →