TGViewer
Channel Public Channel
„Chillin‘“ at Amazon

„Chillin‘“ at Amazon

@webapparch

Amazonian SDE is sharing, 'cause sharing is caring 👨‍💻

note: I do not represent any of my employers in this channel
Subscribers
590
Photos
54
Videos
1
Links
405

Showing posts older than #601 · Back to latest

Older Posts 20 shown
Post #600 393
#solo #trending2 #ai

👣 Я всё ещё ищу правильный формат для @trendingtrends2.

Есть хорошая мысль: стартап — как огонь. Сначала его нужно раздувать вручную, и только потом он начинает гореть сам. Основатели часто недооценивают, сколько ручной работы нужно в начале.

Я сейчас чувствую это буквально.

Каких бы ботов, AI-пайплайнов или Telegram-интеграций я ни строил — лучше всего пока работает ручной контроль ИИ.
Особенно в таких вещах как:

- поиск трендов
- формулировка идеи
- выбор главного тезиса

Постепенно начинаешь чувствовать: 1/ где ИИ халтурит, 2/ где пытается угодить, 3/ а где просто срезает углы.

У меня давно есть ощущение, что ИИ намного легче применять в разработке, чем в менее точных задачах.

В программировании всё в итоге сводится к 0 и 1.
Результат можно проверить: юнит-тестами, интеграционными тестами, поведением системы.

А вот в задачах вроде 1/ анализа трендов, 2/ интерпретации новостей, 3/ оценки поведения рынка проверить ИИ намного сложнее.

И там у него появляется огромное пространство для собственного «мнения». (в разработке, мы это обычно называем галлюцинацией 🧚)

Поэтому сейчас мой главный эксперимент — пробовать ИИ в разных областях и постепенно нащупывать: где его реальные сильные стороны, а где пока предел возможностей. Я, кстати, начал делиться результатами своих погружений на канале @trendingtrends2

🙋‍♂️ Интересно услышать ваш опыт. Удалось ли кому-нибудь построить по-настоящему автономных агентов в задачах, где нет чёткой проверки результата?
  • ❤ 4
Post #598 379
Начал тестить канал в Threads 🧵 куда делаю репост новостей из @trendingtrends2

Чтобы видеть детальную статистику в инсайты нужно, чтобы было подписано 100 человек. Мне нужно еще 12 человек.

Помогите, плс 😇

https://www.threads.com/@ybalgabekov?igshid=NTc4MTIwNjQ2YQ==
Threads Yeldos Balgabekov (@ybalgabekov) • Threads, Say more 105 Followers • 60 Threads • SDE@Amazon Creator of https://github.com/dosatos/minimise. See the latest conversations with @ybalgabekov.
  • 👍 2
  • 🎉 2
  • 🥱 2
Post #597 451
#dev #ai #amazon

45 ПБ данных в час научили меня одной важной вещи про LLM


Недавно на работе мне дали задачу:обрабатывать 45 PiB данных каждый час. Я быстро сделал PoC на Spark + AWS EMR. На маленьких данных всё выглядело как магия:
- запускаешь → работает
- добавляешь ноды → работает
- LLM помогает писать код → работает

PoC занял 1 день! Я уже обрадовался.

Подумал, "Ну, прям Магия!" - что современный стек решает всё:
- LLM подсказывает
- Spark оптимизирует
- EMR масштабирует

Потом я запускаю это на реальном объёме данных - и система просто умерла. Джоба падала по тайм-ауту через 2 часа. Оптимизация запроса не помогала. Удаление колонок не помогало. Spark Optimizer вроде делал всё правильно.

Я пошёл советоваться с LLM. LLM всегда звучит как самый умный эксперт в комнате. (я и мой коллега часто прикалываемся, что "this guy always makes mistakes with confidence 😎"

В конце концов, все его советы свелись к тому, что нужно добавлять больше инстансов. Для меня это означало, что наши расходы на 1 регион могут превысить $50 000, что применив глобально сильно бы дропнуло нашу маржинальность.

В принцпие, чего ожидать от ЛЛМ. LLM не платит за инфраструктуру, не видит реальную систему, просто продолжает предлагать следующее правдоподобное решение.

И если не управлять этим процессом —ты начинаешь бесконечно масштабировать проблему.

В принципе, я понимаю, что LLM — это не эксперт, но все же в потоке "убедительных" советов, я начал забывать, что нужно держать ухо в остро.

LLM — это генератор гипотез, хороший парсер, ну или опереционист, который, если направлять правильно, будет стрелять очень хорошо.

И работать с ним нужно именно так - не спрашивать "как оптимизировать систему?", а тюнить агента, под нужный флоу. В моем случае это было, если по простому,А делать цикл:
1️⃣ сформулировать гипотезу
2️⃣ придумать эксперимент
3️⃣ быстро проверить
4️⃣ записать в блокнот результаты
5️⃣ повторить

Как всегда в разработке, важно оказалось не оптимизировать код, а ускорить feedback loop. Потому что мои эксперименты занимали по 2 часа.

А это уже не разработка, а очередь ожидания.

Поэтому пришлось перепроектировать систему так, чтобы:
— быстро менять параметры
— тестировать идеи на маленьких сэмплах
— получать ответ за минуты

Через неделю экспериментов получилось сдвинуть систему:
джоба, которая умирала по тайм-ауту, начала завершаться за 79 минут.

Наверное, главный вывод из этой истории: LLM делает работу хорошо, но не в качестве эксперта, а в качестве ассистента, что помогает ускорить проведение эксперементов. Если использовать его как архитектора —он может увести очень далеко. Если использовать его как двигатель гипотез —он ускоряет инженерную работу в разы.

Если интересно, могу накидать более подробно про то как я создаю и настраиваю агентов для ежедневной разработки, чтобы бы было меньше галлюцинаций. Пишите к комментах!
  • 🔥 16
  • ❤ 2
  • 🥱 2
Post #596 343
Иногда просматриваю каналы с похожей тематикой — так часто находятся интересные идеи.

Недавно наткнулся на канал Рауана Сыздыкова.

Он пишет тренды, инвестиции, и про стартапы для начинающих фанудеров. Понравилось, что посты выходят регулярно — видно дисциплину.

Канал пока небольшой, но аудитория постепенно растёт.

Если тема откликается — можно посмотреть:
https://t.me/Rauan_Syzdykov
  • 🥱 5
  • 👍 2
Post #595 354
Вот уже и Антропик добавляет возможность управлять Клодом на компе через телефон.

Год другой и вся разработка будет через голос 🔥
  • ❤ 2
  • 🔥 1
Post #594 452
#dev #ai

ИИ уже решил «дешёвые» задачи разработки — написание кода и механическую интеграцию сервисов.

но проектирование по-настоящему надёжных, безопасных и эффективных систем по-прежнему остаётся сложной задачей. именно в эту сторону все еще есть смысл развиваться, с точки зрения карьерных возможностей.

Преимущество будет у тех инженеров, которые умеют мыслить на уровне архитектуры и системных решений — там, где автоматизация "пока" ненадежна.
Post #593 422
#dev #ai

В прошлом году мы отказались от IDE перекочевав в terminal, в этом году предвещаю что разработка переедет в мессенджеры. К концу года появятся новые решения в рамках существующих мессенджеров или запустят новые, которые будут упрощать разработку через новый интерфейс.

На выходных я перевел разработку своего пет проекта в телеграмм, сегодня сделал тоже самое на работе - увел все в Слэк.

Продуктивность бешеная

Сделал небольшой рисерч: https://t.me/trendingtrends2/30
  • 🔥 5
Post #592 439
#dev #solo #ai

Вчера попробовал вывести свой workflow для @trendingtrends2 в Телеграм чат с отдельным ботом.

Архитектура простая.

Запускаю сервер на машинке за 5 баксов в месяц. Та слушает сообщения из телеграмма и запускает Claude code с моим pipeline. В принципе уже интересно только потому что я могу разбирать новости без привязки к компьютеру, а с телефона.

Также он ежедневно присылает мне 10-15 интересных по мнению бота новостей, а я выбираю 2-3 для более детального разбора.

Из самого крутого пока это то, что я могу запускать там более сложную аналитику имея гибкость, которую я получаю за счет контроля кода/логики/приложения- в том числе и интеграция с другими LLM провайдерами.

UX пока не супер вставляет, но это детали - причесать всегда можно.

Open Claw пока не смотрел - глянул, но учитывая мои потребности, пока решил не связываться с таким зверем. Если у кого есть хороший опыт, поделитесь в чем плюсы.
  • 🔥 2
Post #591 521
На счет новости: https://t.me/trendingtrends2/15

Anthropic выпустила инструмент, который эту цену снижает. Claude Code может прочитать кодовую базу, смаппить зависимости, задокументировать процессы и начать инкрементальную миграцию. Рынок не стал ждать production-кейсов — минус $40B за день.

Паттерн не уникален для COBOL. Страховщики сидят на тех же мейнфреймах. SAP и Oracle держат корпорации через сложность ERP-внедрений. Авиационные reservation-системы (SABRE, Amadeus) не менялись десятилетиями. Billing-системы телекомов. Госсектор — IRS, пенсионные фонды. Везде одна механика: высокая сложность миграции = невозможность уйти = вечный контракт.

Когда AI начинает снижать стоимость анализа legacy-кода, он разрушает не технологию — он разрушает бизнес-модель, которая на этой сложности держалась. И Accenture с Cognizant тоже упали в тот же день — рынок понял, что угроза не только IBM-железу, но и $98B отрасли legacy modernization consulting целиком.
Post #590 476
#solo

А пока продолжаю делиться инсайтами.

Пару дней назад прилетел фидбек: мои тексты стали тяжелыми и сложными для восприятия. Решил провести эксперимент и понять, если дело в модели или в промпте.

Результат показательный: У Gemini текст на русском получается куда естественнее и понятнее. Claude пишет довольно топорно и формально.
Хотя когда дело доходит до поиска трендов, то на Гугл я пока не готов переезжать - результаты Claude вполне устраивают.

Так что продолжайте делиться отзывом - если что то читается сложно, или если видите другие usability-gaps.

Off-top:
Заметил, что интуитивно я выстроил AI-пайплайн по принципам SOLID — превратил процесс в набор независимых модулей. Каждый из них отвечает за свою часть работы, и каждый можно развивать или менять отдельно. Чем не декомпозиция?!

Тем самым, пересадить исполнение задачки с одной лошадки на другую, было достаточно просто. Г - гибкость.

Сам канал: @trendingtrends2
  • 👍 2
Post #589 401
„Chillin‘“ at Amazon Кстати, а как на ваш счет удобнее
Я думал будет легче с выбором 🥲 но в целом пока Substack не разблочили до выходных как минимум буду постить как есть
  • ❤ 1
Post #587 450
#solo #trending2

Не прошло и недели как у же драма 😅 Substack account забанили не объясняя точной причины.

Возможно потому что начал добавлять ссылки на источники, которую их боты приняли как рекламу.

В любом случае надо разбирваться. Пока не придумаю решение, буду постить новости отдельно.

-> @trendingtrends2
  • 👍 1
  • 😁 1
Post #586 394
#solo #trending2

Интересные новости сегодня: https://t.me/trendingtrends2/10

Про Китай прикольно!

Пока мне очень нравится получать "выжимку" без шума на кучу мнений, ссылок, сообщений в твитерре и тд.

Из нового - получил фидбэк, добавил ссылки на источники.
Пишите отзывы, если еще что есть!

https://t.me/trendingtrends2
  • ❤ 1
  • 👍 1
Post #585 451
#life

Каждый день гуляю по Mountain View. Соседи постоянно что ты выставляют бесплатно для всех желающих. То книги, то фрукты (тут много у кого апельсиновые деревья и плодов всегда много), то мелки детские , мебель старая и тд.

Прямо сейчас наткнулся на компьютер! 🧑‍💻 ух

В общем продолжаю ходить. Мб кто нибудь будет отдавать машину или дом. 🏠 🤣🤣
  • ❤ 4
  • 😁 1
Post #584 391
#solo #trending2

Прошёл один день. Автоматизировать фоновые процессы — всё ещё нет. Но построил pipeline в Claude Code: нахожу тренд -> Claude делает ресёрч -> пишет разбор -> генерирует 3 варианта хука -> выбираю лучший.

Сегодня написал 4 разбора минут за около часа. Вручную это заняло бы более пары часов. Пока еще настраиваю то и как пишет, но в целом мне уже нравится что контент получается чётким — без воды. Да и быть в курсе интересных событий - отличный бонус! 🙂

-> @trendingtrends2
  • ❤ 4
  • 🎉 1
Post #583 428
#solo #trending2

От идеи до первого поста уменя ушло около полутора часов.

Я решил сделать новостник с целью по-учиться создавать спрос за счет разных интсрументов и трюков. Пока решил поставить на тему с "голосованием" где пост, который получает больше всего откликов - в виде просмотров, получает дополнительное внимание. Основной ежедневный пост имеет только список заголовков с hot topics, а сабстак страницы с более детальным контентом.

Чтобы достичь результатов быстро, решил исключить из процесса, по крайней мере пока, любые идеи с автоматизацией - туда же создание бэкграунд процессов, которые собирают информацию, анализируют, пишут посты и тд. Просто выбрал помаксимуму самые простые интсрументы. Отсюда и bit.ly для подсчета переходов, telegram, substack для публикаций (у которого, в прицнипе, есть своя статистика, так что битли не особо нужен пока), ну и claude code. Большю часть времени ушло на две вещи - написание постов и копирование текста туда сюда вручную.

"Ну и что?" скажет кто-нибудь. Но для меня это очень важно - я за собой раньше замечал постоянные analysis-paralysis, постоянное желание что-то автоматизировать, создать бота, и тд. Хотя часто 80% успеха вообще не в автоматизации.

Если будут идеи что и как сделать лучше, любые tips and tricks, то делитесь.

@trendingtrends2
  • ❤ 3
  • 👍 1
Post #582 377
#solo #trending2

🎉🎉🎉 Идем в режиме Амазоновских LP - Bias for action.

Мой первый пост готов - https://t.me/trendingtrends2/3

Как говорится, подписывайтесь, ставьте жирные лайки 👍

Про инсайты расскажу завтра - час ночи пора спать 🥱

@trendingtrends2
  • 🔥 1
  • 😁 1
Post #581 413
#solo

работа работой, но наконец то выходные. как писал выше, я взял себе новый чалелендж - солопренерство. Сейчас цель понять чего я не знаю - так сказать unknown unknowns. начинаем с самого слабого - поиск и развитие идей, так что советуйте. за эти выходные начинаю с самой банальной идеи - новостник. не я первый не я последний 🙂 набиваем руку, чтобы довести до автоматизма, как в разработке. идея сделать как можно проще и легче и посмотреть будет ли мне интересно его читать. в этом деле я вообще новичок, потому открыт к идеям как из этой простой идеи сделать что то "кэтчи".

один из советов от моего ИИ ментора - build in public, так что ждите спам!
Post #580 413
#dev #ai #amazon

Примерно так раскидываю когда мне нужно быстро поднять знания от 0 к 1. Гибко и по контенту, и по контексту, и по форме подачи.

На примере задачи, которую я вот-вот получил, мне нужно погрузиться в новый для меня стэк Spark, EMR.
В целом, у меня общее пониманее темы есть. Но чтобы поднять production ready, нужно чутка поднабраться.

Чтобы не уноситься днями, неделями, обычно я себе ставлю лимит по времени сколько я изучаю — пару часов тщательного изучения. Принцип паретто - 80/20.

https://github.com/dosatos/aws-emr-spark


Похожие подходы можно брать при подготовке к интервью, к разбору системного дизайна, и тд.
GitHub GitHub - dosatos/aws-emr-spark Contribute to dosatos/aws-emr-spark development by creating an account on GitHub.
  • ❤ 6
  • 👍 1
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →