TGViewer
Channel Public Channel
Agentic Engineer

Agentic Engineer

@data_engi

Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt, LLM, Agentic systems, AI, robots, drones etc.

Boost channel - https://t.me/boost/data_engi
Subscribers
688
Photos
462
Videos
131
Links
772

Showing posts older than #896 · Back to latest

Older Posts 17 shown
Post #895 358
Когда-то DuckDB был просто идеален.
Быстрый. Удобный. Всё летает.
Но каждый раз одно и то же:

«Блин, а как дать доступ коллеге?»
«А BI как подключить?»
«А auth? А TLS?»
«Может просто Postgres поднять?..»
И вот тут начинается оверхед.

GizmoSQL делает простую вещь:
берёт DuckDB (или SQLite)
и делает из него нормальный SQL-сервер.

Запустил процесс —
подключился по сети —
пишешь SQL.
Без магии. Без зоопарка.

Что приятно:
🔘Arrow Flight SQL
🔘Python / JDBC / BI клиенты
🔘JWT + TLS
🔘Docker, k8s, бинарник
🔘читает Parquet / CSV / S3

По ощущениям —
«DuckDB, но для людей, а не только для локального ноутбука».
Самый кайф — это мысль:

а зачем нам тяжёлый DWH, если нужен просто быстрый SQL?


Иногда ответ — GizmoSQL.

#sql #dwh #gizmosql #de
GitHub GitHub - gizmodata/gizmosql: 🚀 GizmoSQL — High-Performance Database Server 🚀 GizmoSQL — High-Performance Database Server. Contribute to gizmodata/gizmosql development by creating an account on GitHub.
Post #894 301

Forwarded from Архитектура ИТ-решений

Пропустил ноябрьский анонс от The Open Group о разработке Eagle AI Assistant.

Попробовать своими руками не удалось. Короткая заметка в блоге: Introducing The Open Group Eagle Ai Assistant и часовое видео: Toolkit Tuesday Special Edition Episode 20 (внутри несколько слайдов, короткая демонстрация и небольшое обсуждение)

Мне кажется, что многие авторы различных руководств, методологий и стандартов в ближайшие пару лет займутся чем-то похожим. Вполне себе пример для подражания и отечественным ассоциациям. Я бы в такого ассистента и запросы на консультацию с живым экспертом засунул, и сообщения об ошибках и опечатках в текстах стандартов и запросы на доработку. Ну и улучшать и допиливать его, конечно, можно до бесконечности
  • ❤‍🔥 4
  • 👏 1
Post #893 364
🚀 Xiaomi запустила полностью автоматизированную “тёмную” фабрику по производству смартфонов — без людей, без света, только роботы и ИИ.

📌 Завод расположен в районе Чанпин, Пекин и представляет собой фабрику будущего: все процессы — от сборки до контроля качества — выполняют роботы на основе искусственного интеллекта и автоматизированных систем.

🔧 На фабрике:
🔘 нет работников на линии — людей требуется минимум, только для техобслуживания;
🔘 ИИ и роботы работают круглосуточно без перерывов, света или смен;
🔘 машины сами контролируют качество, взаимодействуют между собой и поддерживают чистоту на микроуровне;

📈 Мощность — до 10 млн смартфонов в год.
По некоторым данным, система способна выпускать устройство каждые ~3 секунды (в теории — до 1 в секунду при оптимальной работе).

🤖 Это один из самых ярких примеров развития автоматизации и Industry 4.0 в Китае, где "тёмные фабрики" становятся реальностью, а не футуристической мечтой.

#robotics #industry #ai #роботехника #индустрия #ии
Post #892 387
#dev #virus
  • ❤‍🔥 8
Post #891 399
Архитектор Данных Photo
Audio
  • 👏 6
Post #889 400
Agentic Engineer #dev #memes #ram #ddr #dendy #gaming
#memes #ddr #ram #gaming #ai
  • 😁 9
Post #884 375
Сиолошная 🥺 кто бы мог подумать, что из-за больших языковых моделей отложат анонс и, возможно, релиз Half-Life 3... Мы с Самой больше не друзья 😭 (источник — инсайдеры Tom Henderson и его коллега Mike Straw) Пояснение: Valve хотели выпустить игру одновременно с запуском…
#dev #memes #ram #ddr #dendy #gaming
  • 😁 11
Post #883 344
Подсказка к квизу выше
  • ❤‍🔥 5
  • 👏 1
Post #881 347
#квиз #ibm #brutforce #hack #hacking

🎬 Квиз для знатоков кино и сериалов

На кадре — старый IBM-терминал с зелёным кодом, перебирающим пароль.
Вопрос простой, но коварный 👀
  • 👏 4
  • 😁 1
Post #880 395
#dev #memes #midle
  • 😁 8
Post #879 349

Forwarded from Knowledge Accumulator

Вайбкодинг: суровая реальность

Расскажу про то, как вчера прошли мои несколько часов на работе, которые мне показались интересным опытом.

Итак, меня попросили помочь другой команде с составлением датасета. Ситуация следующая - у них на руках 50 тыщ ссылок на страницы с одного вебсайта, с каждой из которых нужно вытащить конкретные данные.

Чел №1 запускает тулзу, которая парсит страницы, попутно записывая в соответствующие поля список ссылок на картинки, название страницы и несколько других полей.

Квест №1 - нужно добыть рейтинг объекта с этой страницы. Расстроенный, что скачивающая тулза не парсит этот рейтинг нативно, чел №1 предлагает скормить каждую страницу LLM-ке и попросить её вытащить этот рейтинг.

Удостоверившись, что тулза дампает ещё и весь html, я предлагаю другой вариант - если это данные с 1 сайта, то рейтинг можно легко найти в самой html-ке по тегам. Заварил Beautiful Soup, функцию извлечения из 3 строчек, и готово. +1 к олдскульности в глазах коллег.

Квест №2 - нужно скачать фотографии с определённой карусели на странице этого сайта. Воодушевлённый своим умением в древние технологии, я принялся разбираться в html-ках. Но что-то у меня не клеилось.

Я втыкал в несколько образцов страниц. В части из них у фоток из нужной мне карусели был определённый тег, по которому я их находил. А в некоторых случаях у скачанных html-ек была какая-то другая структура, хотя на самом сайте всё было как обычно. Я больше 30 минут втыкал в разные страницы и пытался найти закономерность, тестил гипотезы, но так и не смог найти признака, по которому можно отличить нужные мне фотки.

Спустя время ко мне подходит чел №2 и говорит - я 5 минут назад попросил данные, и у меня вроде получилось распарсить. Я говорю - как? Он говорит - да я сказал курсору, что надо распарсить, и он написал код. Смотрю в него - там 400 строк отборнейшего AI-слопа. Чел №2 добавляет - я в душе не знаю, как он работает, я посмотрел на нескольких образцах, результат выглядит валидно.

Я попытался вчитаться - парсер забирает какой-то markdown страницы (что это вообще?), берёт все ссылки и применяет кучу фильтров на текст рядом с этими ссылками. В результате остаются только нужные. Я бы сам такое решение не соорудил за адекватное время.

Меня это задело. Я почувствовал, что мой век уходит. Я - дряхлый старик, застрявший в предыдущей эре, и работающий гораздо медленнее тех, кто освоил новые технологии. Ну и хуй с вами, делайте дальше сами - подумал я - и пошёл поесть.

Вернушись, я застал сеанс парного вайб-кодинга. Чел №1 ест, а чел №2 что-то усиленно пишет курсору. Он мне говорит - "чё-то слишком дохуя edge-кейсов, оказалось, что в половине случаев ничё не работает. Я скидываю курсору неправильные кейсы и она фиксит код". Через ещё несколько минут ко мне подошли - может, по-братски всё же свой парсер доделаешь?

Замотивированный на успех, я ещё раз вчитался в 30% "неправильных html" и до меня дошло - эти страницы сдампали до того, как они полностью загрузились. Когда я открывал страницы вручную, замечал, что нужная мне карусель загружается не сразу. Я попросил чела №1 перескачать страницы, выставив большее время перед загрузкой, и после этого почти все 50к страниц стали парсится очень короткой функцией. Мне сказали, что я Wizard.

В этой истории никто из нас не действовал оптимально. Я, скорее всего, сделал бы работу быстрее, если бы обратился к LLM-ке для генерации гипотез, и скорее всего она бы мне подсказала про частично загруженные страницы. Но моя крайность, наверное, лучше другой, в которой работа не была сделана вообще, потому что дебажить 400 строк сломанного AI-слопа человек не в состоянии.

А вы что думаете про всё это? Расскажите свои истории на тему.

@knowledge_accumulator
  • 💯 7
  • 👏 4
  • 😁 1
Post #878 413
  • 😁 7
  • 💯 3
Post #877 395
#memes #ai #copilot
  • 😁 9
Post #876 424

Forwarded from Архитектура Стартапа - Anton Skogorev Engineering & AI (Anton Skogorev)

Принёс вам новый термин — AI Agent Washing.

Услышал его вчера в офисе, а вечером уже обсуждали на панельной дискуссии с уважаемыми людьми — чем всё это грозит AI-индустрии.
…

Если коротко:
Agent Washing — это когда вы говорите, что делаете AI-агента, хотя по факту это простой чат-бот, или автоматизация, или один промпт с tool calling. Но обо всём по порядку.

Термин пошёл от greenwashing — это когда в отелях нас просили «ради экологии» не менять полотенца, при этом улучшалась не экология, а экономика отеля на стирке.
С Agent Washing — то же самое: попытка заработать за счёт хайпа, продавая автономность и интеллект там, где их нет.

Почему это проблема для индустрии?

Потому что под словом «агент» пользователь представляет себе полноценного автономного исполнителя, который берёт задачу под ключ и отвечает за результат. А когда он сталкивается с «однопромптником», проданным под видом готового продукта, он теряет веру не только в конкретный продукт — он теряет веру в саму индустрию.

Вспомните инвесторский хайп вокруг блокчейна 5 лет назад. Сегодня само слово «блокчейн» имеет довольно токсичный вайб — не потому, что технология плохая, а потому, что ожидания были сильно завышены.

Проблема тут не в терминах — проблема в ожиданиях. Индустрия плохо их выстраивает и идёт по пути Tesla, продавая Full Self-Driving, когда никакого full там и близко нет.

Предлагаю зафиксировать, что является AI-агентом:

— система с собственной целью (не «ответить пользователю», а достигнуть цели, например, «продать N товаров»)
— автономная (может инициировать действия сама, без кнопки «ОК» от пользователя)
— отвечает за результат (есть success / failure)
— имеет долгоживущую память (и учитывает прошлые ошибки)
— действует в среде (инфраструктура, сервисы, бизнес-процессы — а не просто чат)
  • 👏 6
  • 💯 2
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →