TGViewer
Channel Public Channel
Архитектор Данных

Архитектор Данных

@analyticsfromzero

Алексей, архитектор данных

Большие данные и облака.

Для связи @alexbelozersky
Open in Telegram
Subscribers
1.89K
Photos
327
Videos
26
Links
255

Showing posts older than #750 · Back to latest

Older Posts 20 shown
Post #749 875
Архитектор Данных Забыли подвести итоги по статистике подписчиков канала. Почти 60% SQL-исты разных видов. Привет вам! Датасаенс с пандасом - ок. 10% 12% суровых спарковиков. Или это те суровые ДЛХ-шники, которые разгребают то что не смогли сделать ДЛХ-шники попроще через…
В опросе забыл самую главную опцию:

«Клодик, посчитай мне сумму… ну вопщем что-нибудь там посчитай. Чтоб по красоте было»
  • 😁 6
  • 👍 2
Post #748 969
Забыли подвести итоги по статистике подписчиков канала.

Почти 60% SQL-исты разных видов. Привет вам!

Датасаенс с пандасом - ок. 10%

12% суровых спарковиков. Или это те суровые ДЛХ-шники, которые разгребают то что не смогли сделать ДЛХ-шники попроще через Трино в пункте первом 😎

Только 4 человека честно признались что они экселисты. Пятый это админ-редактор нашего канала )

11% приняли верное жизненное решение и работают не с кодом а с людьми, как тов. Сталин.
  • 🔥 5
  • 👍 3
  • ❤ 1
Post #747 1.2K
Видео пока на монтаже )
  • ❤ 6
Post #745 1.09K
Сейчас все силы вложены в запуск 4-го потока курса по Лейкхаусу

Еще больше информации и опыта внедрения/миграции на стек DLH

Что разберем:
- Как работает форматы Iceberg, Paimon и чем это лучше чем раскладка паркетов по папочкам (спойлер: сильно лучше)
- Какими инструментами работать с лейкхаусом: Trino, Spark (и это не все!)
- Зачем нужны каталоги, как работают различные каталоги (JDBC, REST etc)
- Как поддерживать датасеты на Iceberg.

В прошлый четверг разбирали как один из слушателей закончил переезд на Lakehouse с Greenplum и сэкономил на инфре на порядок (!). Лайвхаки и опыт этого переезда также разберем на курсе!

Старт на этой неделе - Запись здесь!
https://devhands.ru/lakehouse
Telegram Архитектор Данных Возвращаемся к видео-формату! В этот четверг в 18:30 обсуждаем кейс переезда с Greenplum на Lakehouse с Алмазом Хайфуллиным из SkillBox! С командой SkillBox я работал около 2 лет по линии ВК-Теха. Мы начали с эвакуации данных из одного из западных облаков…
  • 👍 10
  • 💯 1
Post #744 897
Архитектор Данных О важности Харнесов. Фрагмент переписки на реддите. Все носятся с Qwen 3.8 семейством и спорят, дотягивает ли он до Claude Opus. И в ходе многочисленных тестов из под кучи мусора появляется бриллиант. Задача - нарисовать реалистичный рендер океана на OpenGL.…
Ничего не могу с собой поделать, и снова вспоминаю самый известный пример поэтического промпт-инжиниринга. (М.Круг «Кольщик)

——

Квенчик, нарисуй мне океан.
На опен-джиэле да си-шарпчике.
…..
Если РАМа хватит, нарисуй
Лодку с парусами, ветром полными
Telegram Story of Архитектор Данных
  • 😁 6
  • 👏 4
Post #743 980
Архитектор Данных Архитектор, personal log Пока на моем винте ждал момента офигенный 4-часовой гайд по агентам, который мне нужно разобрать, дипсик выпустил свой Harness. И все, гайд можно не смотреть, он устарел. Сэкономил себе время получается 😄
О важности Харнесов.

Фрагмент переписки на реддите. Все носятся с Qwen 3.8 семейством и спорят, дотягивает ли он до Claude Opus. И в ходе многочисленных тестов из под кучи мусора появляется бриллиант.

Задача - нарисовать реалистичный рендер океана на OpenGL.

VS Code Copilot дает нечто с черным экраном, утверждая, что это рабочее.

Deepseek Harness - с тем же сетапом, промптом, целью - рабочий результат. Который на одном из промежуточных этапов спотыкается об проблему с черным экраном, но преодолевает ее. Еще и скрины делает в качестве репорта промежуточного результата.

Тред тут.

Час работы на RTX 5090. (На скрине ценник за голую ВК для подобного результата).
  • 👍 2
  • 🔥 1
Post #742 924
Никак не могу понять загадку

Откуда в нашей компании такой пик потребления канцоваров в конце августа и начале сентября.

Но когда-нибудь я разгадаю эту тайну

(С) руководитель отдела закупок - с недобрым блеском в глазах 😈
  • 😁 24
  • ❤ 1
Post #741 1.08K
Энтерпрайз архитектура

Сцена в опенспейс, действующие лица: Арх и СТО.

—————————————————
- Ситио Айтишевич, почему вы ходите без штанов?
- Так исторически сложилось!
- Наденьте штаны, пожалуйста.
- Это изменения в архитектуре! Пиши RFC, выноси на арх комитет! В ближайшие два комитета повестка готова, к концу квартала рассмотрим твой вопрос. А пока утверди изменение у КиберБеза.
  • 😁 20
  • 💯 3
  • 🤷‍♂ 1
Post #740 1.06K
Архитектор, personal log

Пока на моем винте ждал момента офигенный 4-часовой гайд по агентам, который мне нужно разобрать, дипсик выпустил свой Harness.

И все, гайд можно не смотреть, он устарел.

Сэкономил себе время получается 😄
  • 😁 14
  • 👾 2
  • 👍 1
Post #739 1.11K
Архитектор Данных Возвращаемся к видео-формату! В этот четверг в 18:30 обсуждаем кейс переезда с Greenplum на Lakehouse с Алмазом Хайфуллиным из SkillBox! С командой SkillBox я работал около 2 лет по линии ВК-Теха. Мы начали с эвакуации данных из одного из западных облаков…
Reminder!

Сегодня делаем обзор миграции КХД на Лейкхаус!

18:30 сегодня. Получить ссылку можно в боте
https://t.me/devhands_meetup_bot
  • 👍 8
  • ❤ 1
Post #738 1.35K
  • 👍 26
Post #737 1.2K
Архитектор Данных Во вторник 18 августа буду на митапе от ВК Теха в башнях на Ленинградском проспекте. Из интересного - как в Авито сделали 60 Гбайт/сек под даталейком и почему в Wildberiies приняли решение в пользу лейка на Trino + DataFusion Ну и если кому-то интересен…
На что только не пойдешь, чтобы получить хорошо работающий ОнПрем S3 под свой DLH
  • 😁 2
Post #735 1.2K
Не знаю, как подсчитали, но цифра интересная.

Ну и еще раз - годовые инвестиции каждой из упомянутых компаний больше чем потрачено за всю историю российского ИТ. И это создает огромный финансовый стресс даже для грандов рынка. А если (когда?) этот пузырь рванет, то дот-ком и ипотечный кризис - ерундой покажутся.

У нас же - мы в одной компании пытались за квартал продать что-то типа 80 чипов класса Н100/Н200. И ох это и задача!

Хотя, надо сказать, что с продажей более дешевых массовых инференс чипов L40S проблем никогда не было.
Post #734 1.14K
Возвращаемся к видео-формату!

В этот четверг в 18:30 обсуждаем кейс переезда с Greenplum на Lakehouse с Алмазом Хайфуллиным из SkillBox! С командой SkillBox я работал около 2 лет по линии ВК-Теха. Мы начали с эвакуации данных из одного из западных облаков в домашний контур. Но команда Скиллбокса на этом не остановилась и следующим шагом поменяла классическое MPP КХД на Лейкхаус.

О предпосылках, ходе миграции, встреченных граблях и найденных лайвхаках поговорим в четверг в 18:30.

От результатов миграции в цифрах у меня возник небольшой культурный шок. Не знаю как вы, а я буду задавать Алмазу много вопросов!

Отдельно мне весьма приятно, что Алмаз был слушателем 1-го потока моего курса по Лейкхаусу в ноябре. А уже в июле полностью мигрировал на стек S3-Iceberg-Trino!

Запись через бот DevHands! До встречи в эфире!

P.S. Запись будет в «Разговорах на Архитекторском» на Youtube и ВК Видео.
  • 🔥 11
  • 👏 3
  • ❤ 1
Post #733 1.08K

Forwarded from Tips AI | IT & AI

meat-proxy — человек который отправляет ответ ИИ вместо своей точки зрения

не будьте meat-proxy 😏

@tips_ai
  • 💯 18
  • ✍ 4
  • 😁 3
  • 👎 1
  • 🔥 1
  • 🤔 1
Post #732 1.09K
Вдруг понял, что за последние 10 лет ни разу не пользовался колесиком мыши.
  • 😁 13
  • 🤔 8
Post #731 1.27K
Объясните кто-то, почему метро в Петербурге дороже чем в Москве
  • 😱 8
  • ❤ 1
Post #730 1.47K
Раз - и ты император данных!
  • ❤ 1
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →