Архитектор Данных

Рабочая проверка

Отправляешь человеку встречу со странным заголовком, крайне слабо относящуюся к его работе, без описания.

Если не переспросил, не отменил, а просто пришел, то данный персонаж - бездельник и балласт.

Вроде как эта история со счетом на

- удар молоком - $1
- знание куда стукнуть молотком - $9999

реальная

Про курсы

Продолжая аналогию.

На курсах гитары (от Скилбокса и Практикума) вас научат четырем аккордам, мотивируя тем что Metallica собирает стадионы и зарабатывает сотни миллионов

Сними ограничения с ЧатГПТ, и он пойдет убивать людей своими дронами, говорили они.

Пока же ИИ с успехом убивает себя 😎

В композии М.Круга "Кольщик" дан отличный пример хорошего промпт-инжиниринга.

Техлид с опытом в дата-инжиниринге, выложил на Reddit в сабреддите r/dataengineering свой взгляд на open source инструменты для 2025 года. См. картинку, ну очень сложно - кликабельная, кстати.

Он три года работал в изолированных средах, где облака были под запретом, и сосредотачивался больше на платформенной части, чем на работе с данными. За это время к задачам дата-инженеров добавились DevOps, MLOps, LLM, RAG и дата-лейкхаусы, помимо классических дата-стеков и хранилищ.

Его подборка - набор инструментов вроде Apache Airflow, Spark, Kafka, dbt, PostgreSQL, ClickHouse и других, которые он использует для разных кейсов. Например, для оркестрации - Airflow, для аналитики - Superset, для машинного обучения - MLflow и JupyterHub.

В комментариях народ активно обсуждает. Есть идеи добавить Redash для визуализации или Ballista с DataFusion для замены Spark.

Мне одному кажется, что это слишком заморочисто :) ? Прикиньте, сколько надо учиться, чтобы освоить такую специальность?!

Русский ИТ бизнес

Говорят, выглядит страшно.

Хотя что там страшного, умеючи.

Половина в облаке поднимается. Сиди себе и кнопочки тыкай

Часто слышу вопрос: «А зачем нам отдельная выделенная команда данных? Вон у нас все разработчики умеют в SQL, все менеджеры на ты с Экселем. Сами разве не справимся?»

Конечно справитесь! Но есть нюанс.

Возьмем аналогию.

Каждый может взять гитару и на ней набренчать. Каждый может взять баскетбольный мяч и начать закидывать его в кольцо. И более того, порядок действий, движения, у вас и профессионального музыканта/баскетболиста будут одинаковыми.

Но не одинаковым будет результат. Причем не чуть-чуть неодинаковым, а сильно неодинаковым. Именно из-за этой разницы в результате и существуют профессионалы.

Точно также как есть люди, занимающиеся профессиональным звуко-извлечением, существуют люди, профессионально занимающиеся извлечением полезностей из данных.

Заметьте, это никак не отменяет, что есть процент людей, которые очень уверенно играют на гитаре или очень неплохо играют в баскетбол. Помимо своей основной профессии. Но таких мало.

Из Физтеха в бигтехи - 1

Вы знали, что на Физтехе учат высоким нагрузкам? В прошлом году я познакомился с Константином Ратвиным, сотрудником кафедры Банковских Информационных Технологий Физтеха. Оказывается, на кафедре делается много интересного в сотрудничестве с такими компаниями как Сбер, Тарантул Лабз, Постгрес Про и других. Мы взяли небольшое интервью о том, как кафедра взаимодействует с бигтехами, и какие интересные проекты студенты выполняют.

Как Физтех в целом и ваша кафедра взаимодействует с компаниями?

Все кафедры действуют независимо друг от друга, у каждой свои уникальные договоренности. Расскажу про мою кафедру Банковских Информационных Технологий (БИТ) при Сбербанк-Технологиях. У БИТ есть программы для бакалавриата и магистратуры. Основные направления: Машинное обучение и анализ данных и Высоконагруженные распределённые системы. Мы стараемся, чтобы наши студенты знакомились с продуктами компании СберТех и после окончания академических программ смогли проще адаптироваться в компании.

Компании-вендоры могут привлекаться для чтения приглашенных лекций и демонстрации работы их продуктов. Например, есть тема в лекции, рассказать о распределенных СУБД. У нас в РФ есть продукт YDB. Почему бы не попросить вендора рассказать о ней на занятии? Или например рассказать о СУБД Redis. Преподаватель может рассказать какие-то общие факты. Возможно было бы здорово привлечь специалиста, который работает с этой СУБД довольно долго и может рассказать какие-то интересные жизненные примеры из разработки эксплуатации этой СУБД.

Такое партнертво резко увеличивает вовлеченность студентов в дисциплину, т.к. знания при таком подходе самые актуальные и востребованные. В конце обучения все студенты пишут своих выпускные квалификационные работы (ВКР). Это самая сложная пора для научного руководителя. Надо придумать 100500 вариантов тем и затем студенты должны что-то выбрать и далее начинается тяжелый путь исследования и разработки.

Каждый год составлять список уникальный тем задача крайне сложная. Но и это не самая большая проблема. Положа руку на сердце, почти все ВКР пишутся в отрыве от практических задач, «в стол». Но компании-вендоры могут сами предложить темы для исследования и проработки. И такой подход имеет смысл для компании, для сообщества, и значительно повышает мотивацию юного ученого, т.к. он видит, что его труд нужен еще кому-то кроме кафедры и научрука.

Дипломный проект с компаниями - что это за формат, предполагает ли он стажировки? Как производится отбор на стажировки?

Дипломный проект с вендором – это привилегия, а не стандартный формат. И как любую привилегию её нужно заслужить.

Приведу пример с Tarantool Labs. Студент подает заявку на участие. Затем проходит 2 этапа собеседования. После чего принимается решение о его зачислении. Этапы не простые. В прошлом году из четырех заявок моих студентов одобрили только одну.

В этой лаборатории студентам предлагаю темы потенциальных исследование. Студент выбирает её и затем ему назначается куратор. Далее этот куратор на протяжении месяцев ведет свою работу. По окончанию у студента есть реальный практических опыт работы с продуктом Tarantool и фактичски готовая ВКР.
Это уникальное взаимодействие. Чаще всего мое взаимодействие с вендором сводится к выпрашиваю списка тем для исследований. Если студенту тема понравилась, то он начинает её самостоятельную проработку и может иногда задавать вопросу какому-нибудь специалисту от вендора и не более того. В любом случае это лучше, чем ничего.

В следущих постах - три студенческих проекта:
- встраивание векторного поиска в Apache Ignite
- тесты детерминированного исполнения для СУБД Tarantool
- генератор повреждений и метод восстановления данных из СУБД PostgreSQL

(продолжение следует)

Если ты в топ вузе, то у тебя тысяча возможностей уже начинать устраивать карьеру.

Только не зевай.

Секрет успешных выступлений.

На самой заре моей скромной бизнес-карьеры, я помню, как-то сидел где-то в 7 ряду какой-то бизнес-конференции, слушал очередной доклад, и меня распирало: «Почему он на сцене?! Спикер дурак, он все говорит не так! Там на сцене должен быть я» - ну вы понимаете...

Когда же я сам стал выступать (а у меня тут есть некоторый опыт), я обратил внимание, что в седьмом ряду всегда сидит какой-то хрен, которого бомбит. Ему всё всегда не нравится, вы для него говорите всё не то и не так. Но есть и хорошая новость. Где-то во втором ряду всегда сидит позитивная дама, которая смеется на все твои шутки и которая в полном восторге от тебя и твоего выступления.

Так вот. Секрет успешных публичных выступлений очень простой. Надо забить хер на хрена в седьмом ряду. Вы здесь, чтобы доставить радость даме во втором ряду - это ваш зритель и вы здесь для неё.

Самозванцы

Точно автор подметил.

Кого представление ни прочитаешь, каждый
- олимпийский чемпион
- нобелевский лауреат
- изобрел лекарство от рака
- запустил спутник
- написал 5 симфоний
Все это вместе

Чак, ты ли это?

А потом собираются обсуждать, как им бороться с чумой 21 века - с синдромом самозванца.

Смех да и только

Пошли алгоритмические промо на реактивацию оттока.

Спокойно, ребята из X5, я не в оттоке, я просто в отпуск уехал.

Стадии карьеры

1. Офигеваешь от кринжа
2. Управляешь кринжом
3. Создаешь кринж

Очевидные результаты АБ-тестирования ИИ-копилота на людях.

В июне (три дня назад) появилось уже нашумевшее исследование медиалаборатории MIT, заставившей состязаться людей, использовавших свой мозг, с людьми, использовавшими чатбот GPT. Из итогов:

"Группа, которая писала эссе с использованием ChatGPT, представила чрезвычайно похожие друг на друга сочинения, в которых отсутствовала оригинальная мысль и которые опирались на одни и те же выражения и идеи. ЭЭГ выявили низкий уровень исполнительного контроля и вовлеченности внимания. А к третьему эссе многие из авторов просто дали ChatGPT промпт и заставили его сделать почти всю работу... После написания трех эссе испытуемым было предложено переписать одно из их предыдущих сочинений, но группе ChatGPT пришлось сделать это без инструмента. Группа, как оказалось, мало что запомнила из своих собственных эссе".

Узнано тут

Как быть с кодом и архитектурой, написанной с помощью копилота и которые никто не понимает?

А никак, никто никогда не понимает код и архитектуру 🙂

Безумству храбрых поем мы песнь

Привет всем тем кто считает что достаточно сказать нейронке: «не ври, не выдумывай» - и она перестанет врать и выдумывать.

Да вот, кстати. История того как в крупных компаниях (и у нас тоже) совершили неудачный переход на GreenPlum стоит отдельного изучения.

Одно сейчас ясно на 100% - GreenPlum не оправдал возложенных на него надежд.

Возможно, с подобной задачей справился бы кластерный Postgres Pro. Но кто его знает.

Одна из основных проблем ГП - отсутствие нормального механизма выделения и разделения ресурсов. Все падает в одну общую коммунальную очередь, и лучшее что с этим можно сделать - разделять выполнение потоков по времени.

Вторая - удивительная способность ГП занимать буквально все выделенное ему пространство под логи и временные файлы. По идее, это должно ускорять его работу и улучшать стабильность, но скорее наоборот.

Третья - в целом крайняя нестабильность работы ГП. У нас буквально целый департамент присматривает за ним в режиме 24/7, но все равно постоянно происходят какие-то аварии и что-то ломается.

#dataengineering #greenplum

Как откликаться

Следствие сломанного процесса найма.

Нашли интересную позицию - идите на сайт работодателя, заходите в раздел вакансии / карьера и откликайтесь там. Пишите на почту hr@company.name, или в телеграм аккаунт рекрутеров.

Это и раньше было полезно, а сейчас и просто необходимо чтобы не потонуть в резюме сгенеренных ИИ, а также просто грузчиках и маркетологах.

В начале карьеры мне это сильно помогало. То ли это, то ли все-таки 2 диплома и раскачанный пет-проект 😂