LEFT JOIN

Амбассадоры Tableau 2025
Tableau регулярно обновляет список своих амбассадоров— людей, которые делают большой вклад в сообщество, делятся своими знаниями и навыками и вообще всячески популяризуют этот тул. В 2025 году звания удостоились 386 человек из 48 стран.

🔜 Список можно увидеть на сайте, но намного интереснее — потыкать в кнопки на дашборде. Он позволяет отфильтровать людей по странам, городам и специализациям.

Пишут, что в этом году получился самый разнообразный состав амбассадоров с точки зрения географии, и это нагляднее видно на другом дашборде. Он не такой удобный, как первый, зато с картой.

В списке, кстати, вы наверняка заметите какие-нибудь знакомые лица. Возможно, на кого-то из них вы даже подписаны. 👀

Почему Text 2 SQL не работает?
Ко мне иногда приходят разные знакомые и говорят, что у них есть концепция Text 2 SQL или LLM-генератора SQL-кода — мол, классная идея для бизнеса, можно ее попродавать.

И вот наконец я понял, почему идея «пусть бизнес пишет запросы на естественном языке» не взлетает и не взлетит.

На бумаге все красиво. Даешь ИИшке команду: «Покажи выручку за август по городам», получаешь результат.

На практике же имеем несколько иной сетап: никто из бизнес-менеджеров не хочет и не может задавать правильные вопросы к данным.

Причина кроется в подмене понятий, за которую сами бизнес-менеджеры обычно аналитика и ругают. Так вот, написание SQL — это не основная работа аналитика. На самом деле аналитик занимается мыслительным трудом: как раз пытается разобраться, какие вопросы вообще стоит задать, чтобы понять, что там у бизнеса пошло не так. SQL — лишь удобный интерфейс для формулировки гипотез. Его просто изучить, но логика за пределами SQL.

И, соответственно, вторая часть проблемы: многие бизнес-менеджеры в большинстве случаев не обучены мыслить аналитически, эту часть работы они делегировали аналитику, чтобы он за них подумал. Они сами не думают в контексте данных, структур или понимания взаимосвязей. Именно поэтому LLM-промпты в виде «SQLGPT для маркетологов» и не взлетают.

🔜 AI может перевести вопрос в SQL, но не может придумать сам вопрос, который имеет смысл для бизнеса.

Сейчас мы на этапе следующего шага — передать LLM формирование вопросов и гипотез, а затем уже написание необходимого кода и SQL-запросов для решения аналитической задачи.

А пока просто осознаем, что произошла гиперинфляция хардскиллов. А вот мыслить и генерировать ценные инсайты — тот самый навык, который был и есть востребован в аналитиках.

Как подружить ClickHouse с процессором на 100+ ядер
Ядер в процессорах все больше, и в теории это прекрасно: больше ядер — больше производительности. На практике это тоже хорошо, но есть нюанс.

Чтобы на 100% использовать мощности железа, софт нужно под него оптимизировать — и базы тоже. ClickHouses выложили в своем блоге статью, написанную инженерами Intel Shanghai, о том, как преодолеть ограничения БД и «научить» ее использовать вычислительные мощности их процессоров с 100+ ядер.

💬 Всего они выявили 5 ключевых областей, где ClickHouse можно (и нужно) докрутить, чтобы увеличить производительность: прекратить тормозящую всю базу конкуренцию за блокировки, оптимизировать работу с памятью, распараллелить процессы на множество потоков и разобраться с false sharing'ом. Если этого не делать, то вся мощность и многоядерность процессора пойдут только во вред и насоздают боттлнеков на пустом месте.

Сделать это будет совсем непросто — авторы в статье неоднократно предупреждают, что чтобы получить результат, нужно глубоко разобраться в том, как работает база, и некоторые процессы фундаментально пересмотреть.

💬 Хотя статья про ClickHouse, описанные в ней подходы могут быть применимы и к другим базам. По мере того, как мощность процессоров будет расти, будет расти и важность умения оптимизировать софт под них.

Стартовал первый детский конкурс датавиза!
В программе: диаграммы из конфет и графики, нарисованные цветными карандашами.

Если у вас есть дети от 6 до 11 лет и вы хотите привить им любовь к данным и помочь развить аналитическое мышление — присоединяйтесь!

Вас ждут:
🔵Образовательные эфиры, где дети узнают, что такое данные, и познакомятся с основами датавиза.
🔵Подарки для всех участников, а для победителей — iPad, набор LEGO и другие крутые призы,
🔵Бонусы и полезные материалы.

Конкурс пройдет с 1 по 30 октября — в это время участники как раз будут смотреть эфиры и смогут подать свою работу в одной из трех номинаций: поделка, рисунок или диджитал. 15 ноября организаторы подведут итоги и наградят победителей.

🔜 Участие бесплатное, главное — зарегистрироваться!

Состоялся релиз Claude Sonnet 4.5
Новую версию Claude Anthropic представила нескромно:

Claude Sonnet 4.5 — лучшая модель для кодинга в мире. Это самая сильная модель для создания сложных агентов. Она лучше всех работает с компьютерами.

🔵Свое заявление компания подтверждает бенчмарками — их результаты на картинке выше. ☝🏻
🔵Еще Claude теперь намного лучше разбирается в финансах, юриспруденции, медицине и точных науках.
🔵Не считая того, что он поумнел, он стал менее склонен к галлюцинациям, обману, лести и другим нежелательным моделям поведения.

Апгрейд получил и Claude Code: добавились нативное расширение VS Code и чек-поинты для сохранения прогресса. Но если даже после этого Claude Code вам все равно не нравится, вы можете собрать свою версию: Anthropic выкатила Claude Agent SDK, с помощью которого пользователи теперь сами могут создавать ИИ-агентов.

В общем, пока ChatGPT все глубже проникает в повседневную жизнь пользователей со своим Pulse и новой возможностью совершать покупки прямо в чате, Claude совершенствуется в кодинге и уходит в науку.

sqlite-vector: простой и удобный векторный поиск в SQLite
SQLite тоже умеет в векторный поиск — для этого уже есть несколько расширений. Но их главная проблема в том, что в основном они либо медленные, либо неудобные.

А ведь, наверное, главное, чего хотят от SQLite — чтобы он был легким, простым и быстрым. И, конечно, нашлись люди, которые попробовали разработать свое решение, отвечающее этим требованиям.

🔜 sqlite-vector — бесплатное кросс-платформенное расширение, которое обходится 30 МБ памяти, складывает векторы в обычные таблицы (без возни с виртуальными и сложными SQL-запросами), хранит данные локально и работает оффлайн. Ему не нужен дополнительный сервер и долгая нудная подготовка, настройка и преиндексиование.

Разработчики сравнили свое решение с популярными аналогами (точнее только с одним по факту) — если очень захотеть, то sqlite-vector может быть аж в 17 раз быстрее sqlite-vec. Да, названия у них не очень креативные и перепутать легко. С libsql сравнить не удалось, потому что он так долго возился с созданием индекса, что всем надоело ждать.

Расширение распространяется по Elastic License 2.0. Скачать можно с гитхаба.

ChatGPT Pulse: новая парадигма взаимодействия с ИИ?
Кстати, пока мы тут обсуждаем пагубные последствия от повсеместного внедрения ИИ, OpenAI представила ChatGPT Pulse.

Это новая фича, пока доступная только на смартфонах пользователям с подпиской Pro. С ней ChatGPT сможет анализировать ваши переписки с ним, данные из календаря и почты (если они подключены) и первым начинать разговор. Например, он предложить продолжить обсуждение какой-то темы, подкинуть идею, что приготовить на ужин, или напомнить про важную дату.

Пользователь, в свою очередь, может регулировать, какие именно сообщения от Pulse он хочет получать. И хочет ли вообще — по умолчанию функция отключена, и ее надо включить в настройках. OpenAI подчеркивает инсайт от студентов, которые участвовали в ранних тестах Pulse:

Многие почувствовали ее полезность, когда начали говорить ChatGPT, что они хотят видеть.

🔜 Также OpenAI называет Pulse первым шагом к «новой парадигме взаимодействия с ИИ»: ChatGPT из простого чатбота, отвечающего на вопросы, превращается в проактивного ассистента.

Как вам такой апдейт? 👀 Будете пользоваться?

Еще про ИИ и рынок труда: никому не нужны джуны
Недавно делились прогнозом, как ИИ повлияет на работу в разных индустриях. Теперь предлагаем посмотреть с другой стороны — как он сказывается на темпах найма сотрудников разного уровня. Или, если проще, как он забирает работу у джунов.

💬 Ученые из Гарварда изучили вакансии 285 000 компаний. Они проанализировали, как менялось количество и соотношение предложений для сотрудников разных уровней в течение 10 лет, а также частоту упоминания ИИ в объявлениях. Поиск «AI-интеграторов» или требования к владению инструментами на базе искусственного интеллекта расценивали как показатель того, что компания внедряет его в работу.

Выяснилось, что в компаниях, внедряющих ИИ, вакансий для джунов стало на 23% меньше, а для сеньоров — на 14% больше по сравнению с теми, кто ИИ не использует. Если смотреть по разным индустриям, то картина еще грустнее: в оптовой и розничной торговле работающие с ИИ организации, наняли на 40% меньше джунов, чем те, кто все еще выбирает людей.

При этом, хотя нанимают джунов меньше, повышают их активнее. Только новые вакансии после повышения уже не открывают.

Тренд появился в середине 2022, и сейчас набирает обороты.

💬 Краткосрочный эффект выглядит грустно для молодых сотрудников уже сейчас: сегодня свежевыпустившемуся специалисту работу найти может быть труднее, чем в COVID.

💬 А вот долгосрочный эффект может быть печальным уже для всех. Не наняли джуна сегодня — не получили миддла завтра. Своей экономией на обучении молодых и неопытных сотрудников все эти компании лишают себя возможности вырастить сильных специалистов. Какие будут реальные последствия у такого подхода, мы скоро узнаем.

Может быть, конечно, через пару лет ИИ уже и миддлов с сеньорами научится заменять, и тогда вообще все останутся без работы.

Что я бы сделал по-другому, если бы стал сейчас руководителем?
На удивление, думаю, что стал бы просто сразу более жестким, чем был. В моем мире было так, что чем больше у сотрудников свободы выбора/возможностей/демократии, тем они более счастливые. Однако на деле оказывалось по-другому, и люди хотели директивно принятых решений и конкретных задач, а не демократии.

В целом, я думаю, что слово «жесткий» имеет негативную коннотацию, однако на деле, мне кажется, что оно все же более позитивное. К нему стоит относиться как к синониму слова «решительный». Именно таким руководителю и нужно быть, причем сразу, даже не смотря на то, что руководящий опыт небольшой. Это трудно, когда ты только начинаешь, но именно этого от тебя ждут твои подчиненные.

Руководитель также задает правила/примеры игры: если ты опаздываешь, то и сотрудники начинают опаздывать, если ты приходишь на совещание неподготовленный, то и они копируют тебя. Так что в случае руководства самое главное — осознать, что все начинается именно с тебя, ты задаешь тон.

У руководителя еще есть и неприятные задачи: увольнять сотрудников, если они плохо перформят. И вот тут только один совет начинающим руководителям: если решили кого-то уволить, не медлите, не давайте второй шанс, увольняйте сразу и быстро. Никаких но тут нет, проверено уже десятки раз на собственной шкуре. Любое увольнение, которое мы планировали, нужно было делать быстрее, чем мы делали.

S3 Vectors и будущее векторных БД
Amazon свое хранилище S3 активно развивает: сначала добавили S3 Tables, а затем вот S3 Vectors. Теперь сервис поддерживает хранение векторных представлений и векторный поиск. В комплекте с новыми возможностями идут все плюсы AWS, включая низкую цену.

🔜 Руководитель департамента инжиниринга векторной БД Zilliz рассказал, почему появление такого серьезного конкурента — это не конец для игроков поменьше, а важный этап в развитии всей сферы.
Векторный поиск — штука, конечно, полезная, но очень дорогая и требовательная к вычислительным мощностям. Это вынуждает разработчиков постоянно балансировать между производительностью и экономией. Milvus, на которой основана Zilliz, сначала хранила индексы в памяти, и хотя скорость и точность работы были впечатляющие, цена не радовала, — так что пришлось переезжать на диск. Это помогло сэкономить.

Недорогие объектные хранилища вроде того же S3 — это логичный следующий этап развития технологии, когда объемы данных неуклонно растут и надо как-то масштабироваться, но при этом постараться не разориться. Один из молодых конкурентов Zilliz, TurboPuffer, на S3 и работает, и за счет этого предлагает клиентам приятный ценник. Правда, скорость обработки запросов страдает, но про это ниже.

🔜 В общем, на фоне того, в какую сторону пошло развитие векторных БД, решение AWS представить S3 Vectors выглядит вполне логично.
Но при этом у сервиса есть серьезный недостаток по сравнению со специализированными векторными тулами — производительность. Задержка обработки запросов колеблется в диапазоне 200–700 мс, и пробить этот потолок довольно сложно. Скорость записи ограничена 2 МБ/с — для сравнения, у Milvus тот же показатель может достигать ГБ. Точность выполнения запросов на уровне 85-90% (иногда и ниже), и подкрутить этот параметр пока нельзя.

Из-за этого для работы с большими, часто обновляющимися датасетами S3, конечно, не подойдет и какую-нибудь алгоритмическую рекомендательную систему с ним не построишь. Зато это хороший вариант для работы с «холодными» данными или приложений, где нагрузка на БД небольшая, запросов немного, а задержка ответа не критична. Это может быть даже прототип приложения — чтобы просто потестить идею за недорого, ограниченную производительность и функционал можно потерпеть.

🔜 И что это значит для рынка?
А это значит, что он достиг нового этапа. Появление S3 Vectors со всеми плюсами и минусами, доказывает, что будущее за разделением пайплайнов для «горячих», «теплых» и «холодных» данные. Нет смысла со всеми работать одинаково, ведь где-то важнее сэкономить, а где-то можно и доплатить за производительность. Так что AWS не убивает рынок, а наоборот помогает ему развиваться и формировать новые ниши.

А вы что думаете про S3 Vectors и будущее векторных БД в целом?

ИИ и мировой (почти) рынок труда
Недавно OpenAI и Anthropic выложили исследования про то, как люди пользуются и продуктами. Оказалось, что ChatGPT чаще используют в качестве поисковика или собеседника, а вот с помощью Claude пишут код и автоматизируют рабочие задачи.

Так или иначе, доля пользователей растет, и это влияет на рынок труда — хотим мы этого или нет. Свежий Viz of the Day на Tableau Public показывает, как именно рынок меняется: в каких сферах благодаря ИИ работы становится больше, а в каких меньше.

🔵На дашборде отображены данные о 8 индустриях — IT, здравоохранение, образование, финансы, ритейл, транспорт, развлечения и производство.
🔵В заголовке сказано про мировой рынок труда, но стран тоже только 8 — Австралия, Бразилия, Канада, Китай, Германия, Индия, Великобритания и США.
🔵Можно посмотреть уровень влияния ИИ на индустрию, соотношение полов и офисных/удаленных сотрудников, а также количество открытых вакансий с прогнозом на 2030 год. В IT, предсказуемо, все хорошо, вне зависимости от влияния ИИ, зато в остальных сферах от страны к стране ситуация разнится. Если верить дашборду, то в Бразилии и Германии искусственный интеллект вытеснит людей из производства, а в Китае — из индустрии развлечений.
🔵Источник данных — Kaggle, сообщество AI- и ML-специалистов.

Что скажете, похоже на правду?

Как формируется характер нейросети
Когда воспитанный Маском Grok начал называть себя «МехаГитлером», это было забавно, но предсказуемо. С тех пор, как ИИ-чатботы вообще появились, несмотря на все усилия разработчиков оградить их от дурного влияния, они всегда умудрялись научиться плохому.

Еще в 2016 Microsoft деактивировала твиттер-бота Tay через 16 часов после запуска: пообщавшись немного с местными юзерами, она начала постить контент крайне сомнительного содержания.

🔜 С тех пор ИИ становился только умнее и сложнее. Чат-боты уже не повторяют бездумно все, что им пишут пользователи, а языковые модели, на которых они работают, даже приобретают что-то вроде черт характера. Они могут быть злыми, добрыми, вежливыми, оптимистичными, склонными к лести и так далее. В Anthropic решили разобраться, как эти личности формируются и как можно на них влиять во время обучения.

Черты «характера» модели представляют собой паттерн активации нейронов внутри нейронной сети — в Anthropic их назвали «векторами личности». Их обнаружили, наблюдая за тем, какие части сети активируются, когда модель демонстрирует определенное поведение: например, льстит или выдумывает факты.

Зачем это все надо?
🔵 Следить за тем, как меняется поведение модели: как она реагирует на разные датасеты, использующиеся для обучения, системные промпты, запросы пользователей или джейлбрейки.

🔵Создавать модели, менее склонные к «нежелательному» поведению. В Anthropic обнаружили несколько интересных фактов:
💬 Если у модели уже есть одна отрицательная черта, то со временем их может стать больше. Сегодня она пишет небезопасный код, а завтра Родину продаст, как говорится.
💬 Если «заглушить» вектор, отвечающий за отрицательные черты, они перестанут проявляться, но модель поглупеет — оно и неудивительно, ей ведь буквально отключают часть «мозга».
💬 Более эффективный способ воспитания — подталкивать модель к развитию отрицательных векторов во время обучения. Это работало как прививка, после которой ей было проще сопротивляться негативному влиянию.

🔵 Прогнозировать, как обучение на конкретном датасете повлияет на «характер» модели, и заранее отсеивать данные, которые могут привести к появлению нежелательных черт.

Надеемся, что результаты этих исследований помогут разработчиком в создании полезных и умных моделей, не склонных к лести, галлюцинациям или советам добавить камней в пиццу.

Когда были в Петербурге, посетили выставку в Русском Музее: «Наш авангард».

Среди всех других экспонатов хочу выделить отдельный зал, посвященный «аналитическому искусству» — оказалось, что и такое есть. В этом посте делюсь некоторыми фотографиями с экспозиции.

Показалось интересным поделиться «аналитическим искусством» с аналитиками.

DOOMQL: Doom на SQL
Doom на чем только ни запускали — на картошке, калькуляторе и тесте на беременность. Кажется, эта игра будет жить вечно, и через сотни лет ее будут запускать на кибернетических имплантах, космических кораблях или Пип-боях — в зависимости от того, куда в итоге повернет цивилизация. Ну а пока будущее не наступило, предлагаем оценить очередное воплощение бессмертной игры — теперь полностью на SQL.

У Лукаса Вогеля была CedarBD, месяц отпуска по уходу за ребенком и источник вдохновения — DuckDB-Doom. Да, это еще один Doom на SQL с вкраплениями JavaScript.

Лукас решил, что он может усовершенствовать эту идею:
🔵отказаться от JS и написать все полностью на SQL,
🔵улучшить производительность,
🔵добавить мультиплеерный элемент.

Собственно, все это у него и получилось.
🔵Все данные о мире игры — карта, мобы, игроки — размещены в таблицах. Все события — перемещения, выстрелы, убийства мобов, респавны — учитываются скриптом, который запускается 30 раз в секунду.
🔵Визуал — это SQL-представления, отрисованные в 3D c помощью рейкастинга.
🔵Можно не только играть с друзьями, но и даже читерить.
🔵И все это с уверенными 30 FPS при разрешении 128 x 64 пикселей.

В общем, очередное доказательство превосходства как Doom, так и SQL. Если хотите своими глазами посмотреть, как вообще это работает, код лежит на гитхабе.

Side hustle для аналитика
Ставка на карьеру в корпорации утопична. У меня было несколько кейсов, когда политика партии менялась на 180 градусов, расформировывались или объединялись отделы, кого-то увольняли. Приходилось адаптироваться и искать для себя новое место получше.

Кроме того, порой ты думаешь, что достигнешь какой-то высоты в компании, но достигнув ее, понимаешь, что это пустое. Лучше всего высказался на эту тему Дима Аношин — мы с ним в подкасте говорили, да и на канале у него дофига всего.

Кстати, Дима с ребятами делает полезный движ по теме поста — Surfalytics, если вы вкатываетесь или осваиваете, сходите и посмотрите, что он предлагает.

А я сегодня немного о другом: о ситуации, когда у тебя уже есть почетная лычка, ты понимаешь, что погряз в долбаной рутине, а свободного времени дофига, потому что босс не ставит задачи или ставит их слишком медленно. Но кто мы такие, чтобы его торопить, правда? Куда лучше подумать о том, как максимизировать свой profit/time ratio.

И тут есть варианты, которые я хотел предложить для обсуждения.

1️⃣Начать консультировать кого-то в качестве подработки.
Зачастую клево работает на старте, когда есть пара знакомых, которые вам заплатят копеечку за то, что вы принесете им своих ценных знаний. К сожалению, знакомые быстро заканчиваются, и консалтинг может свернуться. Однако, это простой путь к тому, чтобы начать свою практику.

2️⃣ Различные биржи и соло-практика фрилансера
Для меня самая известная — Upwork, я с нее сам начинал и дофига чего могу рассказать. Кстати, мы с коллегами активно пишем про Upwork в моем профиле на LinkedIn, подписывайтесь. Основная штука, которую мы сгенерили — Upwork Playbook, она бесплатная и рассказывает с чего начать работу на платформе.

Если кратко — это биржа для фрилансеров, и по нашей с вами теме там тоже задачи есть, но сегодня из РФ работа с Upwork невозможна. Я не знаю, есть ли какие-то аналоги, мне не удалось их найти. Если вы знаете, пишите в комменты, очень интересно.

Мы пробовали в свое время Fiverr, Peopleperhour — булшит, там вообще нет никаких полезных джобов по теме. Также есть toptal, но это исключительно для фрилансеров (скорее под аутстафф через платформу), будет довольно большой отбор на старте, надо готовиться к серьезному собеседованию.

3️⃣Part-time в компаниях типа моей
Да, чуваки, можно просто прийти и написать нам на почту, если вы ищете подработку part-time, потому что такие компании, как моя, всегда открыты к этому. А поскольку мы много работаем со стартапами и middle size компаниями, для них мы — единственный мостик, чтобы вообще получить доступ к такому ценному ресурсу, как вы, опытные аналитики и инженеры.

4️⃣Рил бизнес
Вытекает из п. 1, но подготовиться предстоит серьезнее, если вы решили открыть свою компанию. Там и майндсет должен сильно измениться, и разобраться надо не с аналитикой, а с персоналом, продажами, маркетингом, финансами, налогами, бухгалтерией и аудитом. Ну да, шансы есть, и ставки высоки, но порой думаешь, что может и прикольнее было бы сидеть да получать где-то ЗП, закидывая промпты в какой-нибудь ChatGPT или Claude.

AI-хайп идет на спад?
Об этом говорят данные, собранные Бюро переписи населения США. Раз в 2 недели Бюро проводит опрос среди сотрудников 1,2 млн фирм, чтобы узнать, пользуются ли они ИИ для создания продуктов или предоставления услуг.

Результат на графике — с середины лета темпы внедрения ИИ-инструментов идут на спад среди крупных компаний в трех категориях: 50-99 сотрудников, 100-249 сотрудников и 250+. Но надо отметить, что спад пока довольно небольшой, в пределах 2%.

В остальных категориях интенсивность использования ИИ тоже снизилась за исключением совсем мелких бизнесов до 4 человек.

Причинами потери интереса к ИИ в Бюро не интересуются, но мы можем порассуждать.
🔵В конце 2024 и начале 2025 про ИИ говорили из каждого утюга, и многие компании начали с ним экспериментировать, но через полгода постепенно начали разочаровываться. При всех его плюсах и достоинствах, возможности искусственного интеллекта пока ограничены. Чтобы начать получать от него ощутимую пользу, надо сильно заморочиться с обучением и настройкой под запросы конкретного бизнеса.
🔵Это подтверждает нашумевший отчет MIT, где говорится, что 95% проектов с использованием ИИ проваливаются. Причина в основном в том, что его сложно эффективно интегрировать в рабочие процессы.
🔵Использовании ИИ для личных целей тоже оказалось не так эффективно, как все сначала думали. Согласно исследованию METR, разработчики верят, будто искусственный интеллект помогает им работать на 20% быстрее — но вот только данные говорят, что все наоборот, и они выполняют задачи на 19% медленнее.
🔵Все мы помним истории про чатботов, которые, перенервничав, начинали творить странные вещи — например, сносить базы данных. Это тоже показатель, что к полноценному внедрению в рабочие процессы они пока не готовы.

В общем, постепенное снижение после всплеска интереса выглядит как абсолютно естественный процесс. Будем следить за ситуацией и посмотрим, что будет еще через полгода.

Немного истории: зачем и почему LinkedIn создал Apache Kafka
LinkedIn можно не любить, можно даже ругать, но нельзя отрицать его вклад в культуру. Как минимум, он подарил нам пост «Я сделал предложение своей девушке, и вот что это я узнал о B2B-продажах благодаря этому» и Apache Kafka.

🔜 Kafka — это платформа для обработки потоковых данных в реальном времени. Она используется там, где важно настроить передачу больших объемов данных с потенциалом для масштабирования и минимальным лагом — у наc на сайте есть пример.

Но почему вообще LinkedIn решил создать такой тул?
Если кратко, то дела обстояли так.

LinkedIn собирает данные о поведении пользователей — посты, комментарии, лайки, просмотры. Они используются для создания рекомендательных алгоритмов и защиты от фрода. Раньше, до появления Kafka, это все распределялось на два отдельных конвейера:
🔵«пакетный» пайплайн — каждый час информация о событиях на сайте сохранялась в XML и пачками отправлялась в хранилище,
🔵real-time пайплайн — метрики, которые надо было отлеживать в режиме реального времени (состояние серверов, ошибки, алерты об ошибках) отправлялись в Zenoss.

За развитие обоих пайплайнов отвечали две небольшие команды, которым приходилось делать много ручной работы по их поддержке и обновлению — например, добавлять новые метрики или источники.

Получилась система немасштабируемая, неудобная и не стабильная. Сбой в пайплайне мог повлечь за собой сбои на сайте.

Конечно, это было не дело, и в LinkedIn решили разработать альтернативу: устойчивую, масштабируемую, способную интегрироваться с разными сервисами и обеспечивающую доступ к данным в реальном времени.

Так и появилась Kafka. Сейчас даже сложно представить, что не так уж и давно в такой большой компании как LinkedIn большие массивы данных обрабатывались почти вручную, еще и с большими задержками.

🔜 Если интересно узнать подробности, то они описаны в этой статье.

Ну и не забудьте рассказать в комментах — в вам приходилось пользоваться Apache Kafka?

Почему искать работу в IT так сложно, и как сделать этот процесс проще?
Какое максимальное число этапов собеседований вам приходилось пройти, чтобы в итоге получить ответ «мы вам перезвоним»?

Поиск работы в IT — утомительный и часто многоступенчатый процесс, который включает в себя общение с целой кучей людей, выполнение тестовых, лайв-кодинг, и все это без какой-либо гарантии результата. Возможно, что работодатель по итогу пришлет шаблонный отказ (или просто заигнорит), а возможно, что долгий и нудный путь к офферу приведет на такую работу, откуда сотрудник сам сбежит еще до конца испытательного.

🔜 Инженер Джин Нельсон описала свой взгляд на эту ситуацию, который интересно обсудить как с теми, кто нанимает, так и с теми, кого нанимают.

Она привела несколько критериев, которым должен отвечать процесс подбора:
🔵он должен помогать отличить грамотных специалистов от неучей с ChatGPT,
🔵проверять те навыки, которые действительно надо будет применять на работе,
🔵помогать находить людей, с которыми можно выстроить долгосрочное сотрудничество, а не закрыть дыры в штате здесь и сейчас,
🔵разумно расходовать время всех участников,
🔵быть построен на взаимном уважении.

С некоторыми пунктами можно поспорить — например, не всем работодателям и соискателям нужно многолетнее сотрудничество. Но в целом выглядит разумно.

Предсказуемо, что большая часть принятых способов подбора под эти критерии не особо подходят. Лайв кодинг давно не помогает оценить скиллы, а тестовые задания тратят время соискателей и при этом тоже не всегда адекватно отражают уровень знаний.

В качестве примера более эффективных и уважительных к кандидату вариантов она указала код ревью и анализ семплов из рабочих проектов.
🔵 В первом варианте подборщик пишет так себе код, а соискатель его ревьюит. Этот подход не только показывает навыки из разных областей (от кодинга до умения давать грамотный фидбек), но и требует от работодателя активного участия и подготовки. Это, по ее мнению, более уважительно к соискателю, чем просто выдать ему тестовое.
🔵Во втором варианте, который используют в Oxide Computer Company, соискатель показывает примеры того, над чем работает сейчас, детально отвечает на вопросы о своих ценностях и целях, а потом проходит через 9 кругов ада часов интервью. Процесс крайне времязатратный, но для обеих сторон — нанимателю надо внимательно проанализировать присланные примеры работы и эссе «Кем я себя вижу через 5 лет».

А что вы думаете?
Как должны выглядеть собеседования в IT — в частности, в аналитике и дата-инжинирнге — чтобы не превращаться в трату времени для кандидата и работодателя?