System Design World

🤽‍♂️ Ловите запись! Клеппман. Глава 2.

1️⃣ час.

Краткое содержимое(полное):
1) SQL vs NoSQL
2) Graph Model
3) MapReduce
4) Применение знаний к прохождению System Design Интервью

Мощный контент, живая подача, юзер френдли монтаж. Ну где же ваши лайки 😏
💯👍🔥

🚀 Поехали!
Youtube
VK
(Комментарии помогают youtube рекомендовать видео для интересующихся темой System Design. Поэтому, если зашло, смело пишите :) )

🏦 System Design. База. Клеппман. You are welcome! Глава 3

🗃 Подсистемы хранения и извлечение данных

🗣 Назовите отличия OLAP от OLTP!
Почему clickhouse так распространён и работает быстро?

Первый вопрос могут задать вам на System Design собеседование даже начального уровня. Второй — на продвинутых. И в обоих случаях хорошо бы понимать как минимум суть терминов. А ещё лучше капнуть в глубину. Сделаем и то, и другое на нашей встречи. Приходите!

📖 Темы из доклада:
· Структуры данных:
+ Хэш-индексы
+ SS-таблицы и LSM-деревья
+ B-деревья
· OLAP vs OLTP:
+ Способы хранения данных
+ Построение хранилища данных
· Строчные и столбцовые хранилища
· Агрегирование данных

📆 Встречаемся во вторник(4.02.25) в 20:00.
Пост с местом проведения сделаю здесь перед стартом.

Можно задать вопросы заранее и ответить на вопросы коллег в подготовленной форме (спасибо Артуру за идею 🤝)
Ссылку для редактирования опубликую в чате сообщества.

👉 Подготовил анонс timepad. Зарегистрироваться.

▶️ Читаем главу или просто чилим и ожидаем нашей уже традиционной встречи с выжимкой самого интересного из книги.

❓ Насколько пригождалось понимание приведенных структур данных на собеседование, в работе? В какой степени сталкивались с clickhouse - колоночной аналитической СУБД? Которая сейчас везде. И которая не тормозит.

🤽‍♂️ Ловите запись! Клеппман. Глава 1.

1️⃣ час. Как и планировали 😊

👉 По окончании просмотра делитесь мнениями в комментариях и в опросе.
👉 Вопросы на следующий стрим смотреть и задавать тут. Для получения прав пинганите меня в чате сообщества.

Стараемся давать качественный контент в удобной для усвоения и интересной для вас форме.
Накидайте лайков, если считаете активность полезной 😏
💯👍🔥

Поехали:
Youtube
VK

Live stream finished (2 hours)

📺 System Design. База. Клеппман. You are welcome!
Глава 2.

· Подключаемся в трансляцию👌
· Вопросы, обсуждение во время стрима голосом в трансляции и текстом в нашем чате - Зайти.
· Главный вопрос: "Что вы вынесли для себя из сегодняшней встречи?" - можете указать в опросе. Плюс, указать данные для получения будущего бонуса:
👉 https://clck.ru/3Fxegt

upd
· Спасибо за то что были с нами!
Постарались попасть в 1 часовой тайминг.
Прекрасные вопросы, дополнения помогли лучше раскрыть тему. Получилось даже в конце душевно посидеть не под запись 😊
·  Положительные оценки, больше участников говорят о том, что материал, подача отзываются и оказываются полезными. Это радует ☺️

Live stream started

Live stream scheduled for Jan 25, 2025 at 16:00

🏦 System Design. База. Клеппман. You are welcome! Глава 2

🛞 Набираем обороты!
Состоявшийся вебинар получил положительные отзывы и оценки. И это радует 😊 Продолжаем!
В следующую субботу в 19:00 разбираем очередную главу. Глава не простая. Пробуем разжевать 🍿

📖 Темы из доклада:
· Relational vs Document models:
+ Many-to-One & Many-to-Many
+ On-Read vs On-Write Schema
+ Диффузия моделей данных
· Imperative vs Declarative models:
+ SQL, CSS, XSL и... JavaScript
+ MapReduce
· Graph model
· Triple-Stores model
· сиренивинькаяглазовыколупывательницачтотутвообщезатерминытакиеМишаСпасай!😅

✍️ В обратной связи по прошедшему вебинару участники приводили пожелания по анонсу.
Чтобы можно было заранее понять будет ли вебинар, распланировать субботу и иметь удобную возможность поставить его в календарь.
👌 Сделал level up в организации. Создал timepad аккаунт и событие-анонс в нём.
Итак, для вашего удобства, регистрируйтесь на мероприятие в субботу(25.01.25) в 19:00 здесь:
https://vladimir-nevzorov-event.timepad.ru/event/3204617/

До скорой встречи! ☺️

Как вам далась эта глава? Что оказалось наиболее непонятным? Или, наоборот - понятным и полезным?

🔥 - супер, буду онлайн!
💯 - посмотрю в записи!
👍 - хорошая активность, поддерживаю!

📺 System Design. База. Клеппман. You are welcome!
Глава 1.

· upd. Встреча состоялась. Запись будем делать 👌
· Обсуждаем, делимся впечатлениями, полезными ссылками по теме выступления в нашем телеграм чате. Зайти.
·  Следующему стриму - разбору главы 2 - быть!

🏦 System Design. База. Клеппман. You are welcome!

↗️ Сообщество канала растёт и крепнет!
Нас уже более 2000 участников - интересующихся:
System Design, Архитектурой, backend технологиями и подходами к проектированию высоконагруженных систем.

💡 Пришло время структурировать знания.
Пришло время тематического стрима по System Design - разбора знаменитой книги Мартина Клеппмана "Designing Data-Intensive Applications".
Пришло время Михаила Масягина - участника нашей недавней архитектурной каты, капитана команды.
Михаил выступил инициатором такого разбора. И вот первый стрим уже не за горами ☺️

⏳ В обсуждениях мы решили выбрать компактный 1 часовой формат стрима.

📖 Темы из доклада:
· DIA (Data-Intensive Applications)
· Три кита DIA:
+ надёжность
+ масштабируемость
+ поддерживаемость
· Описание производительности
· SLA & SLO
· System design Interview: начало

🎯 Для кого этот стрим?
· Для вас, если интересуетесь темой высоконагруженных отказоустойчивых систем
· Для вас, если хотите структурировать архитектурные знания
· Для вас, если хотите поделиться своими кейсами с прода или в разделе обсуждения раскрыть тезисы со своей стороны, дополнить общую картину
· Для вас, если хотите подготовиться к System Design интервью

🕖 Встречаемся в субботу 18.01.25 19:00 (МСК). Ссылка будет прикреплена ниже ближе к старту.
Хорошего окончания недели! 😊

Какие ещё темы хотите видеть на будущих стримах?

💯 - важная активность, поддерживаю!

🏄‍♂️ Приключение web запроса.

❓ "Что произойдёт при отправке запроса пользователем?", - такой вопрос можно услышать на System Design собеседование уровня старшего разработчика и на junior позиции в мире web.

☝️ Разбираем алгоритм
1. Пользователь вводит адрес сайта в браузере - ya.ru/google.com/etc...
2. Браузер проверяет свой кэш. Если в кэше нет данных, нужно выполнить операцию резолвинга/разрешения доменного имени в целевой IP-адрес.
3. Запрос на резолвинг проходит через разные уровни DNS-серверы (root, TLD и authoritative).
4. На одном из уровней извлекается IP-адрес.
5. Браузер создаёт TCP-соединение с сервером с этим IP-адресом. Которое начинается с ранее описанного на канале 3ёх уровневого рукопожания.
6. Современные сайт - это уже не простые html страницы из 90ых с вкраплением пары картинок.

<h2>Welcome to my best web site!</h2>

<img src="https://..../super_welcome_image.png" />

За ограниченное время (чтобы пользователь не ушёл) необходимо загрузить html, css, картинки, подгрузить js скрипты, ...

🛠 Браузер для этого может создать множество параллельных tcp-сессий. Это количество зависит от браузера, используемого протокола. Даже от версии http. Эволюция http описана ранее на канале здесь.
7. Браузер наконец-то делает те самые http запросы для получения ресурсов.
8. Браузер парсит полученное и рендерит всё в финальную страницу.
9. Пользователь смотрит и радуется результату. Радуется, когда response time 250-300ms.
А радостный пользователь - основа любого бизнеса 😊

🏁 Теперь вы знаете что происходит под капотом при вводе пользователем адреса сайта в адресной строке браузера. Обогатили свой опыт и стали более подготовленным к реальному собеседованию.

▶️ Для закрепления материала предлагаю в браузере в режиме разработчика сходить по IP-адресу из картинки. И увидеть что же там происходит 😏

Вам часто встречался такой вопрос на собеседованиях? Как считаете отдаваемый контент будет одинаковым у всех пользователей? Или зависит от чего-то?

System Design World pinned a photo

🫶 С Наилучшими пожеланиями в Новый Год!

🏄‍♂️ Свершений, приятных открытий и душевного тепла!

🚀 2024 год промчался стремительно и насыщенно!
Делюсь основными активностями.

System Design
1) Провёл стрим на дружественном канале, посвященный шардированию. Судя по лайкам зрителям зашло 😊
2) Сделали серию мок интервью по System Design youtube, dropbox. Если собираешься собеседоваться - вот тебе готовые пособия 🥳
3) Встретились офлайн с подписчиками, отпраздновали рост канала. И в целом хорошо провели время :)
4) Создали несколько архитектурных кат. В организации первой здорово помогли Игорь и Евгения! На 2ой декабрьской сошлись 42 team, Za Gotbit, X team. Решения получились классные! Ребята молодцы! Отзывы о кате положительные! #ArchitecturalKata
5) Участвовал в хакатонах. Описал на канале часть. Несколько раз становился призёром в составе различных команд. Крутое последнее достижение - 2ое место на хакатоне от ВТБ. Хакатон - отличное место для проверки своих сил на реальной нужной компании задаче! #Hackathon
6) На ProIT Fest приехал с System Design задачей. Участники в дружеской атмосфере задавали интересные вопросы. Все вместе продуктивно провели встречу 👌
Спасибо Антону за решение!
7) Организовал дискуссию System Design Интервью: Казнить нельзя помиловать на HighLoad++ 2024 Moscow.
Теперь я понимаю сколько нужно подготовки и почему это не так просто 😏 Особенно, когда выступаешь не один. Когда нужно сводить всё в единую согласованную точку. У нас получилось! Для интересующихся такими собеседованиями как со стороны кандидата, так и со стороны компании скоро выложу ссылку. Мне как спикеру она доступна для шаринга.
8) Освятил чёткий фреймворк для прохождения System Design собеседований в БигТех компании.

🙋 Общение со студентами
Рассказывал студентам МГУ, МИРЭА современные реалии IT :)

👥 Новые авторы
На канале появились 2 новых автора:
Нина Пакшина рассказывала про эволюцию http #HTTP
Лариса Соловьева про реальный кейс с имплеменатцией Change Data Capture

🔅 Изюминка года
Ею стала беседа под NDA с одним из первопроходцев HFT. Потрясающая встреча! Я был в изумление от глубины понимания домена, технологий и навыков собеседника. Тот пример, когда 1 человек может реально многое.

💯 Самый популярный...
Приятной неожиданностью стал мой перевод статьи Как Notion обрабатывает 200 миллиардов объектов данных.
На хабре он вызвал положительную реакцию с 7.6 тыс просмотров, и короткий пост-ревью в телеграме с 14.2 тыс просмотров.
Был комментарий, что хотелось бы больше таких ревью. Взял на заметку ✍️

🥇 Эталон решения System Design задачи
Ближе к концу года мы встретились с Евгением - тимлидом Авито - для решения System Design задачи - проектирование LeetCode. Евгений последовательно расписал решение, ответил на множество моих вопросов и оставил после себя законченную схему. Для прокачки welcome :)

✅ Менторство как хобби
Стал преподавателем Отуса, активно делился знаниями как ментор.
Менти проходили успешно технические собеседования в BigTech - 🔠 Kaspersky, 🔠 VK, 🔠 Yandex.
Рад, что оказался полезным на их пути. Старался прорабатывать совместно саму специфику прохождения, плюс нужные знания.

🔑 Также посетил тематические конференций - ArchDays, Podlodka TechLead, Стачка, HighLoad++(habr), ...
Стараюсь делиться знаниями, инсайтами для обогащения как архитектурного опыта, так и в целом полезным материалом.

На протяжение всего года я как автор канала создавал разнообразный контент на тему System Design и Архитектуры. Это были описанные встречи, текстовой и анимационный материал для тебя, для удобного восприятия.

4️⃣ Рост канала ~4x
С 500 -> 1900 за год! Без рекламы! Только качественный разнообразный контент и заинтересованные подписчики!

🔜 Дальше -> больше :)

💫 Рад, что дочитали до конца! :) Желаю всего самого хорошего! Cвершений и здоровья в Новом Году!

—

🎄 Спасибо тебе, 2024! Да здравствует 2025!
Ставь:
❤️ - если год для тебя прошёл супер)
💯 - выдался хорошим с приятными событиями
👍 - в среднем год как год, что-то получилось из задуманного
🤷 - сложно ответить было ли положительного больше

First Law of Distributed Object Design: Don't distribute your objects.

Первый закон дизайна распределенных объектов: Не распределяйте ваши объекты.
(с) Мартин Фаулер

🕋🕋 Делаем бэкапы заранее! И не делаем лишних зависимостей у компонентов!

👉 На HighLoad++ зашёл на увлекательный доклад СДЕКа о восстановление IT инфраструктуры после атаки шифровальщиком.

🙄 Один из поинтов был в том, что все, конечно, знают, что не надо плодить лишних связей) Но, всё-равно, создают)
Из-за этого сложно восстановить базовый компонент, который стал связанным со второстепенным, от которого стал зависеть и без которого его нельзя поднять o_O
А если бэкапа для второстепенного нет, то и основной восстановить не получается 😭

✅ Ребята молодцы. В докладе с мемчиками и с долей самоиронии описали как по дням за 1 неделю они нашли самое нужное, не сгорели и восстановили базовый функционал. Сначала эта была выдача(насколько помню) уже текущих заказов. Затем вернули возможность заказы формировать. Затем восстановили какую-то нужную для аналитики, но не первозначимую активность. В докладе также есть советы как не допустить подобной ситуации, решительно и правильно действовать.

💸 Похоже, мы все пришли к вызовам современности - теперь нужны периодические бэкапы не только потому что "хотелось бы, если что...", а потому что "когда нас взломают, нужно как можно быстрее и качественней восстановиться". Растут требования и базовые затраты на IT инфраструктуру 🥹

🧐 Как считаешь, насколько часто нужно делать бэкапы, ограничивать доступ к базам и создавать тайные уголки с самими бэкапами лишь для маленькой группы супер доверенных админов?

🔥 Архитектурная Ката 2.0 на низком старте!

Открываю подробности самой каты. Заходи в System Design Чат для регистрации. Ещё можно успеть!

🕗 Желаю всем хорошего вечера.
Если не получилось сегодня быть с нами, обязательно ждём в следующий раз! 😊

#ArchitecturalKata