I hate overtime

Котаны, последнее время на канале нет нового контента. Это потому, что я сменил галеру и пока что очень много времени трачу на работу.
Кстати, на новом месте увидел достаточно интересный подход к взаимодействию системных архов и разработчиков: архитектор детально прописывает изменения в API и схеме(ах) БД перед разработкой фич. В итоге к dev'ам прилетают достаточно подробные, но жирные спеки. На прошлых местах работы мы делали более высокоуровневое up-front проектирование, но больше времени и внимания уделяли контролю за реализацией и метриками.
К сожалению, я еще не успел понять работает ли такой подход или парни просто не читают эти спеки, так что ждите новых заметок с фронтов)) А пока опросик

#distributed #lectures #edu

Странный состав лекций, возможно есть предварительный осенний курс. Но это MIT.

https://www.youtube.com/playlist?list=PLrw6a1wE39_tb2fErI4-WkMbsvGQk9_UB

#distributed #lectures #edu

За авторством Мартина Клеппманна.

https://www.youtube.com/playlist?list=PLeKd45zvjcDFUEv_ohr_HdUFe97RItdiB

Ребята из propensive.com запустили бесплатный курс по Scala 3. Если нет планов на выходные, то хватайте чаек с печенюгами и ну-ка быстро осваивать новую скалку!

#arch #business_model
Котаны, разбирая тут свои "read later" завалы наткнулся на замечательную статью от Nick Tune(создателя C4) про связь IT и Business Models (вообще в статье про Software Architecture, но очень легко обобщается на все IT в целом)
ТлДр такой: часто когда нас просят сделать фичу она кажется глупой, бессмысленной или черезвычайно дорогой("ой, вот еще щас всю архитектуру менять😡"). Ник предлагает рассмотреть продукт со всеми его фичами с точки зрения бизнеса, используя удобный Business Model Canvas. Таким образом, психологически становится сильно проще коммуницировать с аналитиками\продуктами в поиске win-win решений.
У нас, кстати, продуктологи в какой-то момент начали указывать Customers Segments и Revenue прямо в спецификации. Согласитесь, сильно приятнее делать не просто фичу FO-666, а FO-666 для 20кк пользователей с потенциальным доходом 10кк$

Ну что ж, паны айтачи, видимо сегодня день мемов

Маркетинг MongoDb бессмысленный и беспощадный

Одна из самых важных теорем в распределенных системах - C̶A̶P̶ FLP теорема.

Она строго доказывает, что невозможно достичь консенсуса, если:
🔸 Система асинхронна (что справедливо для реальных сетей)
🔸 Хоть один из узлов может отказать
🔸 Алгоритм детерминирован

И тут возникает вопрос - а как же алгоритмы консенсуса Paxos/Raft?

Paxos/Raft работают строго в рамках этой теоремы. У обоих алгоритмов существуют сценарии, при которых они не будут совершать прогресс, т.е. выбор одного значения на узлах никогда не завершится. Пофиксить это можно убрав какое-то условие из FLP, например детерминизм. Raft убирает детерменизм c помощью рандомных таймеров при выборе лидера, чтобы избегать таких сценариев.

Если вы вдруг придумали алгоритм консенсуса - найдите такое исполнение, при котором система не сможет совершать прогресс. Алгоритм консенсуса не может нарушать FLP теорему!

В общем, теорема не означает, что консенсус недостежим. Она лишь означает, что консенсус не всегда достежим/недостежим за детерминированное время. Это важно понимать.

#flp #theory

HSE is an embeddable key-value store designed for SSDs based on NAND flash or persistent memory. HSE optimizes performance and endurance by orchestrating data placement across DRAM and multiple classes of SSDs or other solid-state storage.

https://github.com/hse-project/hse

📄 Write code that is easy to delete, not easy to extend is a guide (an essay?) on when it's good to copy-paste a code and when it's not, when it's good to split a code by pieces and when it's better to keep all things together. These are hard questions but we should think and talk about it.

Хех, история в стиле помоги Даше найти хешсет)) Понадобился мне тут как-то хешсет в C# проекте, да не простой хешсет, а конкурентный! Ну, думаю, нам же выдали набор lockfree коллекций System.Collection.Concurrent, но, внезапно, нужного среди всяких ConcurrentQueue и ConcurrentDictionary не находится. Уже в предвкушении взял попкорна и колы и пошел на гитхаб.
И вуаля! Предлагают взять ConcurrentDictionary и просто не юзать второй элемент)) Современные проблемы требуют современных решений, хех))
З.Ы. после долгих обсуждений все-таки сделали пропозал

#sre #logging
Подробная(возможно даже чересчур) инструкция по настройке логгинг-стека Vector+Clickhouse

#sre #metrics
Котаны, откопал тут древний видос от Coda Hale про мониторинг. Если не смотрели, то очень рекомендую. Меня вот очень зацепила фраза со слайда: "If it could affect your code's business value, add a metric"

Оператор в #kubernetes для управления кластерами БД

https://habr.com/ru/post/523378/

https://youtu.be/z2aARjKDg4w

#k8s #clickhouse #kubernetesoperator #database #db #altinity

#security
Кстати, тут коллеги очень интересную штуку откопали. Это протокол авторизации a-la OpenID, но позволяющий проверять claim на валидность без отправки самого клейма и остальных клеймов. Т.е. если один черножелтый ресурс просит вас подтвердить, что вам есть 18, то этот протокол позволит вам это сделать без отправки даты рождения и остальных данных

#msa #arch
Очень хорошая статья про технические питфолы микросервисной архитектуры. Автор разбирает 4 челенджа: интеграцию и транзакционность, авторизацию, кроссервисные бизнес-процессы и версионирование + приводит кучу интересных ссылок на каждую тему.
Рекомендую просмотреть и походить по ссылкам (особенно тем кто уже разросся до масштабов нетфликса, вкрутил девопс и продуктовую разработку, лол)

#management #sre
Подробный рассказ о процессе инцедент-менеджмента в Heroku. Артикль интересен тем, что у них свой процесс, достаточно сильно отличающийся от ITIL-based и от описанного в SRE book

#data #spark #arch
Нашел тут у себя в закладках очень миленькую статью про внутренности спарка и hdfs. Очень совету почитать для тех кто интересуется распределенными системами

Kontra OWASP Top 10 is a collection of free interactive tutorials about most popular vulnerabilities and some recent security incidents. Beautiful, clickable, illustrative.