„Chillin‘“ at Amazon

#design #pattern #architecture #circuit #breaker #fault #tolerance #video

В одной из статей, что я скидывал описывался дизайн паттерн Circuit Breaker. Некая машинка, которая ставится рядом с вашим сервисом, которая, если октрыта, то не пропускает трафик, и наоборот.

Нужно это для того, чтобы не перегружать ваши серваки заведомо неудачным запросами к другим upstream сервисам.

В целом, в микросервисной архитектуре это становится "бест практис" подходом и о нем знать должен каждый.

В видео ниже расскрывается эта тема еще раз. Из доп плюсов, для тех, кто Джавистов показывают как это можно имплементировать - просто.

https://www.youtube.com/watch?v=ADHcBxEXvFA

#databases #elasticsearch #whitepaper

Elasticsearch - это очень мощное решение, чтобы поставить свой собственный Search Engine и залить туда свои данные. Очень круто работает поиск по тексту, приоритизируя резульат, используя TF-IDF алгоритм - если простым языком, то исключая слова создающие "шум", и делая акцент на более "ценных" словах. Очень важно понимать, что "шум"-ные слова считаются исключительно в рамках ваших текстов/данных, т.е. алгоритм адаптируется под ваш контекст.

Поиск данных по ряду фильтров происходит моментально даже на петтабайтах данных.

"clusters can grow to 10s or 1,000s of servers and petabytes of data" (с)

Достигается путем обратного интексирования ваших данных и распределению данных по множесту Nodes.

Для простоты понимания, представьте словарь/hashmap, где в значении у вас ключ, по которому вы ищите, а в значении ваши данные. Все эти пары распределяются на несколько серверов в определенном порядка, а при поисковом запросе, идет отсев ненужных серверов, и возврат значений, каждое из которых посчитанно на каждом сервере отдельно. Таким образом нагрузка распределяется, и запрос получается очень быстрым.

Один из огромных плюсов - наличие API у базы данных, что позволяет легко подключаться к ней и Kibana - сервис по визуализации данных в различных разрезах и графиках.

Use Cases:
В статье пишут, что 50%+ кейсов - это анализ логов. Также для маркетинговой и clickstream аналитики или изучения поведения потребителей.

Я же могу добавить, что эта БД может отлично идти в комбинации с другой БД, если вы используете дизайн паттерн CQRS (Command Query Responsibility Segregation). Об этой дизайн паттерне я еще напишу

Если хотите почитать чуть больше на эту тему, то рекомендую статью от Амазона. Мне очень нравится их слог - очень просто и понятно. Плюс рассказывают про то как это поднять на AWS - если вы это исползьуете, то для вас еще один плюс.

#customer #backwards #design #approach #articles

Хотя статья не совсем о техническом дизайне, но, я считаю, что навык, которым должен обладать каждый архитектор.

"Begin with the end in mind." (с)

Пока искал информацию на тему разработки от пользователя ("Customer Backwards"), нашел отличную статью. Оригинально это понятие, как я понимаю, появилось в системе образования, когда контент подстраивался под учеников, а не учеников подстраивали под контент. Что логично, на мой взгляд.

Ну так вот, в статье, описывают процесс как подходить к разработке продуктов - сперва понимаешь что-нужно клиенту и только потом думаешь как это сделать. У этого подхода есть очень много плюсов: ты делаешь реальное нужную и ценную вещь для клиента, ты не делаешь то, что не нужно клиенту, технический дизайн после этого осуществить куда проще и качественнее.

Для убедительности, ссылаются на компанию Amazon, и людей такиех как Франклин Кови или Стив Джобс, кто придерживается/-лся этого принципа.

Также автор расскрывает тему "How to get your team to work backwards".

Из, того, что я отношу к программе минимум это написание пресс-релиза.То есть, начинайте с описания того, что вы делаете. Подать нужно так, что как будто-то вы уже это сделали и пишете пресс-релиз для медиа и for public.

“Iterating on a press release is a lot quicker and less expensive than iterating on the product itself,” says Amazon’s Ian McAllister. “If the press release is hard to write, then the product is probably going to suck. Keep working at it until the outline for each paragraph flows.”

Сам лично я сильно уважаю этот подход и стараюсь практиковать. Я пытаюсь понять чем живет и дышит клиент, и как я смогу ему помочь своим изобретением. Пока я пишу документ, я 1) убеждаюсь в том, что я делаю что-то нужное, а не просто то, что я могу сделать, 2) могу систематизировать свои мысли

За деталями, в статью:

https://www.productplan.com/product-teams-working-backwards/

Хорошая статья на тему создания приложений в облаке. Понравилось тем, что описывают несколько дизайн паттернов и дают ссылки на технологии как это сделать.

Circuit breaker для меня стал чем то новым и очень полезным.

Остальные: Event sourcing, CQRS, Logs Aggregation - тоже очень простые в понимании и сильно полезные

modern-application-development-on-aws.pdf

#internet #web #video #history

первые страницы, yandex, rambler, vkontake

Серия видео выпусков "Холивар". Не сколько об архитектуре, сколько о том как развивался интернета в России и о людях, которые поднимали его.

Очень интересно видеть то, это все было совсем недавно (лет 20 назад), все так просто, цифры были другие. Но те, кто занялись этим сейчас тогда, сейчас впереди.

Если есть свободное время, то очень интересная серия.

https://www.youtube.com/watch?v=hdngdbzayHA&list=PLFRQplrTcKj_d20omBf8dpWwd3qonfl2H&index=1

#distributed #patterns #architecture #video
О четырех архитектурных паттернах распределенных систем

https://www.youtube.com/watch?v=tpspO9K28PM

Channel name was changed to «Восходящий Архитектор (WebApps)»

Channel created