ИТ-архитектура

🔵🟢 Blue-Green Deployments

Blue-Green Deployments включают в себя поддержание двух идентичных сред (синей и зеленой), где одна (синяя) является текущей рабочей средой, а другая (зеленая) — это новая версия.

🔄 Вот как это работает:
- Сначала вам нужно создать вторую (зеленую) среду, равную текущей рабочей среде (синей).
- Затем вы разворачиваете новую версию в зеленой среде, пока синяя среда находится в рабочем состоянии.
- Вы запускаете smoke-тесты в зеленой среде, чтобы убедиться, что она работает правильно.
- Постепенно перенаправляете трафик из синей среды в зеленую.
- Синяя среда теперь может служить резервной копией или средой для тестирования будущих развёртываний, или вы можете её отключить.

✅ Преимущества:
- Нет простоя, нет даже снижения производительности.
- Наоборот, вы будете какое-то время работать с двойной производительностью.
- Легко переключиться обратно на синюю среду, если возникнут проблемы во время переключения.
- У вас будет достаточно времени между началом развёртывания и перенаправлением трафика, что позволяет использовать приложения с длительным холодным запуском и с необходимостью миграции данных.

⚠️ Недостатки:
- Высокая стоимость, так как необходимо дублировать существующую среду.
- Ограничения по размеру и географическому положению. Чем больше ваша существующая среда или чем более географически распределена она, тем сложнее будет её дублировать.
- Согласованность данных. Довольно сложно поддерживать данные в двух разных средах синхронизированными, не создавая дубли и не теряя данные. Чем больше операций записи в приложении, тем сложнее это сделать.
- Конкуренция и узкие места в зависимостях. Всегда будут зависимости, такие как внешние сервисы, которые невозможно дублировать. Дублирование вашей инфраструктуры и кода приведёт к конкуренции и создаст узкие места в производительности этих ресурсов.

Данный подход рекомендуется для приложений с преобладанием чтения, но критически важных для бизнеса. Многие веб-сайты и публичные API подходят под это описание.

#infrastructure #deployment

На связи с вами https://t.me/itarchitecture

Ваши данные имеют температуру, и если вы не знаете её, вы теряете деньги

📊 Горячие, тёплые и холодные данные.

Хранение данных — это не просто их сохранение; необходимо учитывать частоту доступа и период хранения данных.

Данные можно разделить на три категории в зависимости от частоты доступа:

Горячие данные (Hot Data) 🔥

- Определение: Данные с высокой частотой обращения и минимальной задержкой доступа.
- Хранилище: Быстродействующие решения, такие как SSD или оперативная память (RAM).
- Примеры: Кэшированные результаты поиска, рекомендации продуктов в реальном времени.
- Стоимость: Высокие затраты на хранение, низкие затраты на доступ из-за постоянной готовности данных.

Тёплые данные (Warm Data) 🌡️

- Определение: Данные со средней частотой обращения, например, раз в месяц.
- Хранилище: Менее дорогое, но всё ещё доступное хранилище, такое как Amazon S3 Infrequently Accessed Tier или Google Nearline.
- Примеры: Архивные логи, аналитические данные средней давности.
- Стоимость: Более низкие затраты на хранение по сравнению с горячими данными, но доступ дороже и медленнее.

Холодные данные (Cold Data) ❄️

- Определение: Данные, редко используемые, предназначенные для длительного хранения.
- Хранилище: Наиболее экономичные решения, такие как HDD или облачные архивные сервисы (например, AWS Glacier).
- Примеры: Старые резервные копии, исторические записи для соответствия нормативам.
- Стоимость: Минимальные затраты на хранение, но высокие затраты на доступ из-за длительного времени восстановления.

Управление временем хранения данных (Data Retention Management) — это критически важный аспект, основанный на четырёх ключевых принципах:

1. Ценность данных (Data Value) 💡
Определите, являются ли данные критически важными и необходимыми для бизнеса, или их можно восстановить при необходимости. Важные данные требуют более длительного хранения.

2. Время хранения (Time to Live, TTL) ⏳
Для данных с быстрым доступом, таких как данные в RAM или на SSD, используйте политику "Time To Live" (TTL) для автоматического перемещения данных в более дешёвое хранилище по истечении определённого времени.

3. Соответствие нормативам (Compliance) 📜
Учтите требования законодательства, которые могут предписывать определённые сроки хранения или удаления данных. Автоматизация процессов управления данными поможет соответствовать нормативным требованиям.

4. Затраты на хранение (Storage Cost) 💰
Оптимизируйте затраты на хранение, автоматизируя процессы удаления или архивирования данных, которые больше не нужны для оперативного использования.

🔑 Не просто храните данные — управляйте ими эффективно, чтобы оптимизировать затраты и соответствовать требованиям бизнеса.

#data_management

На связи с вами https://t.me/itarchitecture

Рубрика: найди себя 😅

#fun

Пример карьерного развития архитектора 🤣🤣🤣

#fun #career

📢 Картинка стоит тысячи слов: 9 лучших практик разработки микросервисов

При разработке микросервисов необходимо следовать следующим лучшим практикам:

🗃️ 1. Используйте отдельное хранилище данных для каждого микросервиса

📈 2. Сохраняйте код на том же уровне зрелости

🛠️ 3. Отдельная сборка для каждого микросервиса

✅ 4. Назначьте каждому микросервису одну ответственность

📦 5. Развертывайте в контейнеры

🌀 6. Проектируйте сервисы без сохранения состояния

🎯 7. Применяйте предметно-ориентированное проектирование

🔗 8. Разрабатывайте микрофронтенды (https://t.me/itarchitecture/281)

🏗️ 9. Обеспечьте оркестирование микросервисов (https://t.me/itarchitecture/152)

#microservice

На связи с вами https://t.me/itarchitecture

🔄 Репликация базы данных необходима для обеспечения надежности, но она также может вызвать задержку репликации

Но что же такое "задержка репликации"?

В типичной конфигурации репликации с ведущим узлом все операции записи направляются на основной узел.

Тем не менее, запросы на чтение могут обрабатываться любой репликой (включая основную в некоторых случаях).

Это хорошо, потому что вы можете масштабировать операции чтения, добавляя больше реплик.

Но для получения полного преимущества от репликации используется асинхронная репликация.

Однако, когда ваше приложение читает данные с асинхронной реплики, существует большая вероятность, что оно может получить устаревшую информацию, если реплика по какой-то причине отстала.

📝 Например:

1️⃣ Пользователь А отправляет запрос на обновление (запись) на основной или ведущий узел.

2️⃣ Ведущий узел отправляет новую информацию своим репликам.

3️⃣ Реплика 1 обновляется.

4️⃣ Однако пользователь B запрашивает (читает) данные с реплики 2 и получает устаревшую информацию.

5️⃣ Позже реплика 2 в конечном итоге обновляется.

Задержка между моментом выполнения записи на ведущем узле и её отражением на подчиненном узле известна как "задержка репликации".

Задержка может составлять всего лишь долю секунды (практически незаметно).

Однако, если система работает на пределе своих возможностей, задержка также может увеличиться до нескольких секунд или даже минут.

🚨 Таким образом, основная проблема - несоответствие данных для пользователей:

1. Пользователь B может неоднократно читать данные и видеть разные результаты из-за задержки репликации.

2. Пользователь А, сделавший запись, может получить устаревшие данные при чтении с реплики.

#databases #replica #eventual_consistency

На связи с вами https://t.me/itarchitecture

🔹 Микрофронтенды могут быть использованы, если используются микросервисы 🔹

Микрофронтенды — это микросервисы для фронтендов, но с другим подходом.

Если реализация фронтенда сложная и команда разработки большая, это может быть аргументом в пользу микрофронтендов.

Представьте, что один фрагмент кода фронтенда отвечает за рендеринг интенсивного пользовательского интерфейса и может заблокировать основной поток и вызвать сбой приложения.

Здесь вы можете обернуть этот интерфейс в отдельный микрофронтенд и рендерить его независимо, и приложение будет работать как обычно.

Чаще всего несколько команд работают над одним фронтенд-кодом, как монолит или модульный фронтенд-код.

Микрофронтенды предполагают разделение фронтенда на несколько микроприложений.

Так каждая команда, работающая над разными функциями, может:
1. Независимо работать над пользовательским интерфейсом.
2. Не зависеть от других команд.
3. Использовать общие ресурсы, такие как внутренняя библиотека для обмена компонентами или атомами.

Для создания каждого микрофронтенда можно использовать React, Angular или Vue. Но в целом надо понимать, что эта парадигма внесет анархии в ваши процессы разработки.

Таким образом, в больших командах фронтенда это помогает всем поделить пользовательский интерфейс, работать независимо и запускать в продакшн.

Но если фронтенд-приложение/код не слишком обширен, то микрофронтенды избыточны.

#microfrontend #microservice #frontend #uiux

На связи с вами https://t.me/itarchitecture

🚀 Shopify заработала около 7 миллиардов долларов в 2023 году.

🔧 С помощью монолитного приложения на Ruby on Rails.

🤔 Получается, можно далеко зайти и без микросервисов, правда?

📜 Основной монолит содержит более 3 миллионов строк кода.

🔩 Shopify организует свой монолит в кодовые блоки, называемые компонентами. Компоненты созданы путём сортировки тысяч файлов в несколько десятков категорий, каждая из которых представляет свой домен и разделена на директории с названиями вроде:
- Доставка
- Интернет-магазин
- Товарное обеспечение
- Оформление покупок

🔄 Но не всегда было так.

🚧 Монолит Shopify начался с группировки компонентов на основе технических вопросов. С течением времени поддержка становилась всё более сложной и замедляла работу команды.

💡 Что-то должно было измениться.

🏗 Затем началась многолетняя работа:
- Компонентизация монолита
- Изоляция зависимостей между компонентами

👇 Вывод:

Хорошо определённые внутрипроцессные компоненты (модули) могут стать отличным промежуточным шагом к внепроцессным компонентам (сервисам).

#monolith #ddd

На связи с вами https://t.me/itarchitecture

https://habr.com/ru/articles/503284/

#api #rest #security

Тестовые окружения

dev / staging / production / mix и tooling

https://pca.st/episode/0f31a3cf-8da4-4880-a96e-95734e8f11db

#podcast #devops #testing

На связи с вами https://t.me/itarchitecture

https://www.youtube.com/watch?v=POIbWZh68Cg&ab_channel=%D0%9A%D0%BE%D0%BD%D1%84%D0%B5%D1%80%D0%B5%D0%BD%D1%86%D0%B8%D1%8FArchDays

#architecture_as_code #plantuml #c4

На связи с вами https://t.me/itarchitecture

Модульные монолиты можно быстро выделить в микросервисы

Необходимо заменить логические границы физическими.

Для этого нужны:
- Четко определенные границы модуля
- Способ взаимодействия модулей
- Хорошая изоляция данных в базе данных.

Миграция сводится к извлечению модуля в новый сервис.

Также потребуется переместить таблицы базы данных в отдельную базу данных.

На этом этапе необходимо разместить обратный прокси-сервер для маршрутизации входящего трафика между микросервисами.

Это скроет детали реализации системы от клиентских приложений.

Или вы можете использовать управляемую облачную службу для шлюза API и балансировки нагрузки.

А как насчет межмодульных коммуникаций?

Если вы ранее реализовали связь с помощью вызовов методов, это больше не будет работать. Вам придется заменить эту реализацию HTTP-вызовами по сети. В игру вступают аутентификация и отказоустойчивость.

Если вы используете обмен сообщениями для межмодульного взаимодействия, это упрощает переход на микросервисы. Однако цена этого подхода — повышенная сложность на начальном этапе.

Этот процесс перехода на микросервисы следует паттерну Strangler.

#patterns #microservices

На связи с вами https://t.me/itarchitecture

Завершим эту рабочую неделю цитатой Aaron Rouse (enterprise architect в Classiq LTD):

Архитектура - одна из лучших профессий, потому что она не только полна замечательных вызовов, но и полна замечательных архитекторов. Даже плохие архитекторы обычно хорошие люди с добрыми намерениями.

#quotes

На связи с вами https://t.me/itarchitecture

📊 Как выбрать правильный график для представления данных

🔍 Подготовка презентации с данными результатов своего труда и труда команды - практически ежедневная работа любого архитектора. Между тем навигация в мире визуализации данных иногда может казаться попыткой разгадать головоломку.

🔍 Вот простая схема, которая поможет вам выбрать идеальный график для вашего повествования о данных. Независимо от того, работаете ли вы с категориями или непрерывными числами, хотите ли вы выделить тенденции, сравнить несколько наборов данных или просто представить точки данных ясно и кратко, эта схема поможет вам.

📈 Круговые диаграммы для частей целого, линейные графики для анализа тенденций во времени, тепловые карты для метрических данных и многое другое - все дело в том, чтобы найти подходящее визуальное представление для вашей информации. Поэтому в следующий раз, когда вы готовитесь к презентации или отчету, используйте этот удобный справочник и позвольте представить данные максимально емко и доступно.

#data_visualisation #presentation #graph

На связи с вами https://t.me/itarchitecture

🌐 IANA официально зарегистрировала медиа тип application/yaml 📄, подчеркивая его широкое применение для сериализации данных в удобном для человека формате

🔍 Приложения, использующие этот media type:
- Приложения, которым необходим удобный для пользователя межъязыковой язык сериализации данных на основе Юникода, разработанный на основе общих типов данных динамических языков программирования.
- В контексте web-API YAML широко используется как более компактный способ сериализации контента, предназначенного для использования, в соответствии с моделью данных JSON. Типичными примерами являются спецификации OpenAPI и файлы манифеста Kubernetes, которые можно сериализовать в обоих форматах.

💡 Почему важно?
- Без официального признания разработчики и архитекторы могли столкнуться с несоответствиями в обработке YAML-данных между различными системами и приложениями, что усложняло обмен данными и интеграцию.
- Официальная регистрация обеспечивает единый стандарт обработки и безопасности, повышая совместимость и безопасность при использовании YAML в различных проектах.

🔗 Детали на сайте IANA:
iana.org/assignments/media-types/application/yaml

#api #yaml

На связи с вами https://t.me/itarchitecture

The Top 100+ Developer Tools 2023

Для формирования списка команда StackShare проанализировала более 12 миллионов отзывов на своем портале.

https://stackshare.io/posts/top-developer-tools-2023

#ranking

Список лучших программных продуктов в 2024 году по версии G2 (занимается обзорами программного обеспечения и услуг)

Из интересного в списке 100 лучших продуктов из 9 700 (место - название):

9 - Google Analytics (34-е место в отдельном списке Продукты для предприятий)
21 - TikTok Ads
30 - AWS Cloud Formation
32 - Notion
46 - Jira (10-е место в отдельном списке Продукты для предприятий)
50 - Confluence (1-е место в отдельном списке Продукты для предприятий)
52 - Miro (17-е место в отдельном списке Продукты для предприятий)
60 - Spring Boot
69 - Trello
75 - Amplitude

https://www.g2.com/best-software-companies

#ranking

Насколько быстрее и эффективнее работает Kubernetes на bare-metal и на виртуальных машинах.

Тесты показали, что кластер, развернутый на bare-metal:

➖ в 2 раза производительнее по части CPU и в 3 по части ОЗУ, так как дополнительные уровни на VM потребляют физический процессор и оперативную память для работы, отнимая часть вычислительных мощностей от рабочих нагрузок.

➖ Производительность хранилища более чем в 2 раза выше. При работе с базой данных размером 8 ГБ задержка кластера виртуальных машин составляла 34,78 мс, а у кластера «голого железа» — 18,17 мс. Чем больше БД, тем больше разрыв.

➖ Производительность внутренней сети кластера лучше более чем в 5 раз. Пропускная способность кластера VM варьировалась от 862 КБ/с при MSS=1 до 6,52 МБ/с при MSS=8, а на голом железе — от 4,17 МБ/с до 31 МБ/с при тех же значениях MSS.

🚩 В продуктовых средах результаты могут отличаться, но для максимума производительности вариант с физическим железом привлекательнее.

#devops #k8s #kubernetes

@DevOpsKaz

🚀 Интересные выжимки из исследования The State of Developer Ecosystem 2023 от JetBrains

🤖 Использование генеративного ИИ в разработке
- 77% разработчиков используют ChatGPT.
- 46% используют GitHub Copilot.
- Наиболее частое использование: общие вопросы о разработке на естественном языке.

📈 Изменения в популярности языков программирования
- JavaScript теряет популярность (незначительно).
- Rust набирает обороты, стремясь заменить C++.
- Топ-5 языков: JavaScript, Python, HTML/CSS, SQL, Java.

💰 Доля высокооплачиваемых сотрудников по должностям (Top 6)
- 59% - архитектор (!)
- 52% - CIO / CEO / CTO
- 49% - Team Lead
- 40% - DevOps Engineer / Infrastructure Developer
- 35% - Product Manager / Marketing Manager
- 32% - Developer / Programmer / Software Engineer

💰 Тренды зарплат разработчиков
- Самые высокооплачиваемые: Scala, Go, Kotlin.

📚 Источники для изучения новых технологий
- 67% читают документацию и API.
- 53% используют блоги/форумы.
- 40% читают книги.

🔍 Также интересно
- 34% разрабатывают микросервисы.
- 61% генерируют API, в основном через Swagger (84%).
- 49% разработчиков под мобильные устройства используют кросс-платформенные технологии: 46% Flutter, 35% React Native.

🔗 [Подробнее об исследовании](https://www.jetbrains.com/lp/devecosystem-2023/)